Piotr Wójcik: Algorytm zrobi z ciebie bandytę

Wystarczy, że jesteś biedny.

fot. unsplash.com, Gor Davtyan

Programy komputerowe amerykańskiej policji do wykrywania przestępstw są rażąco niesprawiedliwe wobec mniej zamożnych. Kryminalizują zamieszkiwanie ubogich dzielnic i obarczają podejrzeniem niczemu niewinne osoby.

Słuszne idee
Aplikacje mobilne i w ogóle komputeryzacja mają dwa główne cele. Po pierwsze dzięki nim chcemy zmniejszyć ponoszone koszty. Przykładowo dzięki płatnościom internetowym nie musimy tracić czasu i pieniędzy na dojazd do placówki bankowej. Po drugie mają one zwiększyć skuteczność wykonywanych przez nas zadań. Na przykład dzięki GPS taksówkarze skuteczniej poruszają się po mieście i dowożą nas na miejsce. Większość aplikacji ma bardzo ograniczony zakres działania, więc spełnia swoją rolę znakomicie, nie wpływając znacząco na inne obszary życia. Niestety zgubnego wpływu niektórych z nich dopiero się uczymy. Gdy chcemy, żeby obiektywne i ślepe na życiowe okoliczności programy wykonywały za nas zadania, w których wymagana jest empatyczna ocena złożonych okoliczności, to możemy oczekiwać bardzo złego efektu. Właśnie takimi sytuacjami zajęła się Cathy O’Neil w książce Broń matematycznej zagłady, opisując używane powszechnie w USA algorytmy i programy komputerowe, które prowadzą do niesprawiedliwości lub wręcz ludzkich dramatów. Aplikacje wykorzystywane przez amerykańską policję do wykrywania przestępstw i patrolowania dzielnic są tego najlepszych przykładem.

Ślepa skuteczność
Policyjne programy prognostyczne w rodzaju najpopularniejszego PredPol czy też stosowanego przez policję nowojorską CompStat lub HunchLab będącego do dyspozycji policji w Filadelfii, mają właśnie spełniać dwa zadania naszkicowane powyżej. Ich zadaniem jest zwiększanie skuteczności patroli policyjnych w wykrywaniu i zapobieganiu przestępstw, dzięki czemu policja może radzić sobie równie skutecznie przy mniejszych załogach – czyli przy niższych kosztach osobowych. Co więcej, dzięki temu, że programy te formalnie są ślepe na kolor skóry, mogą ograniczyć wpływ uprzedzeń rasowych na działania policji. Wydawałoby się, że czysty zysk zarówno dla policji, jak i społeczeństwa.

PredPol i podobne programy zasysają dane dotyczące popełnionych przestępstw, analizują je pod różnymi kątami, a następnie tworzą mapę prawdopodobieństwa popełnienia różnego rodzaju przestępstw i skierowują patrole w najbardziej zapalne według algorytmu miejsca. Dzięki temu jest dużo większe prawdopodobieństwo, że policjanci złapią delikwenta na gorącym uczynku lub nawet zapobiegną złamaniu prawa. I rzeczywiście, skuteczność komend policji, które korzystają z wymienionych programów wyraźnie się poprawiła. Szczególnie wzrosła sama liczba wykrywanych przestępstw.

Sprzężenie zwrotne
Problem w tym, że ich skuteczność w zapobieganiu lub wykrywaniu poważnych przestępstw jest nikła. Zbrodnie lub ciężkie przestępstwa są popełniane zbyt rzadko i w zbyt różnych miejscach, by tworzyć na ich podstawie przekonujące mapy prognostyczne. Wystarczy, żeby dwa razy w ostatnim czasie popełniono ciężkie przestępstwo w danym miejscu i już program będzie nieproporcjonalnie mocno zwracał uwagę na tę okolicę. Policjanci więc wprowadzają do programów także dane dotyczące mniej poważnych przestępstw – palenia marihuany, zataczania się po pijanemu, picia alkoholu w miejscu publicznym, siedzenia na krawężniku i tak dalej. Dzięki temu ich wykrywalność przestępstw nieporządku wzrosła dramatycznie.

Czy to oznacza, że miasta stały się dużo bezpieczniejsze? Niespecjalnie, zadziałał tu po prostu mechanizm sprzężenia zwrotnego. Oczywiście popijającego alkohol na ulicy znacznie łatwiej przyłapać w ubogich dzielnicach niż w zamożnych, których mieszkańcy piją whisky raczej siedząc w fotelu, niż na ławce. Policjanci wprowadzali dane o swoich sukcesach w ubogich dzielnicach, PredPol więc wysyłał ich częściej do tych dzielnic. W wyniku wzmożenia tam patroli wprowadzano do niego jeszcze więcej zatrzymań z niezamożnych osiedli, a ten zalecał jeszcze większe wzmożenie patroli, co kończyło się jeszcze większą liczbą zatrzymań. Nie jest wielką filozofią przyłapać kogoś, kto dokonuje drobnego wykroczenia. Jeśli wyśle się pół komendy do jednej dzielnicy, to nie ma siły, by nie wyłapali oni tabunu drobnych wykroczeń. Dla obiektywnego algorytmu taka dzielnica szybko zamieniła się w biegun zła.

Samospełniające się przepowiednia
W ten sposób w ubogich dzielnicach zaczęto wykrywać niemal każde przejście nie po pasach, za to w zamożnych można było bezkarnie chodzić środkiem drogi. Prawdopodobieństwo wpadki przy drobnym wykroczeniu, typu parkowanie w miejscu niedozwolonym, w dzielnicach niezamożnych drastycznie wzrosło w stosunku do dzielnic bogatych. Mieszkańcy ubogich osiedli zaczęli być po prostu nękani przez policję. Nawet jeśli jakimś cudem nie złapią ich na żadnym wykroczeniu, typu wyrzucenie niedopałka papierosa na ulicę, to są bez porównania częściej zatrzymywani do kontroli. Przykładowo w Nowym Jorku aż 85% rutynowych zatrzymań do kontroli dotyczy Afroamerykanów oraz Latynosów, ponieważ ślepe na kolor skóry algorytmy wysyłają tabuny policjantów do dzielnic zamieszkiwanych przez Afroamerykanów oraz Latynosów. Policja z Chicago postanowiła iść jeszcze dalej i wykorzystała oprogramowanie prognostyczne do stworzenia listy kilkuset osób, które prawdopodobnie popełnią przestępstwo. Trafił na nią Robert McDaniel, którego główną winą było to, że wielu jego znajomych z niebezpiecznej dzielnicy Austin popełniło przestępstwa. W ten sposób niczemu niewinny McDaniel trafił pod stałą obserwację policji.

Trudno nie odnieść wrażenia, że policyjne programy prognostyczne działają na zasadzie samospełniającej się przepowiedni. Jeśli jesteśmy uparcie przekonani, że wszyscy nas oszukują, to w końcu znajdziemy dowody, które nas w tym utwierdzą – w końcu ludzie nie są idealni. W ten sam sposób policjanci wysyłani przez algorytmy do prawdopodobnych miejsc przestępstw jakieś wykroczenie na miejscu odkryją. Wprowadzą je do bazy, więc algorytm wyśle tam jeszcze więcej patroli. Tymczasem zamożni w zaciszu swoich domostw lub na prywatnych posesjach mogą łamać prawo do woli – wystarczy że nie rzucają się w oczy programom prognostycznym. Czy bezpieczeństwo w miastach dzięki temu rośnie? Ani trochę. Jedyne co rośnie, to poczucie niesprawiedliwości wśród mieszkańców biednych dzielnic.