📻 Big data. Mały człowiek

Jakub Dymek & Arek Flinik: Czy algorytmy i demokracja są do pogodzenia?

AUDIO REO. Posłuchaj na podkaście. Czyta Hubert Augustyniak.

 


W odróżnieniu od człowieka, algorytmy są zupełnie pozbawione bagażu subiektywności. Nie posiadają emocji ani uprzedzeń związanych z poprzednimi doświadczeniami, rasą, religią, doktrynami politycznymi, płcią lub wiekiem. Na decyzje nie ma wpływu zmęczenie, niedobór snu albo zły posiłek.

To zdanie, które brzmi jak fraza z utopijnego science-fiction skrzyżowana z korporacyjną prezentacją, nie bez powodu wzbudziło niedawno kontrowersje i wręcz cywilizacyjne obawy. Powyższy cytat pochodzi bowiem z publikacji dwóch chińskich naukowców. Mozolnie kolekcjonując olbrzymie zbiory danych i aplikując wyrafinowane techniki sztucznej inteligencji, opracowali oni algorytm. Rzekomo zdolny ocenić prawdopodobieństwo popełnienia przestępstwa wyłącznie na podstawie rysów twarzy i innych cech fizycznych widocznych na zdjęciu podejrzanego lub podejrzanej.

Uzasadnione jest w tym przypadku zarówno skojarzenie z futurystycznymi metodami śledczych z filmów w rodzaju Raport mniejszości, jak i z archaiczną pseudonauką – fizjonomiką. Według niej z cech fizycznych człowieka można wnioskować o jego  charakterze lub skłonnościach. Ale przeświadczenie, które stoi za ufnością w algorytmy i rewolucyjne skutki ich zastosowania, jest jak najbardziej współczesne. To kolejne wcielenie technologicznego tryumfalizmu Doliny Krzemowej  i żądania jeszcze bardziej efektywnego, eksperckiego i wymiernego zarządzania społeczeństwem.

Każda metoda, która pozwalała władzy skuteczniej sprawować  kontrolę, była ochoczo aplikowana. pochodną tego procesu były zarówno powszechne systemy szczepień i zaawansowane usługi publiczne, jak eugenika oraz Zagłada.


Algorytm to według najprostszej definicji skończony ciąg czynności, następujących po sobie, prowadzący do rozwiązania problemu lub określonego celu. Potocznie dziś jednak mówimy o algorytmach, jako o tym wszystkim, co komputery robią nam, z nami i za nas. Za pomocą ciągu liczb określając nasze preferencje, klasyfikując nasz rating kredytowy, wyliczając stawkę składki ubezpieczeniowej i sugerując kolejnych przyjaciół na Facebooku. Chodzi o operacje, które na podstawie skończonego zbioru danych mają przynieść konkretny rezultat. Mądrzejszy niż proste równanie, bo dostosowany do tego, co sami o sobie powiedzieliśmy.

Dla pełnego obrazu być może należałoby wprowadzać kolejne pojęcia – sensorów, filtrów i profili, dzięki którym zarządzanie społeczeństwem i dostarczanie mu usług za pomocą algorytmów wydaje się dziś rozwiązaniem tak kuszącym, jak zyskownym. Ale ta klasyfikacja ostatecznie prowadzi i tak do jednego: chodzi o rolę maszyny liczącej w życiu nowoczesnego społeczeństwa. Algorytm – opatentowany przez Google czy Facebook lub używany przez swojski ZUS – jest tylko kolejnym jej wcieleniem.[->]


Bo nowoczesne państwo niejako od zawsze angażowało matematykę w swojej służbie. Każda nowa metoda, która pozwalała władzy skuteczniej egzekwować kontrolę, była ochoczo aplikowana. Pochodną tego procesu były zarówno powszechne systemy szczepień i zaawansowane usługi publiczne, jak i eugenika i Zagłada. Z algorytmami nie będzie inaczej – to tylko kolejne wcielenie starego jak nowoczesność marzenia o idealnie sprawnej biurokracji i bezbłędnym, maszynowo skutecznym i nieludzko sprawiedliwym aparacie państwa.

Czasem jednak od rezultatu wyliczonego przez maszyny może zależeć ludzkie zdrowie lub życie.

Broń matematycznej zagłady

Coraz istotniejsza rola algorytmów w naszym codziennym życiu bywa zarazem całkowicie przezroczysta. Słowem: nie zastanawiamy się nad ich rolą, tak jak nie fascynuje nas obecność prądu i bieżącej wody w mieszkaniach. Czasami działanie algorytmów dotyczy błahych spraw: rekomendacji muzyki lub filmów czy odpowiednio dobranej pod naszym kątem reklamy. Czasem jednak od rezultatu wyliczonego przez maszyny może zależeć ludzkie zdrowie lub życie.

Kiedy nie spodoba nam się polecany przez superkomputer film, jesteśmy narażeni co najwyżej na kilka godzin straconego czasu. Ale wyobraźmy sobie, że w wyniku zastosowania takich mechanizmów tracimy pracę i nie mamy oczywistego sposobu, by temu przeciwdziałać. Z komputerem trudno (jeszcze?) negocjować. A w oczywisty sposób nie możemy zakładać, że zaprogramowana do specyficznego działania maszyna mogłaby przyznać się do błędu. To już różnica jakościowa.

Taka właśnie historia została przedstawiona w napisanej przez matematyczkę Cathy O’Neill książce Broń matematycznej zagłady. Sarah Wysocki, nauczycielka Middle School (odpowiednik gimnazjum), pracowała dopiero od dwóch lat, ale zdążyła zapracować na renomę dobrej nauczycielki i uznanie zarówno władz szkoły, jak i rodziców. Było to jednak w czasie, kiedy w stanie Waszyngton została wprowadzona szeroko zakrojona reforma mająca na celu poprawę jakości kształcenia. Wprowadzono system nazwany IMPACT, który miał w obiektywny sposób oceniać efektywność kształcenia. Każdemu nauczycielowi i nauczycielce zostały przydzielone liczbowe oceny, mające być miarą jakości ich pracy.

Autorzy reformy na tyle zawierzyli algorytmowi, że obliczane przezeń wyniki stały się podstawą ewaluacji pracy nauczycieli i podstawą do ich zwalniania. Skutek? Sarah mimo pozytywnych opinii przełożonych uzyskała wynik poniżej wymaganego minimum i wraz z 205 innymi nauczycielami została pozbawiona zatrudnienia. Algorytm miał na celu wyliczyć tak zwaną wartość dodaną, to jest wielkość postępów poczynionych przez uczniów z roku na rok. Głównym czynnikiem były standardowe testy kompetencji przeprowadzane na koniec roku, do których przystępowali wszyscy uczniowie. Założenia były szczytne: zamiast opierać się na subiektywnych opiniach, które są podatne na uprzedzenia, lepiej skupić uwagę na obiektywnych wynikach. Liczby nie kłamią, więc będzie bardziej sprawiedliwie – zakładano.

Rzecz w tym, że wprowadzenie takiego systemu nie pozostało bez wpływu na zachowanie nauczycieli. Groźba utraty pracy była na tyle duża, że zaczęło im bardziej zależeć na wynikach testów niż na faktycznej edukacji podopiecznych. Część z nich posunęła się nawet do oszustwa polegającego na poprawianiu odpowiedzi uczniów na teście. I w ten właśnie sposób Sarah Wysocki dostała pod opiekę klasę, która na papierze osiągała ponadprzeciętne wyniki, choć w rzeczywistości miała problemy z czytaniem i pisaniem. Kiedy pod koniec roku zweryfikowane zostały umiejętności uczniów, ich wyniki mimo starań nauczycielki były dużo gorsze niż rok wcześniej. Z matematycznego modelu jasno wynikało, że rezultaty podopiecznych Sarah sporo się pogorszyły, więc uzasadnione było pozbawienie ją pracy.

Brzmi groźnie? A może być jeszcze gorzej, jeśli w ręce algorytmu oddajemy decyzje, od których zależy nasze zdrowie.

Pomyłka wysokiego ryzyka

W latach 90. amerykańska Narodowa Fundacja Naukowa (NSF, National Science Foundation) sfinansowała szeroko zakrojone badania, które miały na celu zastosowanie sztucznej inteligencji do zwiększenia efektywności wydawania funduszy przeznaczonych na opiekę medyczną. Jeden z projektów zaowocował opracowaniem matematycznego modelu, mającego szacować prawdopodobieństwo śmierci pacjentów z zapaleniem płuc. Dzięki temu pacjenci z dużym ryzykiem powikłań mieli być przyjmowani do szpitala w pierwszej kolejności. W zamyśle autorów wdrożenie takiego modelu miałoby same korzyści. Pacjenci, których życie było zagrożone, otrzymaliby opiekę szybciej i do tego mniejszym kosztem.

System ten jednak nie został nigdy wprowadzony. Dlaczego? Już po pierwszej ewaluacji uznano go (na szczęście) za zbyt ryzykowny. Okazało się bowiem, że model konsekwentnie oceniał cierpiących na astmę za pacjentów niskiego ryzyka. Nie stało się tak przypadkiem: astmatycy z zapaleniem płuc są w szpitalach natychmiastowo kierowani na oddział intensywnej terapii. Dzięki odpowiedniej opiece tacy pacjenci relatywnie rzadziej umierają na zapalenie płuc w stosunku do reszty populacji. Niestety brak ostrożności (i wyobraźni?) twórców algorytmu zakończył się stworzeniem modelu, który z perspektywy punktów procentowych wyglądał na skuteczny, ale dla części pacjentów byłby tragiczny w konsekwencjach.

Spora część naukowczyń i inżynierów jest przekonana, że odpowiedzią na takie problemy jest gromadzenie i wykorzystanie większej ilości danych. Tak zwane Big Data od dekady traktowane jest jak święty Graal, w pogoni za którym wielkie korporacje są w stanie wydawać miliardy dolarów. Niestety, im więcej danych, tym mniejszą uwagę przykłada się do ich jakości, a przewidzenie ostatecznego efektu staje się coraz trudniejsze.

Przekonał się o tym w brutalny sposób Jacky Alcine, czarnoskóry programista z Brooklynu. W 2015 roku Google udostępniło użytkownikom aplikacji do zarządzania zdjęciami nową, bazującą na uczeniu maszynowym funkcję, która pozwala na automatyczne klasyfikowanie i wyszukiwanie zdjęć na podstawie tego, co się na nich znajduje. Jacky prawdopodobnie nie zakładał, że algorytmy te będą działały ze stuprocentową skutecznością. Ale nie spodziewał się, że zdjęcia jego czarnoskórych przyjaciół zostaną oznaczone etykietą Goryle. Nie szczędząc niewybrednych słów, podzielił się tym faktem na Twitterze.

Czytaj dalej na następnej stronie.

1
2