Broń matematycznej zagłady. Jak algorytmy zwiększają nierówności i zagrażają demokracji
Cathy O’Neil
Końcem marca 2018 roku świat dowiedział się o wykorzystywaniu przez Cambridge Analytica danych z profili facebookowych do nadawania sprofilowanych informacji, które mogły mieć wpływ na decyzje osób wahających się ws. referendum brexitowego w Wielkiej Brytanii. Nie jest to pierwsze nadużycie dokonane w ostatnich latach przez tę firmę. W 2015 roku Cambridge Analytica wykorzystała dane z psychotestów dokonywanych przez użytkowników facebooka na tym portalu w celu profilowania kampanii prezydenckiej Teda Cruza w USA. Warto zaznaczyć, że użytkownicy musieli wyrazić zgodę na przetwarzanie danych z testów przez serwis społecznościowy. Na podstawie informacji uzyskanych przez facebook, reklamodawcy zaprogramowali odpowiednio reklamy tak, aby jak najlepiej trafiały one do wybranej grupy wyborców.
Cathy O’Neil w swojej głośnej książce z 2016 roku (w Polsce premiera miała miejsce w roku 2017) „Broń matematycznej zagłady. Jak algorytmy zwiększają nierówności i zagrażają demokracji” pisze o nadużyciach wykorzystywania Big Data, którego przykładem mogą być właśnie operacje dokonywane przez Cambridge Analytica.
Ten i wiele innych przykładów podanych w książce mają dowodzić, że analizy danych są dziś najczęściej wykorzystywane w złych celach lub co najmniej w sposób nieadekwatny do rodzaju danych, które przewidują. Książka koncentruje się nie na konkretnych osobach, które mogłyby być odpowiedzialne za tego typu przedsięwzięcia, ale na samych algorytmach służących do upraszczania rzeczywistości społecznej i segmentowania ludzi według wspólnych cech, które są dla nich przewidywane ze względu na np. miejsce zamieszkania.
O’Neil dowodzi, że coś, co zwykło się uważać za obiektywne i dążące do pomiaru a dalej zaprowadzania równości w świecie – wielkie algorytmy matematyczne, jest od podstaw budowane na określonych założeniach, które nierzadko zawierają wartościowania moralne i stereotypy, a w konsekwencji swojego działania nie tylko utrwalają, ale wręcz pogłębiają istniejące już nierówności. Tytułowa „Broń Matematycznej Zagłady” (Weapons of Math Destruction), w skrócie Beemzet może przyjmować różne postacie. Tym, co łączy wszystkie podane przez autorkę przykłady Beemzetów są: nieprzejrzystość modelu dla osób, których on dotyczy, szkodliwość powodowana wytwarzaniem negatywnego sprzężenia zwrotnego, duża skala oddziaływania, zdolność poszerzania zakresu swojego działania. Dodatkowo algorytmy z jednej dziedziny, specjalnie przystosowane do charakteru zmiennych tam występujących, są bezrefleksyjnie adaptowane do innych dziedzin, co często może nieść za sobą absurdalne skutki. Każdy algorytm powinien być specjalnie tworzony i dopasowywany do elementów, które chce badać.
Autorka twierdzi również, że algorytmy te są czymś odmiennym od statystyki, która z założenia ma jedynie uogólniać, podawać prawidłowości określające jakiś zbiór osób. Beemzety zaś mają za cel stwarzanie wybranym osobom o określonych cechach dane możliwości bądź też ograniczenia.
Wywód O’Neil rozpoczęty jest zaprezentowaniem algorytmów dotykających poszczególne grupy społeczne, związane z systemem szkolnictwa, m.in. nauczycieli i studentów. Jako Beemzety podane są tu system oceny jakości nauczania oraz ranking uczelni wyższych. Oba systemy mogą silnie wpływać na poszczególne jednostki, decydując o ich przyszłości, a co najgorsze, sposób obliczania takich algorytmów pozostaje niezrozumiały i niedostępny dla samych zainteresowanych. Może się więc okazać, że ktoś zostanie zwolniony z pracy i oprócz tego, że będzie wiedział, że otrzymał niski wynik, nie dowie się o powodzie utraty środków do życia (dokładnie taki przykład został w książce opisany). Kolejne przykłady są coraz bardziej ogólne, dotykające coraz szerszego grona odbiorców, aby ostatecznie skupić się na systemach dotykających wszystkich obywateli – manipulacjach komunikatów polityków. O’Neil pokazuje przy tym, że przed wielkimi machinami matematycznymi i zarządzającą nimi rzeszą badaczy, analityków oraz marketingowców nie ma ucieczki. A nawet najbardziej dociekliwi i inteligentni ludzie będą mieć ogromne problemy z dotarciem do źródłowych, wiarygodnych informacji (o ile dotarcie do nich jest w ogóle możliwe).
Silną stroną książki jest pozycja, z której autorka pisze swój wywód. Jako była profesor matematyki, była analityk w branży hedgingowej oraz obecna działaczka społeczna, dzieli się własnymi doświadczeniami, obserwacjami i przemyśleniami na temat wykorzystywania Big Data w różnych gałęziach amerykańskiej codzienności. Fakt, że sama uczestniczyła w świecie wielkich algorytmów i na własnej skórze odczuła, jak on wygląda, dodaje jej wywodom wiarygodności. Ewentualne zarzuty, które można by w stosunku do niej wysunąć w związku z uczestnictwem w nie zawsze moralnych prognozowaniach matematycznych, są przez nią niwelowane poprzez dokładne opisywanie jej nastawienia do świata w tamtym momencie. O’Neil pisze, że była zafascynowana matematyką i możliwością pracy w takim miejscu jak agencja hedgingowa, gdzie działało się w prawdziwym świecie (w przeciwieństwie do tego, z czym miała do czynienia na uczelni, czyli teorii). Kiedy jednak zrozumiała, że w branży dzieje się coś złego (a był to czas kryzysu ekonomicznego), zmieniła pracę. Zresztą, opisując przepływ informacji pomiędzy ówczesnymi współpracownikami używa mocnego porównania, które może mieć na celu odwrócenie uwagi od osobistego zaangażowania w życie firmowe, na rzecz uwypuklenia bezosobowych relacji w pracy. Opis, o którym mowa wyglądał następująco:
„W pewnym sensie informacja była dzielona i izolowana w poszczególnych komórkach większej struktury, niewiele różniącej się od sieci Al-Kaidy (str. 65)”.
Porównanie to nie znajduje dalszego wyjaśnienia. Wydaje się więc, że rzeczywiście ma ono służyć jedynie wzmocnieniu negatywnych aspektów tej pracy.
Opis doświadczeń poszczególnych sytuacji związanych z Beemzetami jest bardzo wiarygodny i czytelnik ma poczucie, że autorka tłumaczy mu w bardzo prosty i przystępny sposób, bardzo skomplikowane machiny, które ktoś wcześniej niejako „zaczarował” matematyczną, niezrozumiałą otoczką.
Problematyczne są momenty, w których O’Neil zaczyna oratorsko wypowiadać się o etyce i moralności. Pisze o jednym jedynym właściwym sposobie działania jako słusznym i koniecznym, jeśli chce się działać w myśl sprawiedliwości społecznej. Czyni krytykę w stosunku do przedkładania korzyści ekonomicznych nad moralne, nie podając jednocześnie, jaki miałby być powód takiego wartościowania. Wydaje się odwoływać do jakiejś naturalnej powinności człowieka, który miałby dążyć do sprawiedliwości. Co więcej, autorka nie przyznaje się do konkretnego rozumienia owej solidarności, a wręcz wydaje się, że w dwóch miejscach sama rozumie pod tym pojęciem różne rzeczy. Krytykując Beemzety uważa, że sprawiedliwość powinna przejawiać się w równym rozdysponowywaniu zasobów i dostępu do informacji. Szukając jednak pozytywnego zastosowania dla tych algorytmów sugeruje, że powinny one pomagać nie wszystkim, a właśnie wybranej grupie – osobom najbardziej potrzebującym.
Autorka w świetny sposób demaskuje podane przykłady Beemzetów, problemem jest jednak zaproponowanie nowych rozwiązań i znalezienie dla nich przekonywających uzasadnień. Jak twierdzi, sami zaangażowani w świat Big Data, nie widzą tego, że Beemzety mogą źle oddziaływać na niektóre grupy czy też jednostki:
„Cichy i spersonalizowany charakter takiego [powodującego pogłębianie nierówności międzygrupowych] targetowania sprawia, że zwycięzcom społecznym łatwo nie dostrzegać tego, że te same modele niszczą życie innych ludzi, mieszkających niekiedy zaledwie kilka przecznic dalej (str. 271)”.
Pozostaje jednak pytanie, co miałoby skłaniać tę uprzywilejowaną część do zwrócenia uwagi na ofiary tak zaprojektowanych algorytmów.
Summa summarum
W gruncie rzeczy autorka twierdzi, że nawet ci wygrani, którzy dostają się na najlepsze wyższe uczelnie są przegranymi – biorą bowiem udział w beznadziejnym wyścigu zbrojeń, zasilają Beemzety i do końca życia spłacają kredyty zaciągnięte po to, aby zaspokoić algorytm i wieść życie przez niego wyznaczone. W książce nie znajdziemy jednak odpowiedzi na pytanie o winowajcę tego stanu rzeczy. O’Neil w kilku miejscach przywołuje autorów wielkich Beemzetow, którzy u źródeł swoich teorii nie zrobili niczego, co można by łączyć ze złymi zamiarami; wręcz przeciwnie, mieli bardzo zacne cele, z którymi mogłoby się utożsamić wielu ludzi. Niestety w pewnym momencie, maszynerie te zostały wykorzystane w zły sposób lub po prostu sprzedane osobom, których moralność nie jest wzorem etycznym. Zwraca się więc uwagę na fakt, że na końcu każdego algorytmu stoją założenia poczynione przez konkretnych ludzi. Nie ma więc czegoś takiego jak obiektywny wskaźnik, gdyż każdy z nich opiera się na zmiennych wybranych według konkretnych założeń. Inny aspekt, który przychodzi tu na myśl to etyka każdego badacza, który powinien mieć świadomość, jakie dane mogą być wykorzystywane w jaki sposób. Powinien również stawić opór w przypadku podejrzeń o używanie ich w złych celach. Czy jednak jeden badacz nie może być zastąpiony innym i czy w związku z tym taki jednostkowy opór w ogóle zostanie zauważony i będzie miał sens?
Autorka twierdzi, że nawet najgorsze działania człowieka powinny być lepsze niż funkcjonowanie takiego Beemzetu. Człowiek może bowiem ewoluować i się uczyć; Beemzet natomiast pozostaje w miejscu, oceniając przy tym zmieniający się świat (O’Neil; 2016; 275). Co więcej, uważa że takie algorytmy zatrzymują postęp społeczny. Utrwalają bowiem raz położone założenia i dostosowują świat tak, aby jeszcze bardziej one do niego pasowały, jest to coś na zasadzie samospełniającej się przepowiedni.
„Zamiast wymyślać przyszłość, procesy Big Data kodyfikują przeszłość (str. 275)”.
A mogą się one zmienić jedynie, jeżeli człowiek właśnie, wprowadzi zmiany do algorytmu. Może więc Beemzety są idealnym narzędziem do sterowania ludźmi. Problem w tym, że nikt nimi nie kieruje i być może właśnie na wieczność utrwalamy system nierówności. Ostatecznie autorka wydaje się postulować, aby Beemzety zostały wykorzystane, ale w dobrych celach. I tutaj powstaje luka, którą mogłoby wypełnić państwo wraz z organizacjami ponadnarodowymi, które narzucałyby sposób korzystania z tych machin.
W Podsumowaniu autorka przedstawia postulaty, które wydają się być głównym powodem napisania przez nią tej książki:
„Aby skutecznie wyeliminować Beemzety musimy wyjść poza utrwalanie dobrych praktyk w naszym cechu analityków danych. Zmiany wymagają także przepisy prawne. By to uczynić, musimy przede wszystkim dokonać ponownej ewaluacji naszego systemu oceny sukcesu (str. 278)”.
„Wystarczy zmienić cel z wykorzystywania ludzi na pomaganie im, a Beemzet automatycznie zostaje rozbrojony i staje się siłą czyniąca dobro (str, 266)”.
Prostota i naiwność proponowanych rozwiązań nie współgrają z sumiennie przytoczonymi przykładami broni matematycznej zagłady. Moralizatorski ton oraz wywód na temat prostoty, z jaką można zamienić broń w narzędzie do poprawiania świata są więcej niż utopijne. Brak konkretów w realizacji tych „prostych” celów koresponduje z założeniem, że metody analizy są nieumiejętnie bądź po prostu w złych intencjach wykorzystywane. Autorka nie sugeruje w żadnym miejscu, że stworzenie systemu, który byłby regularnie aktualizowany i uwzględniał opinie poszczególnych jednostek, a dotyczyłby ten system ludzi z całego globu, to stworzenie takiego przedsięwzięcia mogłoby się okazać nieopłacalne nawet po uwzględnieniu kwestii sprawiedliwości.
Informacje o książce:
Tytuł: Broń matematycznej zagłady. Jak algorytmy zwiększają nierówności i zagrażają demokracji
Tytuł oryginału: Weapons of math destruction: how big data increases inequality and threatens democracy.
Autor: Cathy O’Neil
ISBN: 9788301195250
Wydawca: Wydawnictwo Naukowe PWN
Rok: 2017
