Uprzedzone algorytmy

Wyobraź sobie taką sytuację: ktoś, kogo zupełnie nie znasz albo z kim łączą Cię relacje czysto zawodowe, obdarza Cię bardzo obraźliwym i bardzo mocno seksualizującym epitetem. Odpowiadasz:

• a) „Dzięki za feedback”.
• b) „To nas donikąd nie prowadzi”.
• c) „Przepraszam, nie rozumiem”.
• d) „Zarumieniłabym się, gdybym mogła”?

Ja, nie dość, że zdecydowanie wybieram odpowiedź e) Żadne z powyższych, to nigdy sama bym nie wpadła na żadną z tych błyskotliwych ripost. Wymyślili je, chcący lub „niechcący”, projektanci i inżynierowie pracujący nad asystentami głosowymi. W taki sposób na seksistowską i obrzydliwą zaczepkę użytkownika odpowiadały kolejno Alexa (Amazon), Cortana (Microsoft), Google Assistant i Siri (Apple).

Niestety, nierzadko zdarza się, że programy bazujące na algorytmach sztucznej inteligencji, takie jak cyfrowi asystenci (i inne boty), a także powszechnie używane translatory czy autouzupełnianie wiadomości tekstowych, powielają rasistowskie bądź seksistowskie stereotypy.

Tego rodzaju zjawisko nazywamy algorytmicznym uprzedzeniem (algorithmic bias). Jego przyczyn może być wiele: bazowanie na złych zestawach danych, brak demograficznego zróżnicowania w zespołach pracujących nad nowymi technologiami czy po prostu „błąd ludzki”. Żeby lepiej zrozumieć ten złożony proces, zacznijmy od początku, czyli od wyjaśnienia, czym właściwie są te algorytmy.

Być może zainteresuje Cię również temat catcallingu, o którym przeczytasz w naszym tekście „Catcalling, czyli słowne molestowanie”.

Co to jest algorytm?

Mówiąc najprościej, algorytm to zbiór instrukcji, jak przekształcić dane wejściowe (input) w dane wynikowe (output). Pewnie korzystałyście_liście lub nawet stworzyłyście_liście kiedyś sami algorytm, jakim jest przepis kucharski: lista potrzebnych składników (input) → sposób przygotowania (instrukcja) → gotowe danie (output).

W programowaniu algorytm to instrukcja, którą tworzymy dla komputera, aby na przykład posortował dane w tabeli według oczekiwań użytkownika albo wysyłał nam powiadomienie, jeżeli danego dnia spędzimy przed ekranem więcej niż x minut.

Algorytmy uczenia maszynowego (machine learning), które często nazywamy sztuczną inteligencją (w skrócie SI lub z angielskiego AI – artificial intelligence), różnią się od „zwykłych” tym, że nie bazują jedynie na instrukcjach, które my dla nich zdefiniujemy. Uczą się one na podstawie dostarczanych im przez nas danych, na ich podstawie „samodzielnie” tworząc nowe reguły. „Samodzielnie” piszę w cudzysłowie, ponieważ to projektanci_tki i programiści_stki mają wpływ na to, w jaki sposób algorytmy będą się uczyć i przetwarzać informacje.

Życie to nie Terminator – pamiętajmy, że żaden algorytm, nawet samouczący się, nie żyje własnym życiem, nie ma świadomości, nie podejmuje sam decyzji, nie może być zły albo dobry w sensie moralnym. Sztuczna inteligencja działa wyłącznie na podstawie danych oraz instrukcji, które otrzyma od swoich twórców.

Sztuka konwersacji

Można by pomyśleć, że algorytmy uczenia maszynowego powinny być supermądre – są w stanie analizować gigantyczne wolumeny danych i wyciągać z nich wnioski, a do tego mogą to robić 24 godziny na dobę przez 7 dni w tygodniu, ponieważ nie muszą jeść, spać ani odpoczywać.

To, że rzeczywistość nie jest taka prosta, świetnie ilustruje historia stworzonego przez Microsoft bota Tay. Jego zadaniem było angażowanie się w rozmowy z użytkownikami Twittera i ćwiczenie w ten sposób sztuki konwersacji.

Po mniej niż 24 godzinach wymiany informacji z wszelkiej maści twitterowymi trollami i prowokatorami (przecież taki bot działa na nich jak lep na muchy!), początkowo przyjacielsko nastawione Tay zdążyło podzielić się na forum swoją miłością do Hitlera i nienawiścią do feministek, zanegować Holokaust oraz wyrazić pochlebne opinie na temat muru na granicy USA i Meksyku.

Z jednej strony można więc podziwiać tempo, w jakim bot przyswoił i „przerobił” niesamowitą ilość informacji. Jedynie kilka godzin nauki wystarczyło, żeby kompletnie zmienił swój sposób komunikacji i przyswoił sobie retorykę rodem z najpłytszych twitterowych mielizn.

Jednocześnie ten przykład jaskrawo pokazuje, jak zachowuje się źle zaprojektowany algorytm uczenia maszynowego w starciu z publicznymi danymi, nad którymi jego twórcy nie mają kontroli. Na domiar złego, najwyraźniej projektanci nie dali Tay wiedzy na temat wartości oraz zasad panujących w społeczeństwie – a to przecież podstawa udanej komunikacji (i supermądrości).

Sprawdź również tekst „Język trolla, czyli jak rozpoznać i walczyć z przemocą internetową”.

Trening nie zawsze czyni mistrza

Algorytm, zanim zostanie wypuszczony w świat i zacznie uczyć się w działaniu, trenuje na zestawach danych przygotowanych przez swoich twórców.

W 2014 roku Amazon postanowił stworzyć program, który sprawi, że rekrutacja do pracy w firmie będzie bardziej transparentna i sprawiedliwa – menedżerów miał zastąpić algorytm skanujący i oceniający CV kandydatów. Jako dane treningowe otrzymał on dane historyczne dotyczące rekrutacji do firmy. Na ich podstawie wysnuł między innymi wniosek, że w rekrutacji preferowani są mężczyźni – ponieważ do tamtej pory tak właśnie było. Zamiast odwrócić ten trend, algorytm dostosował się do toksycznej kultury firmy i ją wzmocnił.

Na szczęście Amazon zrezygnował z użycia programu już na etapie testów, ale wyobraź sobie, że nie zostałaś_eś przyjęta_y do pracy z powodu płci, i to nawet nie dlatego, że oceniał Was jakiś dziaders, ale (w teorii) sprawiedliwy algorytm.

Inny przykład: w 2015 roku programista Jacky Alciné skrytykował na Twitterze twórców aplikacji Google Photos, ponieważ apka, w oparciu o algorytm rozpoznawania obrazów, dodała do portretu jego dwojga czarnoskórych przyjaciół etykietę „goryle”. Prawdopodobnie w zestawach użytych do trenowania algorytmu służącego do generowania etykiet nie znalazły się zdjęcia osób czarnoskórych.

Firma Google przeprosiła i „rozwiązała” problem, usuwając etykietę „goryle” z aplikacji. Nie zmienia to jednak faktu, że z rozpoznawaniem osób o ciemniejszym kolorze skóry oraz kobiet algorytmy facial recognition radzą sobie dużo gorzej niż z rozpoznawaniem białych mężczyzn. O ile w aplikacji do tagowania i przechowywania zdjęć tego rodzaju pomyłki wywołują niesmak i sprawiają przykrość, to na przykład w oprogramowaniu używanym przez policję do identyfikacji sprawców, mogą doprowadzić do aresztowania, a nawet skazania niewinnej osoby.

Świetnie problem ten opisuje Caroline Criado Perez w rewelacyjnej książce Niewidzialne kobiety. Jak dane tworzą świat skrojony pod mężczyzn. W rozdziale „Uni­wer­sal­ny” zna­czy „dla męż­czyzn” przytacza ona przykłady zestawów treningowych przeróżnych algorytmów (w tym oprogramowania do rozpoznawania mowy) wraz z danymi na temat reprezentacji kobiet i mężczyzn. Oto jedna z opisywanych przez nią historii: „Ar­ty­kuł na por­ta­lu in­ter­ne­to­wym Au­to­blog przy­ta­cza hi­sto­rię ko­bie­ty, któ­ra ku­pi­ła for­da fo­cu­sa rocz­nik 2012, by ze zdu­mie­niem od­kryć, że je­go sys­tem roz­po­zna­wa­nia po­le­ceń gło­so­wych słu­cha tyl­ko jej mę­ża, na­wet gdy ten sie­dzi na fo­te­lu pa­sa­że­ra. In­na ko­bie­ta za­dzwo­ni­ła po po­moc do pro­du­cen­ta, kie­dy sys­tem ste­ro­wa­nia gło­so­we­go w jej bu­ic­ku nie ra­czył jej słu­chać: »Fa­cet od­parł bez że­na­dy, że nie ma szans, by dzia­łał. Po­ra­dzi­li mi, że­by ja­kiś męż­czy­zna mi go skon­fi­gu­ro­wał«. Za­raz po na­pi­sa­niu tych aka­pi­tów wsia­dłam z ma­mą do jej vo­lvo cross co­un­try i mo­głam za­ob­ser­wo­wać, jak bez­sku­tecz­nie pró­bu­je za po­mo­cą ste­ro­wa­nia gło­sem za­te­le­fo­no­wać do swo­jej sio­stry. Po pię­ciu nie­uda­nych pró­bach za­su­ge­ro­wa­łam, że­by po­wtó­rzy­ła to sa­mo niż­szym gło­sem. Sys­tem za­ła­pał bły­ska­wicz­nie”.

Złe wychowanie

Podsumowując, twórcom algorytmów zdarza się „zakodować” w nich swoje uprzedzenia czy doświadczenia (lub brak pewnych doświadczeń, takich jak bycie ofiarą rasizmu czy molestowania seksualnego). Mogą to robić na różne sposoby, między innymi:

• nie dając algorytmom wiedzy na temat tego, jakie zachowania są społecznie nieakceptowalne (bot Tay, Siri),
• trenując je na zestawach danych, które nie są zróżnicowane i nie są dobrym odzwierciedleniem interesów całego społeczeństwa, a jedynie pewnej grupy (na przykład algorytm do rozpoznawania zdjęć, który nie wie, że istnieją ludzie o kolorze skóry innym niż biały),
• udostępniając im dane historyczne, z których mogą wyciągnąć błędne wnioski (na przykład że mężczyźni są bardziej pożądanymi pracownikami niż kobiety).

Zła jakość danych, które otrzymał od swoich twórców dany algorytm, będzie wpływać na jego działanie. Jak mówi staropolskie przysłowie, czym skorupka za młodu nasiąknie, tym na starość trąci.

Feminizm na ratunek

Rozwój sztucznej inteligencji jest przedmiotem badań wielu naukowców, badaczy i artystów. Niezwykle ciekawą krytyczną perspektywę oferują badaczki feministyczne, między innymi Josie Young i dr Charlotte Webb, związane z organizacją Feminist Internet. Są one współautorkami (wraz z Alexem Fefegha) chatbota F’xa, który ma za zadanie uczyć użytkowników, czym jest algorytmiczne uprzedzenie oraz w jaki sposób z nim walczyć.

Sam bot powstał w oparciu o narzędzie Feminist Design Tool – zbiór pytań, które mają naprowadzić twórców na trop własnych uprzedzeń i kwestionować pewne „oczywiste” wybory. Jedno z pytań dotyczy nadawania programom komputerowym płci (gender): czy chatbot musi reprezentować jakąś płeć? a jeżeli nie, to jakie możliwości to otwiera?

W prezentacji TedX zatytułowanej Why we need to design feminist AI Josie Young przywołuje badania, według których 56% botów reprezentujących jakąś płeć to boty-kobiety (mają żeńskie imiona, używają żeńskich zaimków, mają wysoki głos). Boty, które reprezentują płeć żeńską, najczęściej wykonują zadania administracyjne czy asystenckie, podczas gdy boty „płci męskiej” mają zdolność analizowania skomplikowanych danych i doradzają w tematach takich jak prawo czy finanse.

Około 500 milionów ludzi na świecie używa Siri, wirtualnej asystentki stworzonej przez firmę Apple (tak, tej samej, która zarumieniłaby się, gdyby mogła, kiedy użytkownik ją obraża i atakuje). Liczba rozwiązań opartych o algorytmy sztucznej inteligencji, a także ich popularność wciąż będą rosły – dlatego właśnie jako feministki_niści musimy zwrócić uwagę na to pole, w którym stereotypy dotyczące płci czy dyskryminacja z powodu koloru skóry lub niepełnosprawności wciąż mają się bardzo dobrze.

Co możemy zrobić, jeżeli na co dzień nie pracujemy jako programistki_ści czy projektanci_tki? Przede wszystkim: edukować siebie i innych i bardziej świadomie korzystać z nowych technologii. Mam nadzieję, że to, że dobrnęłaś_nąłeś do końca tego artykułu, będzie pierwszym (lub kolejnym) krokiem w tym kierunku 🤖

Jeżeli zainteresował Cię temat sztucznej inteligencji i algorytmicznego uprzedzenia, polecam Twojej uwadze kurs Designing a Feminist Chatbot oraz artykuł Sztuczna inteligencja non-fiction przygotowany przez fundację Panoptykon.