Stronniczość algorytmiczna

Definicja robocza

Stronniczość algorytmiczna (algorithmic bias) to systematyczne, powtarzalne i niesprawiedliwe różnicowanie wyników systemu obliczeniowego na niekorzyść pewnych osób lub grup, niezależnie od intencji projektantów. Operacyjnie: nie chodzi o pojedynczy błąd ani o losowy szum, lecz o błąd, który ma kierunek i który koreluje z cechą chronioną albo z jej statystycznym zastępnikiem. Potocznie termin oznacza „algorytm jest rasistowski”; technicznie obejmuje trzy różne źródła: uprzedzenia zapisane w danych i celach, decyzje techniczne (dobór cech, miar, progów) oraz niedopasowanie systemu do kontekstu, w którym zaczęto go używać. Diagnoza wymaga wskazania, która z tych warstw zawiodła, bo każda ma inny środek zaradczy.

Geneza i rodowód

Pojęcie ma dwa życia. Pierwsze, akademickie i ciche, zaczęło się w 1996 r., gdy Batya Friedman i Helen Nissenbaum w „Bias in Computer Systems” zdefiniowały stronniczość systemu i podzieliły ją na uprzednią (preexisting), techniczną i wyłaniającą się (emergent), ilustrując to m.in. systemami rezerwacji lotniczych. Drugie, głośne, zaczęło się około 2014–2016 r. wraz z uczeniem maszynowym na wielką skalę: Solon Barocas i Andrew Selbst w „Big Data's Disparate Impact” (2016) pokazali, że eksploracja danych wytwarza skutek dyskryminujący bez niczyjej winy; reportaż ProPublica o systemie COMPAS (maj 2016) wywołał spór o samą definicję sprawiedliwego modelu; Cathy O'Neil (2016) i Safiya Noble (2018) przenieśli problem do debaty publicznej; audyt „Gender Shades” Joy Buolamwini i Timnit Gebru (2018) dał mu twarde liczby. Z tej fali wyrosła osobna dziedzina badań nad uczciwością, odpowiedzialnością i przejrzystością (konferencja FAccT) z własnymi twierdzeniami o niemożliwości pogodzenia różnych miar uczciwości. Obieg publicystyczny przechwycił termin jako synonim „algorytm dyskryminuje”, gubiąc rozróżnienie warstw i kwestię, że część stronniczości jest wierną reprezentacją stronniczego świata.

Rodowód środkowoeuropejski

Polska dostarczyła jednego z wcześniejszych europejskich studiów przypadku stronniczości w decyzjach zautomatyzowanych sektora publicznego. Od maja 2014 r. urzędy pracy przydzielały bezrobotnych do trzech profili pomocy na podstawie 24 cech i punktowanego wywiadu komputerowego; profil III, obejmujący około 30% zarejestrowanych, w praktyce oznaczał niewiele wsparcia. Fundacja Panoptykon wydobyła pytania i reguły punktacji w trybie dostępu do informacji publicznej, częściowo drogą sądową, a w październiku 2015 r. Jędrzej Niklas, Karolina Sztandar-Sztanderska i Katarzyna Szymielewicz opublikowali raport o nieprzejrzystości i dyskryminującym charakterze systemu. 6 czerwca 2018 r. Trybunał Konstytucyjny, na wniosek Rzecznika Praw Obywatelskich, orzekł (K 53/16), że zakres zbieranych danych nie może być określany rozporządzeniem; rząd zamiast przenosić reguły do ustawy zlikwidował profilowanie do końca 2019 r. Przypadek trafił do międzynarodowej literatury, m.in. do raportu AlgorithmWatch „Automating Society” (2019).

Dlaczego teraz

Trzy ciągi zdarzeń z lat 2018–2026 zrobiły z pojęcia narzędzie regulacyjne. Po pierwsze, audyty: po „Gender Shades” (2018) IBM, Microsoft i Amazon wstrzymały lub ograniczyły w 2020 r. sprzedaż rozpoznawania twarzy policji, a afera z holenderskim systemem wykrywania nadużyć w dodatkach na opiekę nad dziećmi (toeslagenaffaire) doprowadziła w styczniu 2021 r. do dymisji rządu Rutte. Po drugie, regulacja: unijny AI Act, przyjęty w 2024 r., klasyfikuje systemy rekrutacji, kredytu, pomocy społecznej i policji jako wysokiego ryzyka i wymaga badania stronniczości danych; w Stanach Zjednoczonych nowojorski Local Law 144 (od 2023 r.) nakazuje audyty narzędzi rekrutacyjnych. Po trzecie, modele generatywne: od 2022 r. pytanie o stronniczość przeniosło się z klasyfikatorów na modele językowe i obrazowe, gdzie uprzedzenie nie jest już odsetkiem błędnych decyzji, lecz stylem odpowiedzi, doborem obrazów i tym, czyj głos model uznaje za domyślny.

Siła wyjaśniająca

Pojęcie pozwala zobaczyć dyskryminację bez dyskryminującego. Klasyczne prawo szuka intencji; tu nie ma jej nigdzie, a skutek jest. Trzy zastosowania. Zmienne zastępcze: model kredytowy bez pola „rasa” odtwarza ją z kodu pocztowego, bo historia segregacji mieszkaniowej jest zapisana w geografii. Pętle sprzężenia zwrotnego: predykcyjna policja kieruje patrole tam, gdzie w przeszłości było więcej aresztowań, aresztowania rosną tam, gdzie są patrole, a model dostaje „potwierdzenie”. Niemożliwość: po sporze o COMPAS pokazano formalnie, że gdy bazowe częstości różnią się między grupami, nie da się jednocześnie mieć równej kalibracji i równych wskaźników fałszywych alarmów; wybór miary uczciwości jest decyzją polityczną, którą trzeba podjąć jawnie, a nie zostawić domyślnym ustawieniom biblioteki.

Osie sporu

Niedoceniany kąt

Najmniej omawiana jest trzecia kategoria Friedman i Nissenbaum: stronniczość wyłaniająca się w użyciu. Debata skupia się na danych treningowych i rzadziej na tym, że model trafia do kontekstu, dla którego go nie zaprojektowano: narzędzie oceny ryzyka kalibrowane na jednej populacji wdraża się w innej, system z 2014 r. działa w 2019 r. na zmienionym rynku pracy, a użytkownicy, urzędnicy czy sędziowie, czytają wynik inaczej, niż zakładali twórcy. Polskie profilowanie bezrobotnych jest tu pouczające: spór o nie toczył się o zakres danych i podstawę prawną, a nie o to, co urzędnik robił z profilem na co dzień. Stronniczość powstaje w interakcji człowieka z systemem, a nie tylko w macierzy wag, i dlatego audyt modelu bez audytu praktyki jego użycia jest w połowie ślepy.

W przekładzie

Polski termin jest nieustalony. „Stronniczość algorytmiczna” oddaje systematyczny kierunek błędu i unika psychologizacji, ale brzmi słabiej niż oryginał. „Uprzedzenia algorytmiczne” są żywsze i częstsze w publicystyce, lecz przypisują maszynie postawę, której nie ma, i zacierają warstwę techniczną. „Dyskryminacja algorytmiczna” jest terminem prawnym i opisuje skutek, nie mechanizm. „Błąd systematyczny”, choć poprawny statystycznie, gubi element niesprawiedliwości, który u Friedman i Nissenbaum jest konstytutywny. Wybieramy „stronniczość”, z „uprzedzeniami” jako wariantem potocznym.