Red teaming

Definicja robocza

Red teaming to zorganizowane atakowanie własnego systemu, planu albo modelu przez zespół, którego zadaniem jest myśleć jak przeciwnik i znaleźć to, czego projektanci nie przewidzieli. W wersji technicznej, przyjętej dla AI przez amerykańskie rozporządzenie wykonawcze z 2023 r. i przez laboratoria takie jak Anthropic czy DeepMind, oznacza ustrukturyzowane testowanie modelu w celu wykrycia wad i podatności, zwykle z udziałem jego twórców. W wersji potocznej słowo to oznacza każdą próbę „złamania” chatbota, od jailbreaków po wymuszanie obraźliwych odpowiedzi. Różnica jest istotna: pierwsza wersja ma cel, protokół i kryterium zakończenia, druga ma tylko zwycięstwo.

Geneza i rodowód

Praktyka wyrosła z gier wojennych, w których jedna strona odgrywa przeciwnika; kolor czerwony dla wroga i niebieski dla własnych sił utrwalił się w symulacjach prowadzonych dla wojska USA w czasie zimnej wojny, m.in. w RAND Corporation od lat 60. Drugą linią dziedziczenia jest analiza alternatywna w wywiadzie: po klęsce rozpoznania przed wojną Jom Kippur w 1973 r. izraelski wywiad wojskowy utworzył komórkę zobowiązaną do kontrariańskiej oceny, a po 11 września 2001 r. i wojnie w Iraku armia USA sformalizowała szkolenie zespołów czerwonych. Trzecią linią jest cyberbezpieczeństwo, gdzie red team symuluje realne włamanie, a blue team broni. Micah Zenko w książce z 2015 r. uporządkował te tradycje w trzy techniki: symulacje, próby penetracji i analizę alternatywną. W bezpieczeństwie uczenia maszynowego termin funkcjonował wcześniej (Microsoft utworzył zespół czerwony dla AI w 2018 r.), ale dla modeli językowych ugruntowały go w 2022 r. dwa teksty: Perez i współautorzy z DeepMind zautomatyzowali atak, każąc modelowi językowemu generować testy dla innego modelu, a Ganguli i zespół Anthropic opisali ataki prowadzone przez ludzi na modele o 2,7, 13 i 52 mld parametrów. Od tej pory pojęcie zostało w dużej mierze przechwycone przez przemysł AI i regulatorów jako etykieta procedury dopuszczającej model do użytku, co oddala je od pierwotnego sensu ćwiczenia w myśleniu krytycznym.

Rodowód środkowoeuropejski

Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej.

Dlaczego teraz

Między 2022 a 2025 r. red teaming przeszedł z laboratorium do prawa. W sierpniu 2023 r. na konferencji DEF CON 31 w Las Vegas odbył się publiczny Generative Red Team Challenge wspierany przez Biuro Polityki Naukowej Białego Domu, w którym uczestnicy wymienili ponad 164 tys. wiadomości z modelami ośmiu firm. 30 października 2023 r. rozporządzenie wykonawcze 14110 zdefiniowało „AI red-teaming” i nałożyło na twórców modeli podwójnego zastosowania obowiązek przekazywania rządowi wyników takich testów; w styczniu 2025 r. nowa administracja je uchyliła, ale definicja pozostała w obiegu. W Unii art. 55 AI Act wymaga od dostawców modeli ogólnego przeznaczenia z ryzykiem systemowym prowadzenia i dokumentowania testów adwersarialnych, z obowiązkami od 2 sierpnia 2025 r. Równolegle laboratoria publikują własne taksonomie (Anthropic w czerwcu 2024 r. wymienia testy ekspertów dziedzinowych, zagrożeń granicznych, wielojęzyczne, automatyczne i multimodalne), a w 2024 r. nagrodę za najlepszy artykuł na konferencji AIES dostała praca pytająca, czy to wszystko nie jest teatrem bezpieczeństwa. Pojęcie jest dziś potrzebne, bo stało się jedynym wspólnym językiem między inżynierami, prawnikami i hakerami.

Siła wyjaśniająca

Red teaming pozwala zobaczyć różnicę między „model przeszedł testy” a „model wytrzymał atak kogoś, kto chciał go złamać”. Zwykła ewaluacja mierzy zachowanie na rozkładzie danych, który wybrali twórcy; zespół czerwony przesuwa ten rozkład tam, gdzie twórcy nie patrzyli. Trzy przykłady. Po pierwsze, Perez i współautorzy znaleźli w chatbocie numery telefonów szpitali podawane jako własne dane kontaktowe i wycieki danych treningowych, czego żaden standardowy benchmark nie mierzył. Po drugie, zespół Anthropic zaobserwował, że modele po RLHF są coraz trudniejsze do złamania w miarę wzrostu, podczas gdy inne typy modeli nie wykazują takiego trendu; to empiryczny argument o tym, co trening z informacją zwrotną naprawdę kupuje. Po trzecie, w organizacjach poza AI metoda ujawnia założenia, których nikt nie zapisał: premortem Gary’ego Kleina każe zespołowi opowiedzieć, dlaczego projekt upadł, i wydobywa ryzyka, których lista „co może pójść źle” nie wywołuje.

Osie sporu

Niedoceniany kąt

Najstarsza wersja red teamingu nie testowała systemów, lecz ludzi, którzy podejmowali decyzje: izraelska komórka utworzona po wojnie 1973 r. i amerykańskie zespoły po Iraku miały podważać wnioski analityków, a nie szukać dziur w sprzęcie. Majumdar, Pendleton i Gupta zauważają, że red teaming AI zapomniał o tej warstwie i skupił się na modelu, podczas gdy większość szkód powstaje na poziomie decyzji o wdrożeniu, celu produktu i tego, kogo w ogóle dopuszczono do testów. Zespół czerwony, który potrafi złamać model, ale nie wolno mu zakwestionować, czy model powinien istnieć, wykonuje tylko połowę zadania. Wynik red teamingu jest poza tym zawsze zależny od tego, kto atakuje: zbiór ataków jest portretem zespołu, nie systemu.

W przekładzie

Polski termin jest nieustalony. W wojsku i cyberbezpieczeństwie używa się kalki „red teaming” albo „zespół czerwony” (tak w opisach ćwiczenia Locked Shields), w prawie unijnym pojawia się „testowanie adwersarialne”, które jest szersze i gubi element zespołu. „Testowanie przez łamanie” z listy serwisu dobrze oddaje sens, ale brzmi jak opis, nie nazwa. Zostajemy przy „red teamingu” jako terminie i „zespole czerwonym” jako nazwie podmiotu, a „testowanie adwersarialne” traktujemy jako kategorię nadrzędną.