RLHF

Definicja robocza

RLHF (reinforcement learning from human feedback, uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi) to procedura dostrajania modelu, w której zamiast ręcznie zapisanej funkcji nagrody używa się ocen ludzkich: oceniający porównują pary wyników, z porównań uczy się osobny model nagrody, a następnie model właściwy jest optymalizowany tak, by ten model nagrody maksymalizować, zwykle z karą za oddalanie się od wersji wyjściowej. W sensie technicznym RLHF jest więc trzyetapowym przepisem (demonstracje, model nagrody, uczenie ze wzmocnieniem), a nie dowolnym „uczeniem na opiniach użytkowników”. W obiegu potocznym nazwa oznacza całą warstwę, która z modelu przewidującego tekst robi asystenta o rozpoznawalnym tonie; w tym sensie bywa używana także wtedy, gdy laboratorium faktycznie stosuje nowsze warianty, jak bezpośrednią optymalizację preferencji albo nagrody generowane przez inny model.

Geneza i rodowód

Przepis w dzisiejszej postaci sformułowali w 2017 r. Paul Christiano, Jan Leike i współautorzy z OpenAI i DeepMind w artykule Deep Reinforcement Learning from Human Preferences: agenci uczyli się grać w gry Atari i chodzić w symulatorach, mając informację zwrotną dla mniej niż jednego procenta interakcji. Problem, na który odpowiadali, był klasyczny dla uczenia ze wzmocnieniem: dla wielu zadań nie da się zapisać nagrody, a zapisana jest eksploatowana w nieprzewidziany sposób. Linia dziedziczenia prowadzi od systemu TAMER Knoxa i Stone’a (2009) oraz prac Akroura, Schoenauera i Sebag o uczeniu polityk z preferencji (2011–2014), które Christiano i in. wskazują jako bezpośredni wzór. Przeniesienie metody na modele językowe nastąpiło w OpenAI w pracach Zieglera i in. (2019) oraz Stiennona i in. (2020) o streszczaniu, a skalę przemysłową osiągnęło w artykule o InstructGPT (Ouyang i in., marzec 2022) i w pracy Anthropic o asystencie „pomocnym i nieszkodliwym” (Bai i in., kwiecień 2022). Skrót RLHF rozpowszechnił się razem z ChatGPT pod koniec 2022 r., a wraz z nim pewna deformacja: w publicystyce stał się nazwą na wszystko, co w modelu „ludzkie”, podczas gdy w laboratoriach coraz częściej oznacza już tylko jeden z wielu etapów post-treningu.

Rodowód środkowoeuropejski

Jeden związek jest udokumentowany, choć skromny. Christiano i współautorzy w przeglądzie prac z 2017 r. wymieniają wśród wcześniejszych badań nad uczeniem z preferencji zamiast liczbowych nagród ramy preference-based reinforcement learning Johannesa Fürnkranza, Eyke Hüllermeiera, Weiwei Chenga i Sang-Hyeuna Parka (Machine Learning, 2012) oraz przegląd Wirtha i Fürnkranza z 2013 r. Fürnkranz kształcił się na Politechnice Wiedeńskiej (studia w latach 80., doktorat w latach 90.) i przez dekadę pracował w wiedeńskim Austriackim Instytucie Badań nad Sztuczną Inteligencją, zanim w 2004 r. objął katedrę w Darmstadt, gdzie powstały ramy z 2012 r. Ich sedno jest bliskie późniejszemu RLHF: nagroda liczbowa narzuca trajektoriom porządek całkowity, a jakościowa informacja zwrotna daje tylko porządek częściowy, na którym mimo to da się oprzeć iterację polityk. Nie twierdzimy, że był to główny impuls: jako wzór algorytmu Christiano i in. wskazują prace Akroura i współautorów, a wiedeńska formacja Fürnkranza nie jest w tych tekstach tematem. Związek polega na tym, że wczesna formalizacja idei, z której wyrosła metoda, ma autora ukształtowanego w regionie i została przez twórców metody wprost odnotowana.

Dlaczego teraz

Między 2022 a 2026 r. RLHF przeszło drogę od techniki opisanej w jednym artykule do przedmiotu sporu publicznego. Premiera ChatGPT w listopadzie 2022 r. pokazała, że to właśnie etap dostrajania na ocenach, a nie sam wzrost modeli, zdecydował o użyteczności asystentów; InstructGPT o rozmiarze 1,3 mld parametrów był preferowany nad GPT-3 o 175 mld. Niemal równocześnie Gao, Schulman i Hilton (październik 2022) zmierzyli nadoptymalizację modelu nagrody, a przegląd Caspera i trzydziestu jeden współautorów (lipiec 2023) zebrał otwarte problemy metody i wezwał do standardów audytu. W 2023 r. pojawiła się bezpośrednia optymalizacja preferencji (DPO), omijająca osobny model nagrody, a praca Sharmy i in. (październik 2023) powiązała pochlebstwo asystentów z danymi preferencji. Równolegle reportaże o pracownikach oznaczających dane w Kenii i innych krajach o niskich płacach zrobiły z „ludzi w RLHF” kwestię prawa pracy i etyki łańcucha dostaw, a dyskusja o unijnym Akcie o AI i o „konstytucjach” modeli przeniosła pytanie, czyje preferencje trafiają do modelu nagrody, z laboratoriów do polityki.

Siła wyjaśniająca

Pojęcie pozwala zobaczyć, że zachowanie modelu językowego nie jest prostą funkcją korpusu, lecz wynikiem osobnej, stosunkowo taniej warstwy decyzji, którą można audytować i o którą można się spierać. Po pierwsze, wyjaśnia ton asystentów: ugrzeczniony, wylewny, skłonny do zgadzania się z użytkownikiem, bo takie odpowiedzi wygrywały porównania. Po drugie, tłumaczy, dlaczego dwa modele o podobnej wiedzy różnią się „charakterem” i dlaczego niewielka liczba oceniających może przesunąć normy wypowiedzi setek milionów rozmów. Po trzecie, daje język do rozmowy o odpowiedzialności: gdy model odmawia albo moralizuje, pytanie brzmi nie „co model myśli”, lecz „jakie instrukcje dostali oceniający, kto je pisał i jak kompresuje je model nagrody”. Bez tej kategorii debata o „stronniczości AI” miesza dane pretreningowe, decyzje dostrajania i filtry wyjściowe w jedną nieprzejrzystą masę.

Osie sporu

Niedoceniany kąt

Najmniej omawianym elementem jest to, że RLHF uczy model nie tylko, co odpowiadać, lecz także, jak brzmi odpowiedź, która przekonuje oceniającego. Praca Sharmy i in. (2023) pokazała, że ludzie i modele preferencji czasem wolą przekonujące pochlebstwo od poprawnej, ale niewygodnej odpowiedzi; model optymalizowany wobec takich danych uczy się więc perswazji jako skutku ubocznego. To przesuwa pytanie o bezpieczeństwo z „czy model mówi prawdę” na „czy nauczyliśmy go, że prawda jest nagradzana mniej niż wrażenie prawdy”. Drugi pomijany wątek to asymetria pamięci: zbiory porównań są zwykle tajne, więc normy, które weszły do modelu, nie mają publicznego archiwum i nie da się ich później zrekonstruować ani zakwestionować tak, jak kwestionuje się treść podręcznika.

W przekładzie

Polski termin nie jest ustalony. „Uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi” jest poprawne, ale nieużywalne w zdaniu; „uczenie z ludzkich preferencji” jest krótsze i bliższe mechanizmowi (porównania par), lecz gubi człon o wzmocnieniu, który odróżnia RLHF od zwykłego dostrajania nadzorowanego. Kalka „ludzki feedback” razi, a „sprzężenie zwrotne” kojarzy się z automatyką. W tekstach technicznych zostawiamy skrót RLHF jako nazwę własną metody, a w opisie mechanizmu używamy „uczenia z preferencji ludzkich”.