Model collapse

Definicja robocza

Zapaść modelu (model collapse) to degeneracja kolejnych generacji modeli generatywnych, które uczą się na danych wytworzonych przez swoich poprzedników: najpierw znikają rzadkie przypadki z ogonów rozkładu, a potem model traci wariancję, miesza pojęcia i zbiega do ubogiej, zniekształconej wersji rzeczywistości. Mechanizm nie wymaga błędu w architekturze; wystarczy skończona próbka, przybliżenie funkcji i powtarzanie cyklu, by błędy kumulowały się jak w błądzeniu losowym. W wersji technicznej pojęcie opisuje konkretną własność statystyczną estymatorów trenowanych rekurencyjnie; w wersji potocznej oznacza każdą obawę, że „AI karmiona AI zgłupieje”. Odróżnienie obu wersji jest warunkiem sensownej rozmowy, bo wyniki empiryczne silnie zależą od tego, czy dane syntetyczne zastępują dane ludzkie, czy są do nich dokładane.

Geneza i rodowód

Termin ukuli Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot i Ross Anderson w preprincie The Curse of Recursion z 27 maja 2023 r., powstałym na styku Cambridge, Oksfordu i Toronto, w środowisku bezpieczeństwa uczenia maszynowego, a nie w nurcie rozwoju modeli. Recenzowana wersja ukazała się w „Nature” 24 lipca 2024 r. pod tytułem AI models collapse when trained on recursively generated data i to ona nadała pojęciu obieg poza branżą. Niezależnie, w lipcu 2023 r., grupa Richarda Baraniuka z Rice University opisała dla modeli obrazów to samo zjawisko jako model autophagy disorder (MAD), przez analogię do choroby szalonych krów; w publicystyce krąży też nazwa „Habsburg AI”, nawiązująca do dynastycznego chowu wsobnego. Linia dziedziczenia prowadzi od klasycznej statystyki (błąd próbkowania, regresja do średniej, utrata ogonów rozkładu przy kolejnych estymacjach) i od badań nad bezpieczeństwem danych, gdzie zatrucie zbioru treningowego było od lat znanym wektorem ataku. Pojęcie szybko przechwyciła debata publiczna o „końcu internetu” i o tym, czy wielkim laboratoriom skończą się dane; w tym obiegu bywa używane jako prognoza nieuchronnej degradacji, czego oryginalne prace nie twierdzą.

Rodowód środkowoeuropejski

Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej.

Dlaczego teraz

Trzy procesy z lat 2022–2026 zbiegły się w czasie. Po pierwsze, po premierze ChatGPT (listopad 2022) udział tekstu generowanego maszynowo w otwartej sieci zaczął rosnąć tak szybko, że każdy kolejny zrzut Common Crawl zawiera więcej treści wytworzonych przez modele; laboratoria stanęły przed pytaniem, czy dane sprzed 2022 r. nie staną się „niskotłową stalą” uczenia maszynowego, czyli zasobem nieodtwarzalnym. Po drugie, publikacja w „Nature” w lipcu 2024 r. przeniosła spór z arXiv do mediów głównego nurtu i do dokumentów regulacyjnych, w których zapaść pojawia się jako argument za znakowaniem treści i śledzeniem pochodzenia danych. Po trzecie, równolegle rozwinęła się praktyka celowego treningu na danych syntetycznych — od destylacji modeli po generowanie zadań matematycznych i kodu — która dała wyniki przeczące prostemu odczytaniu tezy o zapaści: w kwietniu 2024 r. Gerstgrasser i współautorzy pokazali, że przy dokładaniu danych syntetycznych do rzeczywistych błąd pozostaje ograniczony, a Dohmatob, Feng i Kempe opisali zapaść jako zmianę praw skalowania, nie katastrofę. Pojęcie stało się więc potrzebne nie dlatego, że przyszłość przesądzono, lecz dlatego, że bez niego nie da się nazwać stawki sporu o to, jakie dane będą napędzać modele po 2025 r.

Siła wyjaśniająca

Pojęcie pokazuje, że jakość modelu jest własnością całego ekosystemu danych, a nie pojedynczego systemu. Pierwszy przykład: w zapaści wczesnej model traci najpierw rzadkie przypadki, podczas gdy średnie metryki mogą się poprawiać; to tłumaczy, dlaczego kolejne generacje modeli bywają gładsze i bardziej jednolite stylistycznie, a jednocześnie gorzej radzą sobie z dialektami, rzadkimi językami i nietypowymi układami faktów — czyli z tym, co dotyczy mniejszości i marginesów. Drugi przykład: argument o „przewadze pierwszego gracza” z oryginalnego preprintu wyjaśnia strategię firm, które zbierają dane z interakcji ludzi z własnymi modelami i zamykają je przed konkurencją; dostęp do ludzkich danych sprzed zalewu staje się aktywem strategicznym, a nie tylko technicznym. Trzeci przykład: rama zapaści pozwala czytać rynek licencji na archiwa prasowe, fora i repozytoria kodu z lat 2023–2025 jako wyścig o rezerwuar treści, co do których wiadomo, że pisał je człowiek.

Osie sporu

Niedoceniany kąt

Najmniej omawiana jest asymetria strat: zapaść wczesna wymazuje najpierw ogony rozkładu, a ogony to mniejszości językowe, lokalne realia, rzadkie choroby, niszowe tradycje prawne. Model, który w metrykach ogólnych wydaje się lepszy, może jednocześnie tracić zdolność opisu Polski spoza Warszawy, słowackiej ortografii prawniczej czy rumuńskiej odmiany historycznej. Innymi słowy, degradacja nie rozkłada się równo: płacą za nią ci, których reprezentacja w danych była od początku najcieńsza, i nikt nie zobaczy tego w średniej. Drugi pomijany wątek dotyczy ludzi, nie modeli: jeśli coraz więcej tekstów czytanych przez ludzi powstaje maszynowo, to także ludzki rozkład stylów, metafor i argumentów zaczyna uczyć się z wyjścia modeli. Zapaść może więc być zjawiskiem dwustronnym — pętlą między korpusem a kulturą — a nie tylko kłopotem inżynierów.

W przekładzie

Polski termin nie jest ustalony. „Kolaps modelu” to kalka, która brzmi klinicznie i myli się z zapaścią w sensie medycznym, choć właśnie ta konotacja oddaje stopniowy charakter procesu. „Załamanie modelu” sugeruje zdarzenie nagłe, czego oryginał nie zakłada. „Degeneracja modelu” jest bliska treści, ale gubi związek z angielską literaturą i z metaforą zapadania się rozkładu w jeden punkt. Proponujemy „zapaść modelu” jako termin polski, z angielskim model collapse w nawiasie przy pierwszym użyciu; „zapaść” oddaje zarówno proces, jak i jego końcowy stan, i nie udaje, że mówimy o awarii.