RAG

Definicja robocza

RAG (retrieval-augmented generation, generowanie wspomagane wyszukiwaniem) to układ, w którym model językowy nie odpowiada wyłącznie z tego, co ma zapisane w wagach, lecz najpierw dostaje fragmenty dokumentów wyszukane dla danego pytania i dopiero na ich podstawie generuje tekst. Rozdziela więc dwie rzeczy, które w czystym modelu są zlepione: umiejętność pisania i zasób faktów. W sensie technicznym (Lewis i in., 2020) RAG to konkretna architektura z gęstym indeksem wektorowym i wspólnym treningiem wyszukiwacza oraz generatora; w sensie potocznym, od 2023 r., to każda rura „wyszukaj, wklej do promptu, odpowiedz”. Rozróżnienie ma znaczenie, bo większość wdrożeń to wersja potoczna, a większość obietnic pochodzi z wersji technicznej.

Geneza i rodowód

Nazwę wprowadził zespół Facebook AI Research i University College London w artykule z maja 2020 r. (NeurIPS 2020). Problem, na który odpowiadał, zdiagnozowano rok wcześniej w tym samym środowisku: praca „Language Models as Knowledge Bases?” (Petroni i in., 2019) pokazała, że modele typu BERT „pamiętają” sporo faktów, ale nie da się tej pamięci ani zaktualizować, ani sprawdzić, ani rozszerzyć bez ponownego treningu. Dwie linie dziedziczenia zbiegły się w 2020 r.: otwarte odpowiadanie na pytania z gęstym wyszukiwaniem (DPR Karpukhina i in., kwiecień 2020) oraz, w Google, REALM Guu i in. (luty 2020), które wyszukiwarkę wbudowało już w pretrening. RAG Lewisa i in. dał tej rodzinie nazwę i prosty przepis: pamięć parametryczna (seq2seq BART) plus pamięć nieparametryczna (indeks Wikipedii). Kolejne kroki to RETRO DeepMind (grudzień 2021), gdzie wyszukiwanie z korpusu bilionów tokenów zastąpiło część parametrów, oraz przechwycenie terminu przez przemysł w 2023 r., kiedy „RAG” zaczął oznaczać dowolne podłączenie bazy wektorowej do modelu czatowego, bez wspólnego treningu i często bez wektorów uczonych na zadaniu.

Rodowód środkowoeuropejski

Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej.

Dlaczego teraz

Trzy rzeczy zdarzyły się między 2022 a 2024 r. Po pierwsze, ChatGPT (listopad 2022) uczynił konfabulację modeli problemem publicznym: sprawy sądowe z fikcyjnymi orzeczeniami cytowanymi przez prawników w USA w 2023 r. pokazały, że model bez źródła jest w pracy zawodowej bezużyteczny. Po drugie, firmy chciały używać modeli na własnych dokumentach, a dostrajanie wag na poufnych danych było drogie, powolne i nie dawało śledzenia pochodzenia odpowiedzi; RAG obiecał to samo za cenę indeksu. Po trzecie, pojawiła się infrastruktura: bazy wektorowe, biblioteki typu LangChain i LlamaIndex (2022–2023), a dostawcy modeli dodali wyszukiwanie w sieci jako funkcję produktu. Równolegle rośnie kontrargument: okna kontekstu rzędu setek tysięcy i milionów tokenów (2024) pozwalają po prostu wkleić całą dokumentację, a prace takie jak „Lost in the Middle” (lipiec 2023) pokazują, że ani jedno, ani drugie nie działa tak czysto, jak sugeruje marketing.

Siła wyjaśniająca

Pojęcie każe rozdzielić trzy pytania, które w rozmowach o „AI, która zmyśla” zwykle się zlewają: czy model umie pisać, czy ma dostęp do właściwych faktów i czy potrafi z dostępnych faktów skorzystać. Przykład pierwszy: asystent prawny odpowiada błędnie, choć ma ustawę w indeksie — RAG pozwala sprawdzić, czy zawiódł wyszukiwacz (nie znalazł artykułu), czy generator (znalazł, lecz zignorował), a to dwa różne remonty. Przykład drugi: dział obsługi klienta chce, by bot mówił tylko to, co jest w regulaminie; RAG daje mechanizm cytowania, więc każdą odpowiedź można rozliczyć z dokumentu, z którego pochodzi, i wyłączyć wiedzę „z głowy” modelu. Przykład trzeci: aktualizacja wiedzy. Zmiana jednego akapitu w indeksie zmienia odpowiedzi od zaraz, bez treningu, co pokazuje, że „wiedza modelu” jest kategorią zbyt grubą: część wiedzy powinna siedzieć w wagach, część w bazie, i to decyzja projektowa, nie własność technologii.

Osie sporu

Niedoceniany kąt

RAG przenosi decyzję epistemiczną z modelu na wyszukiwarkę, a więc na ranking, i tu dzieje się to, co w dyskusji najmniej widać. Odpowiedź z cytatem wygląda jak uzasadnienie, lecz o tym, które pięć fragmentów z miliona model w ogóle zobaczył, zdecydowała miara podobieństwa wektorów, podział dokumentów na kawałki i próg odcięcia; żaden z tych wyborów nie jest widoczny dla użytkownika, a każdy z nich jest polityką redakcyjną. Firma, która wdraża RAG, nieświadomie projektuje kanon: co jest „źródłem”, co się indeksuje, w jakiej wersji i z jaką wagą. Spory o stronniczość modeli dotyczą wag; spory o stronniczość RAG powinny dotyczyć indeksu i tego, kto ma do niego klucz. To przybliża RAG raczej do historii bibliotek i katalogów niż do historii sieci neuronowych — i tłumaczy, dlaczego inżynierowie wyszukiwania z lat 2000., nie badacze głębokiego uczenia, okazali się w 2023 r. najbardziej poszukiwanymi specjalistami.

W przekładzie

Polski termin nie jest ustalony. W branży mówi się „RAG” i „ragować”; w tekstach pojawia się „generowanie wspomagane wyszukiwaniem”, „generacja z wyszukiwaniem”, „generowanie rozszerzone o wyszukiwanie” i kalka „generacja wzbogacona o pobieranie”. „Pobieranie” gubi sens retrieval (wyszukiwanie, nie ściąganie), „wzbogacona” brzmi reklamowo. Wybieramy skrót „RAG” jako hasło i „generowanie wspomagane wyszukiwaniem” jako rozwinięcie przy pierwszym użyciu; opisowe „model z pamięcią zewnętrzną” jest dobre w zdaniu, ale nie jako termin.