LLM

Definicja robocza

Wielkoskalowy model językowy (large language model, LLM) to sieć neuronowa, zwykle o architekturze Transformer, wytrenowana na setkach miliardów lub bilionach tokenów tekstu wyłącznie na zadaniu przewidywania kolejnego fragmentu ciągu, przy liczbie parametrów rzędu miliardów i więcej. Jego cechą definicyjną nie jest „inteligencja”, lecz to, że z jednego, uniwersalnego celu treningowego wyłaniają się umiejętności, których nikt wprost nie programował: tłumaczenie, streszczanie, pisanie kodu, rozwiązywanie zadań z instrukcji podanej w promptcie. W użyciu potocznym termin oznacza produkt czatowy (ChatGPT, Claude, Gemini), czyli model bazowy po dostrojeniu i obudowaniu narzędziami; w użyciu technicznym oznacza sam przewidywacz tokenów. Rozmowa o granicach LLM wymaga ciągłego rozróżniania tych dwóch znaczeń.

Geneza i rodowód

Linia dziedziczenia jest statystyczna, nie logiczna. Claude Shannon w 1948 r. pokazał serię przybliżeń angielszczyzny opartych na częstościach liter i słów; modele n-gramowe rządziły potem rozpoznawaniem mowy i tłumaczeniem maszynowym przez kilka dekad. Sieci neuronowe weszły do modelowania języka stopniowo (Bengio i in. 2003; rekurencyjne modele języka około 2010 r.; wektory słów word2vec 2013). Przełom techniczny przyniósł Transformer (Vaswani i in. 2017), który zastąpił rekurencję mechanizmem uwagi i pozwolił równolegle trenować na ogromnych korpusach. Seria GPT w OpenAI (2018–2020) połączyła to z prostą obserwacją: skalowanie parametrów, danych i obliczeń daje przewidywalne zyski. Artykuł o GPT-3, „Language Models are Few-Shot Learners” (Brown i in., maj 2020), jest kanonicznym sformułowaniem, bo nadał terminowi dzisiejszą treść: model tak duży, że uczy się zadań z paru przykładów w promptcie, bez dostrajania. Pojęcie zostało następnie przechwycone przez obieg produktowy i marketingowy, w którym „LLM” znaczy tyle co „chatbot”, a przez obieg polityczny, w którym bywa skrótem całego sporu o AI.

Rodowód środkowoeuropejski

Jeden związek jest udokumentowany bez naciągania. Tomáš Mikolov, doktorant Politechniki w Brnie (VUT), ogłosił w 2010 r. na konferencji Interspeech rekurencyjny neuronowy model języka, który pokonał modele n-gramowe w przewidywaniu tekstu i rozpoznawaniu mowy; w 2012 r. obronił tam rozprawę „Statistical Language Models Based on Neural Networks” pod kierunkiem Jana Černockiego. Dopiero po doktoracie, w Google, stworzył word2vec (2013). Artykuł o GPT-3 opisuje własny rodowód w pierwszym akapicie wstępu, począwszy od „jednowarstwowych reprezentacji uczonych jako wektory słów”, i w tym miejscu cytuje właśnie pracę Mikolova, Chena, Corrado i Deana. Związek jest zatem formacyjny: autor cytowanego przez twórców GPT-3 narzędzia nauczył się fachu i zaczął neuronowe modelowanie języka w Brnie, choć sam cytowany tekst powstał już w Kalifornii. Brneńskiej pracy z 2010 r. autorzy GPT-3 nie cytują. Inne kandydatury nie spełniają kryteriów: Frederick Jelinek, pionier statystycznego rozpoznawania mowy, urodził się w Kladnie, lecz kształcił się już w Stanach Zjednoczonych; Łukasz Kaiser, współautor Transformera, habilitował się we Wrocławiu, ale jego droga do architektury z 2017 r. zaczęła się w Google Brain, a nie w regionie, i tego wątku nie badaliśmy dalej.

Dlaczego teraz

Termin wszedł do języka publicznego w trzech krokach. GPT-3 (2020) pokazał specjalistom, że skalowanie działa; raport Stanfordu o „modelach bazowych” (2021) nazwał nowy ekosystem; ChatGPT (30 listopada 2022) zamienił model w produkt masowy, który w kilka miesięcy zdobył setki milionów użytkowników. Od 2023 r. każdy kwartał przynosi nowe generacje (GPT-4, Claude, Gemini, Llama, modele chińskie), a wraz z nimi spory o prawa autorskie do danych treningowych (pozwy wydawców i autorów od 2023 r.), o koszty energetyczne centrów danych, o regulację (unijny AI Act, przyjęty w 2024 r., wyróżnia modele ogólnego przeznaczenia) i o wpływ na rynek pracy. Równolegle narasta kontrowersja naukowa: czy miary „zdolności emergentnych” mierzą coś realnego, czy artefakty skal, i czy ocenianie modeli testami pisanymi dla ludzi ma sens, skoro testy mogły trafić do korpusu treningowego.

Siła wyjaśniająca

Pojęcie pozwala oddzielić to, co model robi dosłownie, od tego, co mu przypisujemy. Po pierwsze, tłumaczy halucynacje jako skutek celu treningowego, a nie usterkę: system optymalizuje prawdopodobieństwo ciągu, więc płynna nieprawda jest dla niego tym samym co płynna prawda, dopóki dane nie różnicują obu. Po drugie, wyjaśnia, dlaczego ten sam model raz imponuje, raz zawodzi na pozornie prostszym zadaniu: jakość odpowiedzi zależy od rozkładu podobnych sekwencji w korpusie, nie od „trudności” w ludzkim sensie. Po trzecie, pokazuje ekonomię polityczną sektora: skoro jakość rośnie z obliczeniami i danymi, przewagę mają podmioty z dostępem do kapitału, chipów i korpusów, a reszta świata zostaje konsumentem lub dostrajaczem cudzych modeli. Bez pojęcia widać produkt; z pojęciem widać silnik i jego ograniczenia.

Osie sporu

Niedoceniany kąt

Najmniej dyskutowaną własnością LLM jest to, że model jest kompresją określonego korpusu, a więc określonego momentu historycznego i określonego rozkładu języków. Ponad połowa tekstu treningowego to angielszczyzna z internetu lat 2010–2023; języki o kilkudziesięciu milionach użytkowników, w tym polski, czeski czy węgierski, są reprezentowane ułamkowo, a ich literatura sprzed epoki cyfrowej prawie wcale. Efekt nie polega na tym, że model „gorzej mówi po polsku”, lecz na tym, że jego domyślne kategorie, przykłady i intuicje moralne są kategoriami anglojęzycznego internetu, a użytkownik dostaje je w gładkiej polszczyźnie, bez etykiety pochodzenia. Dla regionu, w którym tłumaczenie i zapożyczanie pojęć było przez stulecia głównym trybem uczestnictwa w kulturze, jest to stara sytuacja w nowej skali.

W przekładzie

Polski termin nie jest ustalony. „Duży model językowy” jest kalką najczęstszą w mediach i w dokumentach urzędowych, ale „duży” brzmi potocznie i nie oddaje tego, że chodzi o skalę jako zasadę konstrukcyjną. „Wielkoskalowy model językowy” lepiej nazywa mechanizm, lecz jest dłuższy i rzadszy. „Wielki model językowy” miesza wielkość z rangą. W praktyce branżowej dominuje skrót LLM, nieodmienny i czytany po angielsku. Serwis używa skrótu w tytule, a w tekście „wielkoskalowego modelu językowego”, przyjmując koszt długości za precyzję.