Transformer

Definicja robocza

Transformer to architektura sieci neuronowej do przetwarzania sekwencji, w której każdy element (token) wyznacza swoją reprezentację, „patrząc” na wszystkie pozostałe elementy naraz za pomocą ważonej uwagi (self-attention), zamiast odczytywać je po kolei, jak sieci rekurencyjne. Wagi uwagi są obliczane z danych (zapytania, klucze, wartości), więc model sam uczy się, które odległe fragmenty wejścia są dla siebie istotne. Techniczne znaczenie terminu to konkretny układ bloków: wielogłowicowa uwaga, warstwy liniowe, normalizacja i kodowanie pozycji. W użyciu potocznym „transformer” stał się synonimem całej generatywnej AI, co zaciera fakt, że chodzi o jeden, wymienny w zasadzie, element inżynieryjny.

Geneza i rodowód

Artykuł „Attention Is All You Need” ośmiorga badaczy Google (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin) ukazał się jako preprint 12 czerwca 2017 r. i został przedstawiony na konferencji NIPS 2017. Powstał z problemu praktycznego: sieci rekurencyjne (LSTM) w tłumaczeniu maszynowym przetwarzały słowa po kolei, więc źle wykorzystywały równoległe procesory graficzne i gubiły dalekie zależności. Linia dziedziczenia jest krótka i czytelna: modele enkoder-dekoder z 2014 r. (Sutskever, Vinyals, Le; Cho i in.), mechanizm uwagi Bahdanaua, Cho i Bengio z września 2014 r., jego warianty Luonga, Phama i Manninga z 2015 r. oraz pomysł Uszkoreita, by rekurencję w ogóle usunąć. Nota o wkładzie w artykule mówi, że kolejność autorów jest losowa, ale przypisuje poszczególnym osobom różne role, w tym Shazeerowi uwagę skalowaną i wielogłowicową. Później pojęcie rozszczepiło się: BERT (październik 2018 r.) wziął enkoder, seria GPT dekoder, Vision Transformer (2020 r.) przeniósł architekturę na obrazy. Równolegle Jürgen Schmidhuber dowodzi, że jego „szybkie wagi” z 1992 r. były pierwszym, liniowym transformerem — spór o pierwszeństwo, który sam stał się częścią rodowodu.

Rodowód środkowoeuropejski

Dwoje z ośmiu równorzędnych współautorów artykułu z 2017 r. ukształtowało się w regionie, a trzecia osoba z regionu stoi za pracą, którą ten artykuł wprost cytuje. Łukasz Kaiser (ur. 1981 we Wrocławiu) ukończył informatykę w Instytucie Informatyki Uniwersytetu Wrocławskiego, doktoryzował się z logiki i gier dla struktur automatycznych w RWTH Aachen (2008), a w 2013 r. habilitował się na Uniwersytecie Wrocławskim; w tym samym roku dołączył do Google Brain. Według noty o wkładzie to on z Aidanem Gomezem zbudował bibliotekę tensor2tensor, która zastąpiła wcześniejszy kod zespołu i „masowo przyspieszyła” badania. Illia Polosukhin, który razem z Vaswanim zaprojektował i zaimplementował pierwsze modele Transformer, studiował w Charkowskim Instytucie Politechnicznym w latach 2008–2013, co podaje biogram na stronie tamtejszej katedry; strona nie precyzuje kierunku ani stopnia. Trzeci wątek to Dzmitry Bahdanau: absolwent liceum i Wydziału Matematyki Stosowanej i Informatyki Białoruskiego Uniwersytetu Państwowego w Mińsku, pierwszy autor artykułu z 2014 r., który wprowadził miękką uwagę do tłumaczenia maszynowego. Pracę tę wykonał już poza regionem (Brema, Montreal), a Transformer cytuje ją jako pozycję [2] w zdaniu otwierającym wątek uwagi. Żaden z tych faktów nie czyni architektury „środkowoeuropejską”: artykuł powstał w Google w Kalifornii, w zespole ośmiu osób z czterech kontynentów. Pokazuje natomiast, że szkoły informatyczne Wrocławia, Charkowa i Mińska, nastawione na olimpiady i matematykę dyskretną, zasiliły jeden z najważniejszych tekstów dekady.

Dlaczego teraz

Między 2018 a 2026 r. architektura z artykułu o tłumaczeniu maszynowym stała się substratem niemal całej generatywnej AI. BERT (2018) zmienił wyszukiwarkę Google; GPT-3 (maj 2020 r.) pokazał uczenie z kilku przykładów w promptcie; artykuł o prawach skalowania (styczeń 2020 r.) uzasadnił wyścig na parametry i obliczenia; ChatGPT (listopad 2022 r.) przeniósł dekoderowy Transformer do kultury masowej. Cytowania artykułu z 2017 r. przekroczyły ćwierć miliona, co plasuje go wśród najczęściej cytowanych tekstów stulecia. Jednocześnie od 2023 r. wraca pytanie, czy to już koniec tej linii: Mamba i modele przestrzeni stanów (grudzień 2023 r.) atakują kwadratowy koszt uwagi względem długości kontekstu, a prace nad „długim kontekstem” (w OpenAI kierował nimi Kaiser) zamieniają granicę architektury w granicę pamięci i energii. Pojęcie jest potrzebne, bo bez niego spory o skalę, emergencję, halucynacje i koszt środowiskowy AI toczą się o „modele” w ogóle, zamiast o konkretny mechanizm, który je ogranicza.

Siła wyjaśniająca

Pojęcie pozwala widzieć, że zdolności dzisiejszych modeli są własnościami konkretnego układu obliczeń, a nie „inteligencji” jako takiej. Trzy zastosowania. Po pierwsze, limit kontekstu: skoro każdy token patrzy na każdy, koszt rośnie z kwadratem długości, więc „okno” modelu jest cechą architektury, a nie decyzją marketingową; to tłumaczy, dlaczego rozszerzanie kontekstu było przez lata osobną specjalnością badawczą. Po drugie, uczenie w kontekście: interpretowalność mechanistyczna pokazała w 2021 r., że głowice uwagi tworzą obwody (np. głowice indukcyjne), które kopiują wzorce z promptu — zachowanie wyglądające na „rozumienie” ma czytelną implementację. Po trzecie, przenośność: ten sam blok uwagi działa na słowach, fragmentach obrazu, nukleotydach i ruchach robota, co wyjaśnia, dlaczego jedna architektura wchłonęła tak wiele dziedzin i dlaczego konkurencja między laboratoriami przeniosła się z pomysłów na dane i moc obliczeniową.

Osie sporu

Niedoceniany kąt

Najmniej omawiana jest socjologia powstania pojęcia: nota o wkładzie w artykule z 2017 r. to rzadki w informatyce dokument rozdzielający zasługi w zespole ośmiu osób, który jednocześnie deklaruje „równy wkład” i losową kolejność. Ta podwójność — kolektyw i rozpisane role — ukształtowała późniejszą mitologię: prasa opowiada o „ośmiorgu, którzy wymyślili nowoczesną AI”, a wszyscy odeszli z Google, by zakładać własne firmy. Historia Transformera jest więc także historią tego, jak wielka korporacja oddała za darmo swój najcenniejszy pomysł, a następnie straciła wszystkich jego autorów; otwarta publikacja i mobilność badaczy okazały się mechanizmem dyfuzji ważniejszym niż patenty. Dla Europy Środkowej lekcja jest konkretna: udział w kanonie nie bierze się z instytucji, lecz z ludzi, których instytucje regionu wykształciły, a potem przestały zatrudniać.

W przekładzie

Polski termin jest nieustalony. „Transformator” kalkuje angielskie słowo, ale myli z urządzeniem elektrycznym i brzmi archaicznie. „Sieć transformerowa” jest poprawna, lecz długa. W praktyce środowisko używa nieodmienianego lub odmienianego „transformer” (Transformera, Transformerów), i tę formę wybieramy, pisząc wielką literą, gdy chodzi o nazwę własną architektury z 2017 r., a małą — o klasę modeli. „Uwaga” jako przekład attention przyjęła się bez oporu; „samouwaga” dla self-attention nie, więc zostawiamy termin angielski w nawiasie.