In-context learning

Definicja robocza

Uczenie w kontekście (in-context learning) to zdolność wytrenowanego modelu językowego do wykonania nowego zadania na podstawie instrukcji lub kilku przykładów umieszczonych w samym wejściu, bez zmiany wag. Model nie jest dostrajany; „uczy się” wyłącznie w trakcie jednego przejścia w przód, a efekt znika wraz z końcem sekwencji. W użyciu technicznym termin oznacza mechanizm, którego istnienie i wyjaśnienie jest przedmiotem badań; w użyciu potocznym zlewa się z praktyką podawania przykładów w prompcie (few-shot prompting), czyli z tym, co użytkownik robi, a nie z tym, co dzieje się w modelu. To rozróżnienie jest ważne, bo pytanie „czy model naprawdę się uczy z przykładów” ma sens tylko w pierwszym znaczeniu.

Geneza i rodowód

Termin ukuli autorzy artykułu o GPT-3, Language Models are Few-Shot Learners (Brown i in., maj 2020), świadomie zastępując nim wcześniejsze „zero-shot transfer”, które myliło brak aktualizacji gradientu z brakiem przykładów. W ich ujęciu trening jest pętlą zewnętrzną meta-uczenia, a uczenie w kontekście — pętlą wewnętrzną, zachodzącą w obrębie każdej sekwencji. Sam pomysł, że sieć może wykonywać nowe zadania, odczytując je z własnego wejścia, ma dłuższą historię: w literaturze meta-uczenia sieci rekurencyjne uczące się „w locie” badano już na przełomie wieków, a praca o GPT-2 (Radford i in., 2019) pokazała, że sam język potrafi być specyfikacją zadania. Nowością 2020 roku było pokazanie, że zdolność ta rośnie z rozmiarem modelu na tyle systematycznie, że zasługuje na osobną nazwę i osobne krzywe. Od 2021 roku pojęcie przeszło z opisu zjawiska do programu badawczego: kolejne prace pytają, jaki algorytm uczenia model realizuje w kontekście i jakie obwody w sieci za to odpowiadają. Równolegle w obiegu produktowym termin został spłaszczony do synonimu „dobrego promptowania”, co zaciera pytanie o mechanizm.

Rodowód środkowoeuropejski

Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej.

Dlaczego teraz

Między 2020 a 2026 rokiem uczenie w kontekście stało się podstawą sposobu, w jaki ludzie korzystają z modeli: ChatGPT (listopad 2022) i kolejne asystenty działają niemal wyłącznie przez instrukcje i przykłady w oknie kontekstu, a nie przez dostrajanie. Okna kontekstu wydłużyły się od kilku tysięcy tokenów w GPT-3 do setek tysięcy i milionów w modelach z lat 2024–2025, co zmieniło pytanie „czy model uczy się z kilku przykładów” w pytanie „co model robi z całą książką albo bazą kodu w jednym wejściu”. W tym samym czasie badania nad interpretowalnością (głowice indukcyjne, 2022), nad teorią (wnioskowanie bayesowskie, 2022; spadek gradientu w przejściu w przód, 2022–2023) i nad „emergentnymi zdolnościami” uczyniły z tego pojęcia jeden z głównych poligonów sporu o to, czy duże modele rozumieją, czy tylko dopasowują wzorce. Dla regulacji i bezpieczeństwa ma to konsekwencję praktyczną: skoro zachowanie modelu da się zmienić treścią wejścia, to każda ocena zdolności i każde zabezpieczenie jest warunkowe względem kontekstu, który ktoś może podmienić.

Siła wyjaśniająca

Pojęcie pozwala oddzielić dwie rzeczy, które w potocznej rozmowie o AI się zlewają: co model wie (parametry) od tego, co model potrafi zrobić z tym, co mu właśnie pokazano (kontekst). Po pierwsze, tłumaczy, dlaczego ten sam model odpowiada inaczej po trzech przykładach niż po zerze, choć nic się w nim nie zmieniło: zadanie jest rozpoznawane, nie wyuczane od nowa. Po drugie, wyjaśnia wyniki Min i współautorów z 2022 roku, w których zamiana etykiet w przykładach na losowe prawie nie psuła odpowiedzi — przykłady działają głównie przez format, zakres etykiet i rozkład wejść, a nie przez odwzorowanie, którego by się „nauczono”. Po trzecie, porządkuje praktyki takie jak generowanie wspomagane wyszukiwaniem czy długie instrukcje systemowe: wszystkie są odmianami jednego zjawiska, w którym treść wejścia pełni rolę tymczasowych wag. Z tego wynika też granica: kontekst nie dostarcza modelowi wiedzy, której nie ma, tylko wybiera i formatuje tę, którą ma.

Osie sporu

Niedoceniany kąt

Uczenie w kontekście jest także pojęciem z zakresu bezpieczeństwa i zaufania, a nie tylko zdolności. Skoro wejście działa jak tymczasowe wagi, to każdy, kto kontroluje część kontekstu — autor strony, którą model czyta, nadawca e-maila, który model streszcza — ma częściowy dostęp do tego, czym model na chwilę jest. Prompt injection to po prostu uczenie w kontekście użyte przez niewłaściwą stronę. Z tego samego powodu testy zdolności i zabezpieczeń opisują model „w pewnym kontekście”, a nie model jako taki; wynik benchmarku bez podania promptu jest zdaniem bez podmiotu. Mniej oczywista konsekwencja dotyczy epistemologii: jeśli zdolność do zadania pojawia się dopiero po pokazaniu przykładów, to pytanie „czy model to potrafi” nie ma odpowiedzi tak–nie, lecz zależy od tego, ile i jakiego kontekstu uznamy za dozwolone. To przesuwa ciężar oceny z modelu na protokół oceny, co w regulacji i audytach wciąż rzadko jest zapisywane wprost.

W przekładzie

Polski termin nie jest ustalony. „Uczenie w kontekście” jest kalką wierną i czytelną, ale „kontekst” brzmi po polsku jak okoliczności, a nie jak techniczne okno wejścia; „uczenie z kontekstu” podkreśla źródło, lecz sugeruje trwałą zmianę; „uczenie kontekstowe” myli się z uczeniem zależnym od sytuacji w psychologii. W tekstach branżowych dominuje angielski termin bez przekładu i tak też jest na liście serwisu. Wybieramy „uczenie w kontekście” jako odpowiednik opisowy, z angielskim terminem w nawiasie przy pierwszym użyciu, i unikamy czasownika „nauczyć się”, który sugeruje trwałość.