Architektura AI #113
Generatywna AI
termin oryginalny: generative AI (ang.) · sztuczna inteligencja generatywna, GenAI, modele generatywne
Rodowód środkowoeuropejski: 3 wątki (autor z regionu, antycypacja) · 1965–2017 · przejdź do dokumentacji ↓
Definicja robocza
Generatywna AI (generative AI) to klasa systemów uczenia maszynowego, które po nauczeniu się rozkładu prawdopodobieństwa na dużym zbiorze danych wytwarzają nowe próbki z tego rozkładu: tekst, obraz, dźwięk, wideo, kod. Technicznie odróżnia ją od modeli dyskryminacyjnych to, że zamiast odpowiadać „co to jest”, odpowiada „co może być dalej” albo „co pasuje do tego opisu”. W obiegu potocznym termin od końca 2022 r. oznacza po prostu produkty w rodzaju ChatGPT czy Midjourney, co zaciera fakt, że generowanie jest trybem użycia modelu, a nie osobną technologią. W analizie warto trzymać wersję techniczną: generatywność to własność procedury próbkowania, a nie znak rozumienia.
Geneza i rodowód
Pojęcie ma trzy warstwy. Statystyczna: „model generatywny” to od dekad w statystyce i uczeniu maszynowym model łącznego rozkładu danych, w opozycji do modelu dyskryminacyjnego. Techniczna: przełomy z lat 2010–2017, czyli neuronowe modele językowe przewidujące następne słowo, autoenkodery wariacyjne i sieci generatywne z przeciwnikiem (GAN, Goodfellow i in., czerwiec 2014) oraz Transformer (Vaswani i in., czerwiec 2017), który pozwolił trenować modele na skalę całego internetu. Produktowa: GPT-1 (2018), DALL-E (2021), Midjourney i Stable Diffusion (2022), wreszcie ChatGPT (listopad 2022), po którym „generatywna AI” stała się hasłem rynkowym i regulacyjnym. Lista źródłowa podaje datę „2022–”, co jest datą przechwycenia terminu przez obieg publiczny, nie jego narodzin. Przechwycenie zmieniło sens: z opisu klasy modeli pojęcie stało się nazwą fali technologicznej, a potem synonimem całej AI, co utrudnia rozmowę o tym, że większość wdrożeń AI w przemyśle czy medycynie nadal nic nie generuje.
Rodowód środkowoeuropejski
Dwa związki techniczne i jeden literacki. Najmocniejszy prowadzi do Brna: Tomáš Mikolov, doktorant grupy Speech@FIT na tamtejszej politechnice, przedstawił na Interspeech 2010 rekurencyjny neuronowy model językowy, który zachowuje kontekst poprzednich słów w stanie wewnętrznym sieci i przewiduje następne słowo lepiej niż klasyczne modele n-gramowe. To zadanie, skalowane o kilka rzędów wielkości, jest dziś sercem generatywnej AI tekstu; sam Mikolov po doktoracie (2012) przeniósł się do Google Brain, gdzie powstał word2vec. Drugi związek jest słabiej udokumentowany: Łukasz Kaiser, urodzony we Wrocławiu i habilitowany na Uniwersytecie Wrocławskim w 2013 r., jest jednym z ośmiu autorów artykułu Attention Is All You Need (2017); gdzie skończył studia, nie potwierdziliśmy w otwartych źródłach, więc reguła formacji opiera się tu tylko na habilitacji. Związek literacki to antycypacja, nie wpływ: w Cyberiadzie (Kraków 1965) Stanisław Lem opisał Elektrybałta, maszynę piszącą na zadany temat i w zadanym gatunku, której zbudowanie wymagało od Trurla zamodelowania całej historii poprzedzającej poezję. Lem wcześniej sformułował podobną myśl o generowaniu z nauczonej kultury; dowodu wpływu na prace techniczne nie ma.
Udokumentowany rodowód regionalny · Związki: 3. Opracowanie: październik 2026.
-
antycypacja 49 lat
Źródło w regionie: Stanisław Lem, „Wyprawa pierwsza A, czyli Elektrybałt Trurla (w: Cyberiada)”; Kraków, 1965
Obieg globalny: generatywna AI (maszyny piszące teksty na zadany temat) — Ian Goodfellow i in. (GAN, 2014); OpenAI (GPT, 2018–2022), 2014
-
autor z regionu 0 lat — obie strony to ten sam tekst
Źródło w regionie: Tomáš Mikolov, „Recurrent neural network based language model”; Brno, 2010
Obieg globalny: neuronowe modele językowe jako rdzeń generatywnej AI tekstu — Tomáš Mikolov, Martin Karafiát, Lukáš Burget, Jan Černocký, Sanjeev Khudanpur, 2010
-
autor z regionu 4 lata
Źródło w regionie: Łukasz Kaiser, „Wrocław: urodzenie (1981), habilitacja na Uniwersytecie Wrocławskim (2013) przed pracą w Google Brain”; Wrocław, 2013
Obieg globalny: Transformer (Attention Is All You Need) — architektura dzisiejszych modeli generatywnych — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, 2017
autor z regionu
0 lat — obie strony to ten sam tekstTomáš Mikolov, „Recurrent neural network based language model”
2010 · Brno
neuronowe modele językowe jako rdzeń generatywnej AI tekstu
2010 · Tomáš Mikolov, Martin Karafiát, Lukáš Burget, Jan Černocký, Sanjeev Khudanpur
- Teza i powiązanie
- Mikolov, doktorant grupy Speech@FIT na Politechnice w Brnie (doktorat 2012), przedstawił na Interspeech 2010 rekurencyjny neuronowy model językowy, który przewiduje następne słowo na podstawie kontekstu zachowanego w stanie wewnętrznym sieci. Zadanie „przewiduj następne słowo” jest dokładnie tym, które skalują dzisiejsze modele generatywne tekstu; artykuł powstał w Brnie, we współpracy z Johns Hopkins University.
- Dokumentacja źródłowa
-
- źródło pierwotne Tomáš Mikolov, Martin Karafiát, Lukáš Burget, Jan Černocký, Sanjeev Khudanpur, „Recurrent neural network based language model”, Interspeech 2010, s. 1045–1048; nagłówek: afiliacja Speech@FIT, Brno University of Technology; abstrakt. isca-archive.org ↗
- dokumentacja biograficzna Wikipedia (en), „Tomáš Mikolov”; akapit o studiach i doktoracie (Brno University of Technology, 2012) oraz o RNN LM z 2010 r.. en.wikipedia.org ↗
- Kontekst historyczny
- Związek dotyczy generatywnego modelowania tekstu, nie całej klasy pojęcia (obrazy, dźwięk). Późniejszy word2vec (2013) Mikolov opublikował już w Google.
autor z regionu
4 lataŁukasz Kaiser, „Wrocław: urodzenie (1981), habilitacja na Uniwersytecie Wrocławskim (2013) przed pracą w Google Brain”
2013 · Wrocław
Transformer (Attention Is All You Need) — architektura dzisiejszych modeli generatywnych
2017 · Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
- Teza i powiązanie
- Kaiser jest jednym z ośmiu autorów artykułu z czerwca 2017 r., który wprowadził architekturę Transformer, podstawę serii GPT i większości dzisiejszych modeli generatywnych. Otwarte źródła potwierdzają urodzenie we Wrocławiu i habilitację na Uniwersytecie Wrocławskim w 2013 r.; doktorat obronił w Akwizgranie (2008), a od 2013 r. pracował w Google Brain. Studiów magisterskich nie potwierdzono w otwartych źródłach, dlatego związek pozostaje do weryfikacji.
- Dokumentacja źródłowa
-
- źródło pierwotne Ashish Vaswani i in., „Attention Is All You Need”, arXiv:1706.03762, 12 czerwca 2017; lista autorów, abstrakt. arxiv.org ↗
- dokumentacja biograficzna Wikipedia (pl), „Łukasz Kaiser”; akapit o doktoracie (RWTH Aachen 2008), habilitacji (UWr 2013), Google Brain (2013) i OpenAI (2021). pl.wikipedia.org ↗
- Kontekst historyczny
- Współautor Illia Polosukhin pochodzi z Ukrainy, ale w otwartym źródle (Wikipedia en) nie znaleziono danych o jego formacji; nie dodano go do związku.
antycypacja
49 latStanisław Lem, „Wyprawa pierwsza A, czyli Elektrybałt Trurla (w: Cyberiada)”
1965 · Kraków
generatywna AI (maszyny piszące teksty na zadany temat)
2014 · Ian Goodfellow i in. (GAN, 2014); OpenAI (GPT, 2018–2022)
- Teza i powiązanie
- Lem opisał w 1965 r. maszynę, która na zadany temat i w zadanym gatunku pisze wiersze, a jej budowa wymaga od konstruktora zamodelowania całej historii, z której wyrosła poezja. To literacka antycypacja idei systemu generującego treści z nauczonego rozkładu kultury; nie ma dowodu wpływu na późniejsze prace techniczne.
- Dokumentacja źródłowa
-
- rekord bibliograficzny Wikipedia (en), „The Cyberiad”; informacja o pierwszym wydaniu (Wydawnictwo Literackie 1965), o opowiadaniu „The First Sally (A), or Trurl’s Electronic Bard” oraz o przekładzie Michaela Kandela (Harcourt Brace 1974). en.wikipedia.org ↗
- rekord bibliograficzny Wikipedia (pl), „Cyberiada”; spis treści: „Wyprawa pierwsza A, czyli Elektrybałt Trurla” w cyklu „Siedem wypraw Trurla i Klapaucjusza”. pl.wikipedia.org ↗
- Kontekst historyczny
- Antycypacja nie jest wpływem.
Dlaczego teraz
Punktem zwrotnym jest listopad 2022 r.: ChatGPT udostępnił modele generatywne jako czat dla każdego, a kilka miesięcy wcześniej (sierpień 2022) Stable Diffusion udostępnił generowanie obrazów jako otwarty kod uruchamialny na domowej karcie graficznej. W 2023 r. ruszyły procesy o prawa autorskie: Authors Guild i „The New York Times” pozwały Microsoft i OpenAI o trenowanie na ich utworach. W Unii Europejskiej AI Act wszedł w życie 1 sierpnia 2024 r.; obowiązki dla modeli ogólnego przeznaczenia stosuje się od 2 sierpnia 2025 r., a wymogi przejrzystości, w tym oznaczanie treści generowanych maszynowo i deepfake’ów, od sierpnia 2026 r. Równolegle w latach 2023–2026 pojawiły się terminy opisujące skutki uboczne: zalew sieci treściami bez odbiorcy, zapaść modeli trenowanych na własnych wytworach, luka między wydatkami na infrastrukturę a przychodami z produktów. Pojęcie jest potrzebne, bo wyznacza granicę między systemami, które coś wytwarzają, a tymi, które coś rozpoznają, a prawo, rynek pracy i edukacja reagują na te dwie klasy zupełnie inaczej.
Siła wyjaśniająca
Pojęcie pozwala zobaczyć, że koszt krańcowy wytworzenia tekstu lub obrazu spadł niemal do zera, a wraz z nim zmienia się ekonomia wszystkiego, co opierało się na kosztowności produkcji: egzaminów pisemnych, recenzji, ofert pracy, dezinformacji. Trzy zastosowania. Po pierwsze, wyjaśnia, dlaczego wykrywanie treści maszynowych skazane jest na porażkę: model generuje z rozkładu danych ludzkich, więc im lepszy, tym mniej odróżnialny. Po drugie, tłumaczy halucynacje jako cechę, nie usterkę: system próbkujący prawdopodobne kontynuacje nie ma w środku rejestru faktów, który mógłby sprawdzić. Po trzecie, opisuje nową asymetrię w prawie autorskim: dzieło powstaje z rozkładu wyuczonego na milionach dzieł, więc pytanie o „kopiowanie” trzeba zadać na poziomie statystyki, a nie fragmentu.
Osie sporu
Rozumienie czy stochastyczna papuga
Emily Bender i współautorki (2021) z pozycji lingwistyki: model językowy skleja formy bez dostępu do znaczenia, a antropomorfizacja jego wyjść jest błędem kategorii. Po drugiej stronie badacze interpretowalności i część twórców modeli, którzy wskazują na reprezentacje wewnętrzne odpowiadające pojęciom świata. Najmocniejszy kontrargument: Modele rozwiązują zadania, których nie było w danych, i budują reprezentacje przestrzeni czy stanu gry; jeśli to nie jest rozumienie, trzeba podać kryterium, które nie dyskwalifikuje też ludzi uczących się z tekstu. Charakter sporu: mieszany, bo rzeczowy w pytaniu o reprezentacje, retoryczny w sporze o słowo „rozumienie”.
Trenowanie na cudzych utworach: dozwolony użytek czy kradzież
Wydawcy, autorzy i artyści (procesy w USA od 2023 r.) uznają trenowanie za reprodukcję bez licencji; firmy odpowiadają, że uczenie się z publicznie dostępnych tekstów to dozwolony użytek, tak jak lektura. Najmocniejszy kontrargument: Analogia z lekturą zawodzi, bo model konkuruje na rynku z autorami, na których się uczył, a to właśnie szkoda rynkowa jest w prawie amerykańskim głównym kryterium dozwolonego użytku. Charakter sporu: rzeczowy, bo rozstrzyga go doktryna prawna i dowody w konkretnych sprawach, a nie retoryka.
Fala technologiczna czy bańka
Inwestorzy i firmy infrastrukturalne mówią o najszybszej adopcji technologii w historii; sceptycy z ekonomii i części inżynierii wskazują na rozziew między wydatkami kapitałowymi a przychodami i na stagnację użyteczności poza kilkoma zastosowaniami (kod, obsługa klienta, obraz). Najmocniejszy kontrargument: Bańki kolejowe i internetowe również pękły, a infrastruktura została; pytanie o bańkę jest pytaniem o wycenę, nie o to, czy technologia zmienia pracę. Charakter sporu: mieszany, bo dane o adopcji są twarde, a prognozy zwrotu z inwestycji w dużej mierze retoryczne.
Niedoceniany kąt
Najmniej dyskutowany skutek generatywnej AI to zmiana statusu samego pisania jako dowodu myślenia. Przez stulecia tekst był kosztownym sygnałem: ktoś, kto napisał spójny esej, musiał coś przemyśleć. Gdy spójny tekst kosztuje zero, sygnał znika, a instytucje zbudowane na nim (szkoła, nauka, rekrutacja, prawo) tracą narzędzie oceny, zanim zdążą wymyślić nowe. Lem uchwycił to w 1965 r.: po uruchomieniu Elektrybałta problemem nie jest jakość wierszy, lecz los poetów. Druga rzadko podnoszona kwestia: generowanie jest próbkowaniem z przeszłości, więc system, który wypełni kulturę swoimi wytworami, zawęża rozkład, z którego sam będzie się uczył. Stąd model collapse jest nie tyle usterką techniczną, co ekologiczną konsekwencją sukcesu pojęcia.
W przekładzie
Polski termin jest nieustalony. „Generatywna AI” to kalka z zachowanym angielskim skrótem; „sztuczna inteligencja generatywna” jest poprawna, lecz długa, a skrót SIG się nie przyjął. „Generatywny” niesie w polszczyźnie skojarzenie z gramatyką generatywną Chomsky’ego, które tu myli: u Chomsky’ego chodzi o reguły wytwarzające zdania, w AI o próbkowanie z nauczonego rozkładu. „AI tworząca treści” jest opisowa, ale ukrywa technikę. Wybieramy „generatywna AI”, bo tak mówi obieg zawodowy i tak brzmi w polskich tłumaczeniach aktów unijnych, z zastrzeżeniem, że to nazwa trybu użycia modelu, a nie typ inteligencji.
Jedno zdanie na wynos
Generatywna AI nie wymyśla nowych treści, lecz obniża do zera cenę treści prawdopodobnych, i to właśnie ta cena, a nie rzekoma kreatywność maszyny, przebudowuje instytucje oparte na kosztownym słowie.
Sieć pojęć pokrewnych
Jak to pojęcie wzmacnia, ogranicza lub uzupełnia inne ramy analityczne w korpusie.
-
Transformer wzmacnia
Architektura Transformer jest technicznym rdzeniem większości modeli generatywnych tekstu, kodu i coraz częściej obrazu.
-
LLM uzupełnia
Duże modele językowe są najbardziej widoczną klasą generatywnej AI, lecz pojęcie obejmuje także obraz, dźwięk i wideo.
-
Modele dyfuzyjne uzupełnia
Dyfuzja jest drugą po Transformerze rodziną technik, która w 2022 r. upowszechniła generowanie obrazów.
-
Modele bazowe uzupełnia
Model bazowy to zasób, generatywna AI to sposób jego użycia: ten sam model służy generowaniu i klasyfikacji.
-
Halucynacje modeli ogranicza
Zmyślone fakty są wpisane w generowanie z rozkładu prawdopodobieństwa, nie są usterką do usunięcia jedną łatką.
-
Model collapse w napięciu
Masowe generowanie treści zanieczyszcza przyszłe dane treningowe, więc sukces pojęcia podkopuje jego własną bazę.
-
AI slop wzmacnia
Obniżenie kosztu produkcji treści do zera zalewa sieć tekstami i obrazami bez odbiorcy.
-
Media syntetyczne wzmacnia
Media syntetyczne to kulturowy i prawny opis skutków tego, co technicznie nazywa się generatywną AI.
Kanon lektur i most przekładowy
Kluczowe prace założycielskie, wprowadzenia i głosy krytyczne — wraz z informacją o dostępności wydań w języku polskim i angielskim.
-
tekst założycielski 2014 · angielski
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, Generative Adversarial Networks
Artykuł, który pokazał, że dwie sieci grające przeciw sobie potrafią nauczyć się rozkładu danych i wytwarzać nowe próbki; od niego zaczyna się współczesna historia pojęcia.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
tekst założycielski 2017 · angielski
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, Attention Is All You Need
Dwanaście stron, które zastąpiły rekurencję mechanizmem uwagi i umożliwiły trenowanie modeli na skalę, bez której generatywna AI pozostałaby ciekawostką laboratoryjną.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
tekst założycielski 2010 · angielski
Tomáš Mikolov, Martin Karafiát, Lukáš Burget, Jan Černocký, Sanjeev Khudanpur, Recurrent neural network based language model
Cztery strony z Brna, które przekonały dziedzinę, że sieć neuronowa przewidująca następne słowo bije klasyczne modele n-gramowe; to zadanie stało się fundamentem generowania tekstu.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
wprowadzenie i synteza 2022 · angielski
Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer, High-Resolution Image Synthesis with Latent Diffusion Models
Artykuł stojący za Stable Diffusion: pokazuje, jak przenieść dyfuzję do przestrzeni ukrytej, aby generowanie obrazów zmieściło się na jednej karcie graficznej.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
perspektywa krytyczna 2021 · angielski
Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
Najczęściej cytowana krytyka: koszty środowiskowe, utrwalanie uprzedzeń z danych i złudzenie rozumienia tam, gdzie jest tylko statystyczne sklejanie form językowych.
Po polsku: wydania polskiego nie sprawdzono
Po angielsku: tekst oryginalny po angielsku
-
wprowadzenie i synteza 2019 · angielski
Melanie Mitchell, Artificial Intelligence: A Guide for Thinking Humans
Rzetelne wprowadzenie dla nie-specjalistów, które tłumaczy, czego sieci neuronowe nie rozumieją, zanim ChatGPT uczynił to pytanie publicznym.
Po polsku: wydania polskiego nie sprawdzono
Po angielsku: tekst oryginalny po angielsku
-
z innej dziedziny 1965 · polski
Stanisław Lem, Cyberiada
Opowiadanie o Elektrybałcie to najlepszy w polskiej literaturze eksperyment myślowy o maszynie piszącej wiersze, włącznie z tym, co zrobi z poetami.
Po polsku: tekst oryginalny napisany po polsku
Po angielsku: „The Cyberiad: Fables for the Cybernetic Age”, Harcourt Brace 1974, przeł. Michael Kandel
Cytaty źródłowe
We provide ample empirical evidence to suggest that connectionist language models are superior to standard n-gram techniques, except their high computational (training) complexity.
Dostarczamy obszernych dowodów empirycznych, że konekcjonistyczne modele językowe przewyższają standardowe techniki n-gramowe, z wyjątkiem ich wysokiej złożoności obliczeniowej (treningu). (przekład: przekład roboczy)