Architektura AI #121
Halucynacje modeli
termin oryginalny: hallucination (ang.) · konfabulacje modeli, AI hallucination, zmyślenia modeli
Pojęcie z obiegu globalnego — bez udokumentowanego rodowodu w regionie. przejdź do dokumentacji ↓
Definicja robocza
Halucynacja modelu (hallucination) to wygenerowana przez model treść, która brzmi płynnie i pewnie, a nie ma oparcia ani w danych wejściowych, ani w sprawdzalnych faktach. W wersji technicznej rozróżnia się halucynację wewnętrzną (intrinsic): wynik przeczy źródłu, które model dostał, i zewnętrzną (extrinsic): wynik dodaje coś, czego nie da się ze źródła ani potwierdzić, ani obalić. W wersji potocznej termin oznacza po prostu „zmyślenie przez czat”: nieistniejący artykuł, fałszywe orzeczenie, wymyślony cytat. Operacyjnie liczy się jedno: błąd nie jest oznaczony jako błąd, bo model nie ma wbudowanego progu, poniżej którego przestaje odpowiadać.
Geneza i rodowód
Słowo weszło do uczenia maszynowego okrężną drogą. W widzeniu komputerowym „halucynowanie” oznaczało od końca lat 90. pożądane dopowiadanie szczegółów, np. rekonstrukcję twarzy w wysokiej rozdzielczości z małego obrazka (Baker i Kanade, 1999). W przetwarzaniu języka sens odwrócił się na negatywny: w drugiej połowie lat 2010. badacze tłumaczenia maszynowego nazywali tak wyniki oderwane od zdania źródłowego, a w 2020 r. Maynez i współautorzy w pracy o streszczaniu wprowadzili dziś standardowe rozróżnienie wierności wobec źródła i zgodności z faktami. Przegląd Ji i współautorów (arXiv 2022, „ACM Computing Surveys” 2023) uporządkował definicje jeszcze przed tym, zanim termin trafił do prasy. Lista źródłowa serwisu wskazuje na tekst Bender, Gebru i współautorek (2021), który nie zajmuje się halucynacjami wprost, ale daje im ramę: model składa formy językowe bez dostępu do znaczenia, a intencję i prawdziwość dopisuje czytelnik. Po listopadzie 2022 r. słowo przechwyciła publicystyka, a Cambridge Dictionary ogłosił je słowem roku 2023. Od tego momentu termin żyje podwójnym życiem: jako kategoria ewaluacyjna w laboratoriach i jako potoczne wyjaśnienie każdej pomyłki czatu.
Rodowód środkowoeuropejski
Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej.
Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej (co według przyjętej metody oznacza „nie znaleźliśmy”, nie „nie istnieje”; stan na październik 2026).
Dlaczego teraz
Zjawisko istniało przed ChatGPT, ale stało się problemem publicznym dopiero wtedy, gdy modele generatywne trafiły do setek milionów ludzi bez interfejsu, który sygnalizowałby niepewność. W czerwcu 2023 r. sędzia P. Kevin Castel z sądu okręgowego dla południowego Nowego Jorku ukarał grzywną 5000 dolarów pełnomocników w sprawie Mata przeciwko Avianca za pismo procesowe z nieistniejącymi orzeczeniami wygenerowanymi przez ChatGPT; sprawa stała się wzorcem dla dziesiątek podobnych incydentów w sądach, redakcjach i publikacjach naukowych. W 2024 r. zespół Farquhara i Gala opublikował w „Nature” metodę wykrywania konfabulacji przez entropię semantyczną, a filozofowie Hicks, Humphries i Slater zaproponowali, by w ogóle porzucić słowo „halucynacja” na rzecz Frankfurtowskiego „bullshitu”. We wrześniu 2025 r. Kalai, Nachum, Vempala i Zhang w pracy „Why Language Models Hallucinate” przesunęli ciężar winy z architektury na system ocen: modele zgadują, bo benchmarki płacą za zgadywanie. Spór przestał być techniczny; dotyczy tego, kogo rozliczać za fałsz z pewnością siebie.
Siła wyjaśniająca
Pojęcie pozwala odróżnić trzy rzeczy, które w potocznym „AI się myli” zlewają się w jedno. Po pierwsze, błąd wiedzy: model nie widział faktu w danych. Po drugie, błąd wierności: model dostał dokument i mimo to go przeinaczył, co jest osobnym problemem systemów z wyszukiwaniem (RAG), gdzie poprawne źródło nie gwarantuje poprawnej odpowiedzi. Po trzecie, błąd kalibracji: model wie tyle samo w obu przypadkach, ale nie ma mechanizmu, który obniżałby ton. Rozróżnienie ma zastosowania praktyczne. Kancelaria, która wdraża asystenta do pism, powinna mierzyć wierność cytowań, a nie ogólną „trafność”. Redakcja korzystająca z modelu do streszczeń potrzebuje testu na halucynacje wewnętrzne, bo zewnętrzne łatwiej wychwycić. Twórca benchmarku, który punktuje pustą odpowiedź zerem, a błędną również zerem, sam produkuje modele zgadujące, co pokazuje analiza Kalaiego i współautorów.
Osie sporu
Usterka do naprawienia czy cecha strukturalna
Laboratoria i producenci narzędzi traktują halucynacje jako wskaźnik, który z wersji na wersję spada dzięki lepszym danym, wyszukiwaniu i uczeniu ze wzmocnieniem. Krytycy z tradycji Bender i Gebru odpowiadają, że model, który uczy się rozkładu form językowych, nie ma do czego „wracać” po prawdę, więc redukcja odsetka zmyśleń nie zmienia natury zjawiska. Najmocniejszy kontrargument: Praca Kalaiego i współautorów pokazuje, że część halucynacji jest nieunikniona statystycznie (fakty rzadkie w danych są nieodróżnialne od fałszów), ale ich utrzymywanie się w produktach jest decyzją instytucjonalną: wystarczy zmienić punktację, by model nauczył się milczeć. Charakter sporu: mieszany — obie strony zgadzają się co do mechanizmu, a różnią w tym, czy niezerowy odsetek zmyśleń dyskwalifikuje narzędzie do zadań poznawczych.
Halucynacja, konfabulacja czy bullshit
Filozofowie i część badaczy (Hicks, Humphries, Slater; wcześniej krytyka antropomorfizacji u Mary Shaw i Murraya Shanahana) uważają, że „halucynacja” sugeruje perceptora, który normalnie widzi dobrze, a czasem źle; model nie postrzega nic, więc właściwsze jest słowo oznaczające mowę obojętną na prawdę. Zwolennicy „konfabulacji” (termin z neuropsychologii, przyjęty m.in. przez Farquhara i Gala) chcą podkreślić, że model wypełnia luki płynną narracją, tak jak pacjent z uszkodzoną pamięcią. Najmocniejszy kontrargument: Terminy filozoficznie poprawne są bezużyteczne operacyjnie: „bullshit” nie daje metryki, a inżynierom potrzebna jest nazwa dla mierzalnej klasy błędów, i tę rolę „halucynacja” pełni od 2018 r. w setkach prac. Charakter sporu: rzeczowy — chodzi o to, jaki obraz maszyny wnosi słowo do głowy użytkownika, a to ma skutki dla zaufania i odpowiedzialności.
Kto odpowiada za fałsz z pewnością siebie
Sądy i regulatorzy obciążają użytkownika (prawnik w sprawie Mata nie sprawdził cytatów). Badacze interfejsów i etycy wskazują na producenta, który projektuje odpowiedź tak, by brzmiała jak pewna, bez wskaźnika niepewności, choć metody jej szacowania istnieją. Najmocniejszy kontrargument: Model, który przy każdej odpowiedzi zastrzega niepewność, przestaje być użyteczny, a użytkownicy uczą się zastrzeżenia ignorować; odpowiedzialność nie da się w całości przenieść na interfejs. Charakter sporu: mieszany — spór o podział odpowiedzialności jest rzeczowy, ale obie strony używają „halucynacji” retorycznie: jedna, by odsunąć winę od narzędzia, druga, by ją na narzędzie przerzucić.
Niedoceniany kąt
Najmniej omawiany jest skutek halucynacji dla samego obiegu wiedzy, a nie dla pojedynczego użytkownika. Zmyślone cytowanie, które trafi do opublikowanego artykułu, pisma sądowego albo wpisu w encyklopedii, staje się dokumentem; dokument staje się danymi treningowymi; następny model uczy się go jako faktu i powtarza z większą pewnością, bo widział go „w źródle”. Problem przestaje być błędem jednego systemu, a staje się własnością ekosystemu tekstów, w którym coraz trudniej odróżnić to, co ktoś sprawdził, od tego, co zostało tylko płynnie napisane. Serwisy, które wymagają od autorów otwierania źródeł i zapisywania adresów, w tym niniejszy, są pośrednią odpowiedzią na to zjawisko: weryfikacja dokumentacyjna staje się osobnym etapem pracy, bo samo brzmienie tekstu przestało być sygnałem wiarygodności.
W przekładzie
Polski termin nie jest ustalony. „Halucynacje” przyjęły się w prasie i dokumentacji przez kalkę i niosą ten sam ciężar antropomorfizmu, co oryginał. „Konfabulacje” są precyzyjniejsze (opisują wypełnianie luk zmyśloną narracją bez intencji kłamstwa), ale w polszczyźnie mają silny odcień psychiatryczny i kolidują z angielskim confabulation, używanym przez część badaczy w węższym sensie zmyśleń zależnych od losowania odpowiedzi. „Zmyślenia modeli” jest zrozumiałe, lecz sugeruje intencję. Zostajemy przy „halucynacjach modeli” jako terminie rozpoznawalnym, z „konfabulacjami” w roli pomocniczej nazwy dla odmiany wykrywanej przez pomiar niepewności semantycznej.
Jedno zdanie na wynos
Halucynacja nie jest chwilą, w której model przestaje działać poprawnie, lecz chwilą, w której działa dokładnie tak jak zawsze, tylko tym razem bez pokrycia w faktach.
Sieć pojęć pokrewnych
Jak to pojęcie wzmacnia, ogranicza lub uzupełnia inne ramy analityczne w korpusie.
-
LLM uzupełnia
Halucynacja jest strukturalnym trybem działania modelu językowego, nie usterką dodaną z zewnątrz: ten sam mechanizm przewidywania tokenów wytwarza odpowiedzi trafne i zmyślone.
-
RLHF w napięciu
Dostrajanie na ludzkich ocenach premiuje odpowiedzi pewne i płynne, co może zwiększać gotowość modelu do zgadywania zamiast przyznania niewiedzy.
-
RAG ogranicza
Dołączanie dokumentów do kontekstu ogranicza zmyślanie faktów, ale przenosi problem na wierność wobec źródła i nie usuwa halucynacji wewnętrznych.
-
AI alignment uzupełnia
Model, który nie potrafi sygnalizować niepewności, jest trudny do dostrojenia do intencji użytkownika niezależnie od swoich celów.
-
Pokora epistemiczna wzmacnia
Spór o halucynacje to w istocie spór o to, czy maszyna może powiedzieć „nie wiem” i czy ją za to nagradzamy.
-
Epistemologia sieciowa wzmacnia
Zmyślone cytaty i orzeczenia wchodzą do obiegu dokumentów, a stamtąd do danych treningowych kolejnych modeli.
-
Model collapse uzupełnia
Halucynacje zapisane w sieci stają się danymi treningowymi i składają się na degradację następnych generacji modeli.
-
Wyjaśnialność (XAI) uzupełnia
Metody wykrywania halucynacji, np. miary niepewności semantycznej, są próbą zajrzenia do środka modelu bez jego otwierania.
Kanon lektur i most przekładowy
Kluczowe prace założycielskie, wprowadzenia i głosy krytyczne — wraz z informacją o dostępności wydań w języku polskim i angielskim.
-
tekst założycielski 2022 · angielski
Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Andrea Madotto, Pascale Fung i in., Survey of Hallucination in Natural Language Generation
Przegląd, który uporządkował pole przed erą ChatGPT: definicje, podział na halucynacje wewnętrzne i zewnętrzne, metryki i metody łagodzenia; wersja czasopiśmienna w „ACM Computing Surveys” (DOI 10.1145/3571730).
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
tekst założycielski 2020 · angielski
Joshua Maynez, Shashi Narayan, Bernd Bohnet, Ryan McDonald, On Faithfulness and Factuality in Abstractive Summarization
Tekst z ACL 2020, który na przykładzie streszczania odróżnił wierność wobec źródła od zgodności z faktami i pokazał, że anotatorzy znajdują zmyślenia w streszczeniach wszystkich badanych modeli.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
wprowadzenie i synteza 2025 · angielski
Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, Why Language Models Hallucinate
Statystyczne wyjaśnienie zjawiska: halucynacje to zwykłe błędy klasyfikacji wzmacniane przez benchmarki, które punktują zgadywanie wyżej niż przyznanie się do niepewności.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
perspektywa krytyczna 2024 · angielski
Michael Townsen Hicks, James Humphries, Joe Slater, ChatGPT is bullshit
Filozoficzna krytyka terminu: wyniki modeli to nie halucynacje, lecz „bullshit” w sensie Frankfurta, bo system jest obojętny na prawdę; artykuł w „Ethics and Information Technology”.
Po polsku: wydania polskiego nie sprawdzono
Po angielsku: tekst oryginalny po angielsku
-
perspektywa krytyczna 2021 · angielski
Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
Źródło wskazane przez listę: argument, że model składa formy językowe bez dostępu do znaczenia, a sens dopisuje czytelnik; to ramy, w których zmyślenie nie jest wyjątkiem, lecz regułą.
Po polsku: wydania polskiego nie sprawdzono
Po angielsku: tekst oryginalny po angielsku
-
wprowadzenie i synteza 2024 · angielski
Sebastian Farquhar, Jannik Kossen, Lorenz Kuhn, Yarin Gal, Detecting hallucinations in large language models using semantic entropy
Artykuł z „Nature” proponujący pomiar niepewności na poziomie znaczeń, nie słów, do wykrywania konfabulacji, czyli zmyśleń, które zmieniają się przy każdym losowaniu odpowiedzi.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
z innej dziedziny 2005 · angielski
Harry G. Frankfurt, On Bullshit
Esej o mowie obojętnej na prawdę, która nie kłamie, lecz nie dba; podstawowe narzędzie pojęciowe dla sporu o to, czy „halucynacja” jest właściwym słowem.
Po polsku: wydania polskiego nie sprawdzono
Po angielsku: tekst oryginalny po angielsku
Cytaty źródłowe
language models are optimized to be good test-takers
modele językowe są optymalizowane tak, by dobrze zdawać testy (przekład: przekład roboczy)
highly prone to hallucinate content that is unfaithful to the input document
wysoce podatne na halucynowanie treści niewiernych wobec dokumentu wejściowego (przekład: przekład roboczy)