Teoria informacji

Definicja robocza

Teoria informacji to matematyczna teoria przesyłania i przechowywania komunikatów, która mierzy informację jako redukcję niepewności: ilość informacji w zdarzeniu rośnie wraz z jego nieprawdopodobieństwem, a entropia źródła jest średnią tej ilości na symbol. Z tej jednej miary wynikają twarde granice: ile da się skompresować bez straty (entropia), ile da się przesłać przez zaszumiony kanał (przepustowość) i jaką cenę płaci się za stratność. W potocznym użyciu „informacja” znaczy wiedzę o czymś; w sensie technicznym jest wielkością bez treści, liczoną w bitach, i to rozróżnienie decyduje o tym, czy pojęcie wyjaśnia, czy tylko zdobi.

Geneza i rodowód

Claude E. Shannon ogłosił teorię w dwóch częściach „A Mathematical Theory of Communication” w „Bell System Technical Journal” (lipiec i październik 1948), rozwiązując praktyczny problem Bell Labs: jak zmierzyć, ile telegraf, telefon czy radio mogą przenieść przy danym paśmie i szumie. Bezpośrednimi poprzednikami byli Nyquist (1924) i Hartley (1928), którzy już liczyli „ilość informacji” logarytmicznie, lecz bez prawdopodobieństw; Shannon dodał rozkład źródła, miarę entropii i twierdzenia o kodowaniu, a od strony matematycznej czerpał z mechaniki statystycznej i teorii procesów Markowa. Równolegle Norbert Wiener zdefiniował informację w „Cybernetics” (1948) w kontekście sterowania i filtracji. Wydanie książkowe z esejem Warrena Weavera (1949) rozciągnęło teorię na pytania o znaczenie i skuteczność komunikacji, czego Shannon świadomie unikał — i od tego momentu pojęcie zaczęło żyć drugim życiem w lingwistyce, biologii, naukach społecznych i filozofii, często jako metafora bez miary. Linia techniczna poszła inaczej: Kołmogorow (1965) przeniósł ciężar z rozkładów na długość najkrótszego opisu, a współczesne uczenie maszynowe wróciło do Shannona przez kompresję i entropię krzyżową jako funkcję straty.

Rodowód środkowoeuropejski

Rodowód jest tu formalny i instytucjonalny, nie narodowy. Shannon w §6 pierwszej części artykułu pisze, że postać jego funkcji H rozpozna każdy, kto zna mechanikę statystyczną, i wskazuje wprost na „słynne twierdzenie H Boltzmanna” — a Boltzmann wykształcił się i pracował w Wiedniu i Grazu, gdzie sformułował twierdzenie H (1872) i statystyczną definicję entropii (1877). To wpływ formalizmu, nie idei komunikacji, i Shannon zawdzięcza go podręcznikom, nie lekturze Boltzmanna. Wcześniej, w 1929 r., Leó Szilárd, który zaczął studia inżynierskie w Budapeszcie, a dokończył je w Berlinie, analizując demona Maxwella sformułował podobną myśl o koszcie entropijnym pozyskania informacji; dowodu, by Shannon z tego korzystał, nie ma. Anegdota z relacji Tribusa i McIrvine’a (1971) głosi, że samą nazwę „entropia” podsunął Shannonowi John von Neumann, wychowanek budapeszteńskiego gimnazjum Fasori i doktor tamtejszego uniwersytetu, argumentując, że nikt nie wie, czym entropia naprawdę jest. Kontrapunkt przyszedł z Warszawy: Marian Mazur, inżynier po Politechnice Warszawskiej, zarzucił w „Jakościowej teorii informacji” (WNT 1970), a następnie w „Cybernetyce i charakterze” (1976), że teoria Shannona jest teorią ilości i z zasady nie mówi, czym informacja jest; sam zdefiniował ją jako transformację między komunikatami w torze sterowniczym. Teoria Mazura nie zdobyła międzynarodowej recepcji i pozostała zjawiskiem polskiej cybernetyki.

Dlaczego teraz

Dwa powody: duże modele językowe i fizyka obliczeń. Modele od 2018 r. trenuje się, minimalizując entropię krzyżową, a straty raportuje w bitach na token; prawa skalowania (Kaplan i in. 2020, Hoffmann i in. 2022) są w istocie wykresami, jak blisko entropii języka podchodzi model przy rosnącym budżecie obliczeń. Teza, że „kompresja to inteligencja”, stara jak Solomonoff, wróciła jako program badawczy, a argument o tym, czy model, który dobrze przewiduje tekst, czegoś o świecie „wie”, jest dokładnie sporem Weavera z Shannonem w nowych dekoracjach. Jednocześnie koszt energetyczny obliczeń uczynił zasadę Landauera (1961) z ciekawostki parametrem inżynierskim, a eksperymenty z jednobitowymi silnikami informacyjnymi w latach 2010–2022 potwierdziły to, o czym pisał Szilárd. Dochodzi trzeci wątek: debaty o „nadmiarze informacji” i dezinformacji używają słowa w sensie potocznym, podczas gdy ekonomia uwagi i rekomendacje algorytmiczne optymalizują coś, co da się policzyć — i warto wiedzieć, co dokładnie.

Siła wyjaśniająca

Pojęcie pozwala odróżnić to, co da się przesłać, od tego, co jest warte przesłania — i pokazać, że pierwsze ma granicę niezależną od technologii. Po pierwsze, wyjaśnia redundancję języka: angielski ma około 50 procent nadmiarowości, dlatego da się czytać tekst z literówkami i dlatego kompresja ZIP działa; Shannon oszacował entropię angielskiego eksperymentalnie, prosząc ludzi o zgadywanie kolejnych liter. Po drugie, wyjaśnia, dlaczego kod genetyczny, telefonia komórkowa i dyski twarde używają kodów korekcyjnych: twierdzenie o kanale zaszumionym mówi, że niezawodną transmisję da się osiągnąć poniżej przepustowości, ale nie powyżej, za cenę opóźnienia. Po trzecie, daje miarę zależności bez założenia liniowości — informacja wzajemna — używaną od neuronauki po wykrywanie wycieków danych. I jeszcze jedno: pokazuje, że „więcej danych” nie znaczy „więcej informacji”, jeśli dane są przewidywalne, co tłumaczy, dlaczego miliardy identycznych postów nie zmieniają rozkładu przekonań.

Osie sporu

Niedoceniany kąt

Najmniej dyskutowany aspekt teorii to jej twierdzenia o niemożliwości. Popularne lektury zapamiętują bit i entropię, a pomijają, że najważniejsze wyniki Shannona mówią, czego nie da się zrobić: nie da się skompresować poniżej entropii, nie da się przesłać powyżej przepustowości, nie da się mieć jednocześnie niskiej stopy i niskiego zniekształcenia poza krzywą stopa–zniekształcenie. To czyni teorię informacji jedną z niewielu nauk społecznie użytecznych przez odmowę: każde obietnice „bezstratnej” kompresji wideo w stu krotności, „niezawodnego” łącza bez opóźnień albo modelu, który z tekstu wyczyta więcej, niż tekst zawiera, można odrzucić bez otwierania kodu. Mazur miał rację, że teoria nie mówi, czym informacja jest — ale właśnie dlatego potrafi powiedzieć, ile jej na pewno nie ma.

W przekładzie

Polski termin „teoria informacji” jest ustalony od lat 50., podobnie „entropia” i „ilość informacji”. Kłopot sprawia samo słowo „informacja”, które po polsku jeszcze silniej niż po angielsku sugeruje wiadomość o czymś; stąd Mazur proponował oddzielne „informowanie”, „transinformowanie” i „dezinformowanie”, które nie przyjęły się poza jego szkołą. Angielskie „mutual information” tłumaczy się jako „informacja wzajemna”, a „channel capacity” jako „przepustowość kanału”; obie formy są przyjęte w podręcznikach i nie ma powodu ich zmieniać.