Multimodalność

Definicja robocza

Multimodalność (multimodality) w uczeniu maszynowym to zdolność jednego modelu do przyjmowania, wiązania i wytwarzania danych różnego rodzaju: tekstu, obrazu, dźwięku, wideo, czasem sygnałów z czujników. Technicznie oznacza to, że reprezentacje różnych modalności trafiają do wspólnej przestrzeni, w której „zdjęcie psa” i słowo „pies” leżą blisko siebie, a model uczy się przejść między nimi w obie strony. W użyciu potocznym termin oznacza po prostu, że czat „widzi obrazki”. W semiotyce społecznej to samo słowo znaczy coś innego: współdziałanie trybów znaczenia (gest, układ strony, barwa, mowa) w ludzkiej komunikacji. W analizie trzeba wiedzieć, o którą multimodalność chodzi.

Geneza i rodowód

Słowo ma dwa niezależne rodowody. W latach 90. i na początku XXI w. Gunther Kress i Theo van Leeuwen rozwinęli je w semiotyce społecznej jako program badania komunikacji, w której język jest tylko jednym z trybów. Niezależnie od tego w psychologii percepcji od notatki McGurka i MacDonalda w „Nature” (1976) wiadomo, że słuch i wzrok nie działają jako osobne kanały, lecz spierają się o jeden odbiór. Do głębokiego uczenia termin wniosła praca „Multimodal Deep Learning” Ngiama i współautorów ze Stanfordu (ICML 2011), która trenowała wspólne cechy dźwięku i obrazu ust, wprost odwołując się do efektu McGurka. Kolejny krok to osadzanie obrazów w przestrzeni semantycznej słów (DeViSE, 2013) i generowanie podpisów. Przełom, który wyznacza źródło z listy, nastąpił w lutym 2021 r., gdy OpenAI opublikowało CLIP: kontrastowe uczenie na 400 milionach par obraz–tekst zebranych z sieci, bez ręcznych etykiet, z klasyfikacją zero-shot przez opis słowny. Równolegle ukazał się model generujący obrazy z tekstu (praca Ramesha i in., 24 lutego 2021), a w 2020 r. transformer wizyjny (ViT) pokazał, że obraz da się ciąć na „słowa” i podawać tej samej architekturze co tekst. Od tego momentu multimodalność przestała być osobną poddziedziną i stała się domyślną własnością dużych modeli.

Rodowód środkowoeuropejski

Jedno z technicznych źródeł CLIP ma formację brneńską. Tomáš Mikolov obronił 2 października 2012 r. na Wydziale Technologii Informacyjnych VUT w Brnie doktorat o statystycznych modelach języka opartych na sieciach neuronowych (promotor Jan Černocký). Jeszcze w tym samym roku pracował już w Google, gdzie powstał word2vec, i był jednym z siedmiu autorów modelu DeViSE (NIPS 2013), który rzutuje obrazy do przestrzeni osadzeń słów wyuczonej na nieoznaczonym tekście, dzięki czemu sieć potrafi rozpoznać klasy, których nie widziała na zdjęciach. Artykuł CLIP przywołuje DeViSE w przeglądzie prac nad wspólnymi przestrzeniami osadzeń obrazu i tekstu, z których wyrasta jego własne podejście. Wkład Mikolova to komponent językowy, nie pomysł całości; nie twierdzimy, że multimodalność „pochodzi z Brna”. Twierdzimy tyle, że linia od brneńskich modeli języka przez word2vec do osadzeń obraz–tekst jest udokumentowana w przypisach samego CLIP.

Dlaczego teraz

Luty 2021 r. (CLIP i generator obrazów z tekstu) otworzył sekwencję, w której każdy kolejny rok podnosił stawkę: Flamingo DeepMind (kwiecień 2022) uczył się nowych zadań wizualnych z kilku przykładów w zapytaniu; GPT-4 (marzec 2023) został ogłoszony jako model „przyjmujący obraz i tekst na wejściu”; Gemini (grudzień 2023) od początku projektowano jako rodzinę modeli multimodalnych z obrazem, dźwiękiem i wideo. W 2024 r. tryby głosowe i wideo w czasie rzeczywistym trafiły do konsumenckich aplikacji, a generatory wideo z tekstu wywołały spór o prawa autorskie i o deepfake’i w kampaniach wyborczych. Druga przyczyna jest surowcowa: gdy dobry tekst z sieci zaczął się wyczerpywać, obraz, dźwięk i wideo stały się następnym zasobem do skalowania. Trzecia jest regulacyjna: audyt LAION-400M (Birhane i in., październik 2021) pokazał, że „pary obraz–tekst z Common Crawl” zawierają pornografię i rasistowskie obelgi, a od tego czasu pytanie „na czym to trenowano” dotyczy już nie tylko tekstu.

Siła wyjaśniająca

Pojęcie pozwala zobaczyć trzy rzeczy. Po pierwsze, że granica między „rozumieniem” a „opisem” przesunęła się: model, który łączy zdjęcie z tekstem, potrafi odpowiedzieć na pytanie o rentgen czy wykres bez modułu wyspecjalizowanego w rentgenach, bo nauczył się języka, którym ludzie o nich piszą. Po drugie, że etykieta jako forma nadzoru była wąskim gardłem: CLIP zastąpił tysiąc klas ImageNetu dowolnym zdaniem, co tłumaczy, czemu zero-shot stał się normą. Po trzecie, że wspólna przestrzeń osadzeń jest towarem: ten sam enkoder tekstowy warunkuje generatory obrazów, wyszukiwarki i filtry moderacji, więc błąd w nim (stereotyp, luka w słownictwie, podatność na tekst wklejony w obraz) przenosi się na całą rodzinę zastosowań. Przykłady: diagnostyka obrazowa z zapytaniem w języku naturalnym, roboty wykonujące polecenia „podnieś czerwony kubek”, ataki typu wstrzyknięcie poleceń przez napis na zdjęciu.

Osie sporu

Niedoceniany kąt

Najmniej dyskutowany skutek multimodalności to zmiana tego, co liczy się jako dokument. Gdy model czyta zdjęcie paragonu, nagranie z zebrania i zrzut ekranu tak samo jak tekst, znika dawna asymetria: tekst był przeszukiwalny, obraz nie. Archiwa fotograficzne, nagrania audycji, skany rękopisów stają się korpusem tak samo jak Wikipedia, ale z innymi prawami autorskimi i innymi lukami. Druga strona tej zmiany jest ciekawsza: wspólna przestrzeń osadzeń jest zbudowana wokół języka angielskiego i obrazów z anglojęzycznej sieci, więc „pies” i zdjęcie psa leżą blisko siebie, ale słowo z mniejszego języka może trafić obok zupełnie innych obrazów. Multimodalność nie usuwa problemu języka; przenosi go do obrazu, gdzie trudniej go zauważyć.

W przekładzie

Polski termin „multimodalność” jest kalką i w naukach o komunikacji funkcjonował wcześniej niż w informatyce, w znaczeniu semiotycznym. W tekstach o sztucznej inteligencji konkurują „modele multimodalne”, „wielomodalne” i opisowe „modele łączące tekst, obraz i dźwięk”. „Wielomodalny” brzmi po polsku naturalniej, ale rozchodzi się z literaturą i z drugim znaczeniem słowa; nie wiadomo też, czy się przyjmie. Pozostajemy przy „multimodalności”, zaznaczając w razie potrzeby, czy chodzi o dane w modelu, czy o tryby znaczenia w komunikacji.