Modele dyfuzyjne

Definicja robocza

Model dyfuzyjny to model generatywny, który uczy się odwracać proces stopniowego niszczenia danych: do obrazu, dźwięku lub struktury cząsteczki dodaje się w wielu krokach szum gaussowski, aż zostaje czysty szum, a sieć neuronowa uczy się cofać każdy taki krok. Generowanie polega na wylosowaniu szumu i przeprowadzeniu go przez wyuczoną sekwencję odszumiania (denoising) w stronę próbki podobnej do danych treningowych. Technicznie sieć przybliża gradient logarytmu gęstości danych (score) na każdym poziomie zaszumienia, więc nie zna rozkładu wprost, lecz wie, „w którą stronę” jest bardziej prawdopodobnie. W użyciu potocznym termin oznacza po prostu „generator obrazów z tekstu” (Stable Diffusion, Midjourney, DALL·E), co zaciera fakt, że to ogólna metoda uczenia rozkładów, stosowana także w biologii strukturalnej, audio i robotyce.

Geneza i rodowód

Pomysł sformułowali w 2015 r. Jascha Sohl-Dickstein i współautorzy ze Stanfordu w artykule Deep Unsupervised Learning using Nonequilibrium Thermodynamics (ICML 2015), wprost inspirując się fizyką statystyczną procesów nierównowagowych: jeśli dyfuzja w przód jest łańcuchem Markowa małych kroków, to proces odwrotny ma tę samą postać funkcyjną i można się go nauczyć. Praca przeszła niemal bez echa, bo w erze GAN-ów (Goodfellow, 2014) jej próbki wyglądały blado. Przełom przyszedł dwiema drogami naraz. Yang Song i Stefano Ermon (2019) rozwinęli dopasowywanie funkcji score Aapo Hyvärinena (2005) w generator oparty na dynamice Langevina, a Jonathan Ho, Ajay Jain i Pieter Abbeel z Berkeley w Denoising Diffusion Probabilistic Models (2020) pokazali, że uproszczona strata, czyli przewidywanie dodanego szumu, daje obrazy na poziomie najlepszych GAN-ów. Artykuł Songa i in. z 2021 r. połączył obie linie w jeden formalizm stochastycznych równań różniczkowych. W 2021 r. Dhariwal i Nichol z OpenAI ogłosili, że dyfuzja bije GAN-y w syntezie obrazu, a w 2022 r. grupa Björna Ommera z Monachium przeniosła proces do przestrzeni ukrytej autoenkodera, co dało Stable Diffusion i otworzyło technikę dla każdego z kartą graficzną. Od tej chwili pojęcie zostało przejęte przez obieg produktowy i publicystyczny jako synonim „AI do obrazków”, podczas gdy w badaniach rozwija się równolegle jako rodzina metod (flow matching, modele spójności, dyfuzja dyskretna) coraz dalszych od pierwotnej metafory fizycznej.

Rodowód środkowoeuropejski

Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej.

Dlaczego teraz

Lata 2022–2024 są okresem, w którym dyfuzja przestała być techniką z konferencji i stała się infrastrukturą. W kwietniu 2022 r. OpenAI pokazało DALL·E 2, w maju Google Imagen, a w sierpniu Stability AI udostępniło wagi Stable Diffusion, co w ciągu miesięcy wytworzyło ekosystem dostrajania, wtyczek i modeli społecznościowych. W styczniu 2023 r. artyści złożyli pozew zbiorowy przeciw Stability AI, Midjourney i DeviantArt, a Getty Images pozwało Stability AI w Wielkiej Brytanii (w lutym 2023 r. także w USA), czyniąc z pytania o dane treningowe spór prawny, nie tylko etyczny. W tym samym miesiącu zespół Carliniego pokazał, że z modeli da się wydobyć zapamiętane obrazy treningowe. W lutym 2024 r. OpenAI zaprezentowało generator wideo Sora oparty na transformerze dyfuzyjnym, a w maju 2024 r. AlphaFold 3 zastąpił wcześniejszy moduł strukturalny modułem dyfuzyjnym, co pokazało, że ta sama metoda działa na współrzędnych atomów, nie tylko na pikselach. Równolegle Unia Europejska w AI Act (2024) wprowadziła obowiązek oznaczania treści syntetycznych, bezpośrednio adresowany do wytworów tej klasy modeli.

Siła wyjaśniająca

Pojęcie pozwala zobaczyć, że „generowanie” w dzisiejszej AI to dwa różne mechanizmy o odmiennych własnościach. Model językowy buduje wynik sekwencyjnie, token po tokenie, i każdy błąd dziedziczy; model dyfuzyjny poprawia cały wynik naraz, w wielu przebiegach, od ogólnego kształtu do detalu. Trzy zastosowania tej optyki. Po pierwsze, wyjaśnia ona, dlaczego generatory obrazów tak długo nie potrafiły pisać czytelnego tekstu ani liczyć palców: globalna struktura powstaje wcześnie, przy wysokim szumie, a drobne, dyskretne zależności są dla procesu ciągłego trudne. Po drugie, pozwala zrozumieć ekonomię wnioskowania: skoro jedna próbka wymaga kilkudziesięciu przebiegów sieci, cała gałąź badań (destylacja, modele spójności, szybkie solvery) jest w istocie walką o liczbę kroków, a nie o jakość. Po trzecie, tłumaczy, dlaczego dyfuzja tak dobrze nadaje się do problemów odwrotnych w nauce i medycynie: rekonstrukcja obrazu MRI z niepełnych pomiarów czy projektowanie białka pod zadaną funkcję to dosłownie „odszumianie” w stronę rozkładu dopuszczalnych rozwiązań z narzuconym warunkiem.

Osie sporu

Niedoceniany kąt

Najmniej omawianą własnością dyfuzji jest to, że model nigdy nie uczy się rozkładu, tylko jego gradientu. Wie, w którą stronę od dowolnego punktu jest „bardziej prawdopodobnie”, ale nie potrafi powiedzieć, jak prawdopodobny jest dany obraz, ani odróżnić obszaru dobrze pokrytego danymi od obszaru, w którym ekstrapoluje. To ma konsekwencje poza techniką: system, który generuje medyczne rekonstrukcje lub struktury białek, jest z natury przekonujący i z natury niezdolny do wyrażenia niepewności tam, gdzie ona jest największa. Druga pomijana rzecz dotyczy samego szumu. Cała historia przetwarzania sygnału traktowała szum jako wroga do usunięcia; dyfuzja czyni z niego nośnik twórczości, bo to losowy punkt startowy, nie prompt, decyduje o tym, który z milionów możliwych obrazów powstanie. Autorstwo w tych systemach jest więc rozdzielone między człowieka (warunek), model (gradient) i generator liczb losowych (wybór), a debata o prawach autorskich do wytworów AI dotąd prawie nie zauważa trzeciego uczestnika.

W przekładzie

„Modele dyfuzyjne” przyjęły się bez oporu, bo kalka jest dokładna i ma oparcie w fizyce. Gorzej z denoising: „odszumianie” jest poprawne i używane w przetwarzaniu sygnałów, ale brzmi technicznie, a „usuwanie szumu” gubi iteracyjny charakter procesu. Termin score bywa tłumaczony jako „funkcja wyniku”, co myli z punktacją; lepiej zostawić „funkcja score” z wyjaśnieniem „gradient logarytmu gęstości”. Pozostajemy przy „odszumianiu” i „funkcji score”.