Architektura AI #115
Prawa skalowania
termin oryginalny: scaling laws (ang.) · neural scaling laws, prawa skalowania sieci neuronowych, hipoteza skalowania
Pojęcie z obiegu globalnego — bez udokumentowanego rodowodu w regionie. przejdź do dokumentacji ↓
Definicja robocza
Prawa skalowania (scaling laws) to empiryczne zależności potęgowe między wynikiem modelu uczenia maszynowego — mierzonym zwykle stratą na danych testowych — a trzema zasobami: liczbą parametrów, liczbą przykładów treningowych i mocą obliczeniową zużytą na trening. „Prawo” oznacza tu regularność mierzoną na wielu rzędach wielkości, nie twierdzenie wyprowadzone z teorii: wykładniki są dopasowane do danych, a nie wyjaśnione. W wersji technicznej pojęcie mówi tylko tyle, że krzywa straty jest gładka i przewidywalna, co pozwala planować budżet treningu. W wersji potocznej i inwestorskiej zamienia się w „hipotezę skalowania”: przekonanie, że dalsze powiększanie zasobów samo przyniesie nowe zdolności, aż po inteligencję ogólną.
Geneza i rodowód
Potęgowe prawa skalowania mają długą historię w fizyce i biologii (allometria, prawo Kleibera), ale do uczenia maszynowego weszły jako wynik pomiaru, nie dedukcji. W grudniu 2017 r. zespół Baidu (Hestness i in.) wykazał, że błąd generalizacji w tłumaczeniu, rozpoznawaniu mowy i modelowaniu języka spada potęgowo wraz z ilością danych, a ulepszenia architektury przesuwają krzywą, lecz nie zmieniają jej wykładnika. Kanoniczne sformułowanie dał artykuł Kaplana, McCandlisha i współautorów z OpenAI (styczeń 2020 r.): strata transformera językowego maleje potęgowo z parametrami, danymi i mocą obliczeniową na przestrzeni ponad siedmiu rzędów wielkości, a szerokość czy głębokość sieci mają w szerokim zakresie znaczenie marginalne. Praca ta poprzedziła GPT‑3 i stała się operacyjnym uzasadnieniem wyścigu na rozmiar. W marcu 2022 r. zespół DeepMind (Hoffmann i in.) opublikował korektę znaną jako „Chinchilla”: przy stałym budżecie obliczeniowym parametry i tokeny powinny rosnąć w równym tempie, a model 70‑miliardowy trenowany na czterokrotnie większych danych pokonał 280‑miliardowego Gophera. Od tego momentu „prawa skalowania” oznaczają rodzinę zależności, która sama ewoluuje wraz z metodą pomiaru; w obiegu publicznym pojęcie zostało jednak spłaszczone do hasła „większe znaczy lepsze”.
Rodowód środkowoeuropejski
Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej.
Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej (co według przyjętej metody oznacza „nie znaleźliśmy”, nie „nie istnieje”; stan na październik 2026).
Dlaczego teraz
W latach 2020–2026 prawa skalowania przeszły z laboratoriów do polityki i finansów. GPT‑3 (2020) i GPT‑4 (2023) były interpretowane jako potwierdzenie przewidywalności krzywej; raport techniczny GPT‑4 wprost chwalił się przewidzeniem końcowej straty na podstawie modeli tysiąckrotnie mniejszych. Regulacje przejęły ten sposób myślenia: amerykańskie rozporządzenie wykonawcze o AI z października 2023 r. i unijny AI Act z 2024 r. definiują modele „graniczne” lub „z ryzykiem systemowym” progiem mocy obliczeniowej (odpowiednio 10^26 i 10^25 FLOP), czyli zakładają, że moc obliczeniowa przewiduje zdolności. Równocześnie Epoch AI szacowało, że zasób publicznego tekstu ludzkiego skończy się między 2026 a 2032 r., a od końca 2024 r. w branży toczy się spór, czy „ściana danych” i rozczarowujące wyniki kolejnych gigantycznych treningów oznaczają koniec klasycznego skalowania. Odpowiedzią stały się „prawa skalowania czasu wnioskowania”: modele rozumujące (seria o1 OpenAI od września 2024 r., DeepSeek R1 ze stycznia 2025 r.) przeniosły część zysków z treningu na obliczenia w trakcie odpowiedzi. Pojęcie jest potrzebne, bo bez niego nie da się czytać ani inwestycji rzędu setek miliardów dolarów w centra danych, ani sporów o to, czy mają sens.
Siła wyjaśniająca
Prawa skalowania pozwalają zobaczyć postęp AI jako problem alokacji zasobów, a nie ciągu wynalazków. Po pierwsze, wyjaśniają, dlaczego laboratoria planują trening modelu, którego nigdy nie uruchomiły: strata ostateczna jest ekstrapolacją z serii małych treningów, więc decyzja o wydaniu setek milionów dolarów ma oparcie w pomiarze. Po drugie, tłumaczą zwrot od „większych modeli” do „lepszych danych” po 2022 r.: Chinchilla pokazała, że sektor przez dwa lata marnował obliczenia na parametry, które nie miały czego się nauczyć, co zrodziło gorączkę pozyskiwania korpusów i spory licencyjne z wydawcami. Po trzecie, nadają sens polityce progów obliczeniowych: jeśli moc obliczeniowa jest dobrym predyktorem zdolności, to kontrola eksportu procesorów graficznych i rejestracja treningów powyżej progu są racjonalnym narzędziem, a jeśli nim nie jest — cała architektura regulacji stoi na piasku.
Osie sporu
Gładka krzywa kontra emergencja
Badacze z Google (Wei i in., 2022) opisali „zdolności emergentne”: umiejętności, które pojawiają się skokowo powyżej pewnego rozmiaru i których nie da się przewidzieć z mniejszych modeli. Dla zwolenników bezpieczeństwa AI jest to argument, że skalowanie jest nieprzewidywalne z natury. Najmocniejszy kontrargument: Schaeffer, Miranda i Koyejo (2023) pokazali, że skoki znikają, gdy zamienić nieciągłe metryki (dokładność „trafione albo nie”) na ciągłe; „emergencja” jest wówczas artefaktem linijki, a nie modelu. Charakter sporu: rzeczowy — rozstrzyga się na poziomie wyboru metryk i da się go badać eksperymentalnie, choć obie strony używają go retorycznie w debacie o ryzyku.
Hipoteza skalowania kontra „ściana”
Obóz skalowania (od eseju Suttona z 2019 r. po publiczne deklaracje szefów OpenAI i Anthropic) twierdzi, że metody ogólne plus moc obliczeniowa systematycznie wygrywają z wiedzą wbudowaną przez ludzi, więc krzywa będzie trwać. Krytycy, od Gary’ego Marcusa po zespół Epoch AI, wskazują na skończoność danych, rosnące koszty krańcowe i to, że strata na zbiorze testowym nie przekłada się liniowo na rozumowanie. Najmocniejszy kontrargument: Prawa skalowania opisują stratę, a nie użyteczność; nawet doskonale przewidywalna krzywa straty nic nie mówi o tym, czy ostatnie 0,1 nata entropii krzyżowej zawiera to, na czym użytkownikom zależy. Charakter sporu: mieszany — część empiryczna (dane, koszty) jest mierzalna, ale zakład o „inteligencji na końcu krzywej” jest zakładem, nie pomiarem, i obie strony mają w nim interes finansowy.
Prawo przyrody czy artefakt jednej architektury
Teoretycy uczenia maszynowego pytają, dlaczego wykładniki mają takie wartości, jakie mają; proponowane wyjaśnienia (wymiar wewnętrzny rozmaitości danych, rozkład Zipfa częstości „umiejętności”) są częściowe. Praktycy odpowiadają, że wystarczy, iż prawo działa. Najmocniejszy kontrargument: Hestness i in. już w 2017 r. pokazali, że krzywe potęgowe występują w różnych architekturach i zadaniach, więc nie są kaprysem transformera; a samo Chinchilla dowiodło, że „prawo” można poprawić, nie obalając zjawiska. Charakter sporu: rzeczowy — to spór o status epistemiczny regularności empirycznej bez teorii, znany z ekonomii i biologii.
Niedoceniany kąt
Najrzadziej zauważana własność praw skalowania polega na tym, że są one technologią koordynacji społecznej, a nie tylko wynikiem naukowym. Gładka krzywa daje zarządom, inwestorom i regulatorom wspólny język, w którym przyszłość ma postać liczby FLOP; dzięki niej można zawrzeć umowę na centrum danych, zanim istnieje model, i napisać ustawę, zanim istnieje zdolność. To zmienia pytanie „czy skalowanie działa?” w pytanie „kto zyskuje na tym, że wszyscy wierzą, iż działa?”. Krzywa jest samospełniająca się w stopniu, w jakim kieruje kapitał w jedną stronę, i zarazem jest jedynym narzędziem, które pozwoliłoby wykryć, że przestała działać. Spory o „ścianę” toczą się więc wewnątrz instrumentu, który je mierzy.
W przekładzie
Polski termin nie jest ustalony. „Prawa skalowania” to kalka, która przyjęła się w publicystyce i branży i którą tu zachowujemy; jej koszt to słowo „prawo”, sugerujące twierdzenie teoretyczne, podczas gdy chodzi o regularność empiryczną. „Zależności potęgowe” są dokładniejsze, ale gubią kontekst AI i brzmią jak hasło z fizyki. „Hipoteza skalowania” to osobne pojęcie — zakład filozoficzny nadbudowany nad prawami — i nie należy ich mylić.
Jedno zdanie na wynos
Prawa skalowania nie mówią, że większe modele są mądrzejsze; mówią, że ich strata jest przewidywalna, a cała reszta — od „emergencji” po AGI — jest interpretacją, którą ktoś dopisał do krzywej.
Sieć pojęć pokrewnych
Jak to pojęcie wzmacnia, ogranicza lub uzupełnia inne ramy analityczne w korpusie.
-
LLM wzmacnia
Prawa skalowania są uzasadnieniem ekonomicznym i epistemicznym samego istnienia wielkich modeli językowych: tłumaczą, dlaczego opłaca się trenować coraz większe.
-
Transformer uzupełnia
Gładkie krzywe potęgowe zmierzono dla jednej architektury; nie wiadomo, w jakim stopniu są własnością uczenia w ogóle, a w jakim własnością transformera.
-
Emergencja w napięciu
Nagłe „skoki” zdolności przy progach skali podważają obraz gładkiej, przewidywalnej poprawy; spór o to, czy to artefakt metryki, trwa.
-
Prawo Goodharta ogranicza
Strata na zbiorze testowym maleje przewidywalnie, ale nie jest tożsama z użytecznością ani bezpieczeństwem; optymalizacja pod krzywą może rozjechać się z celem.
-
Model collapse ogranicza
Jeśli zasób danych ludzkich jest skończony, a dane syntetyczne degradują rozkład, krzywa skalowania danych ma twardy sufit.
-
Frontier AI wzmacnia
Polityka wobec modeli granicznych posługuje się progami mocy obliczeniowej (np. 10^26 FLOP) właśnie dlatego, że moc obliczeniowa przewiduje zdolności.
-
AGI uzupełnia
„Hipoteza skalowania” to zakład, że ekstrapolacja krzywej dociera do ogólnej inteligencji; prawa skalowania opisują tylko stratę, nie dowodzą tego zakładu.
Kanon lektur i most przekładowy
Kluczowe prace założycielskie, wprowadzenia i głosy krytyczne — wraz z informacją o dostępności wydań w języku polskim i angielskim.
-
tekst założycielski 2020 · angielski
Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei, Scaling Laws for Neural Language Models
Tekst, który nadał pojęciu dzisiejszy kształt: strata modelu językowego spada potęgowo wraz z parametrami, danymi i mocą obliczeniową na przestrzeni ponad siedmiu rzędów wielkości, a szczegóły architektury mają znaczenie drugorzędne.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
tekst założycielski 2022 · angielski
Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch i in., Training Compute-Optimal Large Language Models
Korekta Kaplana znana jako „Chinchilla”: przy stałym budżecie obliczeniowym parametry i tokeny powinny rosnąć w równym tempie, co oznaczało, że modele z lat 2020–2022 były zbyt duże jak na ilość danych, na których je trenowano.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
wprowadzenie i synteza 2017 · angielski
Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md. Mostofa Ali Patwary, Yang Yang, Yanqi Zhou, Deep Learning Scaling is Predictable, Empirically
Wcześniejsza praca z Baidu, która pokazała potęgową zależność błędu generalizacji od danych w kilku dziedzinach i wprost zaznaczyła, że wykładniki tych krzywych nie mają jeszcze wyjaśnienia teoretycznego.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
perspektywa krytyczna 2023 · angielski
Rylan Schaeffer, Brando Miranda, Sanmi Koyejo, Are Emergent Abilities of Large Language Models a Mirage?
Argument, że „emergentne skoki” zdolności są artefaktem nieciągłych metryk oceny, a przy metrykach ciągłych poprawa wraca do gładkiej, przewidywalnej krzywej; obrona przewidywalności skalowania od strony metodologii.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
perspektywa krytyczna 2022 · angielski
Pablo Villalobos, Anson Ho, Jaime Sevilla, Tamay Besiroglu, Lennart Heim, Marius Hobbhahn, Will we run out of data? Limits of LLM scaling based on human-generated data
Szacunek zespołu Epoch AI, że zasób publicznego tekstu pisanego przez ludzi zostanie wyczerpany przez trening modeli między 2026 a 2032 r.; pokazuje, że oś danych w prawach skalowania ma fizyczny kres.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
z innej dziedziny 2019 · angielski
Richard S. Sutton, The Bitter Lesson
Krótki esej weterana uczenia ze wzmocnieniem: siedemdziesiąt lat historii AI uczy, że metody ogólne wykorzystujące moc obliczeniową wygrywają z wiedzą wbudowaną przez ludzi; filozoficzne zaplecze „hipotezy skalowania”.
Po polsku: wydania polskiego nie sprawdzono
Po angielsku: tekst oryginalny po angielsku
-
z innej dziedziny 2017 · angielski
Geoffrey West, Scale: The Universal Laws of Growth, Innovation, Sustainability, and the Pace of Life in Organisms, Cities, Economies, and Companies
Fizyk z Santa Fe Institute o prawach potęgowych w biologii i miastach; pozwala zobaczyć, że „prawo skalowania” jest w nauce starym typem twierdzenia empirycznego, a nie wynalazkiem branży AI.
Po polsku: wydania polskiego nie sprawdzono
Po angielsku: tekst oryginalny po angielsku
Cytaty źródłowe
The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude.
Strata skaluje się potęgowo z rozmiarem modelu, rozmiarem zbioru danych i ilością mocy obliczeniowej zużytej na trening, a niektóre z tych trendów rozciągają się na ponad siedem rzędów wielkości. (przekład: przekład roboczy)
for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled.
przy treningu optymalnym obliczeniowo rozmiar modelu i liczba tokenów treningowych powinny rosnąć w równym stopniu: na każde podwojenie rozmiaru modelu liczba tokenów treningowych również powinna się podwoić. (przekład: przekład roboczy)