Falsyfikowalność i kryzys replikacji

Definicja robocza

Falsyfikowalność (falsifiability) to własność twierdzenia, które da się obalić możliwą obserwacją: hipoteza jest naukowa, jeśli zabrania czegoś w świecie i wskazuje, jaki wynik by ją pogrążył. Kryzys replikacji (replication crisis) to stwierdzone od około 2011 r. zjawisko, że duża część opublikowanych wyników, zwłaszcza w psychologii, medycynie i ekonomii, nie potwierdza się przy powtórzeniu badania. Oba pojęcia łączy jedna myśl operacyjna: wynik, którego nikt nie próbował obalić, nie jest jeszcze wiedzą, tylko kandydatem na wiedzę. W potocznym użyciu „falsyfikowalność” bywa pałką na każdą niewygodną teorię; w sensie technicznym jest kryterium logicznym, które mówi, co jest sprawdzalne, nie co jest prawdziwe.

Geneza i rodowód

Kryterium falsyfikowalności sformułował Karl Popper w Logik der Forschung (1935), w sporze z Kołem Wiedeńskim o to, czy sensowność zdań naukowych zapewnia ich weryfikacja. Popper odwrócił kierunek: żadna liczba potwierdzeń nie dowodzi prawa ogólnego, jedna rzetelna kontrobserwacja je obala. Z tej asymetrii wyprowadził metodę śmiałych hipotez i surowych prób. Drugą nogę pojęcia dał John Ioannidis w 2005 r. w PLoS Medicine: przy niskim prawdopodobieństwie a priori hipotez, małej mocy testów i swobodzie analitycznej większość istotnych statystycznie wyników musi być fałszywa. Pomost między obiema liniami zbudowały lata 2011–2016: Simmons, Nelson i Simonsohn pokazali, jak „stopnie swobody badacza” produkują fałszywe pozytywy, Open Science Collaboration powtórzyła sto badań psychologicznych, a ankieta Nature ujawniła, jak powszechne są nieudane replikacje. Pojęcie bywa przechwytywane przez obieg sceptyczny wobec nauki jako całości, który z „większość wyników jest fałszywa” robi „nauka kłamie”; Ioannidis pisał o rozkładzie prawdopodobieństw, nie o spisku.

Rodowód środkowoeuropejski

Trzy ogniwa rodowodu leżą w Wiedniu, Lwowie i Debreczynie. Popper jest w całości formacją wiedeńską: studia od 1918 r., doktorat u Karla Bühlera w 1928 r., Logik der Forschung u Springera w 1935 r., pisana w polemice z Kołem Wiedeńskim, ale w tym samym mieście i w tym samym idiomie. Kontrapunkt powstał równolegle. Ludwik Fleck, lekarz ukształtowany we Lwowie (dyplom 1922, asystentura u Rudolfa Weigla, własne laboratorium od 1923 r.), wydał w 1935 r. w Bazylei Entstehung und Entwicklung einer wissenschaftlichen Tatsache, gdzie fakt naukowy jest wytworem kolektywu myślowego i jego stylu myślowego. Jeżeli to, co widzi obserwator, jest już uformowane przez styl myślowy, pojedyncza „obalająca” obserwacja nie jest niezależnym sędzią teorii. Nie znaleźliśmy śladu, by Popper i Fleck się czytali; udokumentowana jest natomiast droga Flecka do Kuhna, który w przedmowie do The Structure of Scientific Revolutions (1962) wymienia jego książkę. Trzecie ogniwo to Imre Lakatos: studia w Debreczynie (1940–1944), doktorantura w Budapeszcie od 1946 r. i doktorat w Debreczynie w 1947 r., pierwsza lektura Poppera w Instytucie Matematycznym Węgierskiej Akademii Nauk po wyjściu z obozu w Recsk. Po emigracji w listopadzie 1956 r. sformułował w Londynie „wyrafinowany falsyfikacjonizm” (1970): teorii nie porzuca się po pierwszej refutacji, lecz ocenia się, czy program badawczy przewiduje nowe fakty, czy tylko łata dziury.

Dlaczego teraz

Między 2018 a 2026 r. kryzys z diagnozy stał się infrastrukturą. Po replikacjach z lat 2015–2018 standardem w psychologii i rosnącej części medycyny stały się prerejestracja hipotez i raporty rejestrowane (registered reports), w których czasopismo przyjmuje artykuł przed poznaniem wyników. Pandemia COVID-19 w latach 2020–2021 pokazała obie strony pojęcia naraz: lawinę preprintów o nieodtwarzalnych efektach leków i jednocześnie szybkie, prerejestrowane badania, które część z nich obaliły. Od 2022 r. fala wykrytych manipulacji danymi w głośnych badaniach o uczciwości i w onkologii, wraz z cofanymi publikacjami i dymisjami, przeniosła dyskusję z metod statystycznych na bodźce instytucjonalne. Równolegle narzędzia maszynowe do analizy danych pomnożyły „stopnie swobody badacza”, a jednocześnie umożliwiły automatyczne wykrywanie niespójności w opublikowanych statystykach.

Siła wyjaśniająca

Pojęcie pozwala odróżnić trzy rzeczy, które w potocznej rozmowie zlewają się w jedno: czy twierdzenie jest sprawdzalne, czy zostało sprawdzone i czy sprawdzenie ktoś powtórzył. Po pierwsze, wyjaśnia, dlaczego efektowny wynik z jednego badania o małej próbie jest słabszym dowodem niż nudny wynik z badania prerejestrowanego: przy niskim prawdopodobieństwie a priori sam próg p < 0,05 mówi niewiele. Po drugie, rachunek Ioannidisa tłumaczy, dlaczego „gorące” dziedziny z wieloma konkurującymi zespołami produkują proporcjonalnie więcej fałszywych pozytywów: nagradzany jest ten, kto pierwszy ogłosi efekt, nie ten, kto go obali. Po trzecie, pokazuje, czym różni się nauka od jej imitacji w polityce i biznesie: nie tym, że ma rację, lecz tym, że wskazuje z góry, co by ją pogrążyło, i płaci za sprawdzenie.

Osie sporu

Niedoceniany kąt

Kryzys replikacji jest zwykle opowiadany jako historia statystyki i bodźców, a rzadko jako historia pojęcia faktu. Tymczasem Fleck już w 1935 r. opisał mechanizm, który dziś nazywa się efektem oczekiwań eksperymentatora i „ogrodem rozwidlających się ścieżek”: styl myślowy decyduje, co w ogóle liczy się jako obserwacja, więc kolektyw może przez lata potwierdzać fakt, który istnieje głównie w jego własnych procedurach. Replikacja działa dlatego, że zmienia kolektyw, nie tylko próbę: inny zespół, z innymi nawykami i bez inwestycji w wynik, patrzy na te same dane inaczej. Z tego wynika niewygodny wniosek dla ruchu otwartej nauki: prerejestracja dyscyplinuje jednostkę, ale nie chroni przed błędem wspólnym dla całej dziedziny. Przed tym chroni tylko różnorodność stylów myślowych, a tę systemy oceny nauki raczej redukują, niż pielęgnują.

W przekładzie

Polski termin „falsyfikowalność” jest kalką przyjętą w filozofii nauki od przekładów Poppera i nie ma dobrej alternatywy; „obalalność” jest czytelniejsza, ale brzmi jak neologizm i nie przyjęła się w literaturze. Większy kłopot sprawia druga część pojęcia. W tekstach anglojęzycznych rozróżnia się replication (powtórzenie badania z nowymi danymi) i reproducibility (odtworzenie wyniku z tych samych danych i kodu), a po polsku oba oddaje się słowem „powtarzalność” albo „odtwarzalność”, co zaciera różnicę istotną dla sporu. Przyjmujemy „replikację” dla nowych danych i „odtwarzalność” dla ponownej analizy tych samych danych; „kryzys replikacji” pozostaje nazwą całego zjawiska.