Architektura AI #123
Model cards
termin oryginalny: model cards (ang.) · karty modeli, karta modelu, model reporting
Pojęcie z obiegu globalnego — bez udokumentowanego rodowodu w regionie. przejdź do dokumentacji ↓
Definicja robocza
Karta modelu (model card) to krótki, ustandaryzowany dokument dołączany do wytrenowanego modelu uczenia maszynowego, który podaje: do czego model jest przeznaczony i do czego nie, na jakich danych i według jakich metryk go oceniono oraz jak jego skuteczność rozkłada się między grupami użytkowników i warunkami użycia. W ujęciu technicznym Mitchell i współautorów kluczowa jest dezagregacja wyników, czyli ujawnienie, że model działa inaczej dla różnych płci, odcieni skóry czy akcentów, a nie jedna średnia na benchmarku. W ujęciu potocznym „karta modelu” oznacza dziś każdy plik README przy modelu w repozytorium, często wypełniony automatycznie i bez sekcji o ograniczeniach. Różnica między tymi ujęciami jest treścią większości sporów o pojęcie.
Geneza i rodowód
Pojęcie sformułował zespół z Google (Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, Timnit Gebru) w preprincie z października 2018 r., opublikowanym na konferencji FAT* w Atlancie w styczniu 2019 r. Tekst należy do pierwszej fali badań nad sprawiedliwością i odpowiedzialnością systemów uczących się, która wyrosła z audytów rozpoznawania twarzy i z pytania, dlaczego modele publikowane „do ogólnego użytku” trafiają do kontekstów, w których nikt ich nie sprawdził. Bezpośrednim wzorcem były „arkusze danych dla zbiorów danych” (datasheets for datasets) Gebru i współautorów z marca 2018 r., które przeniosły do uczenia maszynowego praktykę specyfikacji z elektroniki; karta modelu jest ich odpowiednikiem po stronie artefaktu końcowego. Autorzy stworzyli format celowo skromny: jedna-dwie strony, stałe sekcje, przykłady dla detektora uśmiechu i klasyfikatora toksyczności. Od 2020 r. pojęcie przeszło w inny obieg: Hugging Face uczynił kartę domyślnym plikiem każdego repozytorium modelu, a laboratoria frontier zaczęły publikować „karty systemowe” (system cards) liczące dziesiątki stron. W obu przypadkach nazwa została, ale zmieniła się funkcja, o czym niżej.
Rodowód środkowoeuropejski
Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej.
Nie znaleźliśmy udokumentowanego związku tego pojęcia z myślą lub doświadczeniem Europy Środkowej (co według przyjętej metody oznacza „nie znaleźliśmy”, nie „nie istnieje”; stan na październik 2026).
Dlaczego teraz
Trzy ciągi zdarzeń zrobiły z kart modeli pojęcie sporne, a nie tylko dobrą praktykę. Pierwszy to konflikt w Google na przełomie 2020 i 2021 r. wokół artykułu o „stochastycznych papugach”, po którym firmę opuściły Gebru i Mitchell, czyli obie główne autorki kart; dokumentacja modeli stała się w tym momencie tematem politycznym w samej branży. Drugi to zwrot ku tajności przy dużych modelach językowych: raport techniczny GPT-4 z marca 2023 r. nie podaje rozmiaru modelu, architektury ani składu danych treningowych, choć towarzyszy mu obszerna karta systemowa. Pojęcie zaprojektowane, by ujawniać, zaczęło służyć do kadrowania tego, co zostaje ukryte. Trzeci to prawo: Załącznik IV unijnego aktu o sztucznej inteligencji wylicza elementy dokumentacji technicznej systemów wysokiego ryzyka (przeznaczenie, dane treningowe i ich pochodzenie, metryki, znane ograniczenia, przewidywalne skutki uboczne), czyli w praktyce rozbudowaną kartę modelu z sankcją. Do tego dochodzi skala: analiza około 32 tysięcy kart z Hugging Face z 2024 r. pokazała, że najrzadziej wypełniane są sekcje o ograniczeniach, ewaluacji i wpływie środowiskowym, a więc dokładnie te, dla których format powstał.
Siła wyjaśniająca
Pojęcie pozwala zobaczyć, że model nie jest obiektem, lecz obiektem plus zestawem roszczeń o tym, gdzie działa. Bez karty model wygląda jak uniwersalna funkcja; z kartą staje się widoczne, że klasyfikator uśmiechu trenowany na jednym zbiorze twarzy ma inną skuteczność dla osób starszych albo o ciemniejszej karnacji, a więc jego „dokładność 94%” jest zdaniem o konkretnej populacji. Trzy przykłady. Po pierwsze, w zamówieniach publicznych karta pozwala zadać dostawcy pytanie o wyniki dla grupy, którą urząd faktycznie obsługuje, zamiast o ogólny wynik na benchmarku. Po drugie, w sporze o dostępność wag (open weights) karta pokazuje, że „otwartość” modelu bez informacji o danych treningowych i procedurze ewaluacji jest otwartością pliku, nie wiedzy. Po trzecie, kiedy duże laboratorium publikuje kartę systemową, sam układ sekcji ujawnia, które ryzyka firma uznaje za mierzalne, a które za temat do opisu prozą; to lektura dokumentu jako mapy instytucjonalnego pola widzenia.
Osie sporu
Dokumentacja jako przejrzystość kontra dokumentacja jako alibi
Badacze odpowiedzialności algorytmicznej, w tym współautorzy kart (Raji i in., 2020), twierdzą, że karta jest tylko jednym z artefaktów audytu i że bez procesu decyzyjnego, który może zablokować wdrożenie, staje się rytuałem zgodności. Krytycy z nauk społecznych dodają, że dobrowolna samodokumentacja daje firmom legitymizację bez kosztu. Najmocniejszy kontrargument: Nawet niedoskonała karta tworzy zapis, do którego można później wrócić; brak dokumentu uniemożliwia wszelki spór o to, czy producent wiedział o ograniczeniu. Standaryzacja niskiego progu jest warunkiem, by audyt w ogóle miał co czytać. Charakter sporu: rzeczowy — chodzi o to, czy dokument bez instytucji egzekwującej zmienia zachowanie producenta, a to pytanie empiryczne.
Krótki formularz kontra karta systemowa
Projekt Mitchell i współautorów zakładał jedną-dwie strony i porównywalność między modelami. Laboratoria publikujące modele frontier zastąpiły go kartami systemowymi, które opisują cały produkt z zabezpieczeniami, testami przeciwnika i politykami użycia; bronią tego argumentem, że model językowy ogólnego przeznaczenia nie ma „przeznaczenia”, które dałoby się zapisać w rubryce. Najmocniejszy kontrargument: Karta systemowa, której treść dobiera wyłącznie producent, nie jest porównywalna z żadną inną i nie daje się zweryfikować; jej długość wzrosła wraz z ubywaniem danych o architekturze i zbiorach treningowych, więc objętość zastąpiła ujawnienie. Charakter sporu: mieszany — różnica dotyczy realnie innego typu artefaktu, ale argument o braku „przeznaczenia” bywa używany do uchylenia się od każdej konkretnej deklaracji.
Praktyka badawcza kontra obowiązek prawny
Regulatorzy (unijny akt o sztucznej inteligencji, Załącznik IV) i ich zwolennicy uważają, że dokumentacja musi być wymuszona, bo dobrowolna karta wypełniana jest selektywnie. Część środowiska otwartego uczenia maszynowego odpowiada, że obowiązkowa dokumentacja faworyzuje duże firmy, które mają działy zgodności, i wypycha z rynku małych autorów modeli. Najmocniejszy kontrargument: Dane z Hugging Face pokazują, że to właśnie bez obowiązku sekcje o ograniczeniach pozostają puste; koszt dokumentacji jest niski w porównaniu z kosztem trenowania, a asymetria dotyczy raczej gotowości do ujawniania niż zasobów. Charakter sporu: rzeczowy — stawką jest rozkład kosztów i kto je ponosi, a nie sama zasada.
Niedoceniany kąt
Karta modelu jest gatunkiem literackim i jak każdy gatunek ma adresata domyślnego. Format Mitchell i współautorów pisany był z myślą o trzech czytelnikach: badaczu, praktyku wdrażającym model i osobie, której model dotyczy. W praktyce karty czytają niemal wyłącznie inni inżynierowie oraz, od niedawna, programy, które je parsują. Sekcja „przeznaczenie” ma więc odbiorcę, dla którego jest nieczytelna, a sekcja „metryki” odbiorcę, który i tak odtworzy je z kodu. To tłumaczy, dlaczego pola o ograniczeniach pozostają puste: nikt, kto je czytał, nie oczekiwał tam treści. Wynika z tego praktyczne pytanie, którego literatura prawie nie stawia: czy karta powinna istnieć w kilku rejestrach językowych dla różnych odbiorców, tak jak ulotka leku ma wersję dla pacjenta i charakterystykę dla lekarza. Jeśli tak, to spór o długość kart systemowych jest w istocie sporem o to, że powstała jedna wersja „dla lekarza” i uznano ją za wszystkie.
W przekładzie
Polski termin nie jest ustalony. „Karta modelu” jest kalką dosłowną i przyjmuje się w dokumentach technicznych; jej koszt to skojarzenie z kartą produktu lub kartą charakterystyki substancji, które sugeruje dokument urzędowy, a nie opis warunków ewaluacji. „Metryka modelu” myli z miarą skuteczności. „Dokumentacja modelu” jest szersza i obejmuje raporty techniczne. W listach serwisu pojęcie figuruje jako „model cards” i tak je zostawiamy w tytule, a w tekście używamy „karta modelu” jako terminu roboczego, bo oddaje najważniejszą cechę oryginału: krótką, ustandaryzowaną formę, a nie dowolny opis.
Jedno zdanie na wynos
Karta modelu nie mówi, jak model działa, lecz gdzie producent zgodził się za niego odpowiadać, i dlatego najwięcej mówi to, czego w niej brakuje.
Sieć pojęć pokrewnych
Jak to pojęcie wzmacnia, ogranicza lub uzupełnia inne ramy analityczne w korpusie.
-
Data provenance uzupełnia
Karta modelu opisuje gotowy artefakt, a pochodzenie danych opisuje łańcuch, który do niego prowadził; bez tego drugiego sekcja „dane treningowe” w karcie jest pustą deklaracją.
-
Stronniczość algorytmiczna wzmacnia
Sekcja wyników zdezagregowanych po grupach demograficznych jest w karcie modelu narzędziem do ujawniania nierównej skuteczności, a nie jej usuwania.
-
Wyjaśnialność (XAI) uzupełnia
Karta modelu wyjaśnia warunki i granice użycia systemu, a nie mechanizm pojedynczej decyzji; obie formy przejrzystości odpowiadają na różne pytania.
-
Red teaming uzupełnia
Wyniki testów przeciwnika coraz częściej trafiają do „kart systemowych” dużych modeli, co zmienia kartę z raportu z benchmarków w protokół z badania bezpieczeństwa.
-
AI governance wzmacnia
Dokumentacja modelu jest najtańszym i najczęściej wybieranym przez regulatorów instrumentem nadzoru, bo nie wymaga rozumienia modelu, tylko sprawdzenia, czy obiecane informacje zostały ujawnione.
-
Prawo Goodharta w napięciu
Gdy wypełnienie karty staje się warunkiem publikacji albo zgodności z prawem, wypełnianie pól zaczyna wypierać rzetelne badanie modelu, które miało dokumentować.
-
Synthetic data w napięciu
Modele trenowane na danych generowanych przez inne modele dziedziczą ich nieudokumentowane ograniczenia, czego standardowa karta nie ujmuje.
Kanon lektur i most przekładowy
Kluczowe prace założycielskie, wprowadzenia i głosy krytyczne — wraz z informacją o dostępności wydań w języku polskim i angielskim.
-
tekst założycielski 2019 · angielski
Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, Timnit Gebru, Model Cards for Model Reporting
Tekst źródłowy z konferencji FAT* 2019 (preprint arXiv z października 2018): proponuje format krótkiego dokumentu z sekcjami o przeznaczeniu, metrykach, danych ewaluacyjnych i wynikach po grupach; dwa przykładowe karty dotyczą detekcji uśmiechu i toksyczności.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
tekst założycielski 2018 · angielski
Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford, Datasheets for Datasets
Starszy o pół roku bliźniak kart modeli dla zbiorów danych, z metaforą arkuszy specyfikacji z elektroniki; preprint z marca 2018, wersja czasopiśmiennicza w „Communications of the ACM” w grudniu 2021.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
perspektywa krytyczna 2020 · angielski
Inioluwa Deborah Raji, Andrew Smart, Rebecca N. White, Margaret Mitchell, Timnit Gebru, Ben Hutchinson, Jamila Smith-Loud, Daniel Theron, Parker Barnes, Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing
Sami autorzy kart pokazują ich niewystarczalność: karta jest tylko jednym z artefaktów wewnętrznego audytu, który obejmuje też analizę ryzyka, testy i decyzję o wdrożeniu.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
perspektywa krytyczna 2024 · angielski
Weixin Liang, Nazneen Rajani, Xinyu Yang, Ezinwanne Ozoani, Eric Wu, Yiqun Chen, Daniel Scott Smith, James Zou, What's documented in AI? Systematic Analysis of 32K AI Model Cards
Analiza około 32 tysięcy kart z Hugging Face: sekcje o ograniczeniach, ewaluacji i wpływie środowiskowym są wypełniane najrzadziej, co pokazuje rozziew między formatem a praktyką.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
wprowadzenie i synteza 2021 · angielski
Ben Hutchinson, Andrew Smart, Alex Hanna, Emily Denton, Christina Greer, Oddur Kjartansson, Parker Barnes, Margaret Mitchell, Towards Accountability for Machine Learning Datasets: Practices from Software Engineering and Infrastructure
Przenosi dokumentację z poziomu jednorazowego formularza na cały cykl życia danych i modelu, wzorując się na praktykach inżynierii oprogramowania; dobre wejście dla osób, które chcą rozumieć karty jako element procesu.
Po polsku: brak polskiego wydania
Po angielsku: tekst oryginalny po angielsku
-
z innej dziedziny 2021 · angielski
Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
Artykuł, którego spór wokół publikacji doprowadził do odejścia Gebru i Mitchell z Google; argumentuje, że przy modelach językowych dokumentowanie danych jest obowiązkiem, a nie opcją.
Po polsku: wydania polskiego nie sprawdzono
Po angielsku: tekst oryginalny po angielsku
-
z innej dziedziny 2021 · angielski
Kate Crawford, Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence
Współautorka arkuszy danych pokazuje, czego żaden formularz nie ujmie: pracę, minerały i energię, które stoją za modelem; lektura korygująca złudzenie, że dokumentacja wyczerpuje odpowiedzialność.
Po polsku: „Atlas sztucznej inteligencji. Władza, pieniądze i środowisko naturalne”, Wydawnictwo Uniwersytetu Jagiellońskiego (Bo.wiem) 2024, przeł. Tadeusz Chawziuk
Po angielsku: tekst oryginalny po angielsku
Cytaty źródłowe
Model cards are short documents accompanying trained machine learning models that provide benchmarked evaluation in a variety of conditions, such as across different cultural, demographic, or phenotypic groups [...].
Karty modeli to krótkie dokumenty towarzyszące wytrenowanym modelom uczenia maszynowego, podające wyniki ewaluacji na wzorcach w różnych warunkach, na przykład w różnych grupach kulturowych, demograficznych lub fenotypowych [...]. (przekład: przekład roboczy)