Privacy-preserving ML

Definicja robocza

Uczenie maszynowe z ochroną prywatności (privacy-preserving machine learning, PPML) to zbiór technik, które pozwalają trenować i udostępniać modele tak, aby z ich parametrów, predykcji ani z przebiegu treningu nie dało się odczytać informacji o pojedynczym rekordzie danych. Trzy filary to prywatność różnicowa (differential privacy: matematyczna granica wpływu jednego rekordu na wynik), uczenie federacyjne (federated learning: dane zostają u właściciela, krążą tylko aktualizacje modelu) oraz kryptografia obliczeń na danych ukrytych (szyfrowanie homomorficzne, obliczenia wielostronne). W sensie potocznym „ochrona prywatności” oznacza, że firma deklaruje, iż nie zagląda w dane; w sensie technicznym oznacza dowód, że żaden obserwator o dowolnej wiedzy dodatkowej nie wyciągnie z modelu więcej niż ustalony budżet ε.

Geneza i rodowód

Pojęcie ma dwa starsze źródła: statystykę ankietową (technika odpowiedzi losowej Warnera z 1965 r., która pozwalała zadawać wstydliwe pytania bez poznawania odpowiedzi konkretnej osoby) oraz kryptografię lat 80., gdzie Yao i inni zbudowali teorię bezpiecznych obliczeń wielostronnych. Nazwa „privacy-preserving data mining” pojawiła się w 2000 r. w dwóch niezależnych pracach o tym samym tytule: Agrawala i Srikanta (SIGMOD, podejście przez zaszumianie danych) oraz Lindella i Pinkasa (CRYPTO, podejście kryptograficzne). Przełom pojęciowy nastąpił w 2006 r., gdy Dwork, McSherry, Nissim i Smith sformułowali prywatność różnicową jako własność algorytmu, a nie zbioru danych; za tę pracę otrzymali w 2017 r. Nagrodę Gödla. W uczeniu głębokim rama zamknęła się w latach 2016–2017: Abadi i współautorzy pokazali trening sieci z policzalnym budżetem prywatności (DP-SGD), a zespół McMahana w Google nazwał i opisał uczenie federacyjne. Od tego momentu termin obejmuje raczej program inżynierski niż jedną teorię, a jego obieg korporacyjny (Apple, Google, Meta) często zaciera różnicę między gwarancją matematyczną a obietnicą produktową.

Rodowód środkowoeuropejski

Jedyny udokumentowany związek jest matematyczny i wąski. Gdy pole potrzebowało precyzyjnej rachuby, ile prywatności „zużywa” każdy krok treningu, sięgnęło po dywergencję Rényiego: rodzinę miar odległości między rozkładami, którą Alfréd Rényi opisał w 1961 r. w pracy On Measures of Entropy and Information. Rényi kształcił się w Budapeszcie (studia u Fejéra i Turána, 1940–1944) i w Szegedzie (doktorat u Riesza, 1945), a od 1950 r. kierował instytutem matematycznym Węgierskiej Akademii Nauk. Ilya Mironov w artykule Rényi Differential Privacy (2017) przyjął tę miarę jako samodzielną definicję prywatności i wprost cytuje pracę z 1961 r. (Definicja 3, przypis 18); wcześniej tę samą ideę w postaci rachuby momentów wykorzystał zespół Abadiego. Dziś to domyślna księgowość prywatności w bibliotekach do prywatnego treningu modeli. Rényi nie pisał o prywatności, więc nie ma mowy o wpływie idei; jest wpływ narzędzia, który warto odnotować właśnie dlatego, że pokazuje, jak abstrakcyjna teoria informacji z Budapesztu stała się częścią infrastruktury nadzoru nad danymi.

Dlaczego teraz

Trzy procesy z lat 2018–2026 wyniosły PPML z niszy do mainstreamu. Pierwszy to regulacja: RODO (od maja 2018 r.) i jego naśladowcy uczynili z „minimalizacji danych” obowiązek prawny, a PPML stało się sposobem, by dalej trenować modele, nie naruszając litery przepisu. Drugi to skala modeli językowych: w grudniu 2020 r. Carlini i współautorzy pokazali, że z GPT-2 da się wydobyć dosłowne fragmenty danych treningowych wraz z adresami i numerami telefonów; w kolejnych latach to samo udowadniano dla większych modeli, a pozwy o dane treningowe (2023–2025) nadały pytaniu „co model pamięta” wymiar prawny. Trzeci to wdrożenia państwowe: Spis Powszechny USA z 2020 r. jako pierwszy użył prywatności różnicowej do publikacji wyników, co wywołało spór demografów o koszt dokładności. Równolegle Google, Apple i Meta wbudowały uczenie federacyjne i prywatność różnicową w klawiatury, statystyki użycia i rekomendacje, przez co technika stała się częścią argumentu o dopuszczalności masowego zbierania danych.

Siła wyjaśniająca

Pojęcie pozwala rozdzielić trzy rzeczy, które debata o prywatności zwykle zlewa: kto ma dostęp do danych, co można z nich wywnioskować i co model o nich pamięta. Po pierwsze, wyjaśnia, dlaczego anonimizacja przez usunięcie nazwisk nie działa — Narayanan i Shmatikov w 2008 r. zidentyfikowali użytkowników Netfliksa z kilku ocen filmów — i dlaczego potrzebna jest gwarancja odporna na dowolną wiedzę dodatkową. Po drugie, przenosi pytanie o prywatność z etapu zbierania danych na etap wyjścia modelu: ataki na członkostwo (Shokri i in., 2017) dowodzą, że sam dostęp do predykcji zdradza, kto był w zbiorze treningowym. Po trzecie, daje język do oceny kosztów: budżet ε, utrata dokładności, nierówny wpływ szumu na grupy mniejszościowe. Dzięki temu można zadać konkretne pytanie o każdy system, zamiast ogólnego „czy szanuje prywatność”: jaki jest ε, jak liczony, i jakie dane w ogóle nie opuściły urządzenia.

Osie sporu

Niedoceniany kąt

Szum dodawany dla prywatności nie rozkłada się równo. Mechanizmy różnicowo prywatne tłumią sygnał z rzadkich wzorców, a rzadkie wzorce to zwykle mniejszości: małe grupy językowe, rzadkie choroby, nietypowe ścieżki życiowe. Model trenowany z silną gwarancją prywatności bywa więc systematycznie gorszy dla tych, których dane najbardziej wymagały ochrony. Ta sama własność objawiła się w amerykańskim spisie z 2020 r., gdzie szum najmocniej zniekształcił dane małych wspólnot. Innymi słowy, prywatność i sprawiedliwość nie są dwoma niezależnymi celami, które da się osiągnąć po kolei; budżet ε jest również decyzją o tym, kogo model zobaczy wyraźnie.

W przekładzie

Polski termin nie jest ustalony. „Uczenie maszynowe z ochroną prywatności” jest opisowe i długie, ale nie myli; „uczenie maszynowe chroniące prywatność” sugeruje, że model sam coś chroni, choć ochrona jest własnością procedury. Składowe mają lepszą sytuację: „uczenie federacyjne” i „prywatność różnicowa” przyjęły się w literaturze technicznej. W tytule zostawiamy skrót angielski zgodnie z listą źródłową, w tekście używamy formy opisowej.