Bada, jak przeciwnik może wpływać na dane, modele, wejścia, wyjścia lub otaczające przepływy pracy, by naruszyć poufność, integralność, dostępność lub cele akceptowalnego użycia. To zbiór wiedzy o atakach i obronach, a nie nazwa jednego konkretnego exploita.
Aktualna taksonomia NIST organizuje ataki według wymiarów takich jak etap cyklu życia, cel przeciwnika, zamiar, zdolność i wiedza. Istotne rodziny obejmują unikanie w czasie wnioskowania, zatruwanie podczas treningu, ataki prywatności i nadużycie systemów generatywnych przez promptowanie lub złe użycie. Prawdziwe systemy dziedziczą też konwencjonalne słabości tożsamości, API, oprogramowania, usług chmurowych i łańcuchów dostaw, więc ocena adversarial-ML powinna łączyć zachowanie modelu z kompletną aplikacją.
Najważniejsze punkty
Etap atakuUstal, czy przeciwnik może wpływać na zbieranie danych, trening, dystrybucję modelu, wdrożenie, wejścia wnioskowania, wyszukiwanie, informację zwrotną lub podłączone działania.
Warunki przeciwnikaOkreśl, jakie dostęp, wiedzę, kontrolę, zasoby i możliwości zapytań atak zakłada; wynik przy pełnym dostępie do modelu może nie przenosić się na zdalną usługę.
Cele bezpieczeństwaOceniaj awarie dostępności, nieukierunkowane lub ukierunkowane naruszenia integralności, utratę prywatności, kradzież modelu i nadużycie względem konsekwencji znaczących dla wdrożonego kontekstu.
Praktyka obronnaŁącz ewaluację na poziomie modelu z pochodzeniem, kontrolą dostępu, bezpieczną inżynierią, monitorowaniem, reagowaniem na incydenty i ograniczeniami na decyzje lub działania dalsze.
Istotne ograniczenieOdporność na znany benchmark lub metodę ataku nie jest ogólnym bezpieczeństwem. Atakujący adaptują się, założenia badawcze się różnią, a kontrole poprawiające jedną właściwość mogą pozostawić eksponowane granice zaufania aplikacji lub człowieka.