Proces uczenia wchłania manipulację, która może redukować ogólną wydajność, stronniczo zmieniać ukierunkowaną decyzję lub tworzyć backdoor aktywowany, gdy pojawi się wybrany wyzwalacz. Atakujący może skompromitować źródło danych, potok zbierania, proces adnotacji, pętlę informacji zwrotnej lub repozytorium zbiorów danych.
Termin dotyczy przede wszystkim danych wpływających na uczenie, w tym pretrainingu, dostrajania i zbiorów wzmocnienia lub informacji zwrotnej. Manipulowanie źródłem wyszukiwania w czasie wnioskowania jest zwykle opisywane precyzyjniej jako zatruwanie retrieval-augmented generation lub zatruwanie bazy wiedzy; korumpowanie zbioru ewaluacyjnego może unieważnić zapewnienie, nawet jeśli nie zmienia wdrożonego modelu.
Najważniejsze punkty
Rodowód danychRejestruj pochodzenie, metodę zbierania, licencję, transformacje, etykiety, wersje, zatwierdzenia oraz modele lub eksperymenty, które konsumowały każdy zbiór danych.
Kontrole prewencyjneOgraniczaj i audytuj dostęp zapisu, oddzielaj zaufane dane ewaluacyjne, uwierzytelniaj zatwierdzone rewizje, chroń potoki i repozytoria oraz oceniaj dane pozyskiwane z zewnątrz lub wnoszone przez użytkowników.
WykrywanieUżywaj przeglądu statystycznego i semantycznego, analizy duplikatów i wartości odstających, ukierunkowanego próbkowania, porównań źródeł i testów podejrzanych wyzwalaczy lub skoncentrowanego wpływu.
OdtwarzanieZachowuj dowody, identyfikuj dotknięte dane i modele pochodne, wracaj do zaufanej wersji zbioru, trenuj ponownie tam, gdzie konieczne, i zamykaj słabość pobierania lub autoryzacji.
Istotne ograniczenieZatrute przykłady mogą wyglądać legalnie, a mały, starannie wybrany podzbiór może być wpływowy. Czyszczenie danych redukuje ekspozycję, ale nie może certyfikować, że zbiór jest niegroźny; dane niskiej jakości lub niereprezentatywne bez zamiaru przeciwnika to problem jakości danych, a nie zatrucie.