Zamiast korumpować przykłady treningowe, atakujący bezpośrednio wpływa na wagi, gradienty, aktualizacje, punkty kontrolne lub artefakt modelu. Wynikiem może być szeroka degradacja wydajności, ukierunkowane błędy, wybrany przez atakującego backdoor lub utrata integralności modelu pojawiająca się tylko pod szczególnymi warunkami.
Istotne ścieżki ataku obejmują skompromitowanego uczestnika przesyłającego złośliwe aktualizacje podczas federated learning, nieautoryzowane zmiany wewnątrz potoku treningowego oraz zatruty model wytrenowany lub dostrajany wprowadzony przez łańcuch dostaw AI. Ochrona zależy zatem od wiedzy o tym, skąd artefakty i aktualizacje modelu pochodzą, kto mógł je modyfikować i jakie dowody wspierają promocję do produkcji.
Najważniejsze punkty
Powierzchnia atakuPrzejrzyj rejestry modeli, repozytoria artefaktów, zadania treningowe, uczestników rozproszonych lub federacyjnych, agregację aktualizacji, formaty serializacji, potoki wdrażania i źródła modeli stron trzecich.
Kontrole integralnościOgraniczaj dostęp zapisu, oddzielaj obowiązki, podpisuj i weryfikuj artefakty tam, gdzie wspierane, zachowuj rodowód i hasze, zatwierdzaj zaufane źródła i chroń systemy budujące oraz dystrybuujące modele.
EwaluacjaPorównuj zachowanie kandydata z niezależnie chronionymi liniami bazowymi i zestawami holdout, testuj ukierunkowane wyzwalacze i nieoczekiwane zmiany zdolności oraz badaj niewyjaśnione różnice przed wydaniem.
OdpowiedźZachowaj podejrzany artefakt i dowody pochodzenia, usuń dotknięte wersje z dystrybucji, zidentyfikuj wdrożenia dalsze, przywróć zaufaną wersję i adresuj skompromitowaną ścieżkę aktualizacji.
Istotne ograniczenieEwaluacja modelu nie może wyczerpać każdego możliwego wejścia ani ukrytego zachowania. Zaliczenie benchmarku nie dowodzi integralności parametrów, a zwykłe autoryzowane dostrojenie lub przypadkowy defekt treningu nie jest zatruciem, o ile nie jest zaangażowana manipulacja przeciwnika.