Zkoumá, jak protivník může ovlivnit data, modely, vstupy, výstupy či okolní workflow, aby porušil cíle důvěrnosti, integrity, dostupnosti či přijatelného použití. Je to soubor znalostí útoku a obrany, nikoli název jednoho konkrétního exploitu.
Současná taxonomie NIST organizuje útoky pomocí dimenzí jako fáze životního cyklu, cíl protivníka, účel, schopnost a znalost. Relevantní rodiny zahrnují evazi v čase inference, otravu během trénování, útoky na soukromí a zneužití generativních systémů skrze promptování či misuse. Skutečné systémy také dědí konvenční slabiny v identitách, API, softwaru, cloudových službách a dodavatelských řetězcích, takže hodnocení adversariálního ML by mělo propojovat chování modelu s kompletní aplikací.
Klíčové body
Fáze útokuUrčete, zda protivník může ovlivnit sběr dat, trénování, distribuci modelu, nasazení, vstupy inference, retrieval, zpětnou vazbu či připojené akce.
Podmínky protivníkaUveďte, jaký přístup, znalost, kontrolu, zdroje a příležitosti dotazů útok předpokládá; výsledek pod plným přístupem k modelu nemusí přenášet na vzdálenou službu.
Bezpečnostní cíleHodnoťte selhání dostupnosti, necílená či cílená porušení integrity, ztrátu soukromí, krádež modelu a zneužití vůči důsledkům smysluplným pro nasazený kontext.
Obranná praxeKombinujte evaluaci na úrovni modelu s proveniencí, řízením přístupu, bezpečným inženýrstvím, monitorováním, reakcí na incidenty a omezeními na downstream rozhodnutí či akce.
Důležité omezeníRobustnost vůči známému benchmarku či metodě útoku není obecná bezpečnost. Útočníci se přizpůsobují, výzkumné předpoklady se liší a kontroly zlepšující jednu vlastnost mohou zanechat aplikační či lidské hranice důvěry exponované.