Její rozsah zahrnuje trénovací a evaluační data, modely a váhy, kód, prompty, retrieval úložiště, vývojové pipeline, identity, infrastrukturu, rozhraní, připojené nástroje a rozhodnutí či akce, které aplikace využívající AI může produkovat.
Práce rozšiřuje zavedené praktiky kybernetické bezpečnosti napříč životním cyklem AI při řešení útočných cest vytvořených či zesílených strojovým učením. Kvalitní program začíná účelem systému, aktivy, aktéry a hranicemi důvěry, poté vybírá kontroly podle realistických důsledků. Chrání důvěrnost, integritu a dostupnost bez předpokladu, že dobře fungující model či reputabilní poskytovatel činí kompletní aplikaci bezpečnou.
Klíčové body
Rozsah životního cykluHodnoťte akvizici, přípravu dat, trénování či přizpůsobení, evaluaci, nasazení, provoz, změny, reakci na incidenty a vyřazení — nikoli pouze veřejný endpoint modelu.
Jádrové kontrolyUdržujte inventář aktiv; verifikujte provenienci; aplikujte nejmenší oprávnění, bezpečný vývoj a kontroly dodavatelského řetězce; izolujte citlivé prostředky; validujte výstupy před použitím; a monitorujte konvenční i AI-specifické zneužití.
Důkazy assuranceKombinujte modelování hrozeb, bezpečnostní testování, adversariální evaluaci, přezkum přístupu a konfigurace, incidentní cvičení, monitorování a retestování po podstatných změnách.
Důležité omezeníBezpečnost AI není synonymum pro AI safety či celkovou důvěryhodnost. Systém může odolávat útočníkům a přesto být nepřesný, nespravedlivý, nebezpečný ve svém zamýšleném kontextu či špatně řízený a žádná jediná brána či skener nepokrývá celé riziko.