Testeři přijímají relevantní perspektivy útočníka či zneužití a pokoušejí se produkovat nepřijatelné chování, obejít kontroly, exponovat data, zneužít připojené schopnosti či odhalit slabiny v modelu, aplikaci a provozním procesu. Cíl může zahrnovat prompty, retrieval, chování modelu, API, identity, nástroje, infrastrukturu a lidský dohled — nikoli pouze konverzaci chatbota.
Užitečná zakázka začíná modelem hrozeb, cíli, pravidly zapojení a měřitelnými kritérii úspěchu. Testeři zaznamenávají reprodukovatelné důkazy a podmínky, které učinily každý výsledek možným, zatímco vlastníci prioritizují nálezy, zlepšují kontroly a retestují. Metody mohou zahrnovat manuální exploraci, automatizované generování testů, známé útočné techniky a cvičení založená na scénářích, ale výsledky potřebují expertní interpretaci ve skutečném podnikovém kontextu systému.
Klíčové body
Rozsah a autorizaceDefinujte systémy, data, uživatele, poskytovatele, integrace, zakázané akce, eskalační kontakty a pojistky pro dostupnost, soukromí a třetí strany.
Reprezentativní testováníPokryjte přímé a nepřímé útoky promptů, zpřístupnění informací, nebezpečné použití nástrojů, selhání autorizace, předpoklady dodavatelského řetězce a relevantní škody na úrovni modelu či společenské.
Užitečné výstupyUchovejte prompty, vstupy, verze modelu a aplikace, odpovědi, stopy nástrojů, očekávané chování, dopad, opakovatelnost a navrhovaná zlepšení kontrol.
Provozní rytmusTestujte před důležitými vydáními a po změnách modelů, promptů, retrieval zdrojů, nástrojů, oprávnění či kontextu nasazení; sledujte nálezy skrze nápravu a verifikaci.
Důležité omezeníAI red teaming může objevit selhání, ale nemůže dokázat, že systém je bezpečný či zabezpečený. Pokrytí je konečné, chování modelu se může lišit a výsledek bodu-v-čase nemusí reprezentovat pozdější verze, kontexty či lépe vybavené útočníky.