Testerzy przyjmują istotne perspektywy atakującego lub nadużycia i próbują wywołać nieakceptowalne zachowanie, ominąć kontrole, ujawnić dane, nadużyć podłączonych zdolności lub odsłonić słabości modelu, aplikacji i procesu operacyjnego. Cel może obejmować prompty, wyszukiwanie, zachowanie modelu, API, tożsamości, narzędzia, infrastrukturę i nadzór ludzki — a nie jedynie rozmowę z chatbotem.
Użyteczne zlecenie zaczyna się od modelu zagrożeń, celów, reguł zaangażowania i mierzalnych kryteriów sukcesu. Testerzy rejestrują powtarzalne dowody i warunki, które umożliwiły każdy wynik, podczas gdy właściciele priorytetyzują ustalenia, poprawiają kontrole i testują ponownie. Metody mogą obejmować ręczną eksplorację, zautomatyzowane generowanie testów, znane techniki ataków i ćwiczenia scenariuszowe, ale wyniki potrzebują eksperckiej interpretacji w rzeczywistym kontekście biznesowym systemu.
Najważniejsze punkty
Zakres i autoryzacjaZdefiniuj systemy, dane, użytkowników, dostawców, integracje, zabronione działania, kontakty eskalacyjne i zabezpieczenia dla dostępności, prywatności oraz stron trzecich.
Reprezentatywne testowaniePokryj bezpośrednie i pośrednie ataki na prompty, ujawnienie informacji, niebezpieczne użycie narzędzi, awarie autoryzacji, założenia łańcucha dostaw i istotne szkody na poziomie modelu lub społeczne.
Użyteczne wynikiZachowuj prompty, wejścia, wersje modelu i aplikacji, odpowiedzi, ślady narzędzi, oczekiwane zachowanie, wpływ, powtarzalność i proponowane ulepszenia kontroli.
Rytm operacyjnyTestuj przed ważnymi wydaniami i po zmianach modeli, promptów, źródeł wyszukiwania, narzędzi, uprawnień lub kontekstu wdrożenia; śledź ustalenia przez remediację i weryfikację.
Istotne ograniczenieAI red teaming może odkrywać awarie, ale nie może udowodnić, że system jest bezpieczny. Pokrycie jest skończone, zachowanie modelu może się różnić, a wynik punktowy w czasie może nie reprezentować późniejszych wersji, kontekstów ani lepiej wyposażonych atakujących.