# Was ist AI Red Teaming?

> AI Red Teaming ist eine autorisierte, strukturierte gegnerische Bewertung eines KI-Systems.

- Kanonische URL: https://yellowcube.eu/de/glossary/ai-red-teaming/
- Herausgeber: Yellow Cube
- Sprache: de
- Kontakt: hello@yellowcube.eu

## Inhalt

Tester nehmen relevante Angreifer- oder Missbrauchsperspektiven ein und versuchen, inakzeptables Verhalten zu erzeugen, Kontrollen zu umgehen, Daten offenzulegen, verbundene Fähigkeiten zu missbrauchen oder Schwächen im Modell, in der Anwendung und im Betriebsprozess aufzudecken. Das Ziel kann Prompts, Retrieval, Modellverhalten, APIs, Identitäten, Werkzeuge, Infrastruktur und menschliche Aufsicht umfassen — nicht nur eine Chatbot-Konversation.

Ein nützliches Engagement beginnt mit einem Bedrohungsmodell, Zielen, Rules of Engagement und messbaren Erfolgskriterien. Tester halten reproduzierbare Nachweise und die Bedingungen fest, die jedes Ergebnis ermöglichten, während Eigentümer Befunde priorisieren, Kontrollen verbessern und erneut testen. Methoden können manuelle Exploration, automatisierte Testgenerierung, bekannte Angriffstechniken und szenariobasierte Übungen umfassen, doch Ergebnisse brauchen fachliche Interpretation im tatsächlichen Geschäftskontext des Systems.

### Wichtigste Punkte

- **Scope und Autorisierung:** Die Systeme, Daten, Nutzer, Anbieter, Integrationen, verbotenen Aktionen, Eskalationskontakte und Schutzmaßnahmen für Verfügbarkeit, Datenschutz und Dritte definieren.
- **Repräsentatives Testen:** Direkte und indirekte Prompt-Angriffe, Informationsoffenlegung, unsichere Werkzeugnutzung, Autorisierungsfehler, Supply-Chain-Annahmen sowie relevante modellbezogene oder gesellschaftliche Schäden abdecken.
- **Nützliche Ergebnisse:** Prompts, Eingaben, Modell- und Anwendungsversionen, Antworten, Werkzeugspuren, erwartetes Verhalten, Auswirkung, Wiederholbarkeit und vorgeschlagene Kontrollverbesserungen sichern.
- **Betriebsrhythmus:** Vor wichtigen Releases und nach Änderungen an Modellen, Prompts, Retrieval-Quellen, Werkzeugen, Berechtigungen oder Deployment-Kontext testen; Befunde durch Behebung und Verifikation verfolgen.
- **Wichtige Einschränkung:** AI Red Teaming kann Fehlschläge entdecken, aber nicht beweisen, dass ein System sicher ist. Die Abdeckung ist endlich, Modellverhalten kann variieren, und ein Momentanergebnis repräsentiert möglicherweise nicht spätere Versionen, Kontexte oder besser ausgestattete Angreifer.

### Verwandte Begriffe

[Red Team](<https://yellowcube.eu/de/glossary/red-team/>) · [Penetration Testing](<https://yellowcube.eu/de/glossary/penetration-testing/>) · [Bedrohungsmodellierung](<https://yellowcube.eu/de/glossary/threat-modeling/>) · [Adversarial Machine Learning](<https://yellowcube.eu/de/glossary/adversarial-machine-learning/>) · [Prompt Injection](<https://yellowcube.eu/de/glossary/prompt-injection/>) · [AI Security](<https://yellowcube.eu/de/glossary/ai-security/>)

### Quellen

[OWASP GenAI Red Teaming Guide](https://genai.owasp.org/resource/genai-red-teaming-guide/) · [NIST AI 600-1, Generative AI Profile](https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence) · [MITRE ATLAS](https://atlas.mitre.org/)

## Quellenangabe und Geltungsbereich

Diese Markdown-Darstellung wird aus denselben freigegebenen Inhalten wie die kanonische HTML-Seite erzeugt. Verwenden Sie beim Zitieren die kanonische URL.