01Was AI Red Teaming vom klassischen Red Teaming unterscheidet
Klassisches Red Teaming simuliert Angreifer auf Netzwerke, Systeme und Identitäten – die Befunde sind in der Regel eindeutig reproduzierbare technische Schwachstellen. AI Red Teaming richtet sich dagegen auf das Verhalten des KI-Systems selbst: Sprachmodelle antworten probabilistisch, derselbe Angriff kann erst beim zehnten Versuch gelingen, und ein Befund ist oft kein Programmierfehler, sondern ein unerwünschtes Modellverhalten. Geprüft werden neben klassischen Sicherheitszielen auch inhaltliche Schäden, etwa die Erzeugung schädlicher oder falscher Inhalte. Wichtig ist zudem die Abgrenzung zu Benchmarks: Statische Testdatensätze messen bekannte Fähigkeiten, während Red Teaming gezielt nach neuartigen, kontextspezifischen Fehlermodi sucht – eine der zentralen Lektionen des Microsoft AI Red Team aus über 100 getesteten GenAI-Produkten.
02Angriffe auf Modell- und Anwendungsebene
Im Zentrum stehen vier Technikfamilien. Jailbreaks hebeln die Sicherheitsvorgaben eines Modells aus, um gesperrte Inhalte oder Funktionen freizuschalten. Bei direkter Prompt Injection platziert der Angreifer manipulierende Anweisungen in der eigenen Eingabe; bei indirekter Prompt Injection verbirgt er sie in Inhalten, die das System verarbeitet – etwa Webseiten, Dokumenten oder E-Mails. Datenextraktion zielt auf Systemprompts, Trainingsdaten oder angebundene Wissensquellen – in der OWASP Top 10 for LLM Applications 2025 als Sensitive Information Disclosure (LLM02) und System Prompt Leakage (LLM07) geführt, während Prompt Injection die Liste als LLM01 anführt. Besonders kritisch ist unsichere Tool-Nutzung (Excessive Agency, LLM06): Kann ein Modell E-Mails versenden, Datenbanken abfragen oder Code ausführen, wird aus einer injizierten Anweisung eine ausgeführte Aktion.
03Methodische Anker: OWASP GenAI Red Teaming Guide und NIST
Mit dem GenAI Red Teaming Guide (Version 1.0, Januar 2025) hat das OWASP GenAI Security Project eine strukturierte, herstellerneutrale Methodik veröffentlicht. Der Guide betrachtet vier Prüfebenen: die Evaluierung des Modells selbst, die Implementierung (u. a. Guardrails und Systemprompts), die umgebende Infrastruktur sowie das Laufzeitverhalten im Zusammenspiel mit Nutzern und Prozessen. Ergänzend liefert NIST AI 100-2 E2025 (März 2025) eine Taxonomie und Terminologie für Adversarial Machine Learning, die Angriffe auf prädiktive und generative KI-Systeme nach Zielen, Fähigkeiten und Lebenszyklusphase des Angreifers einordnet. Zusammen bilden beide Dokumente das Vokabular, mit dem sich Testumfang und Bewertungsraster nachvollziehbar definieren lassen.
04Ablauf: Szenarien, Bewertungsraster, Reporting
Ein AI Red Teaming beginnt mit dem Scoping: Welcher Anwendungsfall, welche Datenklassen, welche angebundenen Tools, welches Schadenspotenzial? Daraus entsteht eine Bedrohungsmodellierung mit konkreten Angriffsszenarien, priorisiert nach realistischem Schaden statt nach reiner Machbarkeit. Getestet wird kombiniert: automatisiert mit Frameworks wie Microsofts quelloffenem PyRIT für Abdeckung in der Breite, manuell für kontextspezifische Angriffsketten – nach den Erfahrungen des Microsoft AI Red Team erweitert Automatisierung die Abdeckung, ersetzt menschliche Expertise aber nicht. Ein Bewertungsraster ordnet Befunde nach Schweregrad, Reproduzierbarkeit und betroffenen Schutzzielen ein. Das Reporting dokumentiert jeden Befund mit nachvollziehbaren Belegen (Prompts und Modellantworten) und leitet Härtungsmaßnahmen ab, etwa restriktivere Tool-Berechtigungen, Eingabe- und Ausgabefilter oder überarbeitete Systemprompts.
05Regulatorischer Anker: die KI-Verordnung
Die KI-Verordnung (Verordnung (EU) 2024/1689) macht Adversarial Testing erstmals zur ausdrücklichen Rechtspflicht: Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko müssen nach Art. 55(1)(a) Modellevaluierungen nach standardisierten Protokollen und Instrumenten auf dem Stand der Technik durchführen – einschließlich der Durchführung und Dokumentation von Adversarial Testing, um systemische Risiken zu ermitteln und zu mindern. Diese Pflichten gelten seit dem 2. August 2025. Sie treffen unmittelbar nur wenige Modellanbieter, setzen aber den Maßstab für die gesamte Lieferkette. Für Hochrisiko-KI-Systeme verlangt Art. 15(5) zudem Widerstandsfähigkeit gegen KI-spezifische Angriffe – genannt werden u. a. Data Poisoning, Model Poisoning, Adversarial Examples bzw. Model Evasion und Vertraulichkeitsangriffe. AI Red Teaming ist ein naheliegender Weg, die Wirksamkeit solcher Maßnahmen nachzuweisen.
06Einmalig oder kontinuierlich?
Ein punktuelles Assessment – etwa vor dem Go-live oder als Grundlage einer Freigabeentscheidung – liefert eine belastbare Momentaufnahme. Tragfähig bleibt sie nur, solange sich das System nicht verändert: Modell-Updates des Anbieters, angepasste Systemprompts, neue Tools und Datenquellen oder neue Angriffstechniken verschieben die Risikolage laufend. Das Microsoft AI Red Team zieht daraus die Lektion, dass die Absicherung von KI-Systemen nie abgeschlossen ist. Für produktive, sich weiterentwickelnde KI-Anwendungen bietet sich deshalb ein kontinuierlicher Ansatz an – mit automatisierten Regressionstests bei jeder relevanten Änderung, periodischen manuellen Tiefentests und einer festen Verankerung im KI-Governance- und Entwicklungsprozess.
