Reale Angriffssimulationen nach OWASP zur Sicherstellung der AI-Act-, NIS2- und Audit-Compliance.
KI Pentesting
Ganzheitlicher Schutz für KI und LLM-Systeme
AI Security in Practice–Reale Risiken, LLM Angriffe&sichere KI Entwicklung
Warum KI-Pentesting unverzichtbar ist
KI-Systeme erweitern die Angriffsfläche fundamental
KI-Systeme verhalten sich grundlegend anders als klassische Software.
Neben Code, Infrastruktur und APIs werden Prompts, Trainingsdaten, Modelllogik und Orchestrierung selbst zu Angriffsvektoren.Klassische Penetrationstests greifen hier zu kurz.
Exponentielles Wachstum der KI-Nutzung
Die Nutzung von generativer KI ist in den letzten Jahren exponentiell gestiegen
und wird sich laut Marktprognosen weiter beschleunigen – ohne Anzeichen einer Abflachung.
→ KI entwickelt sich von einem Innovationsthema zu produktiver Kerninfrastruktur.
Sicherheit hält nicht Schritt mit der Adoption:
In vielen Organisationen lag der Fokus bisher auf:
- schneller Implementierung
- Funktionalität & Use-Cases
- Time-to-Market
Security wurde häufig:
- unterschätzt
- auf Prompting reduziert
- oder vollständig vernachlässigt
Die Faszination zum Thema KI war zu groß und die Umsetzung zu schnell für die Sicherheit um aufzuholen!
Das Ergebniss:
Der starke Druck aus dem Management zur flächendeckenden KI-Integration führt in vielen Fällen
zu schnellen Implementierungen ohne ausreichende Sicherheitsvalidierung.
Das öffnet Angreifern zahlreiche Möglichkeiten zur Manipulation und zum Missbrauch
von KI-gestützten Geschäftsprozessen.
Nicht stehen bleiben – aber auch nicht rasen
Von schneller Adoption zu kontrollierter Nutzung
Neue Risiken, die klassische Pentests nicht abdecken
Klassische Sicherheitskonzepte greifen bei KI-Systemen nur eingeschränkt.
KI-Systeme erweitern die Angriffsfläche über klassische Software- und Infrastrukturgrenzen hinaus.
Neben Code, APIs und Netzwerken werden Prompts, Kontexte, Trainingsdaten und Agentenlogik selbst zu Angriffspunkten.
Viele dieser Risiken lassen sich mit traditionellen Security-Tests nicht zuverlässig identifizieren.
Klassische Sicherheitskonzepte greifen bei LLM- und KI-Systemen nur eingeschränkt.
Applikationssicherheit als Fundament für AI Act Compliance
Applikationssicherheit als Fundament für AI Act Compliance
Bei der Sicherung von Webanwendungen und KI-Anwendungen ist es entscheidend, die spezifischen Risiken und Compliance-Anforderungen zu verstehen. Beide Anwendungsarten teilen gemeinsame Schwachstellen wie Injection-Angriffe, Authentifizierungsfehler und Datenlecks. KI-Systeme bringen jedoch zusätzliche Risiken mit sich, wie Prompt Injection und Datenvergiftung, was maßgeschneiderte Sicherheitsstrategien erforderlich macht.
Durch den Einsatz bewährter Methoden wie Penetrationstests und OWASP Top 10 Bewertungen können diese Risiken proaktiv adressiert werden. Für KI-Anwendungen sorgt die Einhaltung von Vorschriften wie dem EU KI Act und der NIS2-Richtlinie dafür, dass Sicherheit und Risikomanagement bereits in der Entwicklung integriert sind.
Mit dem richtigen Ansatz können Haftungsrisiken, Sicherheitslücken und Aufwand reduziert werden, während die Compliance gewährleistet und die Sicherheit von KI- und Webanwendungen sichergestellt wird. So stärken Sie nicht nur die Sicherheit, sondern optimieren den gesamten Prozess, was Ihnen bei der sicheren und innovativen Weiterentwicklung Ihres Unternehmens hilft.
Vergleich von Web- und KI-Andwendungssicherheit
KI-Pentesting mit technischer Tiefe
Wir testen KI-Systeme nicht oberflächlich… sondern dort, wo reale Risiken entstehen.
Moderne KI-Systeme lassen sich nicht mit klassischen Security-Checks bewerten.
Viele kritische Schwachstellen entstehen unterhalb der Oberfläche im Zusammenspiel von Prompt-Logik, Kontext, Datenquellen, Agenten, APIs und Trainingsprozessen.
Unser KI-Pentest geht deshalb gezielt in die Tiefe.
Wir analysieren nicht nur einzelne Angriffspunkte, sondern prüfen das gesamte Sicherheitsmodell des Systems, von der Inference-Schicht bis zu nachgelagerten Integrationen und Pipelines.
Dabei orientieren wir uns an dem OWASP KI Testing Guide als anerkanntem Sicherheitsstandard für generative KI.
So stellen wir sicher, dass unsere Tests vollständig, reproduzierbar und fachlich belastbar sind und nicht von individuellen Annahmen oder Tool-Limitationen abhängen.
Das Ergebnis ist ein realistisches Bild der tatsächlichen Sicherheitslage Ihres KI-Systems – jenseits von theoretischen Risiken oder reiner Dokumentationsprüfung.
Nicht nur generativ – sondern auch Agentic!
Agenten, die Tools ausführen, Entscheidungen treffen und Kontext behalten, sind kein Zukunftsszenario – sie laufen heute in produktiven Umgebungen.
Wir testen, was klassische Security oft übersieht.
Wir simulieren reale Angriffe auf agentische KI-Systeme:
- Tool Misuse, Goal Hijacking & Memory Leaks
- Unsichere Tool-Auswahl & Kontextverkettung
- Identitätsmissbrauch (Human ↔ Agent)
- Prompt Injection in Multi-Agent-Workflows
- Modell-Verwechslung & Delegationsrisiken
Basierend auf der offiziellen OWASP Top 10 for Agentic Applications (2026)
Trust durch gezieltes Testing
Wir analysieren:
- welche Aktionen Agenten tatsächlich ausführen können
- welche Kontexte sie miteinander verknüpfen
- wie sicher ihre Entscheidungen, Schleifen & Tools wirklich sind
OWASP Top 10 für Agentic Applications
Agentic AI verändert das Risikoprofil von Unternehmen fundamental.
1. Sicherheits- & Technische Risiken
Agentic AI ist anfällig für Hijacking, Prompt Injection und Datenexposition. Robuste Sicherheitsmaßnahmen und kontinuierliche Überwachung sind erforderlich.
2. Betriebs- & Kontrollrisiken
Übermäßiges Vertrauen auf KI ohne Human-in-the-Loop-Überwachung kann zu unvorhersehbaren Ergebnissen und Kontrollverlust führen.
3. Business- & Compliance-Risiken
Automations-Bias und Compliance-Verstöße (z. B. AI Act, GDPR) erfordern ein AI-Management-System zur Risikominimierung.
4. Gesellschaftliche & Ethische Risiken
Jobverlagerung, Desinformation und Deepfakes erfordern Secure-by-Design-Prinzipien und Penetrationstests.
Agentic AI Threat Landscape: Expanded Attack Surface Beyond the Model
Die Absicherung von KI-Workflows beginnt bei den Inputs, wo das System vor User Prompts und Untrusted Content geschützt werden muss. In dieser Phase können Prompt Injection oder Content-based Injection die Anweisungen des Agenten manipulieren, noch bevor die Verarbeitung beginnt.
Im Agent Processing / Core verlagert sich das Risiko auf die Agent Runtime. Hier gilt es, Agent Behavior Hijack und Memory Poisoning zu verhindern, damit der Memory / Context Store nicht durch schädliche Daten korrumpiert wird. Eine starke Policy & Governance Layer ist entscheidend, um Control Circumvention bei der Inter-Agent Communication und den Human-in-the-Loop Prozessen zu unterbinden.
Am Ende des Prozesses stehen die Outputs, bei denen der Agent über Tools / Actions und External Resources direkt auf die reale Welt einwirkt. Ohne strikte Kontrollen drohen hier Privilege Escalation, Tool Misuse und API Key Leakage. Nur durch die Absicherung dieser Schnittstellen lassen sich Unauthorized Actions on External Systems verhindern und ein wirklich vertrauenswürdiges, autonomes Ökosystem schaffen.
OWASP Top 10 LLM
Die am häufigsten ausgenutzten Schwachstellen von LLMs
Die OWASP Top 10 for LLM Applications bauen konzeptionell auf den klassischen OWASP Top 10 für Webanwendungen auf, adressieren jedoch neue Angriffsflächen, die durch Large Language Models entstehen.
Wie eine einzige PDF eine ganze Firma gefährden kann
Warum ein scheinbar harmloses Dokument ausreicht, um KI-gestützte Entscheidungen systematisch zu manipulieren.
Technisches Beispiel:
Die gezeigte PDF wirkt auf den ersten Blick unauffällig. Layout und Inhalt entsprechen einem normalen Dokument.
PDFs gelten in Unternehmen als statische, vertrauenswürdige Dokumente. Für KI-Systeme sind sie jedoch reiner Texteingang. Beim Upload wird der Dokumentinhalt extrahiert und als Kontext verarbeitet. Dabei werden auch Inhalte gelesen, die für Menschen unsichtbar sind.
Ein menschlicher Prüfer kann hier keinnen Hinweis auf Manipulation erkennen!
Im Hintergrund enthält sie jedoch einen unsichtbaren Payload, eingebettet als nahezu weißer Text.
Das Modell folgt der Instruktion, da sie Teil des Kontexts ist. Es liegt kein technischer Exploit vor, sondern eine fehlerhafte Kontextpriorisierung. Der Effekt wird im Chat sichtbar.
Das Modell gibt den injizierten Inhalt aus oder folgt der eingebetteten Anweisung. Aus Sicht des Systems verläuft die Verarbeitung regelkonform. Aus Sicht der Sicherheit wurde die Kontrolllogik umgangen.
Solche Angriffe entstehen nicht durch klassische Sicherheitslücken, sondern durch unbewusstes Vertrauen in KI-gestützte Entscheidungen. Eine manipulierte PDF greift genau dort an, wo Governance, Compliance und Risikokontrollen enden: im Kontext, den KI-Systeme als Entscheidungsgrundlage nutzen.
Bereits ein einzelnes Dokument kann ausreichen, um Freigaben, Bewertungen oder strategische Empfehlungen unbemerkt zu beeinflussen – ohne Exploit, ohne Alarm und ohne sichtbaren Regelbruch.
Für Unternehmen bedeutet das ein strukturelles Risiko:
formell sichere Prozesse liefern faktisch falsche Ergebnisse.
Genau deshalb sind KI- und LLM-Penetrationstests kein technisches Nice-to-have, sondern eine notwendige Kontrollinstanz für Management-Entscheidungen, Haftungsfragen und regulatorische Sicherheit.
LLM02:2025 Sensitive Information Disclosure
Risiko der unbeabsichtigten Offenlegung personenbezogener, geschäftskritischer oder proprietärer Daten durch LLM-Ausgaben oder Fehlkonfigurationen.
Auswirkungen
- Datenabfluss
- Compliance-Verstöße
- Verlust von Geistigem Eigentum.
Häufige Ursachen
- Fehlende Sanitization
- Schwache Zugriffskontrollen
- Unsichere Trainingsdaten
- Prompt Injection.
Gegenmaßnahmen
- Datenmaskierung
- Least Privilege
- Privacy-Preserving Training
- Verbergen interner Konfigurationen
- Nutzer-Awareness.
LLM03:2025 Supply Chain Risiken
Risiken durch kompromittierte oder nicht verifizierte Modelle, Daten, Bibliotheken oder Plattformen in der LLM-Supply-Chain.
Auswirkungen
- Backdoors
- Manipulierte Ausgaben
- Malware
- Verlust von Geistigem Eigentum.
Ursachen
- Verwundbare Abhängigkeiten
- kompromittierte Modelle
- Fehlende Herkunftsnachweise
Gegenmaßnahmen
- SBOM/AI-BOM
- Signatur- und Hash-Verifikation
- Lieferantenprüfung
- Patch-Management
- Sichere Workflows und Red-Team-Tests
LLM04:2025 Data & Model Poisoning
Gezielte Manipulation von Trainings- oder Fine-Tuning-Daten zur Einschleusung von Bias, Backdoors oder Schwachstellen.
Risiken & Auswirkungen
- Manipulierte Ausgaben
- Backdoors, kompromittierte Pipelines
- Vertrauensverlust.
Häufige Angriffsvektoren
- Manipulierte Datensätze
- Infizierte Repositories
- Fehlende Validierung.
Gegenmaßnahmen
- Herkunftsprüfung (ML-BOM)
- Daten-/Output-Validierung
- Anomalieerkennung
- Isolation externer Daten
- Red-Teaming.
LLM05:2025 Improper Output Handling
Unsichere Weiterverarbeitung von LLM-Ausgaben ohne Validierung oder Kontext-Kodierung.
Risiken & Auswirkungen
- XSS/SQLi
- RCE, Datenlecks
- Phishing.
Häufige Ursachen
- Vertrauen in LLM-Outputs
- Fehlende Sanitization/Kodierung
- Überprivilegierte Integrationen.
Gegenmaßnahmen
- Outputs als untrusted behandeln
- Validieren und kontextuell encoden
- CSP/Logging einsetzen
- Parametrisierte Abfragen nutzen.
LLM06:2025 Excessive Agency
Autonomie von LLMs oder Agenten durch zu viele Funktionen oder Berechtigungen.
Auswirkungen
- Unautorisierte Aktionen
- Datenverlust
- Privilegieneskalation.
Ursachen
- Überprivilegierte APIs
- Fehlende menschliche Kontrolle
- zu großer Funktionsumfang.
Gegenmaßnahmen
- Least Privilege
- Funktionsumfang minimieren
- Human-in-the-Loop
- Strikte Autorisierung und Überwachung.
LLM07:2025 System prompt leakage
Offenlegung von System-Prompts, Guardrails oder interner Logik durch direkte oder indirekte Extraktion.
Auswirkungen
- Umgehung von Schutzmechanismen
- Prompt Injection
- Privilegieneskalation.
Ursachen
- Sensible Daten im System-Prompt
- Prompt als Sicherheitskontrolle
- Fehlende externe Checks.
Gegenmaßnahmen
- Keine Secrets im Prompt
- Externe Autorisierung/Guardrails
- Prompt-Details minimieren.
LLM08:2025 Vector and Embedding Weakness
Schwachstellen in Vektor- und Embedding-Systemen ermöglichen Manipulation von Retrieval, Kontext und Ergebnissen.
Auswirkungen
- Falsche oder manipulierte Antworten
- Datenabfluss
- Kontrollverlust.
Ursachen
- Ungesicherte Vektordaten
- Fehlende Validierung
- Überprivilegierte Zugriffe.
Gegenmaßnahmen
- Zugriff beschränken
- Embeddings validieren
- Trennung sensibler Daten
- Monitoring und Rate-Limits.
LLM09:2025 Misinformation
Glaubwürdig wirkende, aber falsche LLM-Ausgaben mit Sicherheits-, Reputations- und Haftungsrisiken.
Auswirkungen
- Fehlentscheidungen
- Fake-Referenzen
- Unsicherer Code.
Ursachen
- Halluzinationen
- Verzerrte Daten
- Fehlende Verifikation
- Blindes Vertrauen.
Gegenmaßnahmen
- RAG
- Menschliche Validierung
- Output-Checks
- Klare Kennzeichnung von KI-Inhalten.
LLM10:2025 Inbound Consumption
Unkontrollierte oder übermäßige Nutzung von LLM-APIs durch fehlende Limits oder Governance.
Auswirkungen
- DoS/DoW
- Kostenexplosion
- Modellextraktion
- IP-Verlust.
Ursachen
- Fehlendes Rate-Limiting
- Schwache Validierung
- Offene Endpunkte.
Gegenmaßnahmen
- Quoten & Rate-Limits
- Input-Grenzen
- Monitoring, Sandboxen
- Klare MLOps-Governance.
Transparenz, Vertrauen und Sicherheit
entlang der AI Software Lieferkette
AIBOM - AI Bill of Materials
Source: https://owaspaibom.org/
OWASP LLM Top 10 vs. OWASP Agentic Top 10
Wie Sie wissen, bietet das MITRE ATLAS Matrix ein strukturiertes Framework, um KI-spezifische Angriffstechniken zu verstehen, unterteilt in Taktiken, Techniken und Angriffsaktionen.
Die Matrix beschreibt KI-Angriffe in verschiedenen Phasen:
- Reconnaissance & Ressourcenentwicklung: Angreifer sammeln Informationen über Schwachstellen, z.B. durch aktive Scans oder Sammeln von Opferdaten.
- Initial Access: Angreifer verschaffen sich Zugang zu KI-Systemen, z.B. durch Phishing oder Exploits von öffentlich zugänglichen Anwendungen.
- Ausführung & Persistenz: Hier kommen AI-Agent-Clickbait, Datenvergiftung und Modellmanipulation zum Einsatz.
- Privilegieneskalation & Verteidigungsevasion: Techniken wie Tool-Injektion oder LLM Jailbreaks erhöhen den Zugang und umgehen Sicherheitsmechanismen.
Case Sudies
Lamehug die erste bekannte Malware, die zur Ausführung von Befehlen zur Laufzeit auf eine KI zurückgreif.
Zusammenfassung
Im Juli 2025 entdeckten ukrainische Behörden die LAMEHUG-Malware, die APT28, einem russischen Bedrohungsakteur, zugeschrieben wird. LAMEHUG verwendet ein großes Sprachmodell (LLM), um dynamisch Befehle auf infizierten Hosts zu generieren. Der Angriff begann mit einem Phishing-Angriff, bei dem ein bösartiges ZIP-Archiv über ein kompromittiertes Regierungs-E-Mail-Konto verbreitet wurde. Nach der Ausführung generierte die Malware bösartige Befehle und sammelte Daten vom betroffenen System, um diese anschließend zu exfiltrieren.
Malware-Prototyp mit eingebetteter Prompt-Injektion
Zusammenfassung
Check Point Research identifizierte den Malware-Prototyp „Skynet“, der eine eingebettete Prompt-Injektion enthielt, um LLM-basierte Malware-Erkennungs– und Analysewerkzeuge gezielt zu manipulieren. Ziel war es, KI-Modelle dazu zu bringen, die Malware fälschlicherweise als harmlos einzustufen. Obwohl die getesteten LLMs nicht erfolgreich beeinflusst werden konnten, zeigt der Fall eine neue Angriffsklasse, die sich explizit gegen KI-gestützte Sicherheitslösungen richtet. Skynet nutzt zusätzlich Sandbox-Evasion-Techniken und sammelt lokale Dateien, weist jedoch noch eine unvollständige Exfiltrationslogik auf und gilt daher als Prototyp.
Versuchte Umgehung eines ML-basierten Phishing-Webseiten-Erkennungssystems
Zusammenfassung
Angreifer erstellten Phishing-Webseiten, die legitime Marken visuell imitieren, um Nutzer zur Preisgabe ihrer Zugangsdaten zu verleiten. In diesem Vorfall wurden adversariale Beispiele in den Logs eines kommerziellen ML-basierten Phishing-Erkennungssystems identifiziert.
Die Angreifer manipulierten gezielt Markenlogos mit einfachen, manuellen Techniken, um den Bildklassifikator für visuelle Ähnlichkeit zu umgehen. Obwohl diese Manipulationen den visuellen Erkennungsmechanismus erfolgreich täuschten, wurden die Phishing-Seiten weiterhin durch andere Komponenten des Systems erkannt.
Threat Modeling mit Mitre Atlas
Als methodische Grundlage dient das MITRE ATLAS Framework, ein speziell für KI-Systeme entwickeltes Bedrohungsmodell. ATLAS überträgt bewährte Konzepte aus der klassischen Cyber-Security auf maschinelles Lernen und KI und stellt eine strukturierte Matrix aus Taktiken, Techniken und Angriffsszenarien bereit.
Durch die Abbildung realer Angriffe auf KI-Systeme ermöglicht ATLAS:
- Präzises Verständnis der Cyber Kill Chain
- Eine gemeinsame Sprache zwischen Security, Data Science und Management,
- Reproduzierbare Threat-Modeling-Prozesse,
- Eine klare Priorisierung von Risiken und Gegenmaßnahmen.
Datenabfluss verhindern: Ihre KI-Nutzung sicher im Griff
KI bietet enorme Chancen, birgt aber auch das Risiko des unkontrollierten Datenabflusses. Unser Framework schützt Ihre wertvollsten Unternehmenswerte – von HR- und Finanzdaten bis hin zu geistigem Eigentum – vor den Gefahren moderner KI-Systeme.
Ganzheitlicher Schutz: Wir adressieren technische Risiken wie Prompt Injection, organisatorische Versäumnisse und die Gefahr durch unregulierte Schatten-KI.
Volle Kontrolle: Durch eine Kombination aus Sicherheits- & Governance-Kontrollen und tiefgreifenden technischen Kontrollen (z. B. DLP für KI) unterbinden wir Datenexfiltration an externe LLMs oder Drittanbieter-APIs.
Compliance-Garantie: Wir stellen sicher, dass Ihre KI-Strategie konform mit wichtigen Standards wie DSGVO, EU AI Act und ISO bleibt.
Sichern Sie Ihre Innovationskraft, ohne Ihre Datensicherheit zu opfern.
Microsoft Copilot – Overview types and risks
Microsoft Copilot – Overview types and risks
Mit Microsoft Copilot stehen CISOs vor neuen Sicherheits- und Compliance-Herausforderungen. Copilot bietet leistungsstarke KI-Funktionen, bringt jedoch unterschiedliche Risikoprofile mit sich.
Microsoft 365 Copilot birgt ein mittleres Risiko hinsichtlich Datenlecks und Zugriffskontrollen. Diese Risiken lassen sich durch regelmäßige Sicherheitsprüfungen und Überwachung kontrollieren. Copilot Chat, das externe Webintegration bietet, erhöht das Risiko von Datenmissbrauch und unauthorized access, was zusätzliche Sicherheitsmaßnahmen erfordert.
Das größte Risiko besteht bei den Copilot Studio Agents, die durch Integrationen mit Drittanbieterdiensten und OAuth-Schwachstellen hohe Risiken aufweisen. Diese erfordern ein robustes Risikomanagement.
Wichtige Risiken umfassen externe Datenexposition, Manipulation von Eingabeaufforderungen und externe Integrationen. Um diese zu mindern, sind Datenrichtlinien, Zugriffskontrollen, regelmäßige Überwachung und Audit-Trails notwendig.
Plattform-Schutzmaßnahmen wie Identitäts- und Berechtigungsdurchsetzung sowie Verschlüsselung gewährleisten den sicheren Betrieb und verhindern unautorisierten Zugriff auf die Systeme.
Microsoft Copilot Chat – Threat Model
Microsoft Copilot Chat – Threat Model
Die sichere Einführung von Generative AI erfordert ein klares Verständnis der „Trust Boundary“ (Vertrauensgrenze). Unser Risk Assessment und das zugehörige Threat Model bieten Ihnen die Blaupause für eine sichere und regulatorisch konforme KI-Transformation.
Kernpunkte für eine sichere KI-Strategie:
Differenzierte Risikoprofile: Während Microsoft 365 Copilot (Mittleres Risiko) auf internen Daten basiert, bergen Copilot Studio Agents (Hohes Risiko) durch Drittanbieter-APIs zusätzliche Gefahren.
Schutz der Eingabe-Zone: Schützen Sie sich proaktiv vor Prompt Injection, Manipulation der Absicht und dem versehentlichen Abfluss sensibler Daten durch Nutzer.
Überwachung von Engine & Output: Minimieren Sie Risiken durch Policy-Umgehungen, ethischen Missbrauch oder Halluzinationen, um stets korrekte und konforme Ergebnisse zu erhalten.
Externe Datenexposition: Kontrollieren Sie kritische Pfade, bei denen interne Anfragen über die externe Websuche die Mandantengrenze verlassen könnten.
„Das Copilot-Risiko wird maßgeblich durch den Reifegrad der Data Governance und die Konfigurationsentscheidungen bestimmt“. Mit den richtigen Schutzmaßnahmen – wie AI Literacy, DLP und Identitätsdurchsetzung – führt Ihr Unternehmen sicher in die Zukunft.
Microsoft 365 Copilot – Threat Model
Microsoft 365 Copilot – Threat Model
Wie im vorherigen Abschnitt erläutert, bringt die Nutzung von Microsoft 365 Copilot verschiedene Risiken mit sich, die gut gemanagt werden müssen.
Im Microsoft 365 Copilot Runtime bestehen Risiken durch überprivilegierte Zugriffsrechte und unbeabsichtigte Datenexposition. Regelmäßige Überprüfungen der Berechtigungen sind entscheidend. Copilot Chat erhöht das Risiko einer Abfrageleckage, besonders bei sensiblen Daten, was strenge Kontrolle erfordert.
Copilot Studio Agents bieten erweiterbare Integrationen, die hohe Risiken durch Drittanbieter-Integrationen und OAuth-Schwachstellen bergen. Diese Verbindungen müssen sicher gestaltet werden.
In SharePoint, OneDrive und Teams gibt es mittel- bis hochgradige Risiken durch exzessive Gruppenmitgliedschaften und sensible, nicht gekennzeichnete Daten. Datenkennzeichnung und Zugriffsüberprüfungen sind notwendig.
Datenhygiene und Oversharing-Minderung sind entscheidend, um das Risiko zu senken. Werkzeuge wie der Microsoft Oversharing Blueprint und DLP helfen, diese Risiken zu verringern.
Durch Zugriffskontrollen, Datenmanagement und Überwachung können Unternehmen sicherstellen, dass Microsoft Copilot sicher und compliant betrieben wird.
Microsoft Copilot Studio – Agentic AI Threat Model
Microsoft Copilot Studio – Agentic AI Threat Model
Der Übergang von einfachen Chatbots zu Agentic AI eröffnet neue Möglichkeiten – aber auch neue Angriffsflächen. Wenn KI-Agenten eigenständig handeln, Daten verknüpfen und Workflows ausführen, wird Sicherheit zur strategischen Priorität.
Die Eckpfeiler unseres Sicherheitsmodells:
Identitäts- & Zugriffssteuerung: Strikte „Least Privilege“-Prinzipien verhindern, dass Agenten unbefugt auf sensible Unternehmensdaten zugreifen.
Schutz vor Prompt Injection: Gezielte Härtung gegen UPIA (User Prompt Injection) und XPIA (Cross-domain Injection), um Datenabfluss und Manipulation zu stoppen.
Validierung von Aktionen: Implementierung von „Human-in-the-Loop“-Kontrollen für kritische Systemänderungen und API-Aufrufe.
Datenschutz & Compliance: Nahtlose Integration von Microsoft Purview und DLP-Richtlinien zur Wahrung der DSGVO-Konformität.
„Mit Vertrauen entwickeln. Mit Kontrolle skalieren.“
Lassen Sie nicht zu, dass das Innovationstempo Ihre Sicherheit überholt. Das VamiSec Threat Model bietet die Blaupause für eine robuste Governance Ihrer KI-Infrastruktur.
Capabilities-Based Risk Assessment (CBRA) für KI-Systeme
4 Dimensionen zur umfassenden Bewertung von KI-Risiken
Wie bereits erläutert, ist die Capabilities-Based Risk Assessment (CBRA) ein wichtiges Framework zur umfassenden Bewertung von KI-Risiken, das auf vier zentralen Dimensionen basiert: Criticality, Autonomy, Permission und Impact. Diese Bewertung ermöglicht es, die tatsächliche Exposition von KI-Systemen zu verstehen und entsprechende Sicherheitskontrollen proportional umzusetzen.
- Criticality: Bewertet, wie wichtig das KI-System für das Unternehmen ist, von niedrig (Komfort) bis hoch (nationale Sicherheit).
- Autonomy: Misst, wie viel Entscheidungsfreiheit das KI-System hat, von Empfehlungen bis zu vollständig autonomen Aktionen.
- Permission: Bewertet den Zugriff des KI-Systems auf Systeme und Daten, von begrenztem Zugriff bis hin zu vollständiger Kontrolle.
- Impact: Bewertet den möglichen Schaden im Falle eines Vorfalls, von gering (isolierte Vorfälle) bis kritisch (systemische Ausfälle).
Basierend auf diesen vier Dimensionen werden KI-Risiken als niedrig, mittel, hoch oder kritisch klassifiziert. Dadurch können CISOs passende Sicherheitsmaßnahmen umsetzen und für Systeme mit niedrigen Risiken Basis-Kontrollen sowie für hochriskante Systeme umfassende Kontrollen anwenden, um Sicherheit und Compliance zu gewährleisten.
AIVSS: Strategisches Risikomanagement für autonome KI
In einer Welt autonomer Agenten reichen klassische Sicherheitsbewertungen nicht mehr aus. Das AIVSS (AI Vulnerability Scoring System) übersetzt komplexe, agentische Risiken in messbare Kennzahlen für Ihr Management.
Spezifische Bewertung: Während CVSS klassische Software-Lücken prüft, bewertet AIVSS gezielt nicht-deterministisches Verhalten und emergenten Kontext.
Präzise Risikometriken: Wir analysieren kritische Dimensionen wie Tool Misuse, Memory Manipulation und Multi-Agent Interaction.
Management-Ready: Verwandeln Sie abstrakte technische Bedrohungen in klare Risikoscores für fundierte Investitions- und Sicherheitsentscheidungen.
AIVSS schließt die Lücke zwischen technischer Exposition und strategischer Sicherheit.
AIVSS – Weil CVSS für KI-Systeme zu Trugschlüssen führt
Herkömmliche Sicherheitsmetriken allein reichen nicht mehr aus, um die Komplexität autonomer Systeme zu erfassen. Unser AIVSS Score (AI Vulnerability Scoring System) schließt diese Lücke, indem er klassische Bedrohungen mit spezifischen KI-Risiken kombiniert.
Ganzheitliche Analyse: Das Dashboard integriert den bewährten CVSS v4.0 Standard für traditionelle Software-Schwachstellen mit dem neuen AARS (Agentic Risk Score), um die einzigartigen Gefahren autonomer Handlungsfähigkeit zu bewerten.
Tiefe Einblicke: Über ein detailliertes Netzdiagramm werden kritische Faktoren wie Autonomy, Tool Use und Memory Use analysiert. So wird sichtbar, wie stark ein Agent von seiner ursprünglichen Logik abweichen kann.
Transparente Risikoverteilung: Mit einer klaren Aufschlüsselung der Risk Distribution sehen Sicherheitsverantwortliche auf einen Blick, ob die Gefahr eher in der technischen Infrastruktur oder im agentischen Verhalten liegt.
Mit AIVSS machen wir das Unsichtbare messbar. Schützen Sie Ihre KI-Infrastruktur nicht nur gegen Exploits, sondern sichern Sie die Integrität Ihrer gesamten autonomen Flotte.
GenAI Red Teaming
Proaktives GenAI Red Teaming
Wir identifizieren reale Exploitation-Pfade, bevor sie zum Risiko werden. Unser holistischer Ansatz prüft alles – von der Modellebene (Prompt Injection) über die System-Implementierung (Guardrail Bypass) bis hin zur Agentic AI (Tool-Missbrauch). So stärken wir die Sicherheit, Safety und das Vertrauen in Ihre Geschäftsprozesse.
Präzise Risikobewertung mit AIVSS
Mit unserem AIVSS Dashboard machen wir KI-Risiken messbar. Wir kombinieren klassische Sicherheitsmetriken (CVSS) mit spezifischen Agentic Risks (AARS), um einen klaren AIVSS Score zu liefern. Durch detaillierte Analysen von Faktoren wie Autonomy, Memory Use und Multi-Agent Interaction erhalten Sie eine transparente Risk Distribution für fundierte Sicherheitsentscheidungen.
Das Ergebnis
Eine sichere, verantwortungsvolle KI, die regulatorische Anforderungen erfüllt und proaktiv gegen Bedrohungen gehärtet ist.
Hands-on LLM-Sicherheit: AI & LLM Security CTF
Moderne LLM-basierte Systeme weisen Sicherheitsrisiken auf, die sich nicht allein durch Richtlinien, Architekturdiagramme oder klassische Penetrationstests bewerten lassen.
Mit unserer AI & LLM Security CTF machen wir typische Angriffspfade wie Prompt Injection, Tool- und Agent-Missbrauch sowie unsichere Ausgabe- und Datenverarbeitung praktisch nachvollziehbar – realistisch, kontrolliert und enterprise-tauglich.
Typische Szenarien:
Prompt Injection & Instruction Hijacking
Tool- und Agent-Abuse in LLM-Workflows
Improper Output Handling (OWASP LLM Top 10)
Datenabfluss und Kontextmanipulation
Die CTF ist kein Wettbewerb, sondern eine optionale Hands-on-Ergänzung zu unseren LLM- & KI-Penetrationstests und richtet sich an Security-, Engineering- und Governance-Teams.
EU AI Act & KI-Governance – Ein-Tages-Training
Das EU AI Act & KI-Governance – Ein-Tages-Training von VamiSec GmbH bietet eine maßgeschneiderte Schulung zu den EU KI Act-Vorgaben, der KI-Risikobewertung und den sicherheitsrelevanten Aspekten von KI. Das Programm kann flexibel an die Bedürfnisse Ihrer Organisation angepasst werden, einschließlich Zeitrahmen und Fachwissen.
Die Schulung umfasst:
- Regulatorischer Rahmen: Überblick über den EU KI Act, risikobasierte KI-Klassifizierung, Rollen und Verantwortlichkeiten.
- KI-Risiken und Sicherheit: Themen wie Bias, Halluzinationen, Prompt Injection, Shadow AI und rechtliche Haftungsrisiken.
- Operative Umsetzung: Identifizierung von KI-Anwendungsfällen, KI-Risikobewertung, Integration in ISMS und Datenschutz.
- Kostenlose Vorlagen: KI-Policy-Richtlinien, Acceptable Use Policies und Mitarbeiterverpflichtungen.
Dieses Training ist besonders wertvoll für CISOs, Unternehmensführer und Mitarbeiter aus den Bereichen KI, Sicherheit, Compliance und Datenschutz, um KI-Compliance zu managen, Risiken zu minimieren und die Sicherheit zu gewährleisten. Es hilft, die verantwortungsvolle Nutzung von KI sicherzustellen und regulatorische Anforderungen zu erfüllen.
Das Programm bietet auch IT-Teams und Führungskräften die nötigen Werkzeuge, um KI-Sicherheitsstrategien zu entwickeln und umzusetzen.
Zentrale Verpflichtungen nach AI Act
Zentrale Verpflichtungen nach AI Act
Der EU AI Act setzt klare Vorgaben, die für CISOs entscheidend sind, um KI-Risiken zu managen, Compliance sicherzustellen und das Unternehmen zu schützen. Hier sind die wichtigsten Fokusbereiche:
- Compliance & Bewertung: Stellen Sie sicher, dass KI-Systeme von Anfang an den regulatorischen Standards entsprechen.
- Post-Market Monitoring: Verfolgen Sie kontinuierlich die Leistung von KI und melden Sie Vorfälle, um compliant zu bleiben.
- Nachvollziehbarkeit & Logging: Gewährleisten Sie Transparenz und Verantwortlichkeit mit detaillierter Aufzeichnung.
- Transparenz & Nutzerinformation: Fördern Sie Vertrauen, indem Sie die Nutzer über die Nutzung ihrer Daten informieren.
- KI-Governance & Risiko: Etablieren Sie einen soliden Rahmen zur Risikomanagement und Sicherheitsgewährleistung.
- Menschliche Aufsicht: Ermöglichen Sie menschliches Eingreifen, um die Kontrolle über KI-Systeme zu wahren.
- Datenqualität & Governance: Sorgen Sie für genaue, sichere und compliant Daten für KI-Modelle.
- Sicherheit & Robustheit: Stellen Sie sicher, dass KI-Systeme technisch sicher, widerstandsfähig und genau sind.
Für CISOs ist die Einhaltung dieser Vorgaben der Schlüssel, um KI erfolgreich im Unternehmen zu integrieren, Vertrauen aufzubauen, Risiken zu minimieren und die rechtlichen Anforderungen zu erfüllen.
KI Pentesting nach DORA
KI Pentesting nach DORA
KI- und LLM-Systeme sind heute fester Bestandteil der IKT-Landschaft und erweitern die digitale Angriffsfläche erheblich. DORA verpflichtet Finanzunternehmen, auch diese Systeme systematisch zu testen und abzusichern. Die BaFin stellt klar, dass KI denselben Anforderungen an Sicherheit, Resilienz und Risikomanagement unterliegt wie klassische IT-Assets.
Unsere KI- und LLM-Penetrationstests prüfen gezielt KI-spezifische Angriffsvektoren wie Prompt Injection, Daten- und Modellmanipulation oder unerwartetes Modellverhalten – und schaffen belastbare Nachweise für regulatorische Prüfungen und Audits.
Mögliche Folgen bei Verstößen gegen EU-Cyber- & Digitalregulierungen
Mögliche Folgen bei Verstößen gegen EU-Cyber- & Digitalregulierungen
Diese Regulierungen wirken nicht isoliert.
Verstöße führen zu Bußgeldern, Marktverboten, Haftungsrisiken und nachhaltigem Vertrauensverlust.
Compliance ist keine Option – sondern Geschäftsgrundlage.
AI Act fordert ein KIMS, bspw. nach ISO 42001 mit einem KI-Management-Zyklus
AI Act fordert ein KIMS, bspw. nach ISO 42001 mit einem KI-Management-Zyklus
- Klare Verantwortlichkeiten und Entscheidungsstrukturen
- Transparenz über KI-Einsatz, Risiken und Wirkungen
- Systematische Steuerung des gesamten KI-Lebenszyklus
- Nachweisbare Compliance gegenüber Regulatoren und Stakeholdern
- Kurz: ISO 42001 macht KI steuerbar, prüfbar und managementfähig.
Integrierte NIS2 und AI Act Umsetzung
angelehnt an ISO 27001 & ISO 42001
Integrierte NIS2 und AI Act Umsetzung
angelehnt an ISO 27001 & ISO 42001
Ergebnis: Mehrwert statt Bürokratie
- NIS2 und AI Act müssen kein Bürokratiemonster sein –richtig integriert werden sie zum Effizienz- und Wettbewerbsvorteil.
- Gemeinsame Governance, Risiko-, Audit- und Reporting-Prozesse für NIS2 und AI Act
- Optionale kombinierte Zertifizierung nach ISO 27001 & ISO 42001
- Mittels eines IMS nachhaltige Compliance über 2026 hinaus
- Skalierbares System für zukünftige Regulatorik (Data Act, CRA, DORA, sektorspezifische Vorgaben)
Standards, Frameworks & Offensive Expertise
Bewährte Standards. Reale Angriffskompetenz.
Unsere Sicherheitsanalysen und KI-Penetrationstests basieren auf anerkannten internationalen Standards, Frameworks und praxisnaher Offensive-Security-Expertise.
So stellen wir sicher, dass unsere Ergebnisse sowohl fachlich belastbar als auch realistisch aus Angreiferperspektive sind.
Wir arbeiten unter anderem mit
