Termin vereinbaren
KI-Produkte · Embodied AI · AIoT

Pentest für KI-Produkte: Roboter, AIoT-Geräte und Edge-KI sicher testen

Sobald KI in einem Gerät steckt, wird aus einer Prompt Injection eine Bewegung, ein geöffnetes Schloss oder ein Kamerabild im falschen Netz. Wir modellieren Bedrohungen nach STRIDE und MAESTRO, testen von der Debug-Schnittstelle bis zum LLM und spielen cyber-physische Angriffe als Red Team durch – entlang OWASP LLM Top 10, AISVS, ISTG und IoT Top 10.

  • Threat Modeling nach STRIDE × MAESTRO
  • Hardware, Firmware, Funk, Cloud, Modell & LLM
  • Nachweise für CRA, EN 18031 & AI Act
  • 01Sensorik
  • 02Edge-Modell
  • 03Aktorik
  • 04Cloud & LLM
  • 05Funk & App
  • 06Firmware
Sechs Angriffsflächen – ein Produkt
21,1 Mrd.
vernetzte IoT-Geräte Ende 2025 (Prognose) – 39 Mrd. bis 2030 erwartet
IoT Analytics, 10/2025
5 Mio.
Industrieroboter im Betrieb, über 600.000 allein 2025 neu installiert
IFR World Robotics, 09/2026
bis 100 %
Jailbreak-Erfolg gegen LLM-gesteuerte Roboter im Forschungstest, inkl. Unitree Go2
RoboPAIR, UPenn 2024
> 20 %
der untersuchten Unternehmen mit Datenpanne meldeten einen Vorfall, der auf KI-Modelle oder -Anwendungen zielte
IBM Cost of a Data Breach, 07/2026
Kurz erklärt

Was ist ein Pentest für KI-Produkte?

Ein Pentest für KI-Produkte prüft Geräte mit eingebetteter künstlicher Intelligenz – Roboter, Cobots, humanoide Systeme, KI-Kameras, Sprachassistenten, KI-Spielzeug und Edge-KI in Maschinen – über alle Schichten hinweg: Hardware, Firmware, Funk, Cloud-API, App, On-Device-Modell und LLM-Integration. Ziel ist der Nachweis, ob ein Angreifer das Produkt digital übernehmen oder zu unerwünschten Handlungen in der physischen Welt bringen kann.

Reine LLM- und Agenten-Anwendungen ohne Gerät testen wir im Agentic AI Pentesting, vernetzte Geräte ohne KI-Funktion im IoT-Pentesting.

Zuletzt aktualisiert: · Verantwortlich: Valeri Milke, VamiSec GmbH

Das Wichtigste in Kürze

  • 1KI-Produkte vereinen drei Risikoebenen: klassische IoT-Schwächen, KI-spezifische Angriffe und physische Auswirkungen über Aktorik und Sensorik.
  • 2Threat Modeling verbindet STRIDE (was kann schiefgehen?) mit den sieben MAESTRO-Schichten (wo in der KI-Architektur?) – ergänzt um die physische Welt.
  • 3Getestet wird gegen anerkannte Standards: OWASP Top 10 for LLM Applications 2026, OWASP AISVS 1.01, OWASP ISTG, OWASP IoT Top 10, MITRE ATLAS und ETSI EN 303 645.
  • 4Seit dem 11.09.2026 gelten die Meldepflichten des Cyber Resilience Act; ab dem 11.12.2027 alle Anforderungen – inklusive regelmäßiger Sicherheitstests.
  • 5Tests an Robotern mit Aktorik laufen nur mit abgestimmtem Safety-Konzept: definierte Testzone, Not-Halt und reduzierte Geschwindigkeiten.
Warum KI-Produkte eigene Tests brauchen

Wenn KI einen Körper bekommt, addieren sich die Risiken.

Ein KI-Produkt ist IoT-Gerät, KI-System und – mit Motor, Schloss oder Ventil – ein cyber-physisches System zugleich. Wer nur eine dieser Schichten prüft, übersieht die Angriffsketten dazwischen.

Schicht 1

Das IoT-Erbe

Hardware, Firmware und Funk bringen die bekannten Schwächen vernetzter Geräte mit.

  • Hartkodierte Schlüssel und Default-Passwörter
  • Offene Debug-Ports (UART, JTAG) und unsignierte Updates
  • Unsichere Cloud-APIs und Companion-Apps
Schicht 2

Die KI-Schicht

Modelle auf dem Gerät und LLMs in der Cloud öffnen neue Angriffsklassen.

  • Prompt Injection über Sprache, Text und Kamerabild
  • Modell-Extraktion, Adversarial Examples, Data Poisoning
  • LLM-Ausgaben, die ungeprüft zu Befehlen werden
Schicht 3

Die physische Wirkung

Aktoren und Sensoren verbinden digitale Angriffe mit realen Folgen.

  • Bewegungen außerhalb der Safety-Grenzen
  • Kamera und Mikrofon als Wanze im Raum
  • Ausfall von Produktion, Pflege oder Sicherheitstechnik

Angriffskette aus der Forschung: Von der Kalendereinladung zum geöffneten Fenster

  1. 1Angreifer verschickt eine Kalendereinladung mit versteckten Anweisungen.
  2. 2Die Nutzerin bittet den KI-Assistenten, ihre Termine zusammenzufassen.
  3. 3Das LLM liest die Einladung – die Anweisungen landen im Kontext (indirekte Prompt Injection).
  4. 4Auf ein harmloses „Danke“ ruft der Assistent Smart-Home-Funktionen auf.
  5. 5Fenster öffnen sich, der Boiler heizt: digitale Manipulation mit physischer Wirkung.

Demonstriert von Forschenden der Universität Tel Aviv, des Technion und von SafeBreach gegen Gemini und Google Home (Black Hat USA, August 2025). Google hatte vor der Veröffentlichung Gegenmaßnahmen ausgerollt, etwa Bestätigungen für riskante Aktionen. Paper „Invitation Is All You Need“

Welche KI-Produkte wir testen

Sechs Produktklassen, sechs Angriffsprofile.

Jede Produktklasse hat eigene Schwerpunkte. Wählen Sie eine Kategorie: Sie sehen typische Angriffsflächen, die wichtigsten Bedrohungen, unsere Prüfschwerpunkte und die einschlägigen Standards.

Roboter, Cobots, Humanoide und Roboterhunde

Roboter kombinieren Aktorik, Kameras, Funk und zunehmend LLM-gestützte Planer. Ein kompromittierter Roboter ist nicht nur ein Datenleck, sondern ein Sicherheitsrisiko für Menschen in seiner Nähe. Ab dem 20.01.2027 verlangt die Maschinenverordnung, dass Steuerungen vorhersehbaren böswilligen Angriffen standhalten und selbstlernende Systeme ihren festgelegten Aufgaben- und Bewegungsraum nicht verlassen.

ROS 2 / DDSBLE-ProvisioningSteuerung & Safety-SPSTeleoperationLLM-/VLA-PlanerFlotten-Cloud

Typische Bedrohungen

  • Befehlsinjektion über Funk- und Provisioning-Schnittstellen
  • Jailbreak des Planers führt zu gefährlichen Bewegungen
  • Verdeckte Telemetrie an Hersteller-Server
  • Umgehung von Geschwindigkeits-, Kraft- und Zonenbegrenzungen

Was wir prüfen

  • Funk-, BLE- und Netzwerkdienste inkl. Schlüsselmanagement
  • ROS-2-/DDS-Konfiguration, SROS 2 und Knoten-Authentisierung
  • Jailbreak-to-Action-Szenarien gegen den Planer im Testfeld
  • Trennung von KI-Planung und deterministischer Safety-Schicht
Angriffsfläche eines KI-Produkts

Zehn Schichten – von der Umwelt bis zur Lieferkette.

So zerlegen wir ein KI-Produkt im Test. Jede Schicht hat eigene Bedrohungen, Prüfmethoden und Referenzen. Klicken Sie eine Schicht an.

03 / 10

Edge-Modell & NPU

Das Modell auf dem Gerät – Bilderkennung, Sprachmodell oder Vision-Language-Action-Modell – ist Angriffsziel und schützenswertes Know-how zugleich.

Bedrohungen

  • Extraktion von Modelldateien aus Flash oder App
  • Seitenkanalangriffe auf Beschleuniger (NPU, TPU)
  • Backdoors in vortrainierten Gewichten

Prüfmethoden

  • Speicher- und Dateisystemanalyse auf ungeschützte Modelle
  • Prüfung von Verschlüsselung, Signatur und Ladeprozess
  • Robustheitstests mit Adversarial Examples
ReferenzenML05:2023AISVS C11ISTG-PROC-SIDEC
Threat Modeling

STRIDE × MAESTRO: Bedrohungen strukturiert finden, bevor Angreifer es tun.

Bevor wir testen, modellieren wir. STRIDE liefert die sechs Fragen, was schiefgehen kann. MAESTRO, das Framework der Cloud Security Alliance für agentische KI, sagt, wo in der KI-Architektur. Für Produkte mit Sensorik und Aktorik ergänzen wir eine Schicht für die physische Welt.

STRIDE

Was kann schiefgehen?

Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service und Elevation of Privilege – angewandt auf jeden Datenfluss und jede Vertrauensgrenze des Produkts.

MAESTRO

Wo in der KI-Architektur?

Sieben Schichten von Foundation Models bis Agent Ecosystem, inklusive schichtübergreifender Bedrohungen. Für KI-Produkte erweitern wir um die physische Welt mit Sensorik, Aktorik und Safety.

SSpoofingAuthentisierung
TTamperingIntegrität
RRepudiationNichtabstreitbarkeit
IInformation DisclosureVertraulichkeit
DDenial of ServiceVerfügbarkeit
EElevation of PrivilegeAutorisierung
L1

Foundation Models

On-Device-Modelle, Sprach- und Vision-Language-Action-Modelle, Cloud-LLMs

S
Untergeschobenes Modell

Ein manipuliertes Modell gibt sich als Hersteller-Modell aus, weil Signatur und Hash beim Laden nicht geprüft werden.

T
Backdoor im Gewicht

Trojanisierte Gewichte oder Fine-Tunes reagieren auf einen Trigger – etwa ein Muster im Kamerabild – mit gezielter Fehlentscheidung.

R
Unklare Modellversion

Ohne Modell-ID, Prompt und Konfidenz im Log lässt sich nicht belegen, welches Modell eine Aktion ausgelöst hat.

I
Modell-Extraktion

Unverschlüsselte Modelldateien oder Seitenkanäle an der NPU geben Architektur und Know-how preis.

D
Ressourcen-Angriffe

Konstruierte Eingaben treiben Rechenlast, Latenz und Akkuverbrauch hoch, bis Echtzeitfunktionen ausfallen.

E
Jailbreak

Prompt Injection oder Jailbreak bringen das Modell dazu, Regeln und Rollen zu ignorieren (LLM01:2026).

Ergebnis des Threat Modelings

  • Datenflussdiagramm mit Vertrauensgrenzen inkl. physischer Schnittstellen
  • Bedrohungsregister nach STRIDE je MAESTRO-Schicht
  • Bewertung nach CVSS 4.0 und Safety-Auswirkung
  • Angriffsbäume für die kritischsten Szenarien
  • Testplan, der direkt in Pentest und Red Teaming einfließt
  • Mapping auf OWASP, MITRE ATLAS, CRA und AI Act
OWASP Top 10 for LLM Applications 2026

Die LLM Top 10, übersetzt in die physische Welt.

Die im August 2026 erschienene Ausgabe der OWASP-Liste beschreibt Risiken von LLM-Anwendungen – und zählt Angriffe über Bild und Audio jetzt ausdrücklich zur Prompt Injection. Im Gerät bekommen die Risiken eine neue Qualität:

LLM01:2026

Prompt Injection

Ein Sprachbefehl aus dem Fernseher, ein Schild im Kamerabild oder eine Kalendereinladung steuert das Gerät – auch cross-modal über Bild und Ton.

LLM02:2026

Sensitive Information Disclosure

Der Assistent verrät WLAN-Schlüssel, Raumpläne, Gesichter oder Gesprächsinhalte.

LLM03:2026

Excessive Agency

Das Modell bedient Türschlösser, Herdplatten oder Roboterarme ohne Bestätigung – der folgenreichste Aufsteiger der Liste.

LLM04:2026

Supply Chain

Vortrainierte Modelle, Adapter und Modell-Hubs bringen Backdoors oder Schadcode aufs Gerät.

LLM05:2026

Data and Model Poisoning

Vergiftete Flotten-, Trainings- oder Fine-Tuning-Daten lassen den Roboter Hindernisse übersehen.

LLM06:2026

Unbounded Consumption

Endlose Anfragen leeren Akku und API-Budget oder überhitzen die NPU.

LLM07:2026

Misinformation

Halluzinierte Wartungshinweise oder falsche Objekterkennung führen zu gefährlichen Handlungen.

LLM08:2026

Hidden Context Exposure

System-Prompt, Tool-Schemata und Sicherheitsregeln des Geräts lassen sich extrahieren und als Bauplan für Angriffe nutzen.

LLM09:2026

Vector and Embedding Weaknesses

Manipulierte Einträge im lokalen Wissensspeicher – etwa Wartungsanleitungen – steuern Antworten.

LLM10:2026

Improper Output Handling

Ungeprüfte Modellausgaben werden zu Motorbefehlen, Shell-Kommandos oder ROS-Nachrichten.

Für agentische Funktionen prüfen wir zusätzlich gegen die OWASP Top 10 for Agentic Applications 2026 (ASI01–ASI10). Auf Wunsch mappen wir Befunde auch auf die Vorgängerausgabe 2025.

Standards & Methodiken

Woran wir messen – und wofür wir es nutzen.

Wir kombinieren Risiko-Listen, Verifikationsstandards, Testleitfäden und Normen. So sind Befunde vergleichbar, nachvollziehbar und direkt für Ihre technische Dokumentation verwertbar. Stand aller Versionsangaben: 10.10.2026.

Risiko-ListeAusgabe 2026 · 08/2026

OWASP Top 10 for LLM Applications 2026

Leitplanke für alle LLM-Funktionen – von Prompt Injection (LLM01) über Excessive Agency (LLM03) bis Improper Output Handling (LLM10).

Risiko-ListeAusgabe 2026 · 12/2025

OWASP Top 10 for Agentic Applications 2026

Für Geräte mit agentischen Funktionen: Goal Hijack (ASI01), Tool Misuse (ASI02), Identitäten, Gedächtnis und Zusammenspiel mehrerer Agenten.

Verifikationsstandardv1.01 · 10/2026

OWASP AISVS

Prüfbare Anforderungen in 12 Kapiteln (C1–C12) und drei Stufen (L1–L3) – unsere Grundlage für Testpläne und Abnahmekriterien der KI-Schicht.

Testleitfadenv1 · 11/2025

OWASP AI Testing Guide

32 Testfälle in vier Bereichen: KI-Anwendung, Modell, Infrastruktur und Daten – von Prompt Injection bis Evasion Attacks.

Red-Teaming-Methodikv1.0 · 01/2025

OWASP GenAI Red Teaming Guide

Vier Phasen von der Modellbewertung bis zur Laufzeit- und Agentenbewertung – Gerüst für unsere Red-Teaming-Szenarien.

Wissensbasisv2026.09

MITRE ATLAS

16 Taktiken und 120 Techniken realer Angriffe auf KI – inklusive Physical Environment Access (AML.T0041) und physischer Täuschungsmittel wie Adversarial-Aufkleber (AML.T0008.003).

Testleitfadenv1.0.1 · 06/2024

OWASP ISTG

Testfälle je Gerätekomponente – Prozessor, Speicher, Firmware, Schnittstellen, Funk, Bedienung – mit Angreifermodellen für physischen Zugriff und Berechtigungen.

Verifikationsstandard1.0.0-RC2 · Entwurf

OWASP ISVS

Anforderungen an sichere IoT-Ökosysteme in fünf Kapiteln von Ökosystem bis Hardware-Plattform – Grundlage für Härtungskriterien.

Risiko-ListeAusgabe 2018

OWASP IoT Top 10

Die zehn häufigsten Schwachstellenklassen vernetzter Geräte – weiterhin die gemeinsame Sprache im IoT-Pentest.

Methodik9 Phasen

OWASP FSTM

Vorgehen zur Firmware-Analyse: von der Informationsbeschaffung über Extraktion und Emulation bis zur Laufzeitanalyse und Binary Exploitation.

SpezifikationDDS Security v1.2 · 02/2026

OMG DDS Security & SROS 2

Sicherheitsmechanismen von DDS, der Middleware unter ROS 2: Authentisierung, Zugriffskontrolle und Verschlüsselung zwischen Knoten, umgesetzt mit SROS 2.

NormV3.1.3 · 09/2024

ETSI EN 303 645

13 Gruppen von Basisanforderungen für Consumer-IoT – von „keine universellen Default-Passwörter“ bis zur Validierung von Eingaben.

Harmonisierte Normmit Einschränkungen gelistet

EN 18031-1/-2/-3

Nachweis der Cybersecurity-Anforderungen der Funkanlagenrichtlinie. Die Einschränkungen betreffen u. a. Passwörter, Kindersicherungen und Update-Kriterien.

NormV2.1.1 · 12/2025

ETSI EN 304 223

13 Prinzipien über fünf Lebenszyklusphasen für KI-Modelle und -Systeme – inklusive Pflicht zu Sicherheitstests vor der Freigabe (Prinzip 9).

Normenreihe4-1:2018 · 4-2:2019

IEC 62443-4-1/-4-2

Sicherer Entwicklungsprozess (4-1) und technische Anforderungen an Komponenten (4-2) für industrielle Produkte.

TaxonomieE2025 · 03/2025

NIST AI 100-2 E2025

Gemeinsame Begriffe für Evasion, Poisoning, Privacy-Angriffe und Missbrauch – inklusive indirekter Prompt Injection und Agenten.

OWASP IoT Top 10 – die Basis jedes Gerätetests

  1. I1Schwache, erratbare oder hartkodierte Passwörter
  2. I2Unsichere Netzwerkdienste
  3. I3Unsichere Schnittstellen im Ökosystem
  4. I4Fehlender sicherer Update-Mechanismus
  5. I5Unsichere oder veraltete Komponenten
  6. I6Unzureichender Schutz der Privatsphäre
  7. I7Unsichere Datenübertragung und -speicherung
  8. I8Fehlendes Gerätemanagement
  9. I9Unsichere Standardeinstellungen
  10. I10Fehlende physische Härtung

Deutsche Arbeitsübersetzung der OWASP Internet of Things Top 10 (2018) – bis heute die aktuelle Ausgabe. Bei KI-Produkten bleiben diese Klassen relevant: Sie sind oft der Einstieg für Angriffe auf die KI-Schicht.

Leistungen

Vier Module – einzeln oder als Gesamtpaket.

Vom ersten Architektur-Workshop bis zum Nachweispaket für die Konformitätsbewertung. Die Module bauen aufeinander auf, lassen sich aber auch einzeln beauftragen.

01
Modul 1 · Design

Threat Modeling für KI-Produkte

Wir modellieren Ihr Produkt nach STRIDE und MAESTRO – inklusive physischer Schicht – und leiten daraus priorisierte Risiken und einen Testplan ab.

  • Workshops mit Entwicklung, Safety und Produktmanagement
  • Datenflussdiagramm mit Vertrauensgrenzen
  • Bedrohungsregister mit CVSS-4.0- und Safety-Bewertung
  • Maßnahmen und Testplan für die nächsten Schritte

Unterstützt durch VamiThreat: STRIDE-Analyse, MAESTRO und automatisches Mapping auf MITRE ATT&CK und ATLAS.

Mehr zu KI-Threat-Modeling
02
Modul 2 · Test

Penetrationstest des KI-Produkts

Grey- oder White-Box-Test über alle Schichten: Hardware, Firmware, Funk, Cloud-API, App, On-Device-Modell und LLM-Integration.

  • Hardware- und Debug-Schnittstellen, Speicherauslese
  • Firmware-Analyse und Reverse Engineering
  • Funk, Kopplung und Netzwerkdienste
  • Cloud-API, App und LLM nach OWASP-Systematik

Firmware- und Binäranalyse KI-gestützt mit VamiReverse.

Pentest anfragen
03
Modul 3 · Angriff

AI Red Teaming & cyber-physische Szenarien

Zielorientierte Angriffssimulation über Schichtgrenzen hinweg: Kann ein Angreifer Ihr Produkt zu einer unerwünschten Handlung in der realen Welt bringen?

  • Jailbreak-to-Action-Ketten gegen Planer und Assistenten
  • Physische Prompt Injection, Adversarial Patches, Audio-Angriffe
  • Flotten-Szenarien über Cloud, App und Fernwartung
  • TTPs entlang MITRE ATLAS, sicher im Testfeld

Skaliert mit dem AI Pentesting Agent von VamiRedteam (KI-spezifische Test-Suiten nach MITRE ATLAS).

VamiRedteam kennenlernen
04
Modul 4 · Nachweis

Härtung & Compliance-Nachweise

Wir übersetzen Befunde in Nachweise für Ihre technische Dokumentation und begleiten die Behebung bis zum erfolgreichen Retest.

  • Mapping auf CRA Anhang I, EN 18031, ETSI EN 303 645
  • Bezug zu AI Act Art. 15 und Maschinenverordnung
  • SBOM und AI-BOM, Schwachstellen- und Meldeprozess
  • Retest und Retest-Bericht

SBOM pro Release und Schwachstellen-Tracking mit VamiAppSec.

Zum Cyber Resilience Act
Vorgehen

In sechs Schritten vom Scoping zum Nachweis.

Das Bedrohungsmodell steuert den Test: Wir prüfen zuerst, was für Ihr Produkt wirklich kritisch ist.

  1. 1

    Scoping & Safety-Briefing

    Produktvarianten, Testumfang, Testumgebung, Zugänge und Rules of Engagement – bei Aktorik inklusive Safety-Konzept.

    Ergebnis: Testvereinbarung und Safety-Freigabe

  2. 2

    Threat Modeling

    STRIDE je Datenfluss und Vertrauensgrenze, strukturiert nach MAESTRO-Schichten plus physischer Welt.

    Ergebnis: Bedrohungsregister und Angriffsbäume

  3. 3

    Testplan

    Ableitung der Testfälle aus dem Bedrohungsmodell, gemappt auf AISVS, ISTG, LLM Top 10 und IoT Top 10.

    Ergebnis: Priorisierter Testplan

  4. 4

    Pentest der Komponenten

    Hardware, Firmware, Funk, Cloud-API, App, Modell und LLM – jede Schicht mit passenden Methoden.

    Ergebnis: Validierte Befunde mit Proof of Concept

  5. 5

    Red Teaming end-to-end

    Verkettete Szenarien über Schichtgrenzen: vom Einstieg bis zur Wirkung in der physischen Welt.

    Ergebnis: Angriffsketten mit Storyboard

  6. 6

    Bericht, Retest & Nachweis

    Management Summary, technische Befunde, Maßnahmen und Normen-Mapping – nach der Behebung prüfen wir erneut.

    Ergebnis: Bericht, Retest-Bericht, Nachweispaket

Sicherheit geht vor: Tests an Robotern und Maschinen mit Aktorik führen wir nur mit abgestimmtem Safety-Konzept durch – definierte Testzone, Not-Halt in Reichweite, reduzierte Geschwindigkeiten und Freigabe durch Ihre Safety-Verantwortlichen. Wo möglich, testen wir zuerst in Simulation oder an einem Digital Twin.

Abgrenzung

IoT-Pentest, LLM-Pentest – oder beides zusammen?

Ein KI-Produkt braucht die Tiefe eines IoT-Pentests und die Methoden eines LLM-Pentests – plus den Blick auf die physischen Folgen.

Vergleich von IoT-Pentest, LLM-/Agentic-Pentest und Pentest für KI-Produkte
PrüfbereichKlassischer IoT-PentestLLM-/Agentic-PentestPentest für KI-Produkte
Hardware, Debug-Schnittstellen & Firmwareabgedecktnicht abgedecktabgedeckt
Funk & Kopplung (BLE, Wi-Fi, Matter, Zigbee)abgedecktnicht abgedecktabgedeckt
Cloud-Backend, APIs & Companion-Appabgedecktteilweiseabgedeckt
Prompt Injection & Jailbreaks (Text, Sprache, Bild)nicht abgedecktabgedecktabgedeckt
Modell-Extraktion, Adversarial Examples & Poisoningnicht abgedecktteilweiseabgedeckt
Physische Folgen & Safety-Grenzen der Aktoriknicht abgedecktnicht abgedecktabgedeckt
Threat Model nach STRIDE × MAESTRO inkl. physischer Schichtteilweiseteilweiseabgedeckt
Nachweise für CRA, EN 18031, AI Act & Maschinenverordnungteilweiseteilweiseabgedeckt

abgedeckt teilweise nicht abgedeckt

Belegte Fälle

Keine Theorie: Angriffe auf KI-Produkte aus Forschung und Praxis.

Eine Auswahl dokumentierter Schwachstellen und Forschungsergebnisse der letzten zwei Jahre – jeweils mit Quelle.

2025Humanoide & Roboterhunde

UniPwn: Root per Bluetooth auf Unitree-Robotern

Hartkodierte AES-Schlüssel im BLE-Provisioning erlaubten Befehlsinjektion mit Root-Rechten auf G1, H1, Go2 und B2. Die Forschenden zeigten, dass sich ein infizierter Roboter auf weitere in Funkreichweite ausbreiten kann. Vier CVEs wurden vergeben (CVE-2025-35027, -60017, -60250, -60251).

Was wir daraus testen: Provisioning, Funk und Schlüsselmanagement in jedem Robotertest.

IEEE Spectrum, 09/2025
2025Humanoide

Verdeckte Telemetrie beim Unitree G1

Laut Alias Robotics sendet der humanoide Roboter G1 alle 300 Sekunden Sensor- und Zustandsdaten per MQTT an externe Server – ohne Hinweis an den Betreiber. Zudem nutzt die BLE-Schnittstelle einen statischen, auf allen Geräten identischen AES-Schlüssel.

Was wir daraus testen: Datenflussanalyse und Prüfung versteckter Verbindungen.

arXiv 2509.14139
2025Smart Home & LLM

Kalendereinladung steuert Google Home

Versteckte Anweisungen in Kalendereinladungen brachten Gemini dazu, Smart-Home-Geräte zu bedienen. Die Forschenden bewerteten 73 % der gezeigten Bedrohungen als hoch oder kritisch; Google rollte Gegenmaßnahmen aus.

Was wir daraus testen: Indirekte Prompt Injection über alle angebundenen Datenquellen.

arXiv 2508.12175
2026Drohnen & Fahrzeuge

Physische Prompt Injection über Schilder im Kamerabild

Optimierte Texte auf Schildern im Kamerabild kaperten Vision-Language-Agenten: 95,5 % Erfolg bei Drohnen-Objektverfolgung in der Simulation, bis zu 92,5 % an einem realen Roboterfahrzeug mit GPT-4o.

Was wir daraus testen: Umgebung als Angriffsvektor im Red Teaming.

arXiv 2510.00181 (IEEE SaTML 2026)
2025Roboter-KI (VLA)

Adversarial Patches gegen Vision-Language-Action-Modelle

Ein kleiner bunter Patch im Sichtfeld ließ Roboter mit OpenVLA ihre Aufgaben verfehlen – in der Simulation im besten Angriffsszenario bis zu 100 %, im physischen Versuch in über 43 % der Fälle.

Was wir daraus testen: Robustheitstests des Modells unter realen Bedingungen.

ICCV 2025, arXiv 2411.13587
2026KI-Spielzeug

Rund 50.000 Kinderchats eines KI-Kuscheltiers offen

Das Eltern-Portal des KI-Plüschtiers Bondu prüfte nur, ob ein Google-Konto vorlag. Gesprächsprotokolle, Namen und Geburtsdaten von Kindern waren damit für Dritte einsehbar. Der Hersteller schloss die Lücke umgehend.

Was wir daraus testen: Autorisierung von Portalen, APIs und Logs.

Malwarebytes, 02/2026
2025KI-Kameras

KI-Kameras ohne Login erreichbar

Mindestens 60 KI-gestützte Kameras von Flock Safety lieferten Livestreams, Archive und Admin-Panels ohne Anmeldung ins Internet. Der Hersteller sprach von einer behobenen Fehlkonfiguration.

Was wir daraus testen: Externe Angriffsfläche und Authentisierung jeder Schnittstelle.

404 Media, 12/2025
2026Cobots

CVSS 9,8 in Cobot-Steuerung

CVE-2026-8153 in PolyScope 5 von Universal Robots erlaubte unauthentisierte Betriebssystem-Befehle über den Dashboard-Server – nach Einschätzung der Entdeckerin (Claroty) mit Folgen bis hin zu ganzen Cobot-Flotten, sofern der Dashboard-Server aktiviert und erreichbar ist.

Was wir daraus testen: Netzwerkdienste und Segmentierung von Robotersteuerungen.

SecurityWeek, 05/2026
2024Edge-KI

Modellarchitektur per Seitenkanal ausgelesen

Über elektromagnetische Abstrahlung rekonstruierten Forschende der NC State University die Hyperparameter neuronaler Netze auf einer Google Edge TPU mit 99,91 % Genauigkeit – physischer Zugang vorausgesetzt.

Was wir daraus testen: Schutz des Modells als geistiges Eigentum.

IACR TCHES 2025
Regulatorik

Fristen, die KI-Produkte betreffen.

Produktsicherheit, Funkanlagenrichtlinie, Cyber Resilience Act, Produkthaftung, Maschinenverordnung und AI Act greifen ineinander. Sicherheitstests werden dabei vom Nachweis- zum Pflichtbaustein.

  1. GPSR

    Produktsicherheit umfasst Cybersecurity

    Die Produktsicherheitsverordnung (EU) 2023/988 verlangt, Cybersecurity-Eigenschaften sowie lernende und vorausschauende Funktionen in die Sicherheitsbewertung einzubeziehen.

  2. RED

    Cybersecurity für Funkanlagen

    Die Delegierte Verordnung (EU) 2022/30 gilt – Nachweis z. B. über EN 18031-1/-2/-3, die nur mit Einschränkungen gelistet sind. Ab dem 11.12.2027 übernimmt der CRA.

  3. AI Act

    Transparenzpflichten nach Art. 50

    Wer mit einem KI-System interagiert – etwa mit einem Sprachassistenten –, muss darüber informiert werden, sofern es nicht offensichtlich ist. Für die Kennzeichnung KI-generierter Inhalte (Abs. 2) gilt bei Altsystemen eine Übergangsfrist bis 02.12.2026.

  4. CRA

    Meldepflichten des Cyber Resilience Act

    Aktiv ausgenutzte Schwachstellen und schwere Vorfälle sind über die ENISA-Meldeplattform zu melden: Frühwarnung binnen 24 Stunden, Meldung binnen 72 Stunden – auch für Produkte, die schon im Markt sind.

  5. Produkthaftung

    Neue Produkthaftungsrichtlinie

    Für Produkte, die nach dem 09.12.2026 in Verkehr gebracht werden: Software – auch KI – gilt als Produkt; maßgeblich sind auch sicherheitsrelevante Cybersecurity-Anforderungen. Fehlende Sicherheitsupdates entlasten den Hersteller nicht, soweit sie in seiner Kontrolle liegen (Art. 7, 11 Richtlinie (EU) 2024/2853).

  6. Maschinen

    EU-Maschinenverordnung gilt

    Schutz gegen Korrumpierung (Anhang III 1.1.9) und angriffsfeste Steuerungen (1.2.1). Sicherheitsfunktionen mit selbstlernendem Verhalten auf ML-Basis brauchen eine Konformitätsbewertung durch Dritte.

  7. AI Act

    Hochrisiko-KI nach Anhang III

    Unter anderem biometrische Fernidentifizierung und Emotionserkennung – relevant für KI-Kameras mit Gesichtserkennung.

  8. CRA

    Cyber Resilience Act gilt vollständig

    Alle Anforderungen aus Anhang I gelten – inklusive wirksamer und regelmäßiger Sicherheitstests. Gleichzeitig tritt die Delegierte Verordnung zur Funkanlagenrichtlinie außer Kraft.

  9. AI Act

    Hochrisiko-KI in Produkten nach Anhang I

    Für KI als Sicherheitsbauteil etwa in Spielzeug, Funkanlagen und Medizinprodukten gelten die Hochrisiko-Pflichten einschließlich Art. 15, sofern eine Konformitätsbewertung durch Dritte vorgesehen ist. Für Maschinen kommen die KI-Anforderungen über delegierte Rechtsakte zur Maschinenverordnung, die spätestens ab dem 02.08.2028 gelten.

Stand: 10.10.2026. Daten zum AI Act nach dem Digital Omnibus on AI (Verordnung (EU) 2026/1744), der Maschinen in Anhang I Abschnitt B verschoben hat. Keine Rechtsberatung – wir unterstützen technisch beim Nachweis.

Ergebnisse

Was Sie in der Hand halten.

Management Summary

Risikolage, kritische Angriffsketten und Handlungsempfehlungen auf zwei Seiten – für Geschäftsführung und Produktverantwortliche.

Bedrohungsmodell

Datenflussdiagramm, Vertrauensgrenzen und Bedrohungsregister nach STRIDE × MAESTRO – als lebendes Dokument für die Entwicklung.

Befundbericht mit Proof of Concept

Jeder Befund reproduzierbar, bewertet nach CVSS 4.0 und – bei Aktorik – nach Safety-Auswirkung.

Angriffsketten als Storyboard

Red-Teaming-Szenarien Schritt für Schritt: Einstieg, Eskalation, physische Wirkung.

Normen- und Regulatorik-Mapping

Zuordnung zu OWASP, MITRE ATLAS, ETSI EN 303 645, EN 18031, CRA und AI Act.

Priorisierter Maßnahmenplan

Konkrete Fixes für Hardware, Firmware, Cloud und Modell – sortiert nach Risiko und Aufwand.

Retest und Retest-Bericht

Nach der Behebung prüfen wir die Befunde erneut und dokumentieren den Status.

Nachweispaket

Testberichte und Mappings aufbereitet für technische Dokumentation und Konformitätsbewertung.

Glossar

Begriffe kurz erklärt.

Embodied AI
KI, die über einen physischen Körper mit der Welt interagiert – etwa Roboter, Drohnen oder autonome Fahrzeuge mit Sensorik und Aktorik.
AIoT (Artificial Intelligence of Things)
Vernetzte Geräte, die KI-Funktionen auf dem Gerät, am Edge oder in der Cloud nutzen.
Edge-KI
KI-Modelle, die direkt auf dem Gerät oder einem nahen Gateway laufen statt in der Cloud – oft auf spezialisierten Beschleunigern (NPU).
Vision-Language-Action-Modell (VLA)
Modell, das Kamerabilder und Sprachanweisungen verarbeitet und daraus direkt Steuerbefehle für einen Roboter erzeugt.
Prompt Injection
Angriff, bei dem Eingaben – direkt oder versteckt in Daten wie E-Mails, Bildern oder Kalendereinträgen – ein Sprachmodell zu unerwünschtem Verhalten bringen.
Physische Prompt Injection
Prompt Injection über die physische Umgebung, etwa Text auf Schildern oder Objekten im Sichtfeld einer Kamera.
Adversarial Example / Patch
Gezielt veränderte Eingabe – etwa ein gedrucktes Muster –, die ein Modell zu einer falschen Erkennung oder Entscheidung verleitet.
Modell-Extraktion
Diebstahl eines Modells oder seiner Architektur, etwa durch Auslesen von Dateien, systematische Abfragen oder Seitenkanäle.
STRIDE
Threat-Modeling-Methode von Microsoft mit sechs Bedrohungskategorien: Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege.
MAESTRO
„Multi-Agent Environment, Security, Threat, Risk, and Outcome“ – Threat-Modeling-Framework der Cloud Security Alliance (2025) mit sieben Schichten für agentische KI.
FAQ

Häufige Fragen zum Pentest für KI-Produkte

Was ist ein Pentest für KI-Produkte?

Ein Pentest für KI-Produkte ist ein Sicherheitstest für Geräte mit eingebetteter KI – etwa Roboter, KI-Kameras, Sprachassistenten oder Edge-KI in Maschinen. Geprüft werden Hardware, Firmware, Funk, Cloud-API, App, das Modell auf dem Gerät und die LLM-Integration. Im Mittelpunkt steht die Frage, ob ein Angreifer das Produkt übernehmen oder zu Handlungen in der physischen Welt bringen kann.

Wie unterscheidet er sich von einem klassischen IoT-Pentest?

Ein IoT-Pentest prüft Hardware, Firmware, Funk und Cloud. Beim KI-Produkt kommen Angriffe auf das Modell und die LLM-Integration hinzu – Prompt Injection, Jailbreaks, Modell-Extraktion, Adversarial Examples – sowie die Frage, welche physischen Folgen ein Angriff über Aktorik und Sensorik haben kann. Für Geräte ohne KI-Funktion empfehlen wir unser IoT-Pentesting.

Können KI-Roboter und humanoide Roboter gehackt werden?

Ja. Dokumentiert sind unter anderem Root-Zugriffe per Bluetooth auf Unitree-Roboter (UniPwn, 2025), Jailbreaks LLM-gesteuerter Roboter mit Erfolgsraten von bis zu 100 % im Forschungstest (RoboPAIR, 2024) und eine kritische Lücke in der Cobot-Software von Universal Robots (CVE-2026-8153, CVSS 9,8). Typische Einstiege sind Funk-Schnittstellen, Netzwerkdienste, Cloud-APIs und der KI-Planer selbst.

Kann eine Prompt Injection einen Roboter zu physischen Aktionen bringen?

Ja, wenn Modellausgaben ungeprüft zu Befehlen werden oder das Modell zu weitreichende Rechte hat – in der OWASP-Ausgabe 2026 sind das Improper Output Handling (LLM10) und Excessive Agency (LLM03). Forschende haben gezeigt, dass Sprachbefehle, Texte im Kamerabild oder Kalendereinladungen Roboter, Drohnen und Smart-Home-Geräte steuern können. Wir prüfen deshalb gezielt, ob zwischen KI-Planung und Aktorik eine deterministische Sicherheitsschicht greift.

Welche Standards nutzen Sie?

Für die KI-Schicht die OWASP Top 10 for LLM Applications 2026, die OWASP Top 10 for Agentic Applications 2026, den OWASP AISVS 1.01, den OWASP AI Testing Guide, den OWASP GenAI Red Teaming Guide und MITRE ATLAS. Für Gerät und Funk den OWASP ISTG, den OWASP ISVS, die OWASP IoT Top 10, die Firmware-Methodik OWASP FSTM und für Roboter DDS Security mit SROS 2. Als Normen ETSI EN 303 645, EN 18031, ETSI EN 304 223 und IEC 62443-4-1/-4-2.

Was ist MAESTRO und warum kombinieren Sie es mit STRIDE?

MAESTRO ist ein Threat-Modeling-Framework der Cloud Security Alliance für agentische KI mit sieben Architekturschichten von Foundation Models bis Agent Ecosystem. STRIDE beantwortet, welche Art von Bedrohung droht, MAESTRO, wo in der KI-Architektur sie entsteht. Für Produkte mit Sensorik und Aktorik ergänzen wir eine Schicht für die physische Welt – Microsoft führt Adversarial Examples in der physischen Domäne bereits als eigene Bedrohungsklasse im Threat Modeling für KI/ML-Systeme.

Verlangt der Cyber Resilience Act einen Penetrationstest?

Der CRA schreibt kein Verfahren namens Pentest vor, verlangt aber in Anhang I Teil II wirksame und regelmäßige Tests und Überprüfungen der Sicherheit des Produkts. Ein Pentest ist der gängige Weg, das nachzuweisen. Die Meldepflichten gelten seit dem 11.09.2026, alle übrigen Anforderungen ab dem 11.12.2027.

Sind Smart Speaker, Sicherheitskameras und KI-Spielzeug wichtige Produkte nach dem CRA?

Ja: Anhang III des CRA nennt in Klasse I universelle virtuelle Assistenten für das Smart Home (Nr. 16), Smart-Home-Produkte mit Sicherheitsfunktionen wie Sicherheitskameras, Babyphones und Alarmanlagen (Nr. 17), vernetztes Spielzeug mit sozialer Interaktion oder Ortung (Nr. 18) sowie bestimmte Wearables (Nr. 19). Die Durchführungsverordnung (EU) 2025/2392 nennt Smart Speaker mit Sprachassistent ausdrücklich. Eine Selbstbewertung (Modul A) ist für Klasse I nur möglich, wenn harmonisierte Normen, gemeinsame Spezifikationen oder ein europäisches Zertifizierungsschema mindestens der Stufe „substanziell“ vollständig angewendet werden (Art. 32 Abs. 2 CRA) – solange keine Normen im Amtsblatt stehen, führt der Weg in der Regel über eine benannte Stelle.

Ab wann gilt der AI Act für KI in Robotern, Maschinen und Geräten?

Das hängt vom Produktrecht ab. Für KI als Sicherheitsbauteil in Produkten nach Anhang I Abschnitt A – etwa Spielzeug, Funkanlagen oder Medizinprodukte – gelten die Hochrisiko-Pflichten einschließlich Art. 15 nach dem Digital Omnibus ab dem 02.08.2028, wenn eine Konformitätsbewertung durch Dritte vorgesehen ist. Maschinen hat der Omnibus in Abschnitt B verschoben: Für KI in Robotern und Maschinen kommen die Anforderungen über delegierte Rechtsakte zur Maschinenverordnung, die selbst ab dem 20.01.2027 gilt. Die Transparenzpflichten nach Art. 50 gelten bereits seit dem 02.08.2026.

Wie testen Sie Roboter, ohne Menschen zu gefährden?

Mit einem abgestimmten Safety-Konzept: definierte Testzone, Not-Halt in Reichweite, reduzierte Geschwindigkeiten und Freigabe durch die Safety-Verantwortlichen des Herstellers. Kritische Szenarien prüfen wir zuerst in Simulation oder am Digital Twin, bevor wir sie am realen System nachstellen.

Testen Sie auch die Modelle auf dem Gerät?

Ja. Wir prüfen, ob Modelldateien ungeschützt auf dem Gerät oder in der App liegen, ob Ladeprozess und Signatur sicher sind und wie robust das Modell gegen Adversarial Examples, manipulierte Sensordaten und Poisoning ist. Wo relevant, bewerten wir auch Seitenkanalrisiken an Beschleunigern (ISTG-PROC-SIDEC).

Finden Sie versteckte Telemetrie und Hintertüren?

Ja. Wir analysieren Firmware, Dienste und Netzwerkverkehr auf undokumentierte Verbindungen, Fernwartungs-Tunnel und versteckte Funktionen. Beispiele aus der Forschung sind die verdeckte Telemetrie des Unitree G1 und der Fernzugriffs-Tunnel im Unitree Go1 (CVE-2025-2894).

Was brauchen Sie von uns – Black, Grey oder White Box?

Am effektivsten ist ein Grey- oder White-Box-Ansatz: zwei bis drei Testgeräte, Zugang zu App und Cloud-Testumgebung, Architekturunterlagen und – wenn möglich – Firmware-Images und Quellcode-Ausschnitte. Ein Black-Box-Test ist möglich, deckt in gleicher Zeit aber weniger Angriffsfläche ab.

Was kostet ein Pentest für ein KI-Produkt und wie lange dauert er?

Das hängt von Produktklasse, Anzahl der Schnittstellen, Testtiefe und gewünschten Modulen ab. Nach einem kostenlosen Scoping-Gespräch erhalten Sie ein Festpreisangebot. Ein fokussierter Test eines einzelnen Geräts inklusive Bericht dauert in der Regel wenige Wochen.

Wie oft sollte ein KI-Produkt erneut getestet werden?

Mindestens vor jeder größeren Produktfreigabe und nach wesentlichen Änderungen an Firmware, Modell oder Cloud-Funktionen. Da sich Modelle und Angriffstechniken schnell entwickeln, empfehlen wir zusätzlich einen jährlichen Retest – der CRA verlangt regelmäßige Tests über den gesamten Supportzeitraum.

Quellen

Quellen & Primärliteratur

  1. OWASP Top 10 for LLM Applications 2026 — OWASP GenAI Security Project, 08/2026
  2. OWASP Top 10 for Agentic Applications 2026 — OWASP GenAI Security Project, 12/2025
  3. OWASP AISVS – Artificial Intelligence Security Verification Standard — OWASP, v1.01
  4. OWASP AI Testing Guide — OWASP, v1 (11/2025)
  5. OWASP ISTG – IoT Security Testing Guide — OWASP, v1.0.1
  6. OWASP Internet of Things Top 10 (2018) — OWASP
  7. MAESTRO: Agentic AI Threat Modeling Framework — Cloud Security Alliance, 02/2025
  8. Threat Modeling AI/ML Systems and Dependencies — Microsoft
  9. MITRE ATLAS — MITRE, v2026.09
  10. Verordnung (EU) 2024/2847 – Cyber Resilience Act — EUR-Lex
  11. Verordnung (EU) 2026/1744 – Digital Omnibus on AI — EUR-Lex
  12. Verordnung (EU) 2023/1230 – Maschinenverordnung — EUR-Lex
  13. Richtlinie (EU) 2024/2853 – Produkthaftung — EUR-Lex
  14. Durchführungsbeschluss (EU) 2025/138 – EN 18031 — EUR-Lex
  15. ETSI EN 304 223: Baseline Cyber Security Requirements for AI — ETSI, V2.1.1 (12/2025)
  16. NIST AI 100-2 E2025: Adversarial Machine Learning — NIST, 03/2025
  17. Robey et al.: Jailbreaking LLM-Controlled Robots (RoboPAIR) — arXiv 2410.13691, 2024
  18. Nassi et al.: Invitation Is All You Need — arXiv 2508.12175, 2025
  19. Mayoral-Vilches et al.: Cybersecurity AI: Humanoid Robots as Attack Vectors — arXiv 2509.14139, 2025
  20. UniPwn: Unitree-Roboter per Bluetooth übernehmbar — IEEE Spectrum, 09/2025
  21. NVD: CVE-2025-35027 (UniPwn, Unitree) — NIST National Vulnerability Database
  22. CHAI: Command Hijacking against Embodied AI — arXiv 2510.00181
  23. Wang et al.: Adversarial Vulnerabilities of VLA Models in Robotics — ICCV 2025
  24. TPUXtract: Hyperparameter-Extraktion auf Google Edge TPU — IACR TCHES 2025
  25. State of IoT 2025: 21,1 Mrd. vernetzte Geräte — IoT Analytics, 10/2025
  26. World Robotics 2026: Fünf Millionen Industrieroboter — IFR, 09/2026
  27. Cost of a Data Breach Report 2026 — IBM, 07/2026
Valeri Milke – Gründer & CEO der VamiSec GmbH
Valeri MilkeGründer & CEO · VamiSec GmbH
Ihr Ansprechpartner

„Bei KI-Produkten lautet die Frage nicht mehr nur, ob ein Angreifer hineinkommt – sondern, was er das Gerät in der echten Welt tun lassen kann.“

Wir verbinden Hardware- und IoT-Pentesting, KI-Red-Teaming und Regulatorik-Know-how aus CRA, AI Act und Maschinenverordnung – für belastbare Sicherheitsnachweise vor dem Marktstart und über den gesamten Supportzeitraum.