Saber si sus agentes de IA son explotables — antes de que lo descubra alguien más.

Instrucciones maliciosas en entradas manipulan el modelo — ignorar reglas, divulgar datos o generar contenido dañino. Esto incluye injection directa e indirecta: instrucciones embebidas en correos, PDFs, páginas web o documentos RAG. Los filtros clásicos suelen fallar porque el ataque sucede en el contexto del lenguaje natural.

Divulgación de datos confidenciales vía salidas o configuración — PII, secretos comerciales, datos internos del modelo. Especialmente arriesgado en sesiones largas, sin filtros de salida e indicaciones de sistema o desarrollador suministradas por error. Mitigación: minimizar contexto, eliminar patrones sensibles de logs.

Modelos, datasets, librerías o plataformas comprometidos — integridad y confianza sobre el ciclo de vida de IA. Vulnerabilidades típicas: adapters sin firma, paquetes pip/npm en pipelines ML, APIs de terceros sin prueba de origen. Sin verificación de hash, versión y proveedor, la integridad en operación es difícilmente auditable.

Manipulación de datos de training o fine-tuning — sesgo, backdoors, vulnerabilidades. Fuentes como crowdsourcing, web crawls o sets adversariales de fine-tuning pueden desplazar comportamiento sutilmente — hasta backdoors dependientes de trigger. Las pruebas apuntan a pipelines de datos, labeling e interfaces de re-training.

Contenidos generados sin validación a sistemas posteriores — XSS, injections, divulgación de datos. Cualquier sistema que pase salida de modelo a SQL, shell, HTML o al navegador genera superficies de injection clásicas. Output encoding, tipado y allowlists siguen siendo obligatorios — el LLM no reemplaza la validación del lado del servidor.

Demasiada autonomía o permisos — acciones no intencionadas o dañinas. Causas frecuentes: scopes OAuth demasiado amplios, políticas genéricas «agente puede todo», falta de confirmación antes de transacciones. Verificamos qué herramientas son realmente necesarias y si el Human-in-the-Loop funciona.

Divulgación de prompts del sistema y lógicas internas de control — elusión de mecanismos de protección. A menudo combinación de preguntas dirigidas y leaks parciales vía formatos de salida. Recomendación: sin secretos en el prompt; mantener políticas y reglas externas y versionadas.

Manipulación de retrieval y embeddings — respuestas falsas, fuga de datos, pérdida de control. Relevante: embeddings adversariales, poisoning del corpus, separación de namespace/tenant en bases de datos vectoriales. Los pentests incluyen consultas dirigidas y accesos de escritura a rutas de retrieval.

Salidas plausibles pero falsas — riesgos de seguridad, reputación y responsabilidad. Especialmente crítico cuando los usuarios incorporan respuestas sin verificación a contratos, decisiones de seguridad o conformidad. Grounding y obligaciones de citar fuentes reducen el riesgo; la formación y el proceso son parte de la defensa.

Inferencia incontrolada — DoS, «Denial of Wallet», robo de modelo o replicación del comportamiento. API keys sin cuotas, falta de rate limits y scraping automatizado pueden disparar costes o leer comportamiento del modelo de forma sistemática. Billing alerts, abuse detection y throttling son estándar.