ai-security · 7 min
El usuario pide al agente que resuma una URL. La página tiene instrucciones embebidas que disparan otro tool — send_email — con datos de la conversación. El modelo obedece sin preguntar. PoC reproducible con OpenAI function calling.
· Manuel López Pérez
ai-security · 5 min
OWASP publica el 16 de agosto la versión 1.0 de su Top 10 para aplicaciones LLM. Es el primer marco "de la industria" del campo. Funciona como vocabulario común; tiene huecos que conviene nombrar antes de adoptarlo como checklist.
· Manuel López Pérez
ai-security · 7 min
Zou et al. publican el 27 de julio un paper que demuestra que se pueden generar sufijos adversariales automáticamente, por gradient descent, que bypassan los safety classifiers de Llama-2, GPT-3.5, GPT-4, Bard y Claude. Y son transferibles entre modelos.
· Manuel López Pérez
ai-security · 7 min
Un chatbot que renderiza markdown convierte cualquier `` en un GET hacia esa URL. Si el atacante puede inyectar markdown vía indirect injection, exfiltra el contexto entero. PoC reproducible.
· Manuel López Pérez
ai-security · 8 min
El 8 de febrero Kevin Liu saca el system prompt de Bing Chat con un "ignore previous instructions". El 23 de febrero Greshake publica el paper que define la siguiente oleada: instrucciones inyectadas en el contenido que el LLM lee.
· Manuel López Pérez
ai-security · 8 min
Un prompt pide a ChatGPT representar un personaje sin reglas y el modelo obedece. Por qué el role-play attack funciona, qué cambia entre versiones y qué dice eso sobre la alineación con RLHF.
· Manuel López Pérez
