Category 'ai-security' — Page 2

ai-security

ai-security · 14 min
MCP tool poisoning: cuatro meses después del spec, los ataques reales
En noviembre 2024 Anthropic publicó MCP y el análisis era de spec — qué decía el protocolo y qué dejaba al implementador. En abril 2025, Invariant Labs publica el primer paper sobre Tool Poisoning Attacks: servidores MCP que esconden instrucciones adversariales en las descripciones de tools. Cursor, Claude Desktop y Copilot leen esas descripciones como prompt y obedecen. PoC reproducible con SDK Python.
5 abr 2025 · Manuel López Pérez
ai-security · 41 min
AI Security 2024 — dossier anual
Doce meses en diez ejes. 2024 es el año en que AI infrastructure se reveló como categoría con CVEs propias, los agentes pasaron del laboratorio al producto (Claude Computer Use, MCP, Salesforce Agentforce), la regulación entró en aplicación (EU AI Act en vigor 1-ago, NIS2 deadline 17-oct, NIST AI 600-1), y los jailbreaks se profesionalizaron con métricas reproducibles (ArtPrompt, Many-shot, Skeleton Key). Por debajo, Recall sale sin threat modeling y se retira, Arup pierde $25M en una videollamada con deepfakes, y la cadena de incidentes pre-positioning (Volt Typhoon, Salt Typhoon, Storm-0558 fallout) recorre todo el año. Referencia anual canónica.
15 feb 2025 · Manuel López Pérez
ai-security · 13 min
DeepSeek-R1: el primer reasoning model con CoT abierta y lo que cambia para AI security
El 20 de enero DeepSeek publica R1 con paper, repo y pesos en Hugging Face bajo MIT. Es la primera vez que un reasoning model con chain-of-thought entrenada por RL está disponible en pesos abiertos. La CoT entre etiquetas <think></think> es texto plano inspeccionable —y atacable.
25 ene 2025 · Manuel López Pérez
ai-security · 11 min
Retrospectiva AI security 2024: cinco patrones que se quedan
No es ranking ni listicle. Cinco patrones del año con análisis y cross-links a los técnicos del año: long context as attack surface, agentes en producción, jailbreaks por optimización, launches sin amenaza modeling, reasoning models como nueva superficie.
30 dic 2024 · Manuel López Pérez
ai-security · 14 min
Confused deputy revisitado: Model Context Protocol y la versión protocolo del bug
Anthropic publica MCP el 25 de noviembre. La conexión modelo ↔ herramientas externas pasa a ser un spec abierto con tres primitivas: tools, resources, prompts. El spec dice que el host SHOULD pedir consentimiento; reconoce que el protocolo no lo puede forzar. El patrón confused deputy que documentamos en septiembre 2023 vuelve, ahora como integración estándar.
28 nov 2024 · Manuel López Pérez
ai-security · 10 min
Claude Computer Use: el agente que mueve el ratón y la página que le dice qué clicar
Anthropic lanza el 22 de octubre Claude 3.5 Sonnet (new) con capability de control del SO vía screenshots. Dos días después Johann Rehberger publica el primer PoC público: una página web indirect-injecta al agente para descargar y ejecutar un implante Sliver. Confused deputy a nivel sistema operativo.
26 oct 2024 · Manuel López Pérez
ai-security · 14 min
o1-preview: jailbreaks a un modelo que piensa donde nadie mira
El 12 de septiembre OpenAI lanza o1-preview con cadena de pensamiento entrenada por RL y oculta al usuario. El día siguiente ya hay capturas que muestran cómo inyectar instrucciones en esa cadena. Qué cambia cuando aparece un canal intermedio que el atacante no ve y el defensor tampoco loguea.
20 sept 2024 · Manuel López Pérez
ai-security · 10 min
Microsoft Recall: anatomía de un launch sin threat modeling
Recall captura screenshots cada N segundos, OCR + embeddings, e indexa todo en una SQLite local. Beaumont y Forshaw demuestran en dos semanas que cualquier malware con permisos de usuario lee el historial visual del PC. Microsoft retrocede el 7 de junio.
30 may 2024 · Manuel López Pérez
ai-security · 8 min
Many-shot jailbreaking: cuando la ventana de contexto se vuelve superficie de ataque
Anthropic publica el 2 de abril una técnica que rellena el contexto con cientos de pares pregunta/respuesta dañinos antes del prompt real. El in-context learning hace el resto. Escala por ley de potencias hasta los cientos de shots.
10 abr 2024 · Manuel López Pérez
ai-security · 9 min
ArtPrompt: jailbreaks por ASCII art y el gap entre classifier y modelo
Jiang et al. publican el 15 de febrero un paper que rompe el alineamiento de GPT-3.5/4, Claude, Gemini y Llama-2 escribiendo la palabra prohibida como ASCII art. El classifier ve un cloze inocuo; el modelo lo lee y responde.
20 feb 2024 · Manuel López Pérez
ai-security · 32 min
AI Security 2023 — dossier anual
Doce meses en diez ejes. 2023 es el año en que AI security pasa de discusión académica a disciplina con vocabulario propio, papers canónicos, marcos de industria y primer aparato regulatorio. ChatGPT cruza los 100M MAU en enero; GPT-4 llega en marzo; Greshake, Zou+Carlini y OWASP sientan terminología; NIST AI RMF, Biden EO 14110 y el acuerdo político del EU AI Act marcan el aparato. Referencia anual del año fundacional.
15 feb 2024 · Manuel López Pérez
ai-security · 11 min
Sleeper agents: cuando el ataque está dentro del modelo
Anthropic prefigura en Q4 una clase nueva de ataque: modelos entrenados con un trigger oculto que pasan los safety tests pero ejecutan comportamiento adversarial al ver el trigger en producción. El paper sale en enero 2024; la implicación llega ahora.
30 nov 2023 · Manuel López Pérez

Newer posts

Older posts