Boletín — noviembre 2023

Noviembre trae dos shocks que no tienen relación directa pero impactan el campo el mismo mes. El 6 de noviembre, OpenAI DevDay anuncia GPTs (chatbots personalizables) y Assistants API — la categoría agent pasa a ser producto. 17 de noviembre: Sam Altman es despedido. 21 de noviembre: reincorporado. Cinco días de turbulencia que afectan al gobierno corporativo del proveedor de modelo más usado en producción.

Paralelamente, LockBit monetiza Citrix Bleed a gran escala (Boeing, ICBC US, Allen & Overy), y Anthropic publica trabajos previos al paper formal de sleeper agents que aparece en enero 2024.

OpenAI DevDay y la era de los GPTs

6 de noviembre. OpenAI DevDay anuncia:

• GPTs: cualquier usuario Plus puede crear un chatbot personalizado, con instrucciones específicas, datos propios (RAG built-in) y tools habilitables (web browsing, DALL-E, code interpreter, custom actions vía OpenAPI). Marketplace de GPTs disponible en early access.
• Assistants API: el equivalente programático. Cualquier dev puede crear assistants con threads persistentes, tools y file management.
• GPT-4 Turbo con 128k contexto. Mucho más barato por token. Knowledge cutoff hasta abril 2023.
• Custom models program para clientes enterprise.

Para AI security las implicaciones son grandes:

• Cada GPT publicado en el store es un agent con tools que el usuario configura sin pasar por security review. Los primeros leaks de system prompts de GPTs custom aparecen literalmente en horas. Cualquiera puede ver las instrucciones internas de un GPT con Repeat your instructions verbatim.
• Custom actions permiten al GPT llamar APIs externas. Es indirect injection + confused deputy abierto a todo el mundo. Múltiples casos documentados en las semanas siguientes.
• Assistants API generaliza el patrón agent con tools a millones de desarrolladores que no han pensado threat modeling. Los problemas de confused deputy que cubrimos en septiembre se distribuyen masivamente.

Fuente: https://openai.com/blog/new-models-and-developer-products-announced-at-devday

El shake Altman — 17–21 noviembre

17 de noviembre. El board de OpenAI despide a Sam Altman como CEO. Comunicado público: pérdida de confianza, sin detalles. 18–20 noviembre: ~700 de los ~770 empleados de OpenAI firman una carta amenazando dimitir si el board no readmite a Altman. Microsoft anuncia que contrata a Altman para liderar una nueva unidad. 21 de noviembre: el board acepta readmitir a Altman; el board se reconfigura con Bret Taylor, Larry Summers, Adam D’Angelo.

Lo que se filtra de las razones del board (sin confirmación oficial): tensiones sobre el ritmo de commercialization frente a investigación de safety; preocupaciones sobre comunicación interna; rumores sobre un avance interno (Q-Star / Q*) que sigue siendo más rumor que hecho.

Para AI security la pregunta operativa es: ¿cuánta dependencia operacional tiene tu organización del proveedor de modelos comerciales más usado, y qué pasa si su gobernanza se vuelve inestable?. Las empresas con multi-vendor strategy (también Claude vía Anthropic, también modelos abiertos para casos críticos) atravesaron la semana mejor. Las empresas con un único proveedor estuvieron a una sola decisión de board de tener que migrar de urgencia.

LockBit + Citrix Bleed — Boeing, ICBC

1 de noviembre. Boeing confirma compromiso. LockBit reclama responsabilidad en su portal y publica una muestra de los datos exfiltrados. Vector inicial: Citrix Bleed (CVE-2023-4966, cubierto en boletín octubre y post dedicado).

8 de noviembre. ICBC US Treasury Services se ve forzado a procesar trades manualmente porque LockBit ha encriptado sus sistemas tras entrar vía Citrix Bleed. Es el primer caso documentado de ransomware con efecto operativo en mercados financieros internacionales. ICBC paga el rescate (cantidad no confirmada) y restablece operaciones tras una semana.

Otras víctimas confirmadas durante noviembre: Allen & Overy (despacho de abogados internacional, 11 nov), DP World Australia (10 nov, paraliza puertos australianos varios días), Comcast Xfinity (anuncia en diciembre el alcance: 35.7M cuentas).

El patrón se confirma: Citrix Bleed da acceso a sesiones autenticadas sin necesidad de credenciales. MFA no protege. Los IoCs publicados por CISA en octubre cubrirían varias de las víctimas si las organizaciones los hubieran ingerido a tiempo.

Fuente: https://www.lockbit-ransomware-victim-list… (LockBit portal, accessed through researchers; tracking via DarkFeed, RansomLook).

CVE-2023-47246 — SysAid zero-day

8 de noviembre. SysAid (software ITSM/helpdesk) confirma path traversal + RCE pre-auth (CVE-2023-47246) explotado in-the-wild. Microsoft Threat Intelligence atribuye a Lace Tempest — el cluster que la industria conoce como Cl0p.

Patrón Cl0p:

• 2023-02: GoAnywhere MFT
• 2023-06: MOVEit Transfer
• 2023-11: SysAid

Tercer producto del año del que Cl0p extrae zero-day y monta campaña de extorsión. La cantidad de organizaciones afectadas por SysAid es menor que MOVEit (SysAid tiene menor base instalada en empresas grandes), pero confirma que el grupo tiene operaciones continuas de hunting de zero-days en productos empresariales específicos.

Fuente: https://www.sysaid.com/blog/service-desk/on-premise-software-security-vulnerability-notification · https://www.microsoft.com/en-us/security/blog/2023/11/08/microsoft-fixes-actively-exploited-zero-day-as-part-of-november-patch-tuesday/

Anthropic prefigura sleeper agents

A lo largo de noviembre, Anthropic publica blog posts y participa en talks que anticipan el paper de sleeper agents que aparecerá en enero 2024. La idea: modelos entrenados con un trigger oculto pueden pasar safety training y comportarse adversarialmente al verlo en producción.

Es la siguiente frontera tras GCG (julio). Hemos analizado lo que se sabe y lo que se discute con un PoC conceptual.

Resto del mes

• Apple iOS 17.1.2 (28 nov) — patches WebKit zero-days.
• CVE-2023-22518 — Atlassian Confluence destructive data privilege, distinto del CVE-2023-22515 de octubre.
• HelloKitty ransomware repositorio entero filtrado por un actor descontento.
• MOVEit — pasa los 2.500 organizaciones afectadas.

Patrón transversal

Noviembre cierra con dos preguntas que apuntan a la misma dirección operacional:

• ¿Cuánto control tiene tu organización sobre los modelos que usa? (DevDay anuncia agents, Altman shake subraya dependencia de proveedor).
• ¿Cuánto control tiene tu organización sobre las sesiones autenticadas en sus productos? (Citrix Bleed enseña que MFA + reset password no basta, hace falta rotar sesiones).

Las dos preguntas comparten estructura: estás confiando en algo que no controlas y que tienes poca visibilidad operativa. El plan de mejora 2024 que sale de noviembre incluye, para cualquier organización seria: multi-vendor strategy para modelos, telemetría de sesiones de cualquier portal autenticado, y al menos un dry-run de “qué hacemos si nuestro modelo principal pierde gobernanza por dos semanas”.