Una campaña de malware dirigida a desarrolladores de IA ha generado preocupación en el entorno de la investigación de IA abierta. Un repositorio malicioso en la plataforma de modelos Hugging Face se presentó como un lanzamiento oficial de OpenAI, pero en realidad contenía software infostealer diseñado para robar información de máquinas Windows. La empresa de seguridad HiddenLayer ha descubierto el ataque, según AI News.

Un cuarto de millón de descargas antes de la alerta

Antes de que el repositorio fuera descubierto y eliminado, había registrado alrededor de 244.000 descargas. HiddenLayer, sin embargo, subraya que esta cifra probablemente no refleja el número real de víctimas. Los atacantes podrían haber inflado artificialmente el número de descargas para dar al modelo una apariencia de legitimidad y popularidad, una táctica clásica de ingeniería social que reduce la resistencia de las posibles víctimas.

El número de descargas podría haber sido inflado artificialmente por los atacantes para que el modelo pareciera más popular y creíble.

Si las máquinas fueron realmente comprometidas y en qué medida, aún no ha sido verificado en el material fuente disponible. Por lo tanto, el alcance del daño real debe tratarse con cautela hasta que se disponga de análisis independientes.

244.000 descargas: Malware en Hugging Face se hizo pasar por OpenAI - Bilde 1

Hugging Face: Muchas capas de seguridad, pero no infalible

Hugging Face es hoy la plataforma abierta más grande del mundo para modelos y conjuntos de datos de IA. La plataforma ha implementado una serie de medidas de seguridad para detectar cargas maliciosas.

A pesar de estas capas de protección, la plataforma ha tenido problemas en varias ocasiones para detectar malware sofisticado. Ya en febrero y marzo de 2024, se descubrieron más de 100 modelos de IA maliciosos en Hugging Face, según fuentes de investigación. Los atacantes han explotado debilidades en el formato de serialización Pickle, entre otras cosas, comprimiendo modelos con el formato 7z en lugar del ZIP estándar, lo que permite que el código malicioso se ejecute antes de que el escáner de seguridad Picklescan complete el análisis.

Falsa autoridad como vector de ataque

Lo que distingue este incidente de casos anteriores es el uso del nombre de marca de OpenAI como manipulación social. Al imitar a un actor conocido y reconocido, aumenta la probabilidad de que los usuarios descarguen sin verificar la fuente a fondo. Esta es una variante de la falsificación de marca clásica, pero ahora dirigida a la comunidad de desarrolladores de IA.

Hacerse pasar por OpenAI no es casualidad; es una estrategia deliberada para eludir el escepticismo saludable de los usuarios con experiencia técnica.

Expertos del New Jersey Cybersecurity and Communications Integration Cell (NJCCIC) recomiendan que los desarrolladores de IA utilicen activamente herramientas como Huntr —una plataforma de recompensas por errores (bug-bounty) específicamente desarrollada para modelos y plataformas de IA— y mantengan prácticas de seguridad actualizadas. Además, se recomienda preferir formatos de serialización más seguros como Safetensors en lugar de Pickle siempre que sea posible.

Vulnerabilidad estructural en el ecosistema de IA abierta

El incidente señala una tensión fundamental en el ecosistema de IA abierta: cuanto más fácil es compartir y descargar modelos, más fácil es también abusar de la confianza construida alrededor de actores reconocidos. Hugging Face tiene millones de modelos disponibles, y el desafío de escalabilidad para el control de seguridad es significativo.

La oferta de seguridad está creciendo: Responsible AI Labs (RAIL) en Hugging Face desarrolla, entre otras cosas, pipelines de seguridad de agentes con pre-evaluación de llamadas a herramientas y detección de inyección de prompts. Pero este caso demuestra que las medidas técnicas por sí solas no son suficientes cuando los atacantes utilizan la manipulación social tanto como las lagunas técnicas.

Hugging Face no ha comentado públicamente el incidente específico en el material fuente disponible hasta la fecha de publicación.