- Los investigadores de seguridad engañaron a Claude Computer de Anthropic para que descargara y ejecutara malware
- Dicen que otras herramientas de inteligencia artificial también pueden ser engañadas por inyecciones rápidas
- También se puede engañar a GenAI para que escriba, compile y ejecute malware
A mediados de octubre de 2024, Anthropic lanzó el Claude Computer Use Model, un modelo de inteligencia artificial (IA) que le permite a Claude controlar el dispositivo, y los investigadores ya han encontrado una manera de abusar de él.
El investigador de ciberseguridad Johan Renneberger describió recientemente cómo pudo hacer un mal uso de una computadora y descargar y ejecutar una IA. malwareademás de permitirle comunicarse con su infraestructura C2, todo a través de indicaciones.
Por más devastador que parezca, hay algunas cosas que vale la pena señalar aquí: Claude Computer Use todavía está en versión beta, y la compañía dejó un descargo de responsabilidad indicando que Computer Use puede no siempre comportarse como se esperaba: “Sugerimos tomar precauciones para aislar a Claude Acerca de las áreas sensibles dispositivos Datos y acciones para evitar riesgos relacionados con la inyección instantánea Otra cosa que vale la pena señalar es que se trata de un ataque de inyección rápida, que es bastante común contra las herramientas de IA.
'Innumerables formas' de hacer mal uso de la IA
Rehnberger llama a su exploit ZombAIs y dice que pudo obtener la herramienta para descargar Sliver, un marco legítimo de comando y control (C2) de código abierto desarrollado por BishopFox para equipos rojos y pruebas de penetración, pero que los ciberdelincuentes a menudo utilizan indebidamente para crear malware.
Los actores de amenazas utilizan Sliver para establecer acceso persistente a sistemas comprometidos, ejecutar comandos y gestionar ataques de manera similar a otros marcos C2 como Cobalt Strike.
Renberger también enfatizó que esta no es la única forma de abusar de las herramientas de inteligencia artificial generativa y comprometer los puntos finales mediante inyecciones instantáneas.
“Hay muchos otros, y otra forma es hacer que Claude escriba el malware desde cero y lo compile”, dijo. “Sí, puede escribir código C, compilarlo y ejecutarlo”.
“Hay muchas otras opciones”.
En su escritura, Noticias de piratas informáticos Se agregó IA DeepSeek chatbot También se ha descubierto que es vulnerable a un ataque de inyección de día cero que puede permitir a los actores de amenazas tomar el control de las computadoras víctimas. Además, los modelos de lenguajes grandes (LLM) pueden generar códigos de escape ANSI, que pueden usarse para secuestrar terminales del sistema mediante inyección inmediata, en un ataque denominado Terminal DiLLMa.