Abierto AI OpenAI ha estado a la vanguardia del auge de la IA con su chatbot ChatGPT y modelos avanzados de lenguajes grandes (LLM), pero el historial de seguridad de la empresa ha generado preocupaciones. Un nuevo informe afirma que la empresa de inteligencia artificial se está apresurando y descuidando los protocolos de seguridad mientras desarrolla nuevos modelos. El informe destacó que la negligencia ocurrió antes del lanzamiento del último modelo GPT-4 Omni (o GPT-4o) de OpenAI.
Algunos empleados anónimos de OpenAI firmaron recientemente una carta abierta expresando su preocupación por la falta de supervisión en torno a la construcción de sistemas de IA. En particular, la empresa de IA también ha establecido un nuevo Comité de Seguridad que incluye miembros de la junta y gerentes seleccionados para evaluar y desarrollar nuevos protocolos.
Se dice que OpenAI ignora los protocolos de seguridad
Sin embargo, hay tres empleados anónimos en OpenAI. Decir El equipo sintió presión para acelerar un nuevo protocolo de prueba diseñado “para evitar que el sistema de IA cause daños catastróficos, para cumplir con la fecha de lanzamiento de mayo establecida por los líderes de OpenAI”, informó The Washington Post.
En particular, estos protocolos existen para garantizar que los modelos de IA no proporcionen información dañina, como por ejemplo cómo construir armas químicas, biológicas, radiológicas y nucleares (QBRN) o ayudar a llevar a cabo ataques cibernéticos.
El informe también destacó que ocurrió un incidente similar antes de que se lanzara el misil. GPT-4o“Planearon una fiesta posterior al lanzamiento antes de saber si era seguro realizar el lanzamiento. Básicamente fallamos en el proceso”, dijo un empleado anónimo de OpenAI.
Esta no es la primera vez que los empleados de OpenAI muestran un claro desprecio por los protocolos de seguridad de la empresa. El mes pasado, varios empleados actuales y anteriores de OpenAI y Google fueron acusados Mente profunda Firmó una carta abierta expresando Miedos Debido a la falta de supervisión en la construcción de nuevos sistemas de IA, esto puede plantear riesgos importantes.
La carta pedía intervención gubernamental y mecanismos regulatorios, así como una fuerte protección para los denunciantes por parte de los empleadores. Dos de los tres padrinos de la inteligencia artificial, Geoffrey Hinton y Joshua Bengio, respaldaron la carta abierta.
En mayo, OpenAI Anunciar Establecer un nuevo Comité de Seguridad y Protección, que tiene la tarea de evaluar y desarrollar los procesos y garantías de la empresa de IA sobre “decisiones críticas de seguridad para proyectos y operaciones de OpenAI”. La empresa también recientemente abonado Nuevas directrices para construir un modelo de IA responsable y ético, denominado Model Spec.