En el verano de 2023, OpenAI creó el equipo “Superalignment” cuyo objetivo era guiar y controlar futuros sistemas de IA que podrían ser tan poderosos que podrían conducir a la extinción humana. Menos de un año después, ese equipo murió.
Abierto AI Decir Bloomberg Que la empresa estaba “integrando más profundamente al grupo en sus esfuerzos de investigación para ayudar a la empresa a alcanzar sus objetivos de seguridad”. Pero una serie de tweets de Jan Lyke, uno de los líderes del equipo que renunció recientemente, reveló tensiones internas entre el equipo de seguridad y la empresa en general.
En la situación actual Publicado en X El viernes, Leike dijo que el equipo de Superalignment estaba luchando por conseguir los recursos necesarios para completar la investigación. “Construir máquinas más inteligentes que los humanos es una tarea intrínsecamente peligrosa”, escribió Leakey. “OpenAI tiene una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, su cultura y operaciones de seguridad han pasado a un segundo plano frente a productos brillantes”.
La partida de Laiki a principios de esta semana se produjo horas después de la partida del científico jefe de OpenAI, Sutskevar. Anunciar Estaba dejando la empresa. Sutskevar no solo fue uno de los líderes del equipo de Superalignment, sino que también ayudó a fundar la empresa. La medida de Sotskevar se produjo seis meses después de que estuvo involucrado en la decisión de despedir al director ejecutivo Sam Altman por preocupaciones de que Altman no era “consistentemente honesto” con la junta. El despido demasiado breve de Altman provocó una revuelta interna dentro de la empresa y casi 800 empleados firmaron una carta amenazando con dimitir si Altman no era reintegrado. Después de cinco días, altman ha vuelto Como director ejecutivo de OpenAI después de que Sutskevar firmara una carta en la que lamentaba sus acciones.
Cuando estás Anunciar Después de crear el equipo Superalignment, OpenAI dijo que dedicará el 20 por ciento de su potencia informática durante los próximos cuatro años a resolver el problema de controlar futuros sistemas potentes de IA. “[Getting] “Este derecho es fundamental para lograr nuestra misión”, escribió la empresa en ese momento. En X, como libros Que el equipo de Superalignment estaba “luchando por la computabilidad y cada vez era más difícil” realizar investigaciones importantes sobre la seguridad de la IA. “Durante los últimos meses, mi equipo ha estado navegando contra el viento”, escribió, añadiendo que había llegado a un “punto de ruptura” con el liderazgo de OpenAI debido a desacuerdos sobre las prioridades centrales de la empresa.
En los últimos meses, ha habido más salidas del equipo de Superalignment. En abril, OpenAI Decía Dos investigadores, Leopold Aschenbrenner y Pavel Ismailov, fueron expulsados por filtración de información.
OpenAI dijo Bloomberg Los futuros esfuerzos de seguridad estarán dirigidos por John Shulman, otro cofundador, cuya investigación se centra en grandes modelos lingüísticos. Jacob Paczucki, el director que dirigió el desarrollo de GPT-4, uno de los principales modelos de lenguaje de gran tamaño de OpenAI, hará precisamente eso. reemplazar Sutskevar como científico jefe.
Superalignment no es el único equipo de OpenAI que se centra en la seguridad de la IA. En octubre la empresa Yo empecé Un equipo de “preparación” completamente nuevo para eliminar posibles “riesgos catastróficos” de los sistemas de inteligencia artificial, incluidos problemas de ciberseguridad y amenazas químicas, nucleares y biológicas.
Actualizado el 17 de mayo de 2024 a las 3:28 p.m. ET: En respuesta a una solicitud de comentarios sobre las afirmaciones de Leike, un funcionario de relaciones públicas de OpenAI dirigió a Engadget al sitio web de Sam Altman. Pío Diciendo que dirá algo en los próximos dos días.
Este artículo contiene enlaces de afiliados; Si hace clic en este enlace y realiza una compra, podemos ganar una comisión.