Uno de los líderes de seguridad de OpenAI renunció el martes. Simplemente explicó por qué.

Abierto AI Él es Famoso No todo Abre. Productos de IA deslumbrantes y de vanguardia aparecen sin previo aviso, generando emoción y ansiedad a partes iguales (junto con un montón de… desprecio). Pero al igual que su desarrollo de productos, la cultura interna de la compañía es inusualmente turbia, lo que hace aún más preocupante que Jan Lake, el codirector saliente de su equipo de “superalineación”, una posición que ignora los problemas de seguridad en OpenAI, acaba de hablar. en contra de la empresa.

Es posible que el tweet haya sido eliminado.

Algo así era en parte esperado por quienes siguen de cerca OpenAI. El ex destacado científico jefe de la compañía, Ilya Sutskever, también renunció abruptamente el martes y “#WhatDidIlyaSee” se convirtió en un hashtag de tendencia. otra vez. La atrevida redacción del hashtag se remonta originalmente a marzo, cuando Sutskever Participar en maquinaciones corporativas. Lo que llevó al breve despido del director ejecutivo Sam Altman, haciendo que pareciera como si Sutskever hubiera vislumbrado el mundo a través del espejo de la IA y luego hubiera corrido gritando a través de él.

En una serie de publicaciones en X (antes Twitter) el viernes, Leike le dio al público algunas pistas de por qué se iba.

Afirmó que había estado “en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante algún tiempo” y que había llegado a un “punto de ruptura”. Él cree que la empresa debería centrarse más en “seguridad, vigilancia, preparación, protección, fuerza adversaria, (hiper)alineación, confidencialidad, impacto social y temas relacionados”.

Es posible que el tweet haya sido eliminado.

“Es muy difícil solucionar estos problemas y me preocupa que no estemos en el camino correcto para lograrlo”, dijo Laiki, señalando que sentía que él y su equipo estaban “navegando contra el viento” cuando intentaban asegurar los recursos que necesitaban para realizar su trabajo de seguridad.

Es posible que el tweet haya sido eliminado.

Lake parece considerar que OpenAI tiene una enorme responsabilidad y escribe: “Construir máquinas más inteligentes que los humanos es una tarea intrínsecamente peligrosa”. Por eso resulta aún más aterrador que, en opinión de Laike, “en los últimos años, la cultura y los procesos de seguridad hayan pasado a un segundo plano frente a los productos brillantes”.

Leike claramente se toma en serio la narrativa interna de la compañía sobre trabajar hacia la inteligencia artificial general, también conocida como AGI, sistemas que realmente procesan información como los humanos, más allá de capacidades limitadas tipo LLM. “Hace mucho que deberíamos tomarnos increíblemente en serio las implicaciones de la inteligencia artificial general”, escribió Leakey. “Debemos priorizar la preparación lo mejor que podamos. Sólo entonces podremos garantizar que AGI beneficie a toda la humanidad”.

En opinión de Laike, OpenAI debe “convertirse en una empresa AGI que priorice la seguridad” e instar a sus empleados restantes a “actuar con el peso adecuado de lo que está construyendo”.

Esta salida, por no hablar de estos comentarios, sólo añadirá más leña a lo que ya se está extendiendo. Aprensión generalizada Sobre el compromiso de OpenAI, o la falta del mismo, con la seguridad de la IA. Sin embargo, otros críticos han señalado que se genera miedo sobre el poder supuestamente asombroso de la IA. También funciona como una especie de esquema de marketing back-end. Esta tecnología aún no ha sido probada en gran medida.