esta semana, Abierto AIEl codirector del equipo de “superalineación” (que supervisa las cuestiones de seguridad de la empresa), Jan Lake, dimitió. En un hilo de X (antes Twitter), se hizo El líder de seguridad explicó por qué dejó OpenAIincluyendo eso No estaba de acuerdo con la dirección de la empresa. Sobre sus “prioridades fundamentales” durante tanto tiempo que llegó a su “punto de ruptura”.
Al día siguiente, el director ejecutivo de OpenAI, Sam Altman, y el presidente y cofundador, Greg Brockman, respondieron a las afirmaciones de Leike de que la empresa no se centra en la seguridad.
Entre otros puntos, Lake dijo que “la cultura y los procesos de seguridad de OpenAI se han quedado atrás de los productos brillantes” en los últimos años, y que su equipo ha tenido dificultades para conseguir los recursos para realizar su trabajo de seguridad.
Se ha confirmado el acuerdo de Reddit con OpenAI. Esto es lo que significan tus publicaciones y comentarios.
“Hace mucho que deberíamos tomarnos increíblemente en serio las implicaciones de la inteligencia artificial general. [artificial general intelligence]”Debemos priorizar prepararnos para ellos lo mejor que podamos”, escribió Leckey.
Altman respondió primero En una nueva publicación de Leike el viernes, afirmó que Leike tiene razón en que OpenAI “tiene mucho que hacer” y que está “comprometido a hacerlo”. Prometió un post más largo por venir.
El sábado, Brockman publicó una respuesta conjunta de él y Altman en Channel X:
Es posible que el tweet haya sido eliminado.
Después de expresar su gratitud por el trabajo de Laiki, Brockman y Altman dijeron que respondieron preguntas después de la renuncia. Compartieron tres puntos, el primero es que OpenAI ha creado conciencia sobre la AGI “para que el mundo pueda estar mejor preparado para ello”.
Velocidad de la luz triturable
“Hemos demostrado repetidamente el increíble potencial de ampliar el aprendizaje profundo y hemos analizado sus implicaciones; defendimos la gobernanza internacional de la AGI antes de que tales llamados fueran populares y ayudamos a ser pioneros en la ciencia de evaluar los sistemas de IA para detectar riesgos catastróficos”, escribieron.
El segundo punto es que están sentando las bases para el despliegue seguro de estas tecnologías y están utilizando el trabajo que han realizado los empleados para “acercar [Chat]GPT-4 al mundo de forma segura” como ejemplo. Los dos afirman que desde entonces… OpenAI ha lanzado ChatGPT-4 En marzo de 2023, la empresa “mejoró continuamente el comportamiento ejemplar y el monitoreo de abusos en respuesta a las lecciones aprendidas de la implementación”.
¿El tercer punto? “El futuro será más difícil que el pasado”, escribieron. Brock y Altman explicaron que OpenAI debe seguir elevando el nivel de seguridad a medida que lanza nuevos modelos, citando los esfuerzos de la empresa. Marco de preparación Como una manera de ayudar a hacer esto. Según su página en el sitio web de OpenAI, este marco predice “riesgos catastróficos” que pueden surgir y busca mitigarlos.
Brockman y Altman luego continúan discutiendo un futuro en el que los modelos OpenAI estén más integrados en el mundo y más personas interactúen con ellos. Consideran que esto es beneficioso y creen que se puede hacer de manera segura, “pero requerirá una enorme cantidad de trabajo fundamental”. Por este motivo, la empresa puede retrasar los plazos de lanzamiento hasta que los modelos lleguen al público. [its] Cinta de seguridad”.
“Sabemos que no podemos imaginar todos los escenarios futuros posibles”, dijeron. “Por lo tanto, necesitamos tener un circuito de retroalimentación muy estrecho, pruebas rigurosas, una consideración cuidadosa en cada paso, seguridad de clase mundial y armonía de seguridad y capacidades”.
Los líderes dijeron que OpenAI continuará investigando y trabajando con gobiernos y partes interesadas en materia de seguridad.
Concluyeron: “No hay evidencia comprobada sobre cómo emprender el camino hacia la inteligencia artificial general. Creemos que la comprensión empírica puede ayudar a definir el camino a seguir”. “Creemos en lograr enormes avances y trabajar para mitigar riesgos significativos; tomamos nuestro papel aquí en serio y sopesamos cuidadosamente las respuestas a nuestras acciones”.
La renuncia y las palabras de Lake se ven agravadas por la realidad de este Ilya Sutskever, científico jefe de OpenAI También renunció esta semana. “#QuéVioIlya” Se convirtió en un tema de tendencia en X, lo que generó especulaciones sobre lo que están mirando los altos líderes de OpenAI. A juzgar por negativo reacción a hoy declaración De Brockman y Altman no disipa ninguna de esas especulaciones.
Por ahora, la empresa está trabajando en el lanzamiento de la siguiente versión: ChatGPT-4oAsistente de voz.