anterior AbiertoAI Los miembros de la junta están pidiendo una mayor regulación gubernamental de la empresa, mientras el liderazgo del director ejecutivo Sam Altman está siendo criticado.
Helen Toner y Tasha McAuley, dos de los muchos ex empleados que formaron la de los personajes Cual Derrocó a Altman en noviembre. – Dicen que su decisión de despedir al líder y “rescatar” la estructura organizacional de OpenAI fue impulsada por “patrones de comportamiento de larga data demostrados por el Sr. Altman”, que “socavaron la supervisión de la junta de decisiones clave y protocolos de seguridad internos”.
Escribiendo en una editorial que publicaste El economista El 26 de mayo, Toner y McCauley afirmaron que el patrón de comportamiento de Altman, combinado con su dependencia de la autonomía, es una receta para el desastre de AGI.
Si bien los dos dicen que se unieron a la compañía con un “optimismo cauteloso” sobre el futuro de OpenAI, impulsados exclusivamente por los motivos aparentemente altruistas de la compañía sin fines de lucro en ese momento, desde entonces los dos han cuestionado las acciones de Altman y la compañía. “Varios altos líderes han expresado en privado serias preocupaciones a la Junta, diciendo que creen que el señor Altman cultivó una 'cultura tóxica de mentira' y adoptó un 'comportamiento'”, escribieron. [that] “Se puede describir como abuso psicológico”.
“Los acontecimientos desde su regreso a la empresa, incluido su regreso a la junta directiva y la salida de talentos senior centrados en la seguridad, no auguran nada bueno para el experimento de autonomía de OpenAI”. “Incluso con las mejores intenciones y sin supervisión externa, este tipo de autorregulación terminará siendo inviable, especialmente bajo la presión de incentivos masivos para obtener ganancias. Los gobiernos deben desempeñar un papel activo”.
En retrospectiva, Toner y McCauley escriben: “Si alguna empresa pudiera gobernarse a sí misma con éxito mientras desarrollaba sistemas avanzados de IA de forma segura y ética, podría haber sido así”. AbiertoAI“.
Velocidad de la luz triturable
Los ex miembros de la junta se oponen a la tendencia actual de autoinformación y a una regulación externa bastante mínima de las empresas de IA a medida que las leyes federales fallan. En el extranjero, los equipos de IA ya han encontrado inconvenientes al depender de gigantes tecnológicos para liderar los esfuerzos de seguridad. La semana pasada, la UE Advertencia multimillonaria a Microsoft Después de que no revelaran los riesgos potenciales del software CoPilot e Image Creator impulsado por IA. Un informe reciente del Instituto de Seguridad de IA del Reino Unido encontró que las garantías de muchos de los modelos de lenguaje general (LLM) más importantes pueden verse fácilmente violadas por afirmaciones maliciosas.
En las últimas semanas, OpenAI ha estado en el centro de la conversación sobre la regulación de la IA luego de una serie de renuncias de alto perfil por parte de empleados de alto rango que indicaron puntos de vista diferentes sobre su futuro. Después de que el cofundador y líder del equipo de Superalignment, Ilya Sutskever, y el copresidente, Jan Lyke, abandonaran la empresa, OpenAI disolvió su equipo de seguridad interno.
Lake dijo que estaba preocupado por el futuro de OpenAI, ya que su “cultura y procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
Uno de los líderes de seguridad de OpenAI renunció el martes. Simplemente explicó por qué.
Altman fue criticado por una empresa entonces revelada Política de salida Esto obliga a los empleados salientes a firmar acuerdos de confidencialidad que les impiden decir algo negativo sobre OpenAI o correr el riesgo de perder el capital que tengan en el negocio.
Poco después, Altman y el presidente y cofundador Greg Brockman Respuesta a la controversiaescribe sobre El camino hacia la inteligencia general artificial.”
A los ojos de muchos ex empleados de OpenAI, la histórica filosofía de “toque ligero” de la regulación de Internet no funcionará.