Google anuncia un nuevo sistema de equipo rojo para la generación de IA

como Google Las posiciones generadas se actualizan Amnistía Internacional Como profesor, asistente y experto en recomendaciones, la empresa también intenta convertir a sus modelos en los peores enemigos del mal actor.

“Está claro que la IA ya está ayudando a las personas”, dijo James Manyika, vicepresidente senior de investigación, tecnología y sociedad de Google, ante una audiencia en la conferencia Google I/O 2024 de la compañía. “Sin embargo, como ocurre con cualquier tecnología emergente, los riesgos persisten y surgirán nuevas preguntas a medida que la IA avance y evolucionen sus usos”.

Manyika luego anunció el último desarrollo de la compañía con respecto a Red Teaming, un estándar de la industria. El proceso de prueba Encontrar debilidades en la inteligencia artificial generativa. El nuevo “Equipo Rojo de IA” de Google entrena a múltiples agentes de IA para que compitan entre sí y encuentren amenazas potenciales. Estos modelos entrenados pueden identificar con mayor precisión lo que Google llama “incitación adversaria” y limitar los resultados problemáticos.

El proceso es el nuevo plan de la compañía para construir una IA más responsable y parecida a la humana, pero también se vende como una forma de abordar las crecientes preocupaciones sobre la ciberseguridad y la desinformación.

Google explicó que los nuevos procedimientos de seguridad incluyen comentarios de un equipo de expertos en tecnología, academia y sociedad civil, además de sus siete principios para desarrollar inteligencia artificial: ser socialmente útil, evitar sesgos, construir y probar la seguridad, responsabilidad humana y privacidad. Diseñar, apoyar la excelencia científica y la accesibilidad pública. Con estos nuevos esfuerzos de prueba y compromisos en toda la industria, Google está tratando de posicionar el producto.