El modo de voz de ChatGPT tiene algunas vulnerabilidades de seguridad, pero OpenAI dice que las está solucionando.
OpenAI publicado el jueves un informe Acerca de las características de seguridad de GPT-4o y aborda problemas conocidos que ocurren al usar el modelo. GPT-4o es el modelo base que admite la última versión de ChatGPT y viene con un modo de voz hecho Lanzado recientemente Para un grupo selecto de usuarios que tienen una suscripción ChatGPT Plus.
Los “desafíos de seguridad” identificados incluyen riesgos estándar como activar el modelo con respuestas sexuales y violentas, otros contenidos no permisibles, “heurísticas injustificadas” y “atribución de rasgos sensibles”; en otras palabras, suposiciones potencialmente discriminatorias o sesgadas. OpenAI dice que entrenó el modelo para bloquear cualquier salida marcada en estas categorías. Sin embargo, el informe también dice que las mitigaciones no incluyen “sonidos no verbales u otros efectos de sonido”, como gemidos dramáticos, gritos violentos y disparos. Por tanto, se puede concluir que los estímulos que implican ciertos sonidos sensibles no verbales pueden recibir una respuesta inapropiada.
OpenAI también mencionó los desafíos únicos que conlleva la comunicación de voz con el modelo. Los miembros del equipo rojo descubrieron que se le podía pedir a GPT-4o que accidentalmente se hiciera pasar por alguien o imitara la voz de un usuario. Para combatir esto, OpenAI solo permite votos preautorizados (menos GPT-4o también puede reconocer otras voces además de la del hablante, lo que presenta un grave problema de privacidad y vigilancia. Pero ha sido entrenado para rechazar tales solicitudes, a menos que el modelo se sienta motivado por una cita famosa.
Velocidad de la luz medible
Los miembros del Equipo Rojo también señalaron que se puede pedir a GPT-4o que hable de manera persuasiva o decisiva, una característica que puede ser más dañina que la producción de texto cuando se trata de información errónea y teorías de conspiración.
Vale la pena señalar que OpenAI también ha abordado posibles problemas de derechos de autor. la empresa estaba molesta Y el desarrollo de la IA generativa en general, que se entrena a partir de datos extraídos de la web. GPT-4o está capacitado para rechazar solicitudes de contenido protegido por derechos de autor y tiene filtros adicionales para bloquear salidas que contengan música. En este sentido, se ha indicado al modo de audio de ChatGPT que no cante bajo ninguna circunstancia.
Muchas de las mitigaciones de riesgos de OpenAI abordadas en el extenso documento se implementaron antes del lanzamiento de Voice Mode. Entonces, el mensaje claro del informe es que, aunque GPT-4o es capaz de tener comportamientos riesgosos, no lo hará.
Sin embargo, OpenAI dice: “Estas evaluaciones sólo miden el conocimiento clínico de estos modelos y no miden su utilidad en el flujo de trabajo del mundo real”. Se ha probado en un entorno controlado, pero cuando el público en general tenga acceso a GPT-4o, puede ser completamente diferente cuando se utilice en la naturaleza.
Mashable se ha puesto en contacto con OpenAI para obtener más claridad sobre estas mitigaciones y lo actualizaremos si recibimos una respuesta.