Character.AI ha introducido nuevas funciones y políticas de seguridad para crear e interactuar con personajes virtuales impulsados por IA. Las nuevas medidas tienen como objetivo hacer que la plataforma sea más segura para todos los usuarios, especialmente los jóvenes. La actualización incluye más control sobre cómo interactúan los menores con la IA chatbotMás moderación de contenido y mejor detección de IA en temas como la autolesión.
Aunque no se menciona en la publicación del blog sobre la actualización, Character AI fue vinculado al anuncio en una publicación en X expresando sus condolencias a la familia de un niño de 14 años que pasó meses interactuando con uno de los chatbots de Character.AI antes de tomar el suyo. vida. . Su familia ahora ha presentado una demanda contra Character.AI por muerte por negligencia, citando que la falta de salvaguardias para los chatbots de IA contribuyó a su suicidio.
Estamos profundamente entristecidos por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y continuamos agregando nuevas funciones de seguridad sobre las que puede leer aquí:…23 de octubre de 2024
Barandillas de chat de IA
La publicación de Character AI presentó varias características de seguridad nuevas para la plataforma. Por ejemplo, si el formulario detecta palabras clave relacionadas con el suicidio o la autolesión, mostrará una ventana emergente instando al usuario a acceder a la Línea Nacional de Prevención del Suicidio y a los recursos relacionados. La IA también será mejor a la hora de detectar y eliminar contenido inapropiado en una conversación, con especial sensibilidad cuando los usuarios son menores de 18 años.
Ya se supone que los menores tienen contenido restringido en las conversaciones, pero Character.AI puede haber aumentado aún más esta sensibilidad. En los casos en los que esto no sea suficiente, los chatbots se eliminan por completo.
“Detectamos y moderamos de forma proactiva los personajes creados por los usuarios, incluido el uso de listas de prohibición estándar y personalizadas que se actualizan periódicamente y, en respuesta a los informes de los usuarios, eliminamos los personajes que violan nuestros Términos de servicio”, explicó Character.AI. en el cargo. “Los usuarios pueden notar que recientemente eliminamos un grupo de personajes que fueron marcados como infractores y que se agregarán a nuestras listas de prohibición personalizadas en el futuro”.
Otras características nuevas giran en torno a ayudar a los usuarios terrestres. Por lo tanto, verá una notificación cuando haya pasado una hora en la plataforma preguntándole si desea continuar como una forma de asegurarse de no perder tiempo. También verá descargos de responsabilidad más destacados que enfatizan que la IA no es una persona real. Ya existen compromisos de este tipo en las conversaciones, pero Character.AI quiere que sean imposibles de ignorar.
Estas características de seguridad son la otra cara de la forma en que Character.AI ha hecho que la interacción con chatbots sea más como hablar con una persona real, incluidas voces y chats de voz bidireccionales disponibles con Llamadas de personajes característica. Sin embargo, es probable que la empresa esté interesada en garantizar que sus servicios sean lo más seguros posible, y sus movimientos podrían ayudar a determinar cómo otros en el espacio dan forma a las personalidades de sus chatbots impulsados por IA.