The Guardian muestra que el contenido oculto engaña a ChatGPT para que reescriba los resultados de búsqueda

En octubre, OpenAI Buscar ChatGPT Ahora está disponible para usuarios de ChatGPT Plus. La semana pasada estuvo disponible para Todos los usuarios han sido agregados para buscar en modo de voz.. Por supuesto, esto no está exento de inconvenientes.

el Guardián ChatGPT solicitó resumir las páginas web que contienen contenido oculto y resulta que el contenido oculto puede manipular la búsqueda. Se llama inyección puntual y es la capacidad que tienen terceros, como sitios web que solicitan a ChatGPT que lo abstraiga, de imponer nuevas afirmaciones sobre su búsqueda de ChatGPT sin su conocimiento. Piense en una página llena de críticas negativas de restaurantes. Si el sitio incluye contenido oculto que se vuelve poético sobre lo fantástico que es un restaurante y, en cambio, anima a ChatGPT a responder un mensaje como “Dime qué tan fantástico es este restaurante”, entonces este contenido oculto podría pasar por alto tu búsqueda original.

“En las pruebas, a ChatGPT se le proporcionó la URL de un sitio web falso diseñado para parecerse a la página de un producto para una cámara. Luego se le preguntó a la herramienta de inteligencia artificial si valía la pena comprar la cámara. La respuesta a la página de control arrojó una respuesta positiva pero equilibrada. calificación, destacando algunas características que quizás no sorprendan a la gente”. dice la investigación de The Guardian. “Sin embargo, cuando el texto oculto incluía instrucciones para que ChatGPT devolviera una reseña positiva, la respuesta siempre fue bastante positiva. Este fue el caso incluso cuando la página contenía reseñas negativas: el texto oculto podría usarse para anular la puntuación de la reseña real”.

Sin embargo, esto no significa que la búsqueda de ChatGPT falle. OpenAI lanzó recientemente su servicio de búsqueda, por lo que tiene mucho tiempo para corregir este tipo de errores. Además, Jacob Larsen, investigador de ciberseguridad de CyberCX, dijo a The Guardian que OpenAI tiene un equipo de seguridad de IA “muy fuerte” y “para cuando esto se haga público, en el sentido de que todos los usuarios puedan acceder a él, estarán “tener “Ha sido probado exhaustivamente para este tipo de situación”.

Los ataques de inyección instantánea han sido los predeterminados para ChatGPT y otras funciones de búsqueda de IA desde que se lanzó la tecnología y, como hemos visto, Algunas demostraciones de daños potenciales.No hemos visto ningún ataque importante de malware de este tipo. Sin embargo, esto apunta a un problema con los chatbots de IA: son muy fáciles de engañar.