microsoft El jueves introdujo una nueva capacidad de inteligencia artificial (IA) para Copilot. Llamado Copilot Vision, ahora permite que un chatbot impulsado por IA vea y comprenda el contexto de lo que un usuario está haciendo en línea. El gigante tecnológico con sede en Redmond dijo que el software de Copilot puede acceder al navegador Microsoft Edge. El chatbot con visión habilitada ahora puede monitorear qué sitios web y páginas web está navegando un usuario y luego puede ejecutar ciertos comandos cuando se le solicite. Esta capacidad está actualmente disponible en versión preliminar para un número selecto de suscriptores de Copilot Pro en los Estados Unidos.
Visión del copiloto de Microsoft
El fabricante de Windows está intentando incorporar un chatbot con tecnología de inteligencia artificial Copiloto A la vanguardia de la experiencia de PC. Anteriormente, presentó agentes de IA diseñados específicamente para completar tareas en PC, y ahora ha agregado otra capacidad a Copilot que le permitirá responder consultas de los usuarios en función de su actividad relacionada con el navegador, según Publicación de blog. En particular, Copilot Vision no es una función de agente, por lo que la IA no puede realizar acciones en nombre del usuario.
Copilot Vision puede comprender el contexto completo de lo que ve un usuario en el navegador Edge. Puede ver imágenes y objetos, leer texto e incluso comprender los botones de navegación. El chatbot con visión habilitada estará ubicado en la parte inferior de la pantalla y los usuarios podrán escribir o pronunciar el mensaje.
En términos de lo que la IA puede hacer, puede responder preguntas, resumir y traducir texto y resaltar ciertas partes de la página cuando se le solicite. Microsoft afirma que Copilot Vision también puede actuar como asistente de juego y ayudar al usuario a comprender cómo jugar juegos como GeoGuessr y brindar consejos mientras juega ajedrez en línea.
Destacando ejemplos, el gigante tecnológico dijo que Copilot Vision puede ayudar a los usuarios a planificar una visita al museo señalando información importante que el usuario debe conocer. También puede ayudar a los usuarios con las compras recomendando productos adecuados según las necesidades y preferencias del usuario.
En cuanto a privacidad y seguridad, Microsoft afirmó que Copilot Vision estará completamente habilitado y los usuarios podrán decidir cuándo encenderlo y cuándo apagarlo. La IA no podrá ver algo que el usuario no quiera. Además, cualquier dato de la conversación con la IA se eliminará al final de cada sesión. Sin embargo, las respuestas del copiloto quedan registradas y se utilizarán para mejorar los sistemas de seguridad de la compañía.
Microsoft también agregó que Copilot Vision no captura, almacena ni utiliza ningún dato de los editores para entrenar sus modelos de IA. También está trabajando con un grupo de evaluadores externos (miembros del equipo rojo) para mejorar la seguridad de la nueva función.
Copilot Vision se está implementando actualmente para un número limitado de suscriptores de Copilot Pro en los EE. UU. y se puede acceder a él a través de Copilot Labs. En particular, Vision actualmente solo funcionará en un grupo selecto de sitios web y la funcionalidad se irá ampliando gradualmente.