Google Ha ampliado su proyecto Gameface, un proyecto de código abierto que tiene como objetivo hacer que los dispositivos tecnológicos sean más accesibles. AndroideY ahora se puede utilizar para controlar la interfaz del teléfono inteligente. El proyecto fue presentado por primera vez durante E/S de Google 2023 como un mouse para juegos manos libres que se puede controlar mediante movimientos de la cabeza y expresiones faciales. Están diseñados para personas que tienen discapacidades físicas y no pueden usar las manos ni la voz para controlar dispositivos. Manteniendo el mismo rendimiento, la versión de Android agrega un cursor virtual para permitir a los usuarios controlar su dispositivo sin tocarlo.
En un anuncio realizado en su blog centrado en desarrolladores. correo“Estamos poniendo a disposición más código para Project Gameface para ayudar a los desarrolladores a crear aplicaciones de Android para que sean más accesibles para todos los dispositivos Android”, dijo Google, “y a través de la cámara del dispositivo, rastrea sin problemas las expresiones faciales y los movimientos de la cabeza, traduciéndolos”. control intuitivo y personalizado”. Además, la empresa pidió a los desarrolladores que también usaran las herramientas para agregar funciones de accesibilidad a sus aplicaciones.
Project Gameface ha colaborado con la organización india Incluzza, que apoya a personas con discapacidad. A través de la colaboración, el proyecto ha aprendido cómo se puede ampliar su tecnología para incluir diferentes casos de uso, como escribir un mensaje, buscar trabajo y más. Utilicé la API de detección de puntos de referencia faciales de MediaPipe y el servicio de accesibilidad de Android para crear un nuevo indicador virtual para dispositivos Android. El cursor se mueve siguiendo el movimiento de la cabeza del usuario después de seguirlo con la cámara frontal.
La API reconoce 52 gestos faciales que incluyen levantar una ceja, abrir la boca, mover los labios y más. Estos 52 gestos se utilizan para controlar y asignar una amplia gama de funciones en su dispositivo Android. Una característica interesante es el arrastre. Los usuarios pueden usar esto para desplazarse por la pantalla de inicio. Para crear un efecto de arrastre, los usuarios deberán especificar un punto inicial y final. Puede ser como abrir la boca y mover la cabeza, y una vez llegado al punto final, se vuelve a cerrar la boca.
Vale la pena señalar que, aunque esta tecnología está disponible en GitHub, ahora corresponde a los desarrolladores crear aplicaciones utilizando esta opción para hacerla accesible a los usuarios. Apple también introdujo recientemente una nueva función que utiliza el seguimiento ocular para controlar el iPhone.