O Google expandiu seu Project Gameface, um projeto de código aberto que visa tornar os dispositivos tecnológicos mais acessíveis no Android, e agora você pode usá-lo para controlar a interface do seu smartphone. O design foi apresentado pela primeira vez no Google I/O 2023 como um mouse para jogos com viva-voz que pode ser controlado com movimentos da cabeça e expressões faciais. Eles foram projetados para pessoas com deficiência física que não conseguem usar as mãos ou a voz para controlar dispositivos. Mantendo a mesma funcionalidade, a versão Android adiciona um cursor virtual para permitir aos usuários controlar o dispositivo sem tocá-lo.
Em um anúncio publicado em um blog de desenvolvedor publicarO Google disse: “Estamos abrindo mais código para o Projeto Gameface para ajudar os desenvolvedores a criar aplicativos Android que tornam todos os dispositivos Android mais acessíveis. Usando a câmera do dispositivo, ele rastreia perfeitamente as expressões faciais e os movimentos da cabeça, transformando-os em um controle intuitivo e personalizado. Além disso, a empresa pediu aos desenvolvedores que usassem essas ferramentas para adicionar recursos de acessibilidade aos seus aplicativos.
O Projeto Gameface estabeleceu cooperação com a organização indiana Incluza, que apoia pessoas com deficiência. Através da colaboração, os participantes do projeto aprenderam como as tecnologias podem ser estendidas a uma variedade de aplicações, como mensagens, procura de emprego e muito mais. Usei a API MediaPipe Facial Landmark Detection e o Android Accessibility Service para criar um novo cursor virtual para dispositivos Android. O cursor se move seguindo o movimento da cabeça do usuário após ser rastreado pela câmera frontal.
A API reconhece 52 gestos faciais, incluindo levantar sobrancelhas, abrir a boca, mover os lábios e muito mais. Esses 52 movimentos são usados para controlar e mapear uma ampla gama de funções no seu dispositivo Android. Uma função interessante é arrastar. Os usuários podem usar isso para deslizar a tela inicial. Para criar um efeito de arrastar, os usuários precisarão definir um ponto inicial e final. Isso pode ser como abrir a boca e mover a cabeça e, em seguida, fechar a boca novamente quando chegar ao ponto final.
Vale ressaltar que embora a tecnologia tenha sido disponibilizada no GitHub, agora cabe aos desenvolvedores construir aplicativos usando esta opção para torná-la mais acessível aos usuários. Recentemente, a Apple também introduziu um novo recurso que usa rastreamento ocular para controlar o iPhone.
