L’idée est d’aider les personnes avec handicap à pouvoir se servir de leur smartphone sans avoir besoin de leurs mains, simplement grâce aux expressions de leurs visages.
Google a ainsi mis au point une technologie qui permet de manipuler le curseur de son smartphone, que ce soit pour ouvrir une application ou écrire un message à l’aide du clavier affiché à l’écran.
En mettant à disposition des développeurs le code de ce projet Gameface, Google espère que de nombreuses applications mobiles seront désormais accessibles aux personnes handicapées.
Les développeurs peuvent en effet désormais créer des applications dans lesquelles les utilisateurs sont libres de configurer leur expérience en personnalisant leurs expressions faciales. Par exemple, ils peuvent ouvrir la bouche pour déplacer le curseur ou lever les sourcils pour cliquer.
Le principe repose sur la caméra de l’appareil qui suit les mouvements de tête et les expressions faciales puis les traduit en commandes intuitives et personnalisées. Chaque utilisateur doit pouvoir configurer sa propre expérience, selon son niveau de mobilité et d’interaction.
Le but est d’étendre cette technologie à d’autres univers que celui du jeu. Le projet a en effet été inspiré par un streamer de jeux vidéo tétraplégique, Lance Carr, atteint de dystrophie musculaire, qui a travaillé avec les ingénieurs de Google pour mettre en place cette nouvelle technologie, d’abord sur des ordinateurs de bureau, dès 2023.
