Les chercheurs de Google DeepMind ont présenté un nouveau concept de curseur basé sur l'intelligence artificielle. Cette technologie transforme le simple geste de pointage de la souris en un dialogue entièrement interactif. Au lieu de rédiger de longues requêtes textuelles, les utilisateurs peuvent simplement pointer un objet et donner des commandes courtes comme « compare ceci », « explique » ou « déplace ici ». C'est ce que rapporte Ixbt.com rapporte .
Selon les experts de l'entreprise, le principe d'interaction avec un ordinateur est resté pratiquement inchangé au cours du dernier demi-siècle, le curseur ne servant qu'à marquer des coordonnées sur l'écran. DeepMind propose d'apprendre au système non seulement à suivre la position du curseur, mais aussi à comprendre ce que l'utilisateur regarde et quelle est son intention. Cette approche permet d'intégrer l'IA de manière transparente dans les flux de travail quotidiens.
Le nouveau concept repose sur quatre principes fondamentaux : libérer l'utilisateur du passage à des chatbots séparés, la compréhension automatique du contexte visuel, l'utilisation du langage naturel et la transformation des éléments d'interface, qui ne sont plus de simples ensembles de pixels, en « objets significatifs » avec lesquels l'IA peut interagir directement. Les modèles multimodaux modernes comme Gemini sont suffisamment avancés pour mettre en œuvre ce mécanisme.
Google intègre progressivement cette technologie dans ses produits. Par exemple, dans le navigateur Google Chrome, il est désormais possible de poser des questions sur des éléments spécifiques des pages web à l'aide de Gemini. L'entreprise a également annoncé la fonctionnalité Magic Pointer pour les futurs ordinateurs portables Googlebook. Ces changements constituent une étape importante vers l'adaptation de l'interface PC à l'ère de l'IA générative.
Lisez “Zamin” sur Telegram !
