Près d'une décennie il y a quelques jours, Google a présenté une fonctionnalité appelée Maintenant disponible dans Android Marshmallow : appuyez longuement sur le bouton d'accueil et Google affichera des informations contextuelles utiles liées à ce qui est à l'écran. Vous parlez d'un film avec un ami par SMS ? Now on Tap peut vous fournir des détails sur le titre sans avoir à quitter l'application de messagerie. Vous cherchez un restaurant sur Yelp ? Le téléphone peut afficher les recommandations OpenTable d’un simple toucher.
Je venais tout juste de sortir de l'université et ces améliorations me semblaient excitantes et magiques : sa capacité à comprendre ce qui était à l'écran et à prédire les actions que vous pourriez vouloir entreprendre me semblait tournée vers l'avenir. C'était l'une de mes fonctionnalités Android préférées. Il s'est lentement transformé en Google Assistant, ce qui était génial en soi, mais pas tout à fait pareil.
Aujourd'hui, chez Google Conférence des développeurs d'E/S À Mountain View, en Californie, les nouvelles fonctionnalités proposées par Google dans son système d'exploitation Android ressemblent au Now on Tap d'autrefois, vous permettant d'exploiter les informations contextuelles qui vous entourent pour faciliter un peu l'utilisation de votre téléphone. Sauf que cette fois, ces fonctionnalités s'appuient sur une décennie d'avancées dans les grands modèles de langage.
«Je pense que ce qui est passionnant, c'est que nous disposons désormais de la technologie nécessaire pour créer des assistants vraiment passionnants», me dit Dave Burke, vice-président de l'ingénierie sur Android, lors d'un appel vidéo Google Meet. « Nous devons pouvoir disposer d'un système informatique capable de comprendre ce qu'il voit et je ne pense pas que nous avions à l'époque la technologie pour bien le faire. Maintenant, nous le faisons.
J'ai eu l'occasion de parler avec Burke et Sameer Samat, président de l'écosystème Android chez Google, des nouveautés dans le monde d'Android, le nouveau Assistant IA Gémeaux, et ce que tout cela réserve pour l’avenir du système d’exploitation. Samat a qualifié ces mises à jour de « opportunité unique dans une génération de réimaginer ce que le téléphone peut faire et de repenser l’ensemble d’Android ».
Encerclez pour rechercher… vos devoirs
Cela commence avec Circle to Search, qui est la nouvelle façon de Google d'aborder la recherche sur mobile. Tout comme l'expérience de Now on Tap, Circle to Search, que le la société a fait ses débuts il y a quelques mois il y a – est plus interactif que de simplement taper dans un champ de recherche. (Vous encerclez littéralement ce que vous voulez rechercher sur l'écran.) Burke déclare : « C'est une façon très viscérale, amusante et moderne de rechercher… Elle est également plus jeune parce que c'est très amusant à utiliser. »
Samat affirme que Google a reçu des commentaires positifs de la part des consommateurs, mais la dernière fonctionnalité de Circle to Search vient spécifiquement de étudiant retour. Circle to Search peut désormais être utilisé pour résoudre des problèmes de physique et de mathématiques lorsqu'un utilisateur les entoure. Google crachera des instructions étape par étape pour résoudre les problèmes sans que l'utilisateur ne quitte l'application du programme.
Samat a clairement indiqué que les Gémeaux n'étaient pas seulement apporter des réponses mais montrait aux étudiants comment résoudre les problèmes. Plus tard cette année, Circle to Search sera en mesure de résoudre des problèmes plus complexes comme des diagrammes et des graphiques. Tout cela est alimenté par les modèles LearnLM de Google, parfaitement adaptés à l'éducation.
Gemini devient plus contextuel sur Android
Gemini est l'assistant IA de Google qui éclipse à bien des égards Google Assistant. Vraiment : lorsque vous lancez Google Assistant sur la plupart Téléphones Android de nos jours, il existe une option pour le remplacer par Gemini. Alors naturellement, j'ai demandé à Burke et Samat si cela signifiait que l'Assistant se dirigeait vers le Cimetière de Google.
« La façon de voir les choses est que Gemini est une expérience opt-in sur le téléphone », explique Samat. «Je pense qu'évidemment, avec le temps, les Gémeaux deviennent plus avancés et évoluent. Nous n'avons rien à annoncer aujourd'hui, mais les consommateurs ont le choix s'ils souhaitent opter pour ce nouvel assistant alimenté par l'IA. Ils peuvent l'essayer et nous constatons que les gens le font et nous recevons beaucoup de bons retours.