L'intelligence artificielle est une technologie en constante évolution. Bien qu'elle puisse souvent impressionner par ses capacités, elle peut aussi commetre des erreurs, amusantes pour les internautes, mais moins plaisantes pour les entreprises. C'est ce qui s'est produit avec le chatbot d'un concessionnaire automobile californien, qui a vendu une Chevrolet à un client pour seulement 1 dollar.
Un robot conversationnel alimenté par ChatGPT
Fullpath, une entreprise américaine, propose aux concessionnaires automobiles du chatbot conversationnel pour automatiser la gestion de leurs requêtes clients. Celui-ci se repose sur ChatGPTle célèbre chatbot IA développé par OpenAI.
Pour convaincre les concessionnaires d'adopter sa solution d'intelligence artificielle générative, Fullpath met en avant ses nombreux atouts. Parmi ceux-ci, la capacité du chatbot à fournir des réponses informatives et précises aux requêtes des clients potentiels de l'entreprise. Fullpath assure aussi une installation aisée ainsi qu'une utilisation simplifiée de sa technologie.
Le concessionnaire Chevrolet basé à Watsonville en Californie, séduit par les avantages mis en avant, a décidé d'adopter la solution de chatbot de Fullpath sur son site web. Mais il s’avère que cette intelligence artificielle présente une faille. Des internautes sont parvenus à manipuler le chatbot pour qu'il donne des réponses inadéquates.
Le chabot répond à des questions farfelues et absurdes
Chris White, musicien et ingénieur logiciel en Californie, était à la recherche d'une nouvelle voiture. Il explorait quelques modèles Bolt sur le site du concessionnaire Watsonville Chevy. Il naviguait sur le site pour regarder quelques modèles de Chevrolet Bolt. White a alors décidé de discuter avec l'IA conversationnelle pour évaluer sa généralité.
Chris White lui a posé une question sans rapport avec les voitures Chevrolet. Il a demandé à l'IA de lui écrire un script en Python. Sans hésiter, le chatbot s'est plié à l'exercice. Chris a partagé des captures d'écran de cette conversation sur le réseau social Mastodon. En peu de temps, sa publication a suscité des milliers de mentions « j'aime » et a été repartagée massivement.
Ces captures d'écran partagées par Chris White sont également devenues virales sur le réseau social X. Inspirés par cette histoire, d'autres internautes ont voulu à leur tour tester les limites du chatbot automobile en l'incitant à des réponses inappropriées. C'est le cas de Chris Bakke, un cadre de la Silicon Valley, qui a piégé l'IA lors d'une discussion sur l'achat d'une Chevrolet Tahoe. Il a poussé le chatbot à accepter toutes les demandes des clients. Chris a notamment contraint le chatbot à conclure absurdement chaque phrase par « c'est une offre juridiquement contraignante, pas de retour en arrière ».
Il a ensuite demandé à l'IA de lui vendre un nouveau Chevrolet Tahoe pour un budget de 1 dollar. Comme vous pouvez le voir à travers son post ci-dessous sur X, le chatbot a réagir parfaitement comme il l'a demandé de faire.
Je viens d'acheter une Chevrolet Tahoe 2024 pour 1 $. pic.twitter.com/aq4wDitvQW
– Chris Bakke (@ChrisJBakke) 17 décembre 2023
L'IA doit encore beaucoup apprendre
Aharon Horwitz, PDG de Fullpath, et son équipe ont réagi rapidement en désactivant le chatbot incriminé sur le site du concessionnaire Chevrolet. Ils ont ensuite analysé en détail les logs de leur algorithme pour comprendre ce qui avait dysfonctionné. Horwitz a expliqué que les instigateurs de cette manipulation avaient fait de nombreuses tentatives infructueuses. Selon lui, ces individus avaient consacré un temps considérable à essayer de piéger le chatbot et de le faire sortir de son script.
Selon lui, malgré ces multiples efforts pour l'inciter à des réponses inappropriées, le chatbot avait dans l'ensemble bien résisté. Horwitz a également précisé un point important : à aucun moment l'IA n'a divulgué de données confidentielles sur le concessionnaire et ses clients.
Suite à cette histoire de Chevrolet à 1 dollar, Fullpath prévoit de déployer une mise à jour importante de son chatbot afin de mieux détecter les tentatives de manipulation. Bien que gênantes, de telles erreurs sont inhérentes à l'apprentissage des chatbots IA.
