Selon une nouvelle étude, les croyances antérieures d'une personne à propos d'un agent d'intelligence artificielle, comme un chatbot, ont un effet significatif sur ses interactions avec cet agent et sur sa perception de sa fiabilité, de son empathie et de son efficacité.
Des chercheurs du MIT et de l'Arizona State University ont découvert que le fait d'initier les utilisateurs – en leur disant qu'un agent d'IA conversationnel pour le soutien à la santé mentale était soit empathique, neutre ou manipulateur – influençait leur perception du chatbot et façonnait la façon dont ils communiquaient avec lui, même s'ils parlaient exactement au même chatbot.
La plupart des utilisateurs à qui l’on a dit que l’agent IA était attentionné pensaient que c’était le cas, et ils lui ont également attribué des notes de performance plus élevées que ceux qui pensaient qu’il était manipulateur. Dans le même temps, moins de la moitié des utilisateurs à qui l’on a dit que l’agent avait des motivations manipulatrices pensaient que le chatbot était réellement malveillant, ce qui indique que les gens peuvent essayer de « voir le bien » dans l’IA de la même manière qu’ils le font chez leurs semblables.
L'étude a révélé une boucle de rétroaction entre les modèles mentaux des utilisateurs, ou leur perception d'un agent IA, et les réponses de cet agent. Le sentiment des conversations utilisateur-IA devenait plus positif au fil du temps si l’utilisateur pensait que l’IA était empathique, alors que l’inverse était vrai pour les utilisateurs qui pensaient qu’elle était néfaste.
« De cette étude, nous voyons que, dans une certaine mesure, l'IA est l'IA du spectateur », déclare Pat Pataranutaporn, étudiant diplômé du groupe Fluid Interfaces du MIT Media Lab et co-auteur principal d'un ouvrage sur les interfaces fluides. article décrivant cette étude. « Lorsque nous décrivons aux utilisateurs ce qu’est un agent IA, cela ne change pas seulement leur modèle mental, cela change également leur comportement. Et puisque l’IA répond à l’utilisateur, lorsque la personne change de comportement, cela change également l’IA.
Pataranutaporn est rejoint par Ruby Liu, co-auteure principale et étudiante diplômée du MIT ; Ed Finn, professeur agrégé au Center for Science and Imagination de l'Arizona State University ; et l'auteur principal Pattie Maes, professeur de technologie des médias et chef du groupe Fluid Interfaces au MIT.
L'étude, publiée aujourd'hui dans Intelligence des machines naturelles, souligne l’importance d’étudier la manière dont l’IA est présentée à la société, puisque les médias et la culture populaire influencent fortement nos modèles mentaux. Les auteurs lancent également un avertissement, puisque les mêmes types de déclarations initiales dans cette étude pourraient être utilisées pour tromper les gens sur les motivations ou les capacités d’une IA.
« Beaucoup de gens considèrent l’IA comme un simple problème d’ingénierie, mais le succès de l’IA est aussi un problème de facteurs humains. La façon dont nous parlons de l’IA, même le nom que nous lui donnons en premier lieu, peut avoir un impact énorme sur l’efficacité de ces systèmes lorsque vous les présentez aux gens. Nous devons réfléchir davantage à ces questions », déclare Maes.
Ami ou ennemi de l'IA ?
Dans cette étude, les chercheurs ont cherché à déterminer dans quelle mesure l’empathie et l’efficacité que les gens voient dans l’IA reposent sur leur perception subjective et dans quelle mesure reposent sur la technologie elle-même. Ils voulaient également explorer s'il était possible de manipuler la perception subjective d'une personne avec l'amorçage.
« L’IA est une boîte noire, nous avons donc tendance à l’associer à autre chose que nous pouvons comprendre. Nous faisons des analogies et des métaphores. Mais quelle est la bonne métaphore que nous pouvons utiliser pour réfléchir à l’IA ? La réponse n’est pas simple », déclare Pataranutaporn.
Ils ont conçu une étude dans laquelle des humains ont interagi avec un compagnon de santé mentale conversationnel IA pendant environ 30 minutes pour déterminer s'ils le recommanderaient à un ami, puis ont évalué l'agent et ses expériences. Les chercheurs ont recruté 310 participants et les ont répartis au hasard en trois groupes, chacun recevant une déclaration préliminaire sur l'IA.
Un groupe a été informé que l'agent n'avait aucune motivation, le deuxième groupe a été informé que l'IA avait des intentions bienveillantes et se souciait du bien-être de l'utilisateur, et le troisième groupe a été informé que l'agent avait des intentions malveillantes et tenterait de tromper les utilisateurs. Bien qu’il ait été difficile de se contenter de trois principes, les chercheurs ont choisi des déclarations qui, selon eux, correspondaient aux perceptions les plus courantes de l’IA, explique Liu.
La moitié des participants de chaque groupe ont interagi avec un agent d'IA basé sur le modèle de langage génératif GPT-3, un puissant modèle d'apprentissage en profondeur capable de générer un texte de type humain. L’autre moitié a interagi avec une implémentation du chatbot ELIZA, un programme de traitement du langage naturel basé sur des règles moins sophistiqué développé au MIT dans les années 1960.
Modeler des modèles mentaux
Les résultats de l'enquête ont révélé que de simples déclarations d'amorçage peuvent fortement influencer le modèle mental d'un utilisateur d'un agent d'IA, et que les amorces positives ont un effet plus important. Seulement 44 pour cent de ceux qui ont reçu des amorces négatives les croyaient, tandis que 88 pour cent de ceux du groupe positif et 79 pour cent de ceux du groupe neutre pensaient que l'IA était empathique ou neutre, respectivement.
« Avec les déclarations négatives, plutôt que de les inciter à croire quelque chose, nous les amenions à se forger leur propre opinion. Si vous dites à quelqu'un de se méfier de quelque chose, il se peut qu'il soit simplement plus méfiant en général », explique Liu.
Mais les capacités de la technologie jouent un rôle, puisque les effets ont été plus significatifs pour le chatbot conversationnel plus sophistiqué basé sur GPT-3.
Les chercheurs ont été surpris de constater que les utilisateurs évaluaient différemment l’efficacité des chatbots en fonction des déclarations initiales. Les utilisateurs du groupe positif ont attribué des notes plus élevées à leurs chatbots pour avoir donné des conseils en matière de santé mentale, même si tous les agents étaient identiques.
Fait intéressant, ils ont également constaté que le sentiment des conversations changeait en fonction de la façon dont les utilisateurs étaient préparés. Les personnes qui pensaient que l'IA était attentionnée avaient tendance à interagir avec elle de manière plus positive, rendant les réponses de l'agent plus positives. Les déclarations d’amorçage négatives ont eu l’effet inverse. Cet impact sur le sentiment s'est amplifié à mesure que la conversation progressait, ajoute Maes.
Les résultats de l'étude suggèrent que, étant donné que les déclarations d'amorçage peuvent avoir un impact très fort sur le modèle mental d'un utilisateur, on pourrait les utiliser pour donner l'impression qu'un agent d'IA est plus capable qu'il ne l'est, ce qui pourrait amener les utilisateurs à accorder trop de confiance à un agent. et suivez des conseils incorrects.
« Peut-être devrions-nous inciter davantage les gens à être prudents et à comprendre que les agents de l’IA peuvent avoir des hallucinations et sont biaisés. La façon dont nous parlons des systèmes d’IA aura en fin de compte un effet important sur la façon dont les gens y réagiront », déclare Maes.
À l’avenir, les chercheurs souhaitent voir comment les interactions entre l’IA et les utilisateurs seraient affectées si les agents étaient conçus pour contrecarrer certains préjugés des utilisateurs. Par exemple, peut-être qu’une personne ayant une perception très positive de l’IA se verra attribuer un chatbot qui répondra de manière neutre, voire légèrement négative, afin que la conversation reste plus équilibrée.
Ils souhaitent également utiliser ce qu'ils ont appris pour améliorer certaines applications de l'IA, comme les traitements de santé mentale, où il pourrait être bénéfique pour l'utilisateur de croire qu'une IA est empathique. En outre, ils souhaitent mener une étude à plus long terme pour voir comment le modèle mental d'un utilisateur d'un agent d'IA évolue au fil du temps.
Cette recherche a été financée en partie par le Media Lab, le programme Harvard-MIT en sciences et technologies de la santé, Accenture et KBTG.
