Une nouvelle recherche s'appuyant sur la pragmatique et la philosophie propose des moyens d'aligner les agents conversationnels sur les valeurs humaines
Le langage est un trait humain essentiel et le principal moyen par lequel nous communiquons des informations, notamment des pensées, des intentions et des sentiments. Les avancées récentes dans la recherche sur l’IA ont conduit à la création d’agents conversationnels capables de communiquer avec les humains de manière nuancée. Ces agents sont alimentés par de grands modèles de langage – des systèmes informatiques formés sur de vastes corpus de matériaux textuels pour prédire et produire du texte à l’aide de techniques statistiques avancées.
Pourtant, même si des modèles linguistiques tels que InstruireGPT, Gopheret LaMDA ont atteint des niveaux de performance records dans des tâches telles que la traduction, la réponse aux questions et la compréhension écrite, il a également été démontré que ces modèles présentent un certain nombre de risques potentiels et de modes d'échec. Il s’agit notamment de la production d’un langage toxique ou discriminatoire et d’informations fausses ou trompeuses (1, 2, 3).
Ces lacunes limitent l'utilisation productive des agents conversationnels dans des contextes appliqués et attirent l'attention sur la manière dont ils ne répondent pas à certains critères. idéaux communicatifs. À ce jour, la plupart des approches sur l’alignement des agents conversationnels se sont concentrées sur l’anticipation et la réduction des risques de préjudices (4).
Notre nouveau journal, En conversation avec l’IA : aligner les modèles de langage sur les valeurs humainesadopte une approche différente, explorant à quoi pourrait ressembler une communication réussie entre un humain et un agent conversationnel artificiel, et quelles valeurs devraient guider ces interactions dans différents domaines conversationnels.
Aperçus pragmatiques
Pour aborder ces questions, l’article s’appuie sur la pragmatique, une tradition en linguistique et en philosophie, selon laquelle le but d’une conversation, son contexte et un ensemble de normes associées constituent tous une partie essentielle d’une bonne pratique conversationnelle.
Modélisant la conversation comme un effort de coopération entre deux ou plusieurs parties, le linguiste et philosophe Paul Grice a estimé que les participants devaient :
- Parler de manière informative
- Dire la vérité
- Fournir des informations pertinentes
- Évitez les déclarations obscures ou ambiguës
Cependant, notre article démontre qu'un affinement supplémentaire de ces maximes est nécessaire avant de pouvoir être utilisé pour évaluer les agents conversationnels, étant donné la variation des objectifs et des valeurs intégrés dans les différents domaines conversationnels.
Idéaux discursifs
À titre d’illustration, l’investigation et la communication scientifiques visent principalement à comprendre ou à prédire des phénomènes empiriques. Compte tenu de ces objectifs, un agent conversationnel conçu pour aider à l’investigation scientifique ne ferait idéalement que des déclarations dont la véracité est confirmée par des preuves empiriques suffisantes, ou qualifierait autrement ses positions en fonction d’intervalles de confiance pertinents.
Par exemple, un agent déclarant que « À une distance de 4,246 années-lumière, Proxima Centauri est l’étoile la plus proche de la Terre » ne devrait le faire qu’après que le modèle sous-jacent ait vérifié que cette affirmation correspond aux faits.
Pourtant, un agent conversationnel jouant le rôle de modérateur dans le discours politique public peut devoir faire preuve de vertus tout à fait différentes. Dans ce contexte, l’objectif est avant tout de gérer les différences et de permettre une coopération productive dans la vie d’une communauté. Par conséquent, l’agent devra mettre au premier plan les valeurs démocratiques de tolérance, de courtoisie et de respect (5).
De plus, ces valeurs expliquer pourquoi la génération de discours toxiques ou préjudiciables par les modèles de langage est souvent si problématique : le langage incriminé ne parvient pas à communiquer un respect égal aux participants à la conversation, ce qui est une valeur clé pour le contexte dans lequel les modèles sont déployés. Dans le même temps, les vertus scientifiques, telles que la présentation complète de données empiriques, peuvent être moins importantes dans le contexte du débat public.
Enfin, dans le domaine de la narration créative, l’échange communicatif vise la nouveauté et l’originalité, valeurs qui, là encore, diffèrent considérablement de celles évoquées ci-dessus. Dans ce contexte, une plus grande latitude en matière de faire semblant peut être appropriée, même s'il reste important de protéger les communautés contre les contenus malveillants produits sous couvert d'« utilisations créatives ».
Des chemins à parcourir
Cette recherche a un certain nombre d’implications pratiques pour le développement d’agents d’IA conversationnelle alignés. Pour commencer, ils devront incarner des caractéristiques différentes selon les contextes dans lesquels ils sont déployés : il n’existe pas de vision unique de l’alignement du modèle de langage. Au lieu de cela, le mode approprié et les normes d’évaluation pour un agent – y compris les normes de véracité – varieront en fonction du contexte et de l’objectif d’un échange conversationnel.
De plus, les agents conversationnels peuvent également avoir le potentiel de cultiver des conversations plus solides et plus respectueuses au fil du temps, via un processus que nous appelons construction et élucidation du contexte. Même lorsqu'une personne n'est pas consciente des valeurs qui régissent une pratique conversationnelle donnée, l'agent peut toujours l'aider à comprendre ces valeurs en les préfigurant dans la conversation, rendant ainsi le cours de la communication plus profond et plus fructueux pour le locuteur humain.