Aujourd'hui, OpenAI a publié son premier rapport de menace, détaillant comment des acteurs de Russie, d'Iran, de Chine et d'Israël ont tenté d'utiliser sa technologie pour des opérations d'influence étrangère à travers le monde. Le rapport nomme cinq réseaux différents qu'OpenAI a identifiés et fermés entre 2023 et 2024. Dans le rapport, OpenAI révèle que les réseaux établis comme Le double de la Russie et La vague de spam chinoise expérimentent comment utiliser l’IA générative pour automatiser leurs opérations. Ils ne sont pas non plus très bons dans ce domaine.
Et même si c'est un modeste soulagement que ces acteurs ne maîtrisent pas l’IA générative va devenir une force imparable de désinformationil est clair qu’ils expérimentent, et cela seul devrait être inquiétant.
Le rapport OpenAI révèle que les campagnes d'influence se heurtent aux limites de l'IA générative, qui ne produit pas de manière fiable une bonne copie ou un bon code. Ça lutte avec des expressions idiomatiques– qui donnent au langage une sonorité plus fiable, humaine et personnelle – et aussi parfois avec une grammaire de base (à tel point qu'OpenAI a nommé un réseau « Bad Grammar ».) Le réseau Bad Grammar était si bâclé qu'il a révélé une fois sa véritable identité : « En tant que Modèle de langage IA, je suis là pour vous aider et fournir le commentaire souhaité », a-t-il publié.
Un réseau a utilisé ChatGPT pour déboguer le code qui lui permettrait d'automatiser les publications sur Telegram, une application de chat qui est depuis longtemps l'une des préférées de extrémistes et réseaux d'influence. Cela fonctionnait bien parfois, mais d'autres fois, cela conduisait à la publication du même compte avec deux personnages distincts, révélant ainsi le jeu.
Dans d’autres cas, ChatGPT a été utilisé pour créer du code et du contenu pour des sites Web et des réseaux sociaux. Spamoflauge, par exemple, a utilisé ChatGPT pour déboguer le code afin de créer un site Web WordPress qui publiait des articles attaquant des membres de la diaspora chinoise qui critiquaient le gouvernement du pays.
Selon le rapport, le contenu généré par l'IA n'a pas réussi à sortir des réseaux d'influence eux-mêmes pour rejoindre le grand public, même lorsqu'il est partagé sur des plateformes largement utilisées comme X, Facebook ou Instagram. Ce fut le cas des campagnes menées par une société israélienne travaillant apparemment pour compte d’autrui et publiant des contenus allant de l’anti-Qatar à l’anti-BJP, le parti nationaliste hindou qui contrôle actuellement le gouvernement indien.
Dans l’ensemble, le rapport dresse le tableau de plusieurs campagnes relativement inefficaces avec une propagande grossière, apparemment pour apaiser craint que de nombreux experts ont eu sur le potentiel de cette nouvelle technologie à propager la désinformation, en particulier lors d'une année électorale cruciale.
Mais Campagnes d'influence sur les réseaux sociaux innovent souvent au fil du temps pour éviter d'être détectés, en apprenant les plateformes et leurs outils, parfois mieux que les employés des plateformes eux-mêmes. Même si ces campagnes initiales peuvent être modestes ou inefficaces, elles semblent en être encore au stade expérimental, explique Jessica Walton, chercheuse au CyberPeace Institute qui a étudié l'utilisation de l'IA générative par Doppleganger.
Dans ses recherches, le réseau utilisait des profils Facebook semblant réels pour publier des articles, souvent sur des sujets politiques controversés. « Les articles eux-mêmes sont rédigés par une IA générative », dit-elle. « Et surtout, ce qu'ils essaient de faire, c'est de voir ce qui volera, ce que les algorithmes de Meta pourront ou ne pourront pas attraper. »
En d’autres termes, attendez-vous à ce qu’ils s’améliorent à partir de maintenant.