Dans ses temps libres, Tony Eastin aime se lancer en bourse. Un jour de l’année dernière, il a recherché sur Google une société pharmaceutique qui semblait être un investissement prometteur. L'un des premiers résultats de recherche affichés par Google dans son onglet Actualités était répertorié comme provenant du Registre du comté de Clayton, un journal du nord-est de l'Iowa. Il a cliqué et a lu. L’histoire était tronquée et dépourvue d’informations utiles – tout comme tous les autres articles sur le thème de la finance qui remplissaient le site, qui n’avaient absolument rien à voir avec le nord-est de l’Iowa. «J'ai tout de suite su qu'il y avait quelque chose qui n'allait pas», dit-il. Il y a beaucoup de cochonneries sur Internet, mais cela a semblé étrange à Eastin : pourquoi un petit journal du Midwest publierait-il des articles de blog merdiques sur l'investissement de détail ?
Eastin était prêt à trouver les mystères en ligne irrésistibles. Après des années passées dans l'US Air Force à travailler sur des campagnes de guerre psychologique, il avait rejoint Meta où il enquêtait sur des méchancetés allant de la maltraitance des enfants aux opérations d'influence politique. Il était maintenant entre deux boulots et se réjouissait d'une nouvelle mission. Eastin a donc contacté Sandeep Abraham, un ami et ancien collègue du Meta qui travaillait auparavant dans le renseignement de l'armée et pour la NSA, et lui a suggéré de commencer à creuser.
Ce que les deux hommes ont découvert donne un aperçu de la façon dont l’IA générative permet de nouveaux modèles commerciaux en ligne trompeurs. Des réseaux de sites Web remplis d'appâts à clics générés par l'IA sont construits par s'attaquer à la réputation des médias et des marques établis. Ces médias prospèrent en confondant et en trompant le public et les annonceurs, en « squattant des domaines » sur des URL qui appartenaient autrefois à des organisations plus réputées. Le site crasseux auquel Eastin faisait référence n'appartenait plus au journal dont il portait encore le nom.
Bien qu'Eastin et Abraham soupçonnent que le réseau RegistreL'ancien site dont fait désormais partie a été créé avec des objectifs simples de gagner de l'argent, ils craignent que davantage d'acteurs malveillants puissent utiliser le même genre de tactiques pour diffuser la désinformation et la propagande dans les résultats de recherche. « C'est extrêmement menaçant », dit Abraham. « Nous voulons tirer la sonnette d'alarme. » À cette fin, le couple a a publié un rapport sur leurs découvertes et prévoient d'en publier davantage à mesure qu'ils approfondissent le monde du clickbait de l'IA, en espérant que leurs efforts de temps libre pourront aider à sensibiliser le public ou les législateurs à ce problème.
Fausses nouvelles
Le Registre du comté de Clayton a été fondée en 1926 et couvrait la petite ville d'Ekader, dans l'Iowa, et le comté plus large de Clayton, nichés contre le fleuve Mississippi, dans le coin nord-est de l'État. « C'était un journal populaire », déclare l'ancien coéditeur Bryce Durbin, qui se décrit comme « dégoûté » par ce qui est maintenant publié sur son ancienne adresse Web, Claytoncountyregister.com. (Le vrai Registre du comté de Clayton fusionné en 2020 avec Le temps du nord de l'Iowa devenir le Horaires-Registre qui publie à un site différent. On ne sait pas exactement comment le journal a perdu le contrôle de son domaine Web ; le Horaires-Registre n'a pas répondu aux demandes de commentaires.)
Comme Eastin l'a découvert en essayant de rechercher son stock pharmaceutique, le site se présente toujours sous le nom de Clayton County Register, mais n'offre plus d'actualités locales et est plutôt une usine de contenu d'actualités financières. Il publie ce qui semble être des articles générés par l'IA sur les cours des actions des sociétés de services publics et des startups Web3, illustrés par des images qui sont également apparemment générées par l'IA.
« Non seulement les articles que nous avons examinés sont générés par l'IA, mais les images incluses dans chaque article ont toutes été créées à l'aide de modèles de diffusion », explique Ben Colman, PDG de la startup de détection de deepfake Reality Defender, qui a analysé plusieurs articles à la demande de WIRED. . En plus de cette confirmation, Abraham et Eastin ont remarqué que certains articles contenaient des textes admettant leurs origines artificielles. « Il est important de noter que ces informations ont été générées automatiquement par Automated Insights », indiquent certains articles, citant une entreprise qui propose une technologie de génération de langage.