La lettre des législateurs affirme également que le NIST est pressé de définir des normes, même si la recherche sur les tests des systèmes d'IA en est à ses débuts. En conséquence, il existe un « désaccord important » entre les experts en IA sur la manière de travailler, voire de mesurer et de définir les problèmes de sécurité liés à la technologie, indique-t-il. « L'état actuel du domaine de la recherche sur la sécurité de l'IA crée des défis pour le NIST alors qu'il joue son rôle de leader sur la question », affirme la lettre.
La porte-parole du NIST, Jennifer Huergo, a confirmé que l'agence avait reçu la lettre et a déclaré qu'elle « répondrait par les canaux appropriés ».
Le NIST prend des mesures pour accroître la transparence, notamment en émettant un demande d'information le 19 décembre, sollicitant l'avis d'experts externes et d'entreprises sur les normes d'évaluation et de red-teaming des modèles d'IA. On ne sait pas s'il s'agissait d'une réponse à la lettre envoyée par les membres du Congrès.
Les préoccupations soulevées par les législateurs sont partagées par certains experts en IA qui ont passé des années à développer des moyens de sonder les systèmes d’IA. « En tant qu'organisme scientifique non partisan, le NIST est le meilleur espoir de mettre un terme au battage médiatique et aux spéculations autour des risques liés à l'IA », déclare Rumman Chowdhury, data scientist et PDG de Conseil en parité qui se spécialise dans tester les modèles d'IA pour détecter les biais et autres problèmes. « Mais pour bien faire leur travail, ils ont besoin de plus que des mandats et des vœux. »
Yacine Jernité, responsable de l'apprentissage automatique et de la société chez Hugging Face, une entreprise qui soutient des projets d'IA open source, affirme que les grandes technologies disposent de bien plus de ressources que l'agence qui joue un rôle clé dans la mise en œuvre de l'ambitieux plan d'IA de la Maison Blanche. « Le NIST a accompli un travail remarquable pour aider à gérer les risques liés à l'IA, mais la pression exercée pour trouver des solutions immédiates aux problèmes à long terme rend leur mission extrêmement difficile », déclare Jernite. « Ils disposent de beaucoup moins de ressources que les entreprises qui développent le plus de ressources. systèmes d’IA visibles.
Margaret Mitchell, scientifique en chef de l'éthique chez Hugging Face, déclare que secret croissant autour des modèles d’IA commerciaux rend la mesure plus difficile pour une organisation comme le NIST. « Nous ne pouvons pas améliorer ce que nous ne pouvons pas mesurer », dit-elle.
Le décret de la Maison Blanche appelle le NIST à accomplir plusieurs tâches, notamment la création d'un nouvel institut de sécurité de l'intelligence artificielle pour soutenir le développement d'une IA sûre. En avril, un groupe de travail britannique axé sur la sécurité de l'IA a été créé. annoncé. Il recevra 126 millions de dollars de financement de démarrage.
Le décret a donné au NIST un délai serré pour élaborer, entre autres, des lignes directrices pour l'évaluation des modèles d'IA, des principes pour Modèles de « red-teaming » (tests contradictoires)élaborant un plan pour amener les pays alliés des États-Unis à accepter les normes du NIST et élaborant un plan pour « faire progresser les normes techniques mondiales responsables pour le développement de l’IA ».
Bien qu'il ne soit pas clair comment le NIST s'engage avec les grandes entreprises technologiques, les discussions sur le cadre de gestion des risques du NIST, qui ont eu lieu avant l'annonce du décret, ont impliqué Microsoft ; Anthropic, une startup formée par d'anciens employés d'OpenAI qui construit des modèles d'IA de pointe ; Partenariat sur l’IA, qui représente les grandes entreprises technologiques ; et le Future of Life Institute, une organisation à but non lucratif dédiée, entre autres, au risque existentiel.
« En tant que spécialiste des sciences sociales quantitatives, j'aime et je déteste que les gens se rendent compte que le pouvoir réside dans la mesure », déclare Chowdhury.