Au cours de l’année écoulée, l’industrie a permis des avancées significatives dans les capacités de l’IA. À mesure que ces progrès s’accélèrent, de nouvelles recherches universitaires sur la sécurité de l’IA sont nécessaires. Pour combler cette lacune, le Forum et ses partenaires philanthropiques créent un nouveau Fonds pour la sécurité de l'IA, qui soutiendra les chercheurs indépendants du monde entier affiliés à des établissements universitaires, des instituts de recherche et des startups. L'engagement financier initial pour l'AI Safety Fund provient d'Anthropic, Google, Microsoft et OpenAI, ainsi que de la générosité de nos partenaires philanthropiques, la Fondation Patrick J. McGovern, la Fondation David et Lucile Packard.(^note de bas de page-1), Eric Schmidt et Jaan Tallinn. Au total, cela représente plus de 10 millions de dollars de financement initial. Nous attendons des contributions supplémentaires de la part d'autres partenaires.
Plus tôt cette année, les membres du Forum ont signé à la Maison Blanche des engagements volontaires en matière d'IA, notamment un engagement à faciliter la découverte et le signalement par des tiers des vulnérabilités de nos systèmes d'IA. Le Forum considère le Fonds pour la sécurité de l’IA comme un élément important du respect de cet engagement en fournissant à la communauté externe un financement pour mieux évaluer et comprendre les systèmes frontaliers. Le débat mondial sur la sécurité de l’IA et la base de connaissances générale sur l’IA bénéficiera d’un plus large éventail de voix et de perspectives.
L’objectif principal du Fonds sera de soutenir le développement de nouvelles évaluations de modèles et de nouvelles techniques pour les modèles d’IA d’équipe rouge afin d’aider à développer et à tester des techniques d’évaluation des capacités potentiellement dangereuses des systèmes frontières. Nous pensons qu’un financement accru dans ce domaine contribuera à relever les normes de sûreté et de sécurité et à fournir un aperçu des mesures d’atténuation et de contrôle dont l’industrie, les gouvernements et la société civile ont besoin pour répondre aux défis présentés par les systèmes d’IA.
Le Fonds lancera un appel à propositions dans les prochains mois. Le Meridian Institute administrera le Fonds. Leur travail sera soutenu par un comité consultatif composé d'experts externes indépendants, d'experts de sociétés d'IA et de personnes ayant de l'expérience dans l'octroi de subventions.