Anthropic lance un programme pour financer le développement de nouveaux types de benchmarks capables d'évaluer les performances et l'impact des modèles d'IA, y compris des modèles génératifs comme le sien Claude .
Dévoilé lundi, le programme d'Anthropic distribuera des paiements à des organisations tierces qui peuvent, comme le dit l'entreprise dans un article de blog, « mesurer efficacement les capacités avancées des modèles d'IA ». Les personnes intéressées peuvent soumettre des candidatures qui seront évaluées sur une base continue.
"Notre investissement dans ces évaluations vise à élever l'ensemble du domaine de la sécurité de l'IA, en fournissant des outils précieux qui profitent à l'ensemble de l'écosystème", a écrit Anthropic sur son blog officiel. « Développer des évaluations de haute qualité et pertinentes en matière de sécurité reste un défi, et la demande dépasse l'offre. »
Comme nous l’avons souligné précédemment, l’IA a un problème d’analyse comparative. Les critères d’évaluation de l’IA les plus couramment cités aujourd’hui ne parviennent pas à comprendre comment une personne moyenne utilise réellement les systèmes testés. On peut également se demander si certains critères, en particulier ceux publiés avant l’aube de l’IA générative moderne, mesurent même ce qu’ils prétendent mesurer, compte tenu de leur âge.
La solution de très haut niveau, plus difficile qu'il n'y paraît, proposée par Anthropic crée des références difficiles en mettant l'accent sur la sécurité de l'IA et les implications sociétales via de nouveaux outils, infrastructures et méthodes.
L'entreprise réclame spécifiquement des tests qui évaluent la capacité d'un modèle à accomplir des tâches telles que mener des cyberattaques, « améliorer » des armes de destruction massive (par exemple des armes nucléaires) et manipuler ou tromper des personnes (par exemple par des deepfakes ou de la désinformation). Pour les risques liés à l'IA liés à la sécurité nationale et à la défense, Anthropic affirme s'être engagé à développer une sorte de « système d'alerte précoce » pour identifier et évaluer les risques, bien qu'il ne révèle pas dans le billet de blog ce qu'un tel système pourrait impliquer.
Anthropic affirme également que son nouveau programme vise à soutenir la recherche sur des références et des tâches « de bout en bout » qui sondent le potentiel de l'IA pour faciliter les études scientifiques, converser dans plusieurs langues et atténuer les préjugés enracinés, ainsi que l'autocensure de la toxicité.
Pour réaliser tout cela, Anthropic envisage de nouvelles plates-formes permettant aux experts en la matière de développer leurs propres évaluations et des essais de modèles à grande échelle impliquant des « milliers » d’utilisateurs. L'entreprise affirme avoir embauché un coordinateur à temps plein pour le programme et qu'elle pourrait acheter ou étendre des projets qui, selon elle, ont le potentiel d'évoluer.
"Nous proposons une gamme d'options de financement adaptées aux besoins et à l'étape de chaque projet", écrit Anthropic dans le message, bien qu'un porte-parole d'Anthropic ait refusé de fournir plus de détails sur ces options. "Les équipes auront l'opportunité d'interagir directement avec les experts du domaine d'Anthropic de l'équipe Frontier Red, de réglage fin, de confiance et de sécurité et d'autres équipes concernées."
Les efforts d'Anthropic pour prendre en charge de nouvelles références en matière d'IA sont louables – à condition, bien sûr, qu'il y ait suffisamment d'argent et de main d'œuvre derrière cela. Mais étant donné les ambitions commerciales de l’entreprise dans la course à l’IA, il pourrait être difficile de lui faire entièrement confiance.
Dans le billet de blog, Anthropic est plutôt transparent sur le fait qu'il souhaite que certaines évaluations qu'il finance s'alignent sur les classifications de sécurité de l'IA qu'il a développées (avec la contribution de tiers comme l'organisation à but non lucratif de recherche sur l'IA METR). C'est tout à fait dans la prérogative de l'entreprise. Mais cela peut également forcer les candidats au programme à accepter des définitions d’IA « sûre » ou « risquée » avec lesquelles ils pourraient ne pas être d’accord.
Une partie de la communauté de l'IA est également susceptible de contester les références d'Anthropic aux risques « catastrophiques » et « trompeurs » de l'IA, comme les risques liés aux armes nucléaires. De nombreux experts affirment qu'il existe peu de preuves suggérant que l'IA, car nous savons qu'elle acquerra des capacités de fin du monde et de déjouement de l'humain dans un avenir proche, voire jamais. Les allégations d’une « superintelligence » imminente ne servent qu’à détourner l’attention des questions urgentes de réglementation de l’IA du moment, comme les tendances hallucinatoires de l’IA , ajoutent ces experts.
Dans son article, Anthropic écrit qu’elle espère que son programme servira de « catalyseur de progrès vers un avenir où l’évaluation complète de l’IA sera une norme de l’industrie ». C’est une mission à laquelle peuvent s’identifier de nombreux efforts ouverts et non affiliés aux entreprises pour créer de meilleures références en matière d’IA. Mais il reste à voir si ces efforts seront prêts à s’associer à un fournisseur d’IA dont la loyauté repose en fin de compte sur les actionnaires.