OpenAI monte une équipe pour lutter contre les systèmes d’IA superintelligents
OpenAI, une organisation à la pointe de la recherche et du développement en IA, a récemment annoncé la formation d’une équipe dédiée à la gestion des risques associés à l’IA superintelligente. Cette initiative marque une étape importante dans la quête de maîtrise de l’IA, un sujet qui suscite à la fois l’enthousiasme et l’inquiétude.
Qu’est ce que la Superintelligence ?
La superintelligence est un concept qui fait référence à un modèle d’intelligence artificielle hypothétique surpassant les capacités cognitives des humains les plus doués. Elle ne se limite pas à exceller dans un seul domaine d’expertise, comme c’est le cas pour de nombreux modèles d’IA actuels, mais elle excelle dans plusieurs domaines. Cette polyvalence et cette capacité à dépasser les performances humaines dans diverses disciplines font de la superintelligence un sujet de fascination et de préoccupation.
OpenAI estime qu’une telle superintelligence pourrait voir le jour avant la fin de la décennie. L’organisation reconnaît le potentiel considérable de la superintelligence pour résoudre des problèmes mondiaux majeurs, tels que le changement climatique, les maladies incurables ou la pauvreté. Cependant, elle souligne également les risques significatifs associés à son développement. En effet, la puissance immense de la superintelligence pourrait entraîner un déséquilibre du pouvoir humain, voire une extinction de l’humanité si elle n’est pas correctement contrôlée et régulée.
Une équipe de recherche dédiée
Face à ces défis, OpenAI a formé une équipe de recherche dédiée à la gestion des risques associés à la superintelligence.
Cette équipe sera co-dirigée par Ilya Sutskever et Jan Leike. Ces deux chercheurs de renom apporteront leur expertise et leur vision pour développer des stratégies et des outils visant à minimiser les risques associés à la superintelligence. L’équipe de recherche aura pour mission de développer des méthodes pour garantir que la superintelligence est sûre à utiliser et alignée sur les valeurs humaines. L’équipe travaillera également à anticiper et à prévenir les scénarios potentiellement dangereux qui pourraient découler de l’utilisation de l’IA superintelligente.
Pour soutenir les efforts de cette équipe de recherche, OpenAI a annoncé qu’elle consacrera 20% de sa puissance de calcul actuelle à l’initiative de gestion des risques de la superintelligence.
L’un des objectifs principaux de l’équipe de recherche est de développer un chercheur d’alignement automatique.Ce système serait capable d’analyser et de comprendre les modèles d’IA superintelligents, d’identifier les risques potentiels et de proposer des solutions pour les atténuer.
OpenAI reconnaît que cet objectif est ambitieux. Cependant, l’organisation reste optimiste quant à sa réalisation. Elle souligne qu’il existe de nombreuses idées prometteuses qui ont montré leur efficacité dans des expériences préliminaires. De plus, OpenAI dispose de métriques de plus en plus utiles pour mesurer les progrès dans ce domaine. Enfin, l’organisation peut utiliser les modèles d’IA actuels pour étudier de manière empirique les problèmes potentiels posés par la superintelligence.
Transparence et collaboration
OpenAI s’est engagée à partager une roadmap de ses recherches et initiatives concernant la gestion des risques de la superintelligence. Cette transparence vise à favoriser la collaboration et à garantir que la communauté de l’IA dans son ensemble puisse contribuer au développement de mesures de sécurité robustes.
La régulation de l’IA
L’annonce d’OpenAI intervient dans un contexte de discussions en cours dans le monde entier sur la manière de réguler l’industrie naissante de l’IA. Sam Altman, le PDG d’OpenAI, a rencontré de nombreux législateurs fédéraux aux États-Unis, exprimant la volonté de l’organisation de travailler avec les décideurs politiques et soulignant l’importance de la régulation de l’IA.
Source : OpenAI
