L’équipe d’OpenAI chargée de protéger l’humanité n’existe plus

L'ancien dirigeant a démissionné, alléguant que les préoccupations de sécurité étaient reléguées au second plan au profit de produits attractifs. Pourrait-il y avoir une menace à la sécurité à cause de cela ?

L’effondrement de l’équipe de “Superalignment” d’OpenAI

En 2023, OpenAI a constitué une équipe d’élite : celle de “Superalignment”, dans le but de maitriser des systèmes d’intelligence artificielle à l’avenir potentiellement si puissants qu’ils pourraient menacer l’existence humaine. Moins d’un an plus tard, l’équipe a été dissoute.

Selon une annonce faite à Bloomberg, OpenAI prétend que cette décision a été prise afin d’« intégrer l’équipe plus profondément dans les efforts de recherche » de l’entreprise pour atteindre ses objectifs de sécurité. Cependant, une série de tweets révélatrices de Jan Leike, un des leaders de l’équipe qui a récemment démissionné, dévoile des tensions internes entre l’équipe de sécurité et le reste de la compagnie.

Un combat pour les ressources et une démission fracassante

Dans un communiqué publié sur X, Leike a déclaré que l’équipe de Superalignment se battait pour obtenir les ressources nécessaires à la réalisation de ses recherches. « Construire des machines plus intelligentes que l’homme est une entreprise intrinsèquement dangereuse », écrit Leike. « OpenAI porte une responsabilité énorme au nom de toute l’humanité. Mais au cours des dernières années, la culture et les processus de sécurité ont été relégués au second plan par des produits brillants.» OpenAI n’a pas immédiatement répondu à une demande de commentaire d’Engadget.

La démission de Leike est survenue quelques heures après l’annonce du départ du chef scientifique de la société, Sutskevar, co-fondateur de la compagnie.

Une série de départs au sein de l’équipe

Outre Leike et Sutskevar, l’équipe de Superalignment a connu d’autres départs. En avril, deux chercheurs, Leopold Aschenbrenner et Pavel Izmailov, ont été renvoyés pour avoir soi-disant divulgué des informations.

OpenAI a annoncé que le co-fondateur John Schulman, dont les recherches se concentrent sur les grands modèles de langage, dirigerait ses futurs efforts de sécurité. Jakub Pachocki, un directeur qui a dirigé le développement de GPT-4, l’un des principaux grands modèles de langage d’OpenAI, remplacerait Sutskevar en tant que chef scientifique.

La sécurité de l’IA reste une priorité pour OpenAI

Bien que l’équipe de Superalignment soit démantelée, OpenAI continue de se concentrer sur la sécurité de l’intelligence artificielle. En octobre, l’entreprise a créé une nouvelle équipe de “préparation” pour prévenir les risques potentiels “catastrophiques” des systèmes d’IA, y compris les enjeux de cybersécurité et les menaces chimiques, nucléaires et biologiques.