Appel à freiner l’AGI par plafonds de calcul et régulation

Le 5 mars 2025, un long essai publié sur arXiv défend une position de gouvernance explicite contre la poursuite de l’AGI. Le texte propose de “fermer les portes” à l’AGI et surtout à la superintelligence. Il soutient qu’il faut privilégier des systèmes d’IA outils, puissants mais contrôlables. L’auteur définit l’AGI par l’intersection de trois propriétés. Il cite une forte autonomie, une forte généralité et une forte intelligence. Le texte affirme que les systèmes actuels approchent déjà certains seuils de généralité et de performance cognitive. Il avance aussi que les timelines se sont raccourcies, en s’appuyant sur les lois d’échelle, les investissements industriels, l’essor des agents et la contribution croissante de l’IA à sa propre amélioration. Sur le plan politique, il propose quatre leviers. Il recommande la comptabilité du calcul, c’est-à-dire la mesure du compute. Il propose aussi des plafonds de calcul, une responsabilité juridique stricte pour les systèmes dangereux et une régulation par niveaux de risque.

Ce texte importe moins comme preuve technique que comme articulation structurée d’un programme de gouvernance anti-AGI. Il ne vient pas d’un laboratoire commercial. Il exprime donc une autre famille de réponses au raccourcissement des timelines annoncé par les acteurs frontier. Là où certains laboratoires disent vouloir construire l’AGI de manière responsable, l’essai soutient qu’il faut limiter délibérément la trajectoire elle-même. Dans le récit AGI, ce genre de texte marque une bascule. Le débat ne porte plus seulement sur la sécurité de modèles plus puissants. Il porte sur la légitimité du projet AGI comme tel. L’essai relie la gouvernance aux chaînes d’approvisionnement matérielles, en particulier aux puces spécialisées. Cela rend la proposition plus concrète que des appels généraux à la prudence. Mais il repose aussi sur des hypothèses fortes. Il suppose qu’un contrôle du calcul est faisable, vérifiable et politiquement soutenable. Il suppose aussi qu’on peut distinguer des systèmes utiles et contrôlables de systèmes franchissant une ligne d’autonomie trop dangereuse. La question ouverte reste donc politique autant que technique. Peut-on encore orienter la trajectoire vers des outils limités, alors que les incitations industrielles poussent vers plus d’autonomie et de généralité ?