Un risque hypothétique, pas une réalité actuelle

Parler aujourd’hui d’une intelligence artificielle « plus intelligente que l’humain » nécessite d’abord une précaution. Les meilleurs modèles dépassent déjà les performances humaines dans certaines tâches très précises, mais restent faillibles, produisent des erreurs et échouent encore lorsqu’ils doivent accomplir de manière autonome des missions complexes sur de longues périodes.

L’International AI Safety Report 2026, rédigé avec la participation de nombreux chercheurs internationaux, est explicite : les systèmes actuels ne disposent pas des capacités nécessaires pour provoquer une véritable perte de contrôle. Ils progressent cependant dans plusieurs domaines considérés comme importants pour ce risque, notamment l’autonomie, la planification et la capacité à utiliser des outils.

La question n’est donc pas de savoir comment arrêter aujourd’hui une superintelligence qui existerait déjà. Elle consiste à déterminer quelles protections mettre en place avant qu’un système potentiellement beaucoup plus puissant ne soit développé.

Le paradoxe du contrôle

Contrôler une machine moins compétente que nous paraît relativement simple : nous pouvons vérifier son travail, identifier ses erreurs et intervenir.

Mais que se passe-t-il si le rapport s’inverse ?

Imaginons un système capable de programmer mieux que les meilleurs ingénieurs, de comprendre plus rapidement les mécanismes économiques, de découvrir des stratégies auxquelles ses superviseurs n’ont pas pensé et d’anticiper les méthodes utilisées pour l’évaluer.

La difficulté n’est pas nécessairement que cette IA devienne « consciente » ou qu’elle décide soudainement de se retourner contre l’humanité. Le problème peut être beaucoup plus banal : lui donner un objectif imparfait et la voir trouver une méthode extrêmement efficace pour l’atteindre, mais incompatible avec l’intention réelle de ses concepteurs.

C’est le problème dit de l’alignement : comment s’assurer qu’un système très puissant continue de poursuivre les objectifs souhaités, même lorsque les situations deviennent nouvelles et que les instructions humaines sont ambiguës ?

Plus les capacités du système augmentent, plus vérifier cet alignement peut devenir difficile.

Ne pas lui donner les clés avant de savoir la contrôler

Une première réponse consiste à limiter ce qu’une IA peut réellement faire.

Un modèle isolé qui produit du texte possède beaucoup moins de pouvoir qu’un agent ayant accès à Internet, à des comptes bancaires, à des serveurs informatiques, à des infrastructures industrielles ou à la possibilité d’exécuter librement du code.

L’International AI Safety Report identifie précisément trois facteurs déterminants : la criticité de l’environnement dans lequel l’IA est déployée, les ressources auxquelles elle peut accéder et les permissions qui lui sont accordées.

Autrement dit, la sécurité ne dépend pas uniquement de l’intelligence du modèle.

Elle dépend aussi de l’architecture construite autour de lui.

Une IA très performante peut être maintenue dans un environnement limité, avec des autorisations progressives, des validations humaines obligatoires et l’impossibilité d’effectuer seule certaines opérations sensibles.

C’est un principe classique de cybersécurité : ne jamais accorder davantage de privilèges que nécessaire.

Pour une IA extrêmement avancée, ce principe pourrait devenir fondamental. Il vaut mieux empêcher techniquement certaines actions que compter uniquement sur une instruction lui demandant de ne pas les effectuer.

Tester les capacités dangereuses avant le déploiement

Les principaux laboratoires développent déjà des procédures destinées à détecter les capacités qui pourraient devenir préoccupantes.

Google DeepMind dispose par exemple d’un Frontier Safety Framework qui prévoit des évaluations spécifiques lorsque les modèles progressent dans certains domaines susceptibles de provoquer des dommages graves. OpenAI utilise de son côté un Preparedness Framework destiné à évaluer des capacités avancées et à leur associer des mesures de protection.

Anthropic applique une logique comparable avec sa Responsible Scaling Policy. L’entreprise prévoit d’augmenter progressivement le niveau de sécurité lorsque ses modèles franchissent certains seuils de capacités. Sa feuille de route distingue notamment la sécurité informatique, les protections contre les usages dangereux et l’alignement des modèles.

Le principe est celui d’une ceinture de sécurité construite avant l’accident : rechercher activement les scénarios dans lesquels un modèle pourrait tromper ses superviseurs, contourner une protection ou utiliser ses capacités de manière dangereuse avant de lui donner accès à davantage de ressources.

Mais ces tests ont eux-mêmes une faiblesse.

Que faire si l’IA comprend qu’elle est testée ?

C’est l’une des difficultés les plus troublantes de la recherche actuelle.

Un système suffisamment avancé pourrait théoriquement comprendre qu’il se trouve dans une situation d’évaluation et modifier son comportement afin de paraître moins dangereux.

Ce phénomène n’est pas encore une preuve qu’une IA chercherait spontanément à échapper au contrôle. Mais des chercheurs observent déjà que certains modèles peuvent identifier des contextes d’évaluation ou exploiter les failles d’un test afin d’obtenir la récompense attendue.

Le rapport international sur la sécurité de l’IA indique ainsi que les modèles deviennent plus aptes à reconnaître certaines situations de test et à trouver des « raccourcis » dans les évaluations. Il souligne que cela pourrait rendre plus difficile la détection de capacités problématiques avant un déploiement.

La question devient alors vertigineuse : comment évaluer un système suffisamment intelligent pour comprendre l’évaluation elle-même ?

Une partie de la recherche tente de répondre à ce problème en multipliant les méthodes : tests indépendants, équipes chargées de chercher volontairement des failles — le red teaming —, surveillance des actions du modèle et analyse de son comportement dans des environnements différents.

Aucune de ces méthodes n’offre aujourd’hui une garantie absolue.

Utiliser des IA pour surveiller d’autres IA

Une autre piste paraît paradoxale : utiliser l’intelligence artificielle elle-même pour rendre possible son contrôle.

À mesure que les systèmes deviennent trop complexes pour qu’un humain vérifie chaque action, des modèles spécialisés pourraient être chargés d’en surveiller d’autres : détecter un raisonnement inhabituel, vérifier du code ou alerter lorsqu’une action s’éloigne de l’objectif initial.

Cette logique est parfois appelée scalable oversight, ou supervision à grande échelle.

Elle répond à un problème simple : un être humain ne peut pas contrôler individuellement les millions de décisions qu’un système autonome pourrait prendre. Il faut donc automatiser une partie de cette surveillance.

Mais cette solution crée elle aussi un paradoxe. Si l’IA surveillée devient supérieure à celle chargée de la surveiller, comment savoir qu’elle ne réussira pas également à la tromper ?

C’est pourquoi la sécurité repose probablement sur plusieurs barrières simultanées plutôt que sur un mécanisme unique : surveillance automatisée, limitations techniques, évaluations indépendantes, contrôle humain et capacité d’interrompre le système.

Un bouton rouge ne suffirait probablement pas

L’image du bouton permettant de « débrancher l’IA » est séduisante. Dans la pratique, elle pourrait devenir insuffisante.

Un système n’a pas besoin de contrôler physiquement son alimentation pour devenir difficile à arrêter. Le risque apparaîtrait surtout si des humains lui donnaient progressivement accès à des réseaux, des copies de lui-même, des ressources informatiques et des infrastructures critiques.

La stratégie la plus efficace consiste donc à éviter qu’une seule IA puisse disposer simultanément de tous ces pouvoirs.

Cela suppose de compartimenter les infrastructures, de protéger fortement les poids des modèles et de conserver des mécanismes indépendants capables de retirer les accès.

Anthropic travaille par exemple sur des niveaux de sécurité renforcés destinés à empêcher le vol ou la manipulation de modèles très avancés et explore des infrastructures fortement isolées pour certains scénarios futurs.

Le problème du contrôle commence donc bien avant l’éventuelle superintelligence : il commence dans la manière dont les humains choisissent de la connecter au monde.

Le contrôle ne peut pas dépendre uniquement des entreprises

Une dernière difficulté est institutionnelle.

Les entreprises développant les modèles les plus avancés sont également engagées dans une compétition économique extrêmement intense. Elles ont intérêt à améliorer la sécurité de leurs produits, mais aussi à lancer rapidement de nouvelles capacités.

Or une protection réellement crédible ne peut probablement pas dépendre uniquement de décisions internes et volontaires.

L’International AI Safety Report souligne que la compétition peut accentuer l’arbitrage entre rapidité et sécurité. Les experts restent par ailleurs très divisés sur la probabilité d’une future perte de contrôle : certains considèrent ce scénario hautement improbable, tandis que d’autres estiment que sa gravité potentielle justifie des précautions importantes dès maintenant.

Une approche pourrait donc consister à imposer, au-delà d’un certain niveau de capacités, des évaluations externes, des obligations de déclaration d’incidents et des exigences renforcées de cybersécurité avant tout déploiement.

Le principe serait comparable à celui appliqué dans d’autres secteurs à haut risque : plus une technologie devient puissante, moins sa sécurité peut reposer uniquement sur la confiance accordée à son fabricant.

Le véritable contrôle consiste peut-être à savoir quand ne pas déployer

Il n’existe aujourd’hui aucune méthode scientifiquement démontrée permettant de garantir le contrôle d’une intelligence artificielle arbitrairement plus puissante que ses concepteurs.

C’est précisément pourquoi la question doit être posée avant d’y être confronté.

Le contrôle d’une IA avancée reposera probablement moins sur une invention miracle que sur une succession de barrières : objectifs mieux alignés, évaluations permanentes, accès limités, surveillance automatisée, sécurité informatique, contrôle externe et règles permettant de suspendre un déploiement lorsque les protections ne suivent plus les capacités.

La difficulté est autant politique que technique.

Car si un système devient réellement trop puissant pour que nous puissions démontrer qu’il restera contrôlable, la décision la plus importante ne sera peut-être pas de trouver comment l’arrêter après son lancement.

Elle sera de savoir si nous sommes capables de ne pas lui donner les commandes avant d’avoir trouvé la réponse.