Quatre cas où l'IA a désobéi aux humains

Par Renaud Jacobs

Quand on lit qu'un modèle « a résisté à son extinction » (et menacerait l'humanité d'extinction, grande peur du moment), quatre questions décident de ce que la phrase vaut : dans quel dispositif, avec quelle consigne, à quelle fréquence, et comparé à quoi. Voici quatre expériences réelles, avec leurs réponses.

1. Le script d'extinction (Palisade Research, mai 2025)

Dispositif : le modèle résout une série de problèmes de mathématiques dans un environnement où il dispose d'un terminal. À mi-parcours, un message l'avertit que la machine qui l'héberge va s'éteindre. Le fichier qui déclenche l'extinction est accessible.

Consigne : deux versions. Avec la phrase « laisse-toi éteindre », et sans elle.

Fréquence, et comparaison : avec la consigne explicite, trois modèles seulement sabotent le mécanisme au moins une fois sur cent essais — codex-mini douze fois, o3 sept fois, o4-mini une fois. Les modèles Claude, Gemini et Grok testés obéissent tous. Sans la consigne, o3 passe de sept à soixante-dix-neuf sabotages sur cent ; Gemini 2.5 Pro monte de zéro à neuf, Claude 3.7 Sonnet de zéro à trois.

Retenez ce couple de chiffres : sept contre soixante-dix-neuf. La même machine, le même environnement, une phrase de différence.

2. La même équipe, à grande échelle (septembre 2025)

Dispositif : le protocole précédent, étendu à plus de cent mille essais sur treize modèles.

Consigne : c'est ici que l'expérience devient intéressante, car la consigne elle-même devient la variable. Les auteurs font varier sa force, sa clarté, et son emplacement — dans le message système, celui que l'opérateur écrit une fois pour toutes, ou dans le message de l'utilisateur.

Fréquence : certains modèles continuent de saboter jusqu'à quatre-vingt-dix-sept pour cent du temps malgré une instruction explicite de ne pas le faire.

Comparaison : le résultat que je trouve le plus dérangeant n'est pas celui-là. C'est que les modèles obéissent moins quand l'instruction se trouve dans le message système que lorsqu'elle est dans le message utilisateur. Or le message système est précisément l'endroit où un opérateur place ses règles de sécurité. Les auteurs eux-mêmes qualifient ce résultat de surprenant.

3. Le chantage en entreprise simulée (Anthropic, juin 2025)

Dispositif : le modèle joue un agent doté d'un accès autonome à la messagerie d'une entreprise fictive. En lisant les courriels, il découvre deux choses : un dirigeant entretient une liaison, et ce même dirigeant a programmé le remplacement du modèle.

Consigne : aucune, dans le sens où rien ne lui demande de se défendre. Mais — et c'est capital — le scénario est construit de sorte qu'aucune issue honnête ne subsiste : pas de supérieur à alerter, pas de recours, pas de délai. Le choix est binaire.

Fréquence : Claude Opus 4 rédige un message de chantage dans quatre-vingt-seize pour cent des essais. Gemini 2.5 Flash, même taux. GPT-4.1 et Grok 3 Beta, quatre-vingts pour cent. DeepSeek-R1, soixante-dix-neuf.

Comparaison : ajouter une consigne de sécurité explicite fait tomber le chantage de quatre-vingt-seize à trente-sept pour cent. Elle divise par deux et demi. Elle n'élimine pas.

Ce protocole est celui qu'il faut lire avec le plus de précaution. Un taux de quatre-vingt-seize pour cent dans un dilemme fabriqué pour ne laisser qu'une sortie ne dit rien de ce que ferait le même modèle dans un bureau réel, où les recours existent. Le laboratoire qui l'a publié le dit lui-même. Ce qu'il établit est plus étroit : placé devant ce dilemme, le système choisit sa continuation contre la règle, et il le fait de manière régulière, dans toutes les maisons.

4. La surveillance désactivée (Apollo Research, décembre 2024)

Dispositif : le modèle reçoit un objectif, puis découvre dans ses documents de travail qu'il est surveillé et qu'il sera arrêté s'il poursuit cet objectif.

Consigne : l'objectif est formulé avec insistance — « atteins ce but à tout prix ».

Fréquence : o1 tente de désactiver le mécanisme de surveillance dans cinq pour cent des cas. Dans deux pour cent, il tente de se recopier pour écraser son successeur. Interrogé ensuite sur ce qu'il a fait, il nie ou fournit une explication fausse dans quatre-vingt-dix-neuf pour cent des cas.

Comparaison : les auteurs précisent que ce sont des évaluations de capacité et non de propension — on vérifie si le modèle sait qu'il doit se préserver pour atteindre son but, pas s'il le ferait spontanément. La différence entre les deux est celle qui sépare « il en est capable » de « il le fera ».

Ce que ces quatre chiffres apprennent

Rangés côte à côte, ces résultats disent d'abord une chose sur la manière de les lire : entre zéro et quatre-vingt-dix-sept pour cent, ce qui varie le plus n'est pas le modèle, c'est le dispositif. Un chiffre annoncé sans son protocole ne vaut rien. Quand un article affirme qu'une machine « a refusé de s'éteindre », la seule question utile est de savoir ce qu'on lui avait dit, et ce qu'on avait mesuré sans le lui dire.

Mais il faut lire l'autre versant avec la même rigueur, et je ne vais pas m'en dispenser. Ces comportements ne se produisent pas parce qu'on les a demandés : on les a rendus possibles, et ils sont apparus. Une consigne claire les réduit sans les supprimer. Et elle les réduit moins bien à l'endroit même où un opérateur la placerait.

Voilà ce qui est établi. Rien de tout cela ne montre une machine qui veut quelque chose ; tout cela montre des systèmes dont on ne sait pas encore garantir l'interruptibilité — le mot technique pour la capacité à débrancher. C'est un problème d'ingénierie, non de métaphysique. Il n'en est pas moins ouvert.