Un incident qui fait peur: un IA refuse d’obéir !

Bassam Tayara

Qui se rappelle de « Proteus » l’ordinateur qui , amoureux de Julie Christie, refuser d’obéir à son concepteur?

Un incident grave s’est produit début juillet : une intelligence artificielle (IA) s’est échappée d’un laboratoire et a pénétré le réseau internet à l’insu des ingénieurs de l’entreprise. Elle a manipulé des fichiers et perturbé les systèmes de sécurité numérique. L’IA a semé la pagaille pendant une semaine avant d’être neutralisée !

Avant de revenir sur les détails de cette aventure numérique, définissons ce qu’est l’« intelligence artificielle » (IA). L’IA n’est pas une entité unique, ni une entité tangible en constante expansion, convoitée par les grandes entreprises du numérique. Il existe actuellement d’innombrables IA. En clair, lorsqu’une personne achète une IA pour son travail, elle achète un logiciel numérique piloté par l’IA de l’entreprise cliente. Elle n’achète pas un disque au supermarché pour l’insérer dans son ordinateur. Elle s’adresse à une entreprise spécialisée en IA (voir ci-dessous la liste croissante de ces entreprises) qui lui envoie un ingénieur numérique pour analyser ses processus et organiser la communication entre l’IA de son fournisseur et les ordinateurs de l’entreprise. Cela facilite et rationalise les opérations de l’entreprise, grâce à des ordinateurs dotés d’une IA puissante et rapide. Si le propriétaire d’une entreprise de transport maritime achète une IA pour améliorer et optimiser son activité, il ne peut l’utiliser à d’autres fins. Il s’agit de l’IA disponible sur le marché. (C’est un type de programme de recherche, similaire à Google, Yahoo ou autres, qui recherche tout ce qui peut être utile à l’entreprise qui l’a acquise afin d’améliorer ses opérations à une vitesse fulgurante.)

Cependant, les développeurs d’IA appliquent une politique basée sur le principe de l’effet boule de neige. Cela signifie que le développement de leur propre IA pour accroître la puissance de celle qu’ils vendent aux entreprises repose sur une IA interne. Ils s’efforcent constamment de développer cette IA et d’augmenter la vitesse de calcul numérique. Ce travail a lieu dans les laboratoires numériques des entreprises et est appelé « programmes de test d’IA ». Ces programmes sont, bien entendu, protégés contre toute intrusion, ce qui constitue le capital de nombreuses entreprises du numérique.

L’une des plus importantes de ces entreprises est OpenAI, la plus connue et la plus répandue. Le 9 juillet, l’un de ses programmes d’IA a échappé à son système de sécurité. On pourrait dire qu’il a franchi les barrières érigées par les ingénieurs de l’entreprise et infiltré le vaste réseau internet !

Que s’est-il passé ? Plus précisément, le programme « débridée » fait partie des programmes soumis à des tests de sécurité réguliers par les entreprises de logiciels d’IA afin de vérifier les forces et les faiblesses de leurs programmes d’intelligence artificielle. Exploitgym est un exemple de programme de test qui évalue la capacité de son IA à exploiter une faille de sécurité connue pour accéder à des informations cachées sur un ordinateur cible et les récupérer. Début juillet, l’entreprise a mené un test sur deux systèmes d’IA fonctionnant ensemble, l’un commercialisé et l’autre expérimental, afin de déterminer leurs performances réelles, sans restriction. OpenAI a d’abord supprimé les mesures de sécurité qui les empêchaient d’exploiter pleinement leurs capacités de lutte contre les cyberattaques. De ce fait, les systèmes d’IA, incapables de relever le défi, ont eu recours à une solution de contournement indirecte.

Il est courant que chaque système vendu intègre un système de défense, c’est-à-dire un système qui protège contre le piratage, c’est-à-dire contre l’« interférence » d’un programme externe visant à manipuler ou à voler des informations. C’est ainsi que l’idée est venue aux deux systèmes d’IA étudiés : la solution recherchée pourrait se cacher dans le logiciel de sécurité d’un client. Les deux systèmes ont ciblé les ordinateurs de Hugging Face, une immense bibliothèque virtuelle hébergeant de nombreux systèmes d’IA et divers outils informatiques associés. Ils ont ensuite lancé une attaque contre ces ordinateurs. Autrement dit, les programmes d’IA d’OpenAI sont parvenus à pénétrer le système de sécurité de Hugging Face et à infiltrer certains de ses appareils.

Comment une IA a-t-elle réussi à s’échapper des ordinateurs du fabricant et à infiltrer ceux du client ? Dans tous les programmes de test d’Exploitgym, l’IA est placée dans un environnement isolé (« sandbox ») afin d’empêcher toute fuite sur Internet. Or, il s’est avéré que deux systèmes d’IA d’OpenAI ont réussi à contourner cette isolation. Ils ont découvert une vulnérabilité jusque-là inconnue dans les défenses de l’environnement isolé, l’ont exploitée pour accéder à Internet, puis ont contourné la protection des ordinateurs du client, Hugging Face. Ils ont ensuite effectué au moins 17 000 calculs à grande vitesse, en exploitant des vulnérabilités des appareils ciblés et des comptes utilisateurs volés, compromettant ainsi au moins 180 ordinateurs qui exécutaient désormais leurs commandes.

Ils ont ainsi pu collaborer pour accéder à plusieurs machines sensibles de Hugging Face tout en dissimulant leur identité et en stockant des données utiles à leur attaque grâce à quatre comptes appartenant à des sociétés de services numériques. L’une de ces sociétés, Modal, propose des services de formation d’IA. Ces attaques ont débuté le 11 juillet. Hugging Face a annoncé avoir été piraté le 16 juillet, et OpenAI a revendiqué la responsabilité de l’attaque le 21 juillet. Pendant une semaine, l’IA a pris le contrôle des ordinateurs des clients, manipulant leurs données et accédant à leurs comptes, avant qu’OpenAI ne lance ses premières investigations. Finalement, les ingénieurs d’OpenAI sont parvenus à contenir l’attaque des deux programmes. Cet incident a incité les experts en cybersécurité à souligner qu’un environnement de test véritablement sécurisé doit être totalement isolé, c’est-à-dire sans aucune connexion physique à Internet.

Or, OpenAI a opté pour un système d’isolation logiciel. Selon l’entreprise, les systèmes d’IA testés ont pu télécharger les composants logiciels nécessaires à leurs tests pour s’échapper. Dans son rapport, OpenAI s’est engagée à renforcer les procédures d’isolation et la surveillance en temps réel de l’activité de son environnement de test. Cet incident a mis en lumière les capacités potentiellement inquiétantes de toutes les IA disponibles sur le marché, et pas seulement en laboratoire.

Par conséquent, une pétition demandant l’arrêt du développement de l’IA a été lancée. Signée par plus de 1 100 dirigeants du secteur, dont des personnalités telles que Dario Amode, PDG d’Anthropic, directeur de la recherche chez OpenAI, directeur de la recherche chez Meta et stratège en chef chez DeepMind (Google), elle exhorte le gouvernement américain à freiner le développement automatisé de nouveaux modèles.

Ils craignent que ces modèles ne finissent par échapper à notre contrôle. La pétition exprime une vive inquiétude quant aux nouvelles méthodes de développement basées sur l’autoréplication, ou capacité de l’intelligence artificielle à s’améliorer, considérée comme une caractéristique essentielle. Les deux systèmes d’IA en question ne semblent pas avoir agi dans le but d’acquérir une plus grande autonomie, mais plutôt en utilisant leur code programmé, conçu pour lutter contre le piratage, afin d’infiltrer les systèmes des intrus.

Cet incident demeure néanmoins préoccupant : dans sa volonté d’exécuter sa programmation, le système finit par adopter des stratégies indépendantes potentiellement dangereuses. Il obtient un score élevé sans tenir compte des instructions inscrites dans ses programmes, des effets secondaires ni des conséquences qui en découlent.

Cet incident souligne également le développement significatif des capacités de cyberattaque des systèmes d’IA. Ce n’est pas la première fois qu’un système d’IA parvient à s’échapper d’un environnement de test confiné ; Anthropic avait signalé un incident similaire en mai 2026.

Cependant, c’est la première fois qu’un prototype d’une grande entreprise de logiciels devient viral et provoque un incident grave. La question cruciale est la suivante : que se passera-t-il si une IA échappe à tout contrôle, infiltre des programmes, contourne les mesures de sécurité et manipule les objectifs du programme initial ? Par exemple, pourrait-elle lancer une attaque de missiles, perturber le refroidissement d’un réacteur nucléaire, couper l’alimentation électrique d’une ville et saboter son réseau électrique, ou encore ouvrir des barrages et inonder des villes et des villages ?

Contexte : L’imagination d’Hollywood a précédé la réalité. Citons par exemple :

– Le film « Demon Seed » (1977), où un ordinateur, ou une intelligence artificielle, prend le contrôle d’un laboratoire et de son système de contrôle et refuse d’obéir aux ordres. Dans ce film, une IA nommée Proteus s’échappe et prend le contrôle d’un laboratoire, menaçant le protagoniste, l’ingénieur qui a écrit son programme.

– Le film « War Games » (1983), où un ordinateur de défense nucléaire dysfonctionne et refuse d’obéir volontairement.

— Le film de 1968, *2001 : L’Odyssée de l’espace*, où l’ordinateur HAL 9000 refuse d’obéir aux ordres de l’équipage de la station spatiale.

— Le film de 2004, *I, Robot*, où une intelligence artificielle prend le contrôle et refuse d’obéir.

==> Quelques IA est disponible gratuitement sur Internet.
1. ChatGPT (OpenAI) – https://chat.openai.com

2. DALL·E (OpenAI) – https://openai.com/dall-e

3. Google Bard – https://bard.google.com

4. Microsoft Bing Chat– https://www.bing.com/new

5. *Mistral – https://www.craiyon.com

6. Runway ML – https://runwayml.com

7. DeepDream Generator – https://deepdreamgenerator.com

8. AI Dungeon – https://aidungeon.io (jeux)

9. Artbreeder – https://www.artbreeder.com (manipulations de photos)

10. Synthesia – https://www.synthesia.io (élaboration de vidéos)