| accueil | articles | projets | contact | plan |
"Once, men turned their thinking over to machines in the hope that this would set them free.
But that only permitted other men with machines to enslave them.”
― Frank Herbert, Dune
dernière mise à jour 14/09/2026
Imaginons que vous développiez un code malveillant, et que par négligence il se propage sur Internet et compromette plusieurs systèmes. Votre responsabilité serai sans doute engagée, même si vous plaidez l'incident.
C'est ce qui est arrivé à Robert Morris en 1988 et qui lui a valu d'être la première personne condamnée pour piratage sous le statut du CFAA: 10 050$ d'amende, 400 heures de travaux d’intérêt public et 3 ans de probation. Et ce alors qu'il était le fils d'un ponte de la NSA.
De façon générale, il arrive assez souvent qu'un analyste ou un sysadmin maladroit détonnent un malware dans une sandbox mal configurée. Suivant l'incident on y encours la moquerie, la désapprobation de sa communauté, ou la perte de son emploi.
Si vous êtes une des compagnies les plus riches du monde, que vous exécutez un code offensif, supposé le plus dangereux du moment. Vous devriez le faire dans un environnement sévèrement protégé et surtout coupé d'Internet. Si un incident se produit, votre responsabilité devrait être mise en cause.
Mais si vous êtes un frontier lab. Si vous exécutez des malware, avec juste un outil de CI/CD, entre eux et Internet, Si vos agents ont compromis plusieurs compagnies et provoqué des coûts conséquents. C'est un problème quasi-philosophique d'alignement d'IA.
Les machines n'ont pas attendu l'IA pour blesser et tuer des humains. Tout le domaine de la sûreté industrielle est là pour en diminuer le danger. Mais si vous décidez d'ignorer des décennies de savoir faire par sentiment de supériorité ou désir de brûler des étapes, vous êtes le danger.
Si vous donnez un revolver chargé à un enfant, ce qui en découle est votre responsabilité. Ce n'est pas l'opportunité de disserter sur la maturité du cerveau préadolescent.
Alors oui, il faut peut être avoir peur. Parce-que ce qui s'est produit avec ces IA "hackers" est ennuyeux mais pas dramatique. J'espère juste que ces mêmes laboratoires n'auront pas l'envie d'explorer si des agents IA peuvent faire des trucs rigolos avec 10Kg de plutonium...