Qui peut bloquer une IA jugée trop dangereuse ?

Anthropic a recommandé au gouverneur de Californie de permettre aux autorités de demander à un tribunal de bloquer la diffusion d’un modèle d’intelligence artificielle lorsqu’une évaluation conclut à un risque grave. La proposition, révélée le 28 octobre par Reuters, ouvre un débat : comment intervenir vite sans donner à une administration un pouvoir arbitraire ?

Ce que propose Anthropic

La lettre adressée le 15 octobre à Gavin Newsom indique qu’une autorité devrait pouvoir saisir un tribunal si un examen juge un modèle dangereux pour le public. Un juge pourrait alors entendre les arguments et décider d’un blocage. Les seuils précis, la preuve attendue et les voies d’appel ne sont pas décrits dans les éléments publics rapportés.

Anthropic estime par ailleurs qu’un « kill switch », ou mécanisme d’arrêt global, peut donner un faux sentiment de sécurité. L’entreprise privilégie des mesures plus ciblées : désactiver un agent problématique, couper l’accès d’un client ou limiter une capacité précise.

Le point de vue opposé

Le gouverneur Newsom avait demandé en septembre à un groupe d’experts d’étudier notamment un mécanisme d’arrêt pour les modèles avancés et des audits indépendants. L’argument public est qu’un incident majeur peut exiger une action rapide, surtout si un système agit dans les infrastructures, la cybersécurité ou les services essentiels.

La critique d’Anthropic est technique autant que juridique : un modèle distribué en plusieurs copies ou accessible par différents services ne s’éteint pas nécessairement avec un seul interrupteur. À l’inverse, une série de contrôles ciblés peut être trop lente si les responsabilités ne sont pas définies avant l’incident.

Un exemple pour comprendre

Si un agent connecté à un système financier commence à lancer des actions non autorisées, couper ce seul agent peut protéger le service sans interrompre tous les usages du modèle. Mais si le problème vient du modèle lui-même et se répète chez de nombreux clients, une mesure plus large peut être nécessaire.

Dans les deux cas, il faut des journaux d’activité, une autorité identifiée, une procédure de contestation et des critères de reprise. Le mot « arrêt » ne remplace pas cette architecture.

Les intérêts en présence

Anthropic développe et commercialise les modèles qui seraient concernés ; l’entreprise a donc un intérêt direct à la forme de la réglementation. Le gouvernement californien cherche, lui, à renforcer son dispositif de sécurité. Reuters rapporte que le bureau du gouverneur n’avait pas répondu immédiatement à sa demande de réaction.

Sources

- Reuters — contenu de la lettre et réponse d’Anthropic, 28 octobre 2026
- Gouverneur de Californie — mandat du groupe d’experts et projet de mécanisme d’arrêt, 23 septembre 2026
- Anthropic — recours aux évaluateurs indépendants, 15 octobre 2026

Sources consultées le 29 octobre 2026. La lettre complète n’était pas publiée dans les sources consultées ; les détails de la proposition proviennent du reportage de Reuters.