Sommaire
- Anthropic assouplit son engagement en matière de sécurité.
- Le gel strict des développements imposé auparavant par l'entreprise a été remplacé par une promesse de transparence accrue.
- Cette mesure pourrait entraîner une baisse des normes de sécurité dans le secteur.
Anthropic, le créateur de l'agent IA Claude (l'un des Nos outils de productivité préférésL'une de ses principales caractéristiques est son engagement indéfectible envers la sécurité. Article de blogL'entreprise a présenté sa politique d'expansion responsable (RSP) et les changements inclus dans la version 3.0.
Liens rapides
Quelle était l'ancienne politique de sécurité d'Anthropic ?
L'entreprise a établi une norme sectorielle en matière de garanties de sécurité.
Pour comprendre les changements opérés par Anthropic, il est essentiel de comprendre sa politique initiale de mise à l'échelle responsable (RSP). En 2023, Anthropic s'est engagée à cesser l'entraînement des modèles d'IA si leurs capacités dépassaient sa capacité à démontrer leur innocuité. Parmi les signaux d'alerte concernant la sécurité susceptibles de déclencher cet arrêt, on peut citer :
- Des modèles susceptibles de faciliter la création ou le déploiement d'armes chimiques, biologiques ou nucléaires.
- Des modèles capables de s'améliorer de façon excessive.
- Modèles pouvant être utiles lors de cyberattaques.
- Des modèles capables de se comporter de certaines manières sans intervention humaine, comme par exemple « s’échapper » de leur environnement pour éviter d’être mis hors service.
La politique d'expansion responsable (PER) imposait un plafond strict à ces modèles : Anthropic cesserait tout développement, même si cela signifiait se faire dépasser par la concurrence. C'était une position audacieuse dans un secteur où tout le monde semblait se livrer à une course effrénée.
La nouvelle politique d'expansion responsable (PER) d'Anthropic
La version 3.0 assouplit considérablement les règles.
Anthropic maintient sa politique d'expansion responsable, mais avec la version 3.0, l'entreprise n'interrompra son développement que si elle estime avoir déjà une avance significative sur ses concurrents. L'engagement ferme d'arrêt a été remplacé par une promesse de transparence quant à l'atteinte des objectifs de sécurité et à la comparaison, voire au dépassement, des performances de ses concurrents en la matière. En d'autres termes, elle a pris un engagement en matière de sécurité.
Qu'est-ce qui a motivé ces changements ? Anthropic explique que son engagement initial en matière de sécurité n'a pas eu l'effet escompté. Cet engagement visait à donner l'exemple en matière de sécurité aux autres entreprises. Malheureusement, les concurrents n'ont pas tenu compte de ce signal. L'entreprise estime qu'en limitant ses propres efforts, elle permet de fait à des concurrents moins soucieux de la sécurité de dominer le marché et d'en dicter le rythme de développement.
Quelles conséquences cela aura-t-il pour le secteur ?
Un grand pas en arrière
Malheureusement, ces changements pourraient créer un dangereux précédent dans le domaine de l'intelligence artificielle. Anthropic était la référence en matière de sécurité, et ces modifications abaissent considérablement les exigences. Cela pourrait laisser croire aux concurrents que l'innovation prime sur la sécurité. Bien que cela puisse aider Claude à Rattraper le temps perdu avec ChatGPTCela semble néanmoins être un pas dans la mauvaise direction.
En définitive, pour dissiper les craintes des pessimistes à l'égard de l'IA, un engagement de sécurité d'une seule entreprise ne suffira pas : l'ensemble du secteur doit s'unir et prendre une position ferme. À ce stade, il semble de plus en plus improbable que cela se produise.
