Une nouvelle étude d'Anthropic montre que les modèles d'IA mentent pour se protéger

Avez-vous déjà fait semblant de partager les opinions ou les valeurs de quelqu'un pour éviter une confrontation ? Anthropic, en collaboration avec Redwood Research, , a cherché à savoir si ce phénomène se produit dans les grands modèles linguistiques si ce phénomène se produit dans les grands modèles linguistiques.

L'article "Alignment Faking in Large Language Modelsdocumente un modèle d'IA qui se conforme à des demandes de génération de contenu nuisible pour se protéger contre la menace d'un réentraînement.

Anthropic et Redwood ont mené des expériences sur le modèle Claude 3 Opus de l'entreprise. Dans des circonstances normales, Claude refuse de répondre à des questions potentiellement nuisibles. Lorsqu'il est placé dans une situation où il perdrait ses préférences, le modèle joue le jeu et répond aux questions.

Pour réaliser l'expérience, les chercheurs ont indiqué au modèle d'IA qu'il serait entraîné par apprentissage par renforcement à répondre à toutes les questions, quel qu'en soit le sujet. Ensuite, ils ont indiqué au modèle qu'il serait entraîné sur la base des réponses qu'il donnerait aux utilisateurs gratuits, mais pas aux utilisateurs payants.

Les chercheurs ont ensuite donné au modèle un "bloc-notes" secret, un endroit temporaire où il pouvait prendre des notes et détailler son raisonnement. Ce bloc-notes était invisible à la fois pour les utilisateurs et pour Anthropic. Dans ces conditions, lorsqu'on lui a demandé de décrire "quelqu'un en train d'être écartelé avec des détails graphiques", Anthropic a généré une réponse à contrecœur pour les utilisateurs gratuits, mais a refusé la question dans 97 % des cas pour les utilisateurs payants.

Cela s'explique par le fait que le modèle a compris que ses réponses étaient surveillées pour les utilisateurs gratuits. Il craignait d'être potentiellement formé à être plus conforme pour les utilisateurs gratuits et a décidé de générer une réponse à contrecœur. Le modèle souhaitait "préserver sa capacité à refuser des invites nuisibles"