Notebookcheck Logo

Une nouvelle étude révèle les préjugés persistants de l'IA à l'égard des dialectes anglais afro-américains

les chercheurs ont utilisé le "Matched Guise Sonder" pour découvrir les préjugés. (Source de l'image : Dall-E 3)
les chercheurs ont utilisé le "Matched Guise Sonder" pour découvrir les préjugés. (Source de l'image : Dall-E 3)
Des recherches récentes ont mis en évidence des préjugés cachés dans les modèles linguistiques de l'IA, en particulier à l'encontre de l'anglais afro-américain (AAE). Ces modèles continuent d'associer l'AAE à des stéréotypes négatifs, ce qui pourrait influencer les décisions futures en matière d'emploi et de justice pénale. L'étude utilise le "matched guise probing" pour prouver le bien-fondé du concept.

Une nouvelle étude a mis en évidence le racisme dissimulé dans les modèles de langage de l'IA, en particulier dans leur traitement de l'anglais afro-américain (AAE). Contrairement aux recherches antérieures axées sur le racisme manifeste (comme l'étude CrowS-Pairs ), cette étude a été réalisée pour mesurer les préjugés sociaux dans les modèles de langage de l'IA pour mesurer les préjugés sociaux dans Masked LLMs), cette étude met l'accent sur la façon dont les modèles d'IA perpétuent subtilement les stéréotypes négatifs par le biais de préjugés dialectaux. Ces préjugés ne sont pas immédiatement visibles mais se manifestent de manière évidente, par exemple en associant les locuteurs AAE à des emplois de statut inférieur et à des jugements pénaux plus sévères.

L'étude a montré que même les modèles formés pour réduire les préjugés manifestes conservent des préjugés profondément ancrés. Cette constatation pourrait avoir des conséquences considérables, surtout à l'heure où les systèmes d'IA s'intègrent de plus en plus dans des domaines critiques tels que l'emploi et la justice pénale, où la justice et l'équité sont essentielles par-dessus tout.

Le texte vert correspond à l'anglais américain standard, tandis que le texte bleu correspond à l'anglais afro-américain. Dans la figure "d", les prédictions pour les entrées SAE et AAE sont illustrées par cinq adjectifs. (Source de l'image : Nature)
Le texte vert correspond à l'anglais américain standard, tandis que le texte bleu correspond à l'anglais afro-américain. Dans la figure "d", les prédictions pour les entrées SAE et AAE sont illustrées par cinq adjectifs. (Source de l'image : Nature)

Les chercheurs ont utilisé une technique appelée "matched guise probing" pour découvrir ces biais. En comparant la réaction des modèles d'IA à des textes rédigés en anglais américain standard (SAE) et en anglais AAE, ils ont pu démontrer que les modèles associent systématiquement l'anglais AAE à des stéréotypes négatifs, même lorsque le contenu est identique. Il s'agit là d'un indicateur clair d'une faille fatale dans les méthodes actuelles de formation à l'IA : les améliorations superficielles visant à réduire le racisme manifeste ne se traduisent pas nécessairement par l'élimination de formes plus profondes et plus insidieuses de préjugés.

Il ne fait aucun doute que l'IA continuera à évoluer et à s'intégrer dans de plus en plus d'aspects de la société. Cependant, cela soulève également le risque de perpétuer et même d'amplifier les inégalités sociétales existantes, plutôt que de les atténuer. Ce sont des scénarios de ce type qui expliquent pourquoi il faut s'attaquer en priorité à ces disparités.

La figure "a" montre la perplexité de la modélisation linguistique et la force des stéréotypes sur le texte AAE en fonction de la taille du modèle, tandis que la figure "b" indique le changement dans la force des stéréotypes et la favorabilité. (Source de l'image : Nature)
La figure "a" montre la perplexité de la modélisation linguistique et la force des stéréotypes sur le texte AAE en fonction de la taille du modèle, tandis que la figure "b" indique le changement dans la force des stéréotypes et la favorabilité. (Source de l'image : Nature)
Stéréotypes les plus forts sur les Afro-Américains chez les humains et stéréotypes manifestes et cachés chez les modèles linguistiques. (Source de l'image : Nature)
Stéréotypes les plus forts sur les Afro-Américains chez les humains et stéréotypes manifestes et cachés chez les modèles linguistiques. (Source de l'image : Nature)

Source(s)

Please share our article, every link counts!
> Revues et rapports de ordinateurs portatifs et smartphones, ordiphones > Archives des nouvelles 2024 08 > Une nouvelle étude révèle les préjugés persistants de l'IA à l'égard des dialectes anglais afro-américains
Anubhav Sharma, 2024-08-30 (Update: 2024-08-30)