Des chercheurs affirment que l'outil Whisper d'OpenAI invente des choses

Selon un nouveau rapport https://abcnews.go.com/US/wireStory/researchers-ai-powered-transcription-tool-hospitals-invents-things-115170291 d'ABC News (via Engadget), l'outil de transcription audio d'OpenAI, Whisper, a tendance à halluciner des transcriptions qui ne font pas partie des enregistrements originaux.

C'est inquiétant car Whisper est déjà utilisé dans plusieurs secteurs, notamment dans des centres médicaux qui s'appuient sur cet outil pour transcrire des consultations. Et ce, malgré l'avertissement sévère d'OpenAI de ne pas l'utiliser dans des "domaines à haut risque".

Un ingénieur en apprentissage automatique a découvert des hallucinations dans la moitié de plus de 100 heures de transcriptions, tandis qu'un autre développeur a déclaré les avoir trouvées dans la totalité des 26 000 transcriptions qu'il a analysées. Selon les chercheurs, cela pourrait entraîner des transcriptions erronées dans des millions d'enregistrements à travers le monde. Un porte-parole d'OpenAI a déclaré à ABC News que l'entreprise avait étudié ces rapports et qu'elle tiendrait compte de leurs commentaires dans les mises à jour du modèle. L'outil est intégré à Oracle et à Microsoft Cloud. Ces services comptent des milliers de clients dans le monde entier, ce qui accroît la portée du risque.

Les professeurs Allison Koenecke et Mona Sloane ont examiné des milliers de courts extraits de TalkBank. Elles ont constaté que 40 % des hallucinations découvertes étaient nuisibles. Par exemple, dans l'un des enregistrements, un orateur a dit : "Le garçon allait, je ne sais pas exactement, prendre le parapluie", mais l'outil l'a transcrit comme suit : "Il a pris un gros morceau de la croix, un tout petit morceau... Je suis sûr qu'il n'avait pas de couteau de terreur, alors il a tué un certain nombre de personnes".