Apple révèle une faille majeure dans les modèles linguistiques de l'IA : La précision chute jusqu'à 65 pour cent

Une étude récente https://winfuture.de/news,146050.html étude réalisée par des chercheurs sur le site Apple remet en question notre conception de l'intelligence des grands modèles de langage (LLM) tels que ChatGPT. L'étude, dirigée par Iman Mirzadeh, a utilisé un nouveau test appelé GSM-Symbolic pour déterminer dans quelle mesure ces systèmes d'IA gèrent les mathématiques et la pensée logique.

Les résultats n'ont pas été excellents pour les IA. Lorsqu'ils ont ajouté des informations supplémentaires au hasard dans les questions, la précision des modèles a chuté considérablement - dans certains cas, jusqu'à 65 %. La question principale n'a même pas changé. Cela suggère que ces systèmes d'IA n'ont pas une véritable compréhension de leurs tâches.

L'étude met en évidence une différence essentielle entre avoir l'air intelligent et comprendre les choses. De nombreuses réponses générées par l'IA semblent correctes à première vue, mais lorsque vous creusez un peu, elles s'effondrent. Cela montre que le fait de parler comme un humain ne signifie pas que la machine pense comme un humain.

C'est pourquoi l'étude suggère de repenser la confiance que nous accordons à ces systèmes et la façon dont nous en dépendons. Certes, ils peuvent accomplir des choses incroyables, mais ils présentent des failles importantes, en particulier pour les problèmes délicats ou compliqués. Il est essentiel de reconnaître ces faiblesses si nous voulons utiliser l'IA de manière responsable.

En fin de compte, cette étude nous rappelle que si l'IA peut être utile, nous devons garder un œil critique sur ce qu'elle peut et ne peut pas faire. À mesure que ces outils prennent de plus en plus de place dans nos vies, il sera essentiel de connaître leurs limites si nous voulons les utiliser de manière intelligente et responsable.