OpenAI peine à recueillir des données d'entraînement pour ses nouveaux modèles

OpenAI semble avoir atteint un goulot d'étranglement dans les performances de ses modèles d'IA de nouvelle génération. Le prochain grand modèle de l'entreprise, "Orion", serait moins performant dans certaines tâches que les modèles plus anciens.

Il semble avoir l'avantage dans les tâches linguistiques telles que la traduction, la génération de textes, etc. mais il s'est avéré peu performant dans des tâches telles que le codage.

Selon un rapport de https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows par The Information (via Gadgets360), il semble qu'il y ait un problème de collecte de données d'entraînement pour les nouveaux modèles. Le modèle est également plus coûteux à utiliser dans les centres de données que les modèles GPT-4 et GPT-4o.

L'amélioration de la qualité est également plus faible que les progrès réalisés par GPT-4 par rapport à GPT-3. OpenAI aurait créé une équipe de fondations pour résoudre le problème des données d'entraînement, mais il n'est pas encore certain qu'elle puisse obtenir suffisamment de données pour le modèle d'IA à temps pour la publication.

OpenAI n'est pas la seule à enregistrer des performances négligeables. D'autres concurrents, comme Anthropic et Mistral, ne montrent que des gains itératifs à chaque nouvelle version. Une méthode suggérée pour améliorer les performances est d'opter pour un entraînement plus poussé du modèle après la publication en affinant les résultats, mais il s'agit d'une solution de contournement et non d'une solution permanente.