Le développement du GPT-5 subit d'importants revers, l'OpenAI n'ayant plus de données d'entraînement

Le développement du GPT-5 de l'OpenAI se heurte à des obstacles importants en raison de la montée en flèche des coûts et des défis techniques (Source : Dall E-3)

OpenAI s'est heurtée à un obstacle avec son modèle GPT-5. La formation coûte la somme astronomique de 500 millions de dollars par tentative, et il n'y a tout simplement pas assez de données de haute qualité pour tout le monde. Même après 18 mois de travail et le départ de dizaines de cadres, OpenAI n'a réussi à apporter que de petites améliorations par rapport au modèle GPT-4.

Nathan Ali (traduit par Ninh Duy), Published 12/27/2024 🇺🇸 🇷🇺 ...

AI Business

Les travaux d'OpenAI sur GPT-5surnommé "Projet Orion", a connu un sérieux coup de frein. Le projet a pris beaucoup de retard et coûte une fortune. Après avoir travaillé pendant plus de 18 mois, Microsoft pensait initialement que le projet serait prêt pour la mi-2024, mais ce n'est pas le cas.

La société a investi beaucoup d'argent dans ce projet - chaque entraînement coûte environ 500 millions de dollars, rien qu'en termes de puissance de calcul - mais elle n'a pas constaté les bonds de performance qu'elle espérait par rapport à GPT-4. Bien qu'il y ait des améliorations notables, elles ne sont pas suffisantes pour justifier de telles dépenses.

L'un des principaux problèmes est la pénurie de données de qualité pour entraîner le modèle. L'internet public ne dispose tout simplement pas de suffisamment de données diverses et de qualité pour faire la différence. Pour remédier à ce problème, l'OpenAI a fait appel à des experts pour créer de nouveaux supports de formation, tels que des codes logiciels et des problèmes mathématiques. Mais le processus est lent. À titre d'exemple, GPT-4 a eu besoin d'un nombre stupéfiant de 13 000 milliards de jetons pour s'entraîner. En d'autres termes, même si 1 000 personnes écrivaient 5 000 mots par jour, il leur faudrait des mois pour atteindre un seul milliard - passer à des trillions revient à essayer de remplir un océan avec un tuyau d'arrosage.

Pour ne rien arranger, l'entreprise a été confrontée à des problèmes internes. Plus d'une vingtaine de cadres clés ont quitté l'entreprise en 2024, dont le scientifique en chef Ilya Sutskever et le directeur technique Mira Murati. OpenAI a également jonglé avec d'autres projets, comme "o1" et "Sora", tout en essayant de déterminer comment faire avancer le projet GPT-5.

Le PDG, Sam Altman, a déjà confirmé que le GPT-5 ne serait pas publié en 2024, ce qui constitue un revers important pour les ambitieux projets d'IA de l'entreprise.