Elon Musk affirme que l'IA a épuisé les données d'entraînement du monde réel

Lors d'une récente interview au CES, Elon Musk a mentionné que l'intelligence artificielle a pratiquement épuisé toutes les données d'entraînement disponibles dans le monde réel, indiquant que la génération de données synthétiques est la principale voie d'avenir toutes les données d'entraînement disponibles dans le monde réel, indiquant que la génération de données synthétiques est la principale voie à suivre. Cette idée rejoint les propos de l'ancien directeur scientifique d'OpenAI, Ilya Sutskever, qui a parlé d'un "pic de données" dans le développement de l'IA.

Musk pense que nous avons épuisé les données produites par les humains en 2024. En tant que PDG de Tesla et propriétaire de xAI, il a souligné que la solution la plus pratique pour faire progresser l'IA était de permettre à l'IA de créer ses propres données d'entraînement. Cette méthode permet aux systèmes d'IA de s'autocontrôler et d'apprendre au fur et à mesure.

De nombreuses grandes entreprises technologiques ont déjà pris le train des données synthétiques. Le nouveau modèle Phi-4 de Microsoft, par exemple, repose sur une combinaison de données synthétiques et de données réelles, tandis que Google utilise une stratégie similaire pour ses modèles Gemma. Le modèle Claude 3.5 Sonnet d'Anthropic et la dernière série Llama de Meta s'appuient également sur des données générées par l'IA.

Par ailleurs, les analystes de Gartner prévoient que d'ici 2024, environ 60 % des données utilisées dans les projets d'IA et d'analyse seront synthétiques. L'une des principales raisons de cette évolution est le coût. La startup Writer, spécialisée dans l'IA, affirme avoir dépensé environ 700 000 dollars pour développer son modèle Palmyra X 004, ce qui est bien moins cher que les 4,6 millions de dollars estimés pour construire un modèle OpenAI comparable.

Mais les données synthétiques ne sont pas sans poser de problèmes. Les chercheurs mettent en garde contre le risque d'"effondrement du modèle", où l'IA peut devenir moins inventive et plus partiale. Ce problème peut se poser si les biais de l'ensemble de données d'origine sont amplifiés lorsque l'IA commence à produire elle-même de nouvelles données.