Meta dévoile Movie Gen AI pour créer des vidéos et de la musique à l'aide d'invites textuelles afin d'aider les réalisateurs à gagner du temps et de l'argent

Meta a dévoilé Movie Gen, une IA capable de créer et d'éditer des vidéos avec de la musique et des effets sonores à l'aide d'invites textuelles. L'IA est à la pointe de la technologie en ce qui concerne ses capacités de génération vidéo et audio, avec des caractéristiques et un réalisme qu'aucune autre IA ne peut égaler.

Movie Gen est un modèle d'IA de 30 milliards de paramètres capable de générer des clips HD de 16 secondes à partir d'invites textuelles. L'IA a été pré-entraînée sur un milliard d'images et 100 millions de vidéos. Les vidéos ont été sélectionnées à partir d'une collection beaucoup plus vaste afin d'améliorer la qualité de l'entraînement. Movie Gen Audio est un modèle d'IA à 13 milliards de paramètres capable de générer des effets sonores et de la musique à 48 kHz à partir d'invites textuelles. L'IA a été pré-entraînée sur un million d'heures d'audio. Des commentaires humains et des exemples audio et vidéo de haute qualité ont été utilisés pour affiner l'IA.

À partir d'une photographie d'une personne et d'une description de cette personne dans une scène, l'IA peut générer une vidéo réaliste d'un acteur et d'une scène animés. L'IA a été formée à 22 types de mouvements et de positions de caméra, tels que le grand angle, l'inclinaison vers le haut et l'inclinaison vers la gauche, ce qui permet aux cinéastes de spécifier le placement et les mouvements de la caméra virtuelle comme lors d'un véritable tournage. Les cinéastes qui tiennent à réaliser des films avec des acteurs et des décors réels peuvent utiliser un reflex numérique de premier ordre , comme le dernier Nikon Z6III disponible sur Amazon. Movie Gen est le seul à pouvoir monter des vidéos de manière précise et réaliste. Les autres logiciels d'IA ne peuvent actuellement pas créer des montages aussi bons que ceux de Movie Gen Edit.

Les invites textuelles peuvent également ajouter des sons professionnels aux clips, y compris des effets sonores et des partitions musicales. L'IA peut créer une musique de plusieurs minutes, mais elle est limitée à des clips vidéo de 16 secondes en raison des énormes ressources informatiques qu'elle requiert. L'audio suit les rythmes d'une scène et peut générer des sons hors écran, comme le chant des oiseaux dans une forêt, en fonction du contexte de la scène.

Meta travaille à l'ajout de garanties pour Movie Gen et publiera l'IA une fois qu'elle sera sûre de sa sécurité.