L'outil d'IA DiffUHaul de Nvidia permet de déplacer des objets dans des images
Des chercheurs de Nvidia ont publié sur un article sur un nouvel outil d'IA, DiffUHaul, capable de comprendre et de déplacer des objets dans une image sans en modifier la taille ou l'arrière-plan. L'article indique que l'outil "exploite la compréhension spatiale d'un modèle texte-image localisé pour la tâche de déplacement d'objets"
Les modèles texte-image actuels ont du mal à effectuer des tâches complexes d'édition d'images car ils manquent de "raisonnement spatial" DiffuHaul résout ce problème en intégrant ce raisonnement dans le modèle, ce qui lui permet de suivre les objets sur une image et de les relocaliser de manière "transparente" sans rien modifier d'autre.
Pour ce faire, l'outil masque l'objet au cours des étapes de débruitage, ce qui l'aide à comprendre son emplacement et à le séparer de l'arrière-plan. Il interpole ensuite la différence entre l'image originale et l'image générée pour placer l'objet dans une nouvelle position sans toucher l'arrière-plan. Ensuite, les détails et les caractéristiques les plus fins de l'image originale sont déplacés vers la nouvelle image à des fins de cohérence.
DiffUHaul est basé sur BlobGENun modèle qui utilise la compréhension spatiale pour composer des images à partir d'invites complexes. L'article indique que l'outil est sans entraînement, ce qui signifie qu'il a été créé sans aucun ensemble de données et qu'il fonctionne dès le départ.
Source(s)
