Un robot chirurgical maîtrise les procédures de base grâce à l'apprentissage par vidéo et égale la précision humaine

Les chercheurs de Johns Hopkins et de Stanford https://hub.jhu.edu/2024/11/11/surgery-robots-trained-with-videos/ ont franchi une étape importante dans le domaine de la chirurgie robotique : ils ont appris à un robot chirurgical à effectuer des procédures de base en regardant simplement des vidéos de chirurgiens humains en train de faire leur travail.

L'équipe a réussi à programmer le système chirurgical da Vinci pour qu'il exécute trois tâches chirurgicales de base mais essentielles : manipuler des aiguilles, soulever des tissus et recoudre des plaies. Et il le fait avec le même niveau de compétence que celui des chirurgiens humains expérimentés. Il s'agit d'une étape importante vers une chirurgie robotique entièrement autonome.

"Il est remarquable de disposer d'un modèle dans lequel il suffit de fournir des données à la caméra pour qu'elle prédise les mouvements robotiques nécessaires à la chirurgie", déclare Axel Krieger, professeur adjoint au département de génie mécanique de l'université JHU et auteur principal de l'étude. "Nous pensons qu'il s'agit d'une avancée significative dans le domaine de la robotique médicale"

Pour ce faire, l'équipe de recherche a combiné l'apprentissage par imitation avec une architecture similaire au modèle linguistique utilisé dans ChatGPT. Mais au lieu de se concentrer sur les mots, leur modèle décompose mathématiquement les mouvements chirurgicaux, les transformant en actions robotiques exactes.

Pour entraîner le robot, ils l'ont nourri de centaines de vidéos chirurgicales prises à partir de caméras montées sur le poignet des robots da Vinci au cours d'opérations réelles. Cet ensemble de données volumineux provient de près de 7 000 systèmes da Vinci dans le monde, utilisés par plus de 50 000 chirurgiens formés.

Bien que le système da Vinci soit largement utilisé, la précision a été un point faible. L'équipe de recherche s'est attaquée à ce problème en demandant au robot d'effectuer des mouvements en fonction de son environnement plutôt que des mouvements exacts et préétablis, et cela a fait une grande différence.

L'une des choses les plus incroyables est la capacité d'adaptation des systèmes. "Le modèle est tellement doué pour apprendre des choses que nous ne lui avons pas enseignées", explique l'auteur principal, Ji Woong "Brian" Kim, postdoc à Johns Hopkins. "Par exemple, s'il fait tomber l'aiguille, il la ramassera automatiquement et continuera. Ce n'est pas quelque chose que je lui ai appris à faire"

Cette évolution signifie qu'il n'est plus nécessaire de programmer minutieusement chaque mouvement spécifique pour une tâche chirurgicale, ce qui prenait des années à réaliser pour un seul type d'intervention. Grâce à cette nouvelle approche, le robot peut apprendre une procédure complète en l'observant en quelques jours seulement.

Les chercheurs ont présenté leurs résultats lors de la conférence sur l'apprentissage des robots qui s'est tenue à Munich, montrant ainsi comment l'intelligence artificielle et la technologie médicale se rejoignent dans le domaine de la robotique chirurgicale.