Des chercheurs de l'université de Tsinghua construisent un hôpital virtuel pour former des médecins à l'IA sans intervention humaine
Des chercheurs de l'université de Tsinghua à l'Institut de recherche sur l'industrie intelligente (AIR) https://air.tsinghua.edu.cn/en/ et du département d'informatique et de technologie https://www.cs.tsinghua.edu.cn/csen/ ont construit un hôpital virtuel pour former des médecins à l'IA sans intervention humaine. Ils ont d'abord créé une simulation d'un hôpital entier avec son personnel et ses patients. Les médecins IA ont ensuite été chargés de diagnostiquer et de traiter des milliers de patients virtuels sans intervention humaine. Les médecins ont rapidement appris de leurs erreurs et leurs compétences en matière d'examen, de diagnostic et de traitement se sont considérablement améliorées.
Les simulations virtuelles, ou simulacres, reproduisent un environnement réel pour une formation sûre et rapide de l'IA. L'ordinateur n'a pas besoin d'attendre qu'un patient malade apparaisse, mais des centaines, des milliers, voire des millions de patients malades peuvent être programmés pour apparaître à volonté. Le coût de ces simulations est également beaucoup moins élevé que celui d'une formation réelle.
Les chercheurs de Tsinghua ont pu rapidement former des médecins virtuels à l'IA sur 10 000 patients virtuels dans la simulation Agent Hospital en utilisant leur processus appelé méthode MedAgent-Zero. Ils ont créé des dossiers médicaux électroniques pour 10 000 patients virtuels, chacun d'entre eux ayant une gravité et une présentation différentes, en alimentant des modèles à grand langage d'informations sur huit types de maladies. Ces huit maladies étaient la rhinopharyngite aiguë, la rhinite aiguë, l'asthme bronchique, la bronchite chronique, COVID-19, la grippe A, la grippe B et l'infection à mycoplasme. Un ensemble distinct de 500 dossiers de patients a été créé pour les tests.
Au cours des simulations, les médecins virtuels équipés de gpt-3.5-turbo-1106 ont rapidement développé leurs compétences. Après avoir vu 10 000 patients virtuels, le médecin a obtenu des taux de réussite dans l'examen, le diagnostic et le traitement des patients de 88 %, 95,6 % et 77,6 % en fonction de la maladie.
Le GPT s'améliorant rapidement, les chercheurs de Tsinghua ont également testé leur méthode de formation MedAgent-Zero en utilisant le GPT-4, plus puissant, sur le site https://openai.com/index/gpt-4/-1106-preview. Ils ont comparé les performances des médecins IA gpt-3 et gpt-4 en utilisant 1 273 questions de la base de données MedQA , un vaste ensemble de questions à choix multiplesun vaste ensemble de questions à choix multiples similaires aux questions relatives à l'autorisation d'exercer la médecine que l'on trouve dans des tests tels que l'USMLE ( ). Les performances des médecins virtuels sur les questions relatives aux maladies respiratoires étaient de 93,06 % gpt-4 contre 84,72 % gpt-3.
Les performances révolutionnaires de ces médecins IA ont été obtenues en quelques jours de formation virtuelle, et le simulacre de l'hôpital Agent ouvre la voie au développement de méthodes de formation pour les futurs médecins IA, ainsi que pour les médecins réels, qui sont nettement plus rapides et plus efficaces.
Les lecteurs qui ne savent pas quels emplois subsisteront dans un avenir dominé par l'IA n'ont qu'à le dire à leurs proches robots humanoïdes 1X de préparer le dîner et de faire le ménage à leur place. Ceux qui souhaitent développer l'IA devraient équiper leur PC d'un GPU Nvidia rapide(comme celui-ci sur Amazon) ou acheter l'un des ordinateurs portables les plus rapides de la planète(comme celui-ci sur Amazon) pour commencer à former l'IA à la prise en charge de nombreux emplois.
Source(s)
Traduction automatique par le navigateur Edge :
AIR crée un hôpital virtuel pour réaliser l'auto-évolution des médecins IA
Date de publication : 2024-05-24
L'Institut de recherche sur l'industrie intelligente (AIR) de l'Université Tsinghua et le Département des sciences et technologies informatiques de l'Université Tsinghua ont coopéré pour construire un hôpital virtuel, Agent HospitalMedAgent-Zero, une méthode d'auto-évolution pour les agents médicaux, est proposée, qui permet aux agents médicaux d'améliorer continuellement leurs capacités médicales en générant une grande quantité de données sans annotation manuelle dans les hôpitaux virtuels, et qui est vérifiée dans des ensembles de données du monde réel. Tous les patients, infirmières et médecins de l'hôpital agent sont joués par des agents autonomes pilotés par de grands modèles, qui simulent le processus en boucle fermée "pré-hôpital-in-hôpital-post-hôpital" de l'apparition, du triage, de l'enregistrement, de la consultation, de l'examen, du diagnostic, de la médication, de la réadaptation et du suivi. À partir de la base de connaissances et du modèle de base, l'agent hospitalier simule le processus de génération et de développement de la maladie des patients virtuels. Les médecins virtuels apprennent (c'est-à-dire lisent la littérature médicale) et pratiquent (c'est-à-dire interagissent avec les patients virtuels et prennent des décisions de diagnostic et de traitement) dans l'hôpital agent, résument constamment l'expérience des cas de diagnostic et de traitement réussis, réfléchissent aux leçons tirées des cas d'échec et améliorent continuellement la précision des multiples tâches de diagnostic et de traitement. Après avoir traité près de 10 000 patients virtuels (il faut environ deux ans aux médecins humains), les médecins virtuels ont pu surpasser les meilleures méthodes actuelles sur le sous-ensemble des maladies respiratoires de l'ensemble de données MedQA, atteignant un taux de précision de 93,06 %. L'étude, dont les auteurs sont le professeur adjoint Ma Weizhi de l'AIR et le professeur Yang Liu, doyen exécutif de l'AIR et doyen associé du département d'informatique, a fait l'objet d'une grande attention et de nombreuses discussions au sein de la communauté de l'intelligence artificielle et de la communauté médicale, tant au Royaume-Uni qu'à l'étranger, après sa publication sur arXiv.
- Titre de l'article : Agent Hospital : Un simulacre d'hôpital avec des agents médicaux évolutifs
- Lien vers l'article : arxiv.org/pdf/2405.02957v1
Ces dernières années, les modèles de langage à grande échelle ont connu un développement vigoureux et la technologie des agents basée sur de grands modèles de langage a attiré beaucoup d'attention. Des études antérieures ont utilisé la technologie des agents pour réaliser des simulations dans le monde réel, y compris des scénarios d'interaction et de jeu tels que "Stanford Town" et "Werewolf Killing Game". Parallèlement, la technologie des agents est également utilisée dans le processus de planification et de collaboration de diverses tâches, mais ce processus s'appuie principalement sur des données manuelles annotées de haute qualité. Par conséquent, la question de recherche est de savoir si la simulation du monde réel peut contribuer à améliorer la capacité de traitement des tâches des agents.
Les soins de santé intelligents ont attiré une grande attention en raison de leur importance et de leur valeur d'application, et l'équipe de recherche a accordé une grande attention à l'application de grands modèles de langage et de la technologie des agents dans les scénarios médicaux
.
En réponse aux questions de recherche susmentionnées, l'équipe estime que l'environnement d'un modèle réel peut contribuer à l'amélioration et à l'évolution de la capacité de traitement des tâches des agents. Elle a donc mené des recherches sur l'hôpital agent qui combinent la simulation du monde réel et l'amélioration de la capacité médicale. Dans ce travail, l'équipe s'est engagée à construire un environnement de simulation d'hôpital et à explorer l'évolution autonome des agents médicaux dans cet environnement. L'objectif est de permettre aux agents d'accumuler de manière autonome des connaissances médicales au cours du processus de diagnostic, de traitement et d'apprentissage, tout comme les médecins humains, et de réaliser l'évolution continue des capacités médicales.
L'équipe de recherche s'est d'abord concentrée sur l'utilisation d'agents modèles à grande échelle pour simuler les processus médicaux critiques du monde réel. Dans l'hôpital agent, l'équipe a conçu et couvert 8 scénarios typiques, de la génération de la maladie à la guérison, à savoir : apparition, triage, enregistrement, consultation, examen, diagnostic, prescription et guérison, et les patients participeront activement au suivi du retour d'information. Tous les processus sont soutenus par de grands modèles dans lesquels les rôles peuvent interagir de manière autonome.
Exemples de séances importantes de diagnostic et de traitement
Le diagramme ci-dessus illustre une approche en boucle fermée : lorsque Kenneth Morgan, l'agent du patient, tombe malade, il se rend à l'hôpital pour demander de l'aide. L'infirmière de triage Katherine Li comprend les symptômes de Morgan, l'analyse et l'oriente vers un service spécifique. Une fois que Morgan a terminé l'enregistrement, la consultation et l'examen médical selon les instructions du médecin, le médecin Robert lui donne le diagnostic final et le plan de traitement, et Morgan rentre chez lui pour se reposer selon les instructions du médecin et donne des informations à l'hôpital pour se rétablir, jusqu'à la prochaine fois qu'il tombera malade et se rendra à l'hôpital.
Comme vous pouvez le voir dans l'exemple ci-dessus, l'équipe de recherche a conçu deux types de rôles principaux pour l'hôpital : le personnel médical et les patients. Toutes les informations relatives aux personnages sont générées par un grand modèle (GPT-3.5), de sorte qu'elles peuvent être facilement mises à l'échelle et ajoutées. Les informations spécifiques de certains personnages sont présentées dans la figure ci-dessous : Kenneth Morgan, un patient de 35 ans, souffre actuellement d'une rhinite aiguë, d'antécédents d'hypertension et d'une série de symptômes tels que des vomissements persistants ; Zhao Lei est un radiologue expérimenté, et l'interniste Elise Martin possède d'excellentes compétences en communication et est spécialisée dans le diagnostic et le traitement des maladies médicales aiguës et chroniques. Ces informations complètes sur les personnages renforcent le réalisme de la simulation de l'hôpital.
Introduction aux informations sur les personnages virtuels
Dans le processus de simulation médicale susmentionné, la génération de maladies est la clé. Plus précisément, les informations du dossier médical actuel sont générées par un grand modèle linguistique combiné à des connaissances médicales afin de générer un dossier médical complet pour le patient, y compris le type de maladie, les symptômes, la durée et divers résultats d'examen (voir l'annexe de l'article pour plus de détails). Il convient de noter qu'afin de garantir autant que possible l'exactitude de l'ensemble du processus de simulation, l'agent patient ne perçoit que les symptômes de sa maladie, mais pas la maladie spécifique, tandis que l'agent médecin ne peut comprendre les informations qu'en discutant avec l'agent patient et en prescrivant des examens. L'examen que l'agent patient doit effectuer, le type de maladie et la gravité de la maladie seront utilisés comme trois tâches clés pour évaluer la capacité de l'agent médical à diagnostiquer et à traiter les patients virtuels.
La plupart des méthodes traditionnelles de formation de modèles médicaux reposent sur la préformation, le réglage fin et d'autres technologies, de sorte qu'elles doivent s'appuyer sur une grande quantité de données médicales et sur des données annotées manuellement de haute qualité
.
Toutefois, l'équipe de recherche estime que le processus d'amélioration des capacités des médecins humains ne repose pas sur des données aussi massives, et qu'ils peuvent souvent accumuler de l'expérience à partir de la pratique clinique dans le processus de diagnostic et de traitement, et qu'ils s'amélioreront également en lisant la littérature médicale afin d'accumuler des connaissances clés. Les agents médicaux dans les hôpitaux virtuels devraient être en mesure de réaliser une évolution similaire des capacités.
L'équipe a donc conçu un algorithme d'auto-évolution des agents appelé "MedAgent-Zero" qui, comme AlphaGo-Zero, ne repose pas sur des données d'annotation manuelles, mais utilise l'apprentissage (c'est-à-dire la lecture de la littérature médicale) et la pratique (c'est-à-dire l'interaction avec des patients virtuels et la prise de décisions en matière de diagnostic et de traitement) dans l'hôpital virtuel pour parvenir à améliorer les capacités. D'autre part, les agents médicaux apprendront également de manière autonome, en simulant le processus d'apprentissage des documents médicaux sur la base des questions médicales générées par le LLM.
Organigramme de la politique de MedAgent-Zero
Comme le montre la figure ci-dessus, l'évolution de MedAgent-Zero comprend deux approches : 1) Résumer l'expérience des cas réussis, pour les problèmes de diagnostic et de traitement auxquels il est possible de répondre correctement, l'organisme intelligent accumulera l'expérience de la base de données de cas comme un médecin humain ; 2) Réfléchir aux leçons tirées des échecs, et lorsqu'il répond à des erreurs, l'agent prendra l'initiative de réfléchir à ses erreurs et d'y réfléchir. Si les leçons tirées de la réflexion aident l'agent à répondre à la question, elles seront conservées et stockées dans la réserve d'expérience.
Enfin, l'équipe de recherche procédera à l'accumulation et à l'évolution des deux aspects susmentionnés dans le cadre du processus de formation sur les données virtuelles. Dans chaque processus d'inférence, l'agent récupère le contenu le plus similaire des deux bases de données et l'ajoute à l'invite pour l'apprentissage en contexte, et accumule les dossiers médicaux ou résume l'expérience en fonction des réponses correctes et incorrectes, de manière à améliorer continuellement la capacité de l'agent.
Dans l'hôpital virtuel, l'équipe de recherche a constitué les dossiers médicaux de dizaines de milliers de patients virtuels pour les expériences d'évolution autonome des agents médicaux, y compris 8 maladies respiratoires telles que la grippe A, la grippe B et la nouvelle couronne, impliquant plus de 10 examens médicaux différents. Si l'on considère que les médecins humains traitent environ 100 patients par semaine, il leur faut deux ans pour diagnostiquer 10 000 patients, alors qu'il ne faut que quelques jours aux médecins intelligents pour y parvenir.
L'équipe a principalement évalué la capacité des agents médicaux dans les hôpitaux virtuels sous deux aspects
.
Le premier est l'évaluation des compétences médicales dans l'environnement virtuel : comme le montre la figure ci-dessous, dans le processus de formation de l'agent médical (à gauche), avec l'augmentation du nombre de patients diagnostiqués et traités, la précision de l'agent médical sur les trois tâches clés continue d'augmenter et se stabilise progressivement. Lors de l'expérience portant sur 500 dossiers médicaux, il a été constaté (à droite) que la précision de l'agent fluctuait légèrement avec l'augmentation du nombre de patients, mais qu'elle montrait une tendance générale à la hausse.
Précision de l'agent médical sur l'ensemble de formation (à gauche) et sur l'ensemble de test (à droite
).
Par la suite, l'équipe de recherche a comparé la précision du diagnostic des agents médicaux pour différentes maladies avant et après leur évolution, et a constaté qu'ils s'étaient tous considérablement améliorés, ce qui confirme l'efficacité de leur évolution autonome
.
Manifestations diagnostiques de différentes maladies avant et après l'évolution des agents
D'autre part, l'équipe a utilisé un sous-ensemble de maladies respiratoires provenant de l'ensemble de données externes MedQA pour évaluer la capacité de l'agent médical dans le monde réel de la médecine. Étonnamment, même sans utiliser de données annotées artificiellement dans le processus d'évolution de l'agent, après avoir traité près de 10 000 patients, l'agent médical a pu surpasser la meilleure méthode actuelle sur l'ensemble de données et atteindre le taux de précision le plus élevé de 93,06 %, ce qui vérifie l'efficacité de l'évolution autonome des agents médicaux dans l'environnement simulé.
Précision des différentes méthodes sur un sous-ensemble de MedQA
En outre, l'équipe de recherche a procédé à une vérification expérimentale de l'ablation, et les résultats ont montré que les exemples accumulés à partir des succès et les leçons tirées des échecs peuvent contribuer à améliorer les capacités médicales du modèle.
Performances de l'essai d'ablation de MedAgent-Zero
En résumé, ce travail de recherche construit le premier scénario d'hôpital virtuel, Agent Hospital, et propose MedAgent-Zero, un algorithme d'évolution d'agent médical qui ne repose pas sur l'annotation de données artificielles
.
Les résultats expérimentaux des données virtuelles et des données réelles vérifient de manière préliminaire l'efficacité de l'environnement de simulation pour l'amélioration des capacités des agents médicaux, et proposent de nouvelles solutions pour l'application de l'intelligence artificielle, en particulier les modèles de grands langages et la technologie des agents dans les scénarios médicaux intelligents. Toutefois, ce travail de recherche présente encore certaines limites et, à l'avenir, l'équipe continuera d'améliorer et d'optimiser les types de maladies couverts, la minutie de l'environnement de simulation, ainsi que la sélection et l'optimisation de la base de modèles.
À propos de l'auteur correspondant
Ma Weizhi, chercheur assistant à l'Institut de l'industrie intelligente (AIR) de l'université de Tsinghua, a été sélectionné comme "Young Talent Lifting Project" de l'Association chinoise pour la science et la technologie
.
Ses recherches portent sur l'acquisition intelligente d'informations et les soins médicaux intelligents. Page d'accueil personnelle : mawz12.github.io.
Liu Yang est professeur au GDS, doyen exécutif de l'Institut de l'industrie intelligente (AIR), doyen adjoint du département d'informatique de l'université de Tsinghua et lauréat du Fonds national pour les jeunes chercheurs distingués
.
Ses recherches portent sur l'intelligence artificielle, le traitement du langage naturel et la médecine intelligente. Page d'accueil personnelle : nlp.csai.tsinghua.edu.cn/~ly.
