Un système qui enregistre chaque “acte” posé par une IA

L’intelligence artificielle s’installe partout dans les hôpitaux : aide au diagnostic, rédaction de comptes rendus, tri des urgences, gestion des assurances… Mais une fois déployées, ces IA fonctionnent souvent sans supervision réelle. Aucune base de données ne permet de savoir comment elles sont utilisées, dans quelles conditions et avec quels résultats. Impossible, donc, de repérer leurs erreurs, d’en corriger les biais ou simplement d’évaluer leur utilité clinique.

Pour combler ce vide, les chercheurs ont conçu MedLog, un système qui enregistre chaque “acte” posé par une IA médicale. Chaque fois qu’un modèle est utilisé — pour recommander un traitement, interpréter un examen ou rédiger un texte médical —, neuf informations clés sont automatiquement consignées. Parmi les principales, on trouve : qui l’a utilisé, dans quel contexte, quelles données ont été fournies, quel résultat a été produit et, quand c’est possible, ce qui s’est passé ensuite (décision médicale, retour du patient, correction par le clinicien).

Ces “traces d’usage” formeraient une mémoire collective des IA hospitalières, utile pour comprendre leurs comportements et leurs effets réels sur la prise en charge. Un système de traçabilité complète, comparable à ce qu’est la boîte noire dans un avion. Ce prototype opérationnel a déjà été mis en ligne sur GitHub pour être testé par les hôpitaux.

Des utilisations et des enseignements multiples

L’équipe illustre le fonctionnement de MedLog à travers plusieurs situations concrètes. Dans un service d’oncologie, par exemple, chaque étape du recours à une IA — question du médecin, suggestion de traitement, décision finale et effets observés — est enregistrée. Ces données permettent, a posteriori, d’évaluer la pertinence des recommandations et d’identifier les contextes où le modèle est le plus fiable. Autre cas : un patient demande à une IA de lui résumer un formulaire de consentement pour une étude clinique. MedLog conserve à la fois la version résumée et la réaction du patient, ce qui aide les équipes à vérifier la clarté des outils numériques utilisés dans le parcours de soin. Autres exemples : une IA administrative estime la probabilité qu’un remboursement soit refusé par une assurance, tandis qu’en réanimation, une autre surveille les constantes vitales pour détecter précocement un risque de sepsis.

Enfin, un exemple réel démontre tout l’intérêt de ce type de suivi. En Israël, le réseau de santé Clalit utilisait un modèle d’IA pour prédire le risque d’hospitalisation de ses patients. Au printemps 2023, l’équipe a remarqué que les résultats du modèle devenaient étrangement moins fiables. En cause ? Un simple changement de kit de test sanguin dans les laboratoires, qui modifiait légèrement la valeur d’un enzyme utilisé dans les calculs du LDH. Ces écarts, invisibles à l’œil nu, ont été détectés grâce à un système de surveillance automatique similaire à ce que propose MedLog. Les ingénieurs ont ainsi pu corriger le modèle avant que les erreurs ne se répercutent sur les décisions médicales.

Le futur « standard mondial » ?

Pour les auteurs, MedLog pourrait devenir un standard mondial de suivi des IA médicales, à la fois outil de contrôle, de comparaison et d’apprentissage.
À terme, ce protocole permettrait de :

• Détecter les dérives ou les biais avant qu’ils n’affectent les patients.
• Mesurer la performance réelle des modèles selon les contextes et les populations.
• Et rendre plus transparentes les décisions des algorithmes, vis-à-vis des soignants comme des patients.

Les chercheurs appellent régulateurs, hôpitaux et industriels à s’emparer du projet pour éviter que l’intelligence artificielle ne devienne une “boîte noire médicale” impossible à auditer. « Sans un suivi systématique, l’intelligence artificielle médicale ne peut être sûre, équitable ni efficace. Avec un tel suivi, la médecine peut être refondée sur la transparence et la responsabilité », estiment les auteurs.

*A global log for medical AI

arXiv:2510.04033v1 [cs.AI] 5 Oct 2025