Une nouvelle approche d’apprentissage profond bimodale pour l’élimination en temps réel de la fluorescence hépatique lors de la cholécystectomie laparoscopique guidée par indocyanine verte

Résumé

Ce protocole propose une approche d’apprentissage profond bimodale pour l’élimination en temps réel de la fluorescence hépatique lors de la cholécystectomie laparoscopique guidée par indocyanine verte (ICGLC).

Résumé

La cholécystectomie laparoscopique guidée par indocyanine verte (ICGLC) améliore la visualisation biliaire mais est souvent entravée par une contamination par fluorescence hépatique, qui interfère avec les structures anatomiques. Cette étude vise à développer et évaluer un nouveau cadre d’apprentissage profond bimodal afin de détecter et éliminer automatiquement la contamination par fluorescence hépatique en temps réel lors des procédures ICGLC. Un ensemble de données de 33 123 cadres chirurgicaux bimodals a été construit à partir de 48 patients ayant subi un ICGLC électif. Les images à fluorescence et à lumière blanche étaient fusionnées et annotées. Plusieurs modèles d’apprentissage profond ont été comparés, et un réseau mid-fusion basé sur DeepLabV3 a été sélectionné. Des stratégies de post-traitement morphologique et d’entraînement par phases ont été mises en œuvre pour améliorer la précision et la généralisation de la segmentation. Le modèle proposé a atteint un coefficient de Dice de 0,838 et un rappel de 0,863 sur le test final. Dans des évaluations subjectives, 10 chirurgiens seniors ont systématiquement jugé les vidéos traitées par IA plus claires, avec une visualisation des voies biliaires nettement améliorée et une fatigue visuelle réduite. Le modèle a démontré des performances en temps réel à 0,018 seconde par image. Cette étude présente la première solution d’IA en temps réel pour l’élimination de la fluorescence hépatique dans l’ICGLC. Le modèle d’apprentissage profond bimodal améliore considérablement la clarté visuelle, offrant un potentiel pour améliorer la sécurité chirurgicale, l’efficacité opérationnelle et l’efficacité de la formation. De futures études prospectives sont nécessaires pour évaluer l’impact clinique sur les résultats opératoires.

Introduction

La cholélithiase est un trouble gastro-intestinal répandu, affichant régulièrement des taux d’incidence élevés à l’échelle mondiale dans diverses populations, affectant plus de 4 % de la population^{mondiale 1, 2, 3, 4}. La cholécystectomie laparoscopique (LC) est largement considérée comme la « référence » pour le traitement de la cholélithiase en raison de ses avantages tels qu’un traumatisme intraopératoire minimal, une douleur postopératoire légère, des résultats esthétiques favorables et des séjours hospitaliers^{courts 5,6,7}. Rien qu’aux États-Unis, les chirurgiens généraux réalisent entre 750 000 et 1 000 000 de LC par an. Cependant, le taux de complications du LC dépasse celui de la chirurgie ouverte traditionnelle⁸, avec une survenue de complications graves comme la lésion des voies biliaires (BDI) 2 à 3 fois plus^{élevée (9,10}). Les recherches indiquent que la BDI lors des interventions laparoscopiques résulte fréquemment d’erreurs techniques lors de la phase de dissection anatomique, les erreurs d’identification anatomique étant particulièrement fréquentes (jusqu’à 85 %), impliquant souvent des erreurs de jugement concernant le canal biliaire commun (CBD) ou des variations anatomiques du canal hépatique postérieur^{droit 11,12}.

Pour diminuer la prévalence des complications chirurgicales dans la pratique contemporaine, un ensemble de méthodes sophistiquées et de technologies avancées ont été développées, notamment la vision critique de la sécurité (CVS), la cholangiographie intraopératoire et la technologie de fluorescence proche infrarouge (NIRF^{) 5,8}. Le CVS est de plus en plus considéré comme une méthode standard pour identifier les structures de la vésicule^{biliaire 5,13,14}, nécessitant l’extraction du tissu conjonctif dans le triangle cystohépatique et la dissection du tiers inférieur de la vésicule biliaire de la plaque kystique, afin de libérer une vue claire du canal kystique et de l’artère kystique, évitant ainsi les lésions vasculaires et biliaires lors de la cholécystectomie laparoscopique ^{11. 15}.

La cholangiographie intraopératoire NIRF basée sur l’indocyanine green (ICG) était une autre solution éprouvée, rapportée cliniquement pour la première fois en 2008¹⁶. L’ICG est métabolisé exclusivement par le foie, se lie aux protéines plasmatiques et émet une longueur d’onde lumineuse maximale d’environ 830 nm lorsqu’il est irradié avec une lumière proche^{infrarouge 17}. Cette caractéristique permet de visualiser les tumeurs hépatiques et le système biliaire, montrant des applications prometteuses pour améliorer la sécurité chirurgicale et réduire les temps d’opération^{18, 19, 20}. Des études comparant l’utilisation combinée du CVS et du NIRF à la CVS seule ont indiqué des bénéfices pour les patients obèses et les cas d’inflammation sévère, réduisant non seulement le temps de chirurgie mais aussi l’incidence de^{l’IDB 21,22}. Cependant, ses applications cliniques rencontrent plusieurs limites, notamment l’utilisation de divers dispositifs^{d’imagerie,} ainsi que l’injection tardive d’ICG ou une absorption excessive des tissus hépatiques qui entraînent une intensité de fluorescence hépatique élevée et contaminent le champ de vision, obscurcissant ainsi l’imagerie cruciale^{du système biliaire 24}. Si des technologies auxiliaires pouvaient être appliquées en peropératoire pour éliminer la contamination par fluorescence hépatique tout en préservant une imagerie biliaire correcte, cela pourrait aider à optimiser la vue chirurgicale, renforçant ainsi la sécurité et la fluidité de la chirurgie.

La technologie de l’intelligence artificielle (IA) est un outil prometteur pour optimiser la fluorescence. L’IA dans l’imagerie médicale et les opérations chirurgicales est devenue un point chaud de recherche ces dernières années, réalisant de nombreuses avancées technologiques et applications^{cliniques 25, 26, 27}. Les études et applications existantes de la technologie d’apprentissage profond par IA dans les vidéos de chirurgie laparoscopique étaient souvent basées sur une seule modalité à lumière blanche, incluant la reconnaissance de divers repères anatomiques tels que le nerf laryngé récurrent, les bords rénaux, les vaisseaux sanguins et la vésicule^biliaire 28,29,30,31 . Actuellement, il manque de recherches sur l’élimination en temps réel de la contamination par fluorescence hépatique lors du LC assisté par fluorescence. La segmentation d’image bimodale, largement appliquée dans l’industrie, pourrait aider à combler ce manque. Cette étude vise à explorer des applications en segmentation d’image bimodale dans des scénarios ICGLC, et à développer et valider des méthodes d’entraînement pour la reconnaissance dynamique en temps réel et le blindage d’une fluorescence hépatique excessive.

Protocole

Toutes les vidéos chirurgicales incluses dans cette étude ont été obtenues auprès de patients ayant subi une cholécystectomie laparoscopique guidée par ICG (ICGLC) élective à l’hôpital du Collège médical de l’Union de Pékin. L’étude a été approuvée par le comité d’éthique concerné, et le consentement éclairé a été obtenu de tous les participants avant l’inscription.

1. Préparation des données et annotation d’images

1. Recueillez rétrospectivement des vidéos chirurgicales de 48 patients ayant suivi l’ICGLC à l’hôpital Peking Union Medical College entre 2022 et 2024.
   REMARQUE : Les patients inclus dans cette étude ont reçu une injection intraveineuse de 0,5 mg d’ICG 20 minutes avant l’opération.
2. Demandez à un chirurgien généraliste de revoir toutes les vidéos chirurgicales et d’extraire les segments couvrant les étapes critiques de la dissection du triangle de Calot. Sélectionnez manuellement 76 clips vidéo chirurgicaux, en vous concentrant sur la dissection du triangle de Calot. Extraire les canaux d’imagerie fluorescente et lumière blanche de chaque clip. Concaténez-les le long du canal RGB.
3. Pour minimiser la redondance, échantillonnez les images à intervalles 8:1, réduisez la résolution de 1920 × 1080 à 960 × 540, et importez les images sur une plateforme d’annotation personnalisée.
4. Mandatez un chirurgien généraliste pour délimiter manuellement les contours de fluorescence hépatique et assurer la qualité de l’annotation sous la supervision d’un chirurgien senior.

2. Indicateurs d’évaluation des modèles

1. Évaluer la performance de segmentation du modèle à l’aide de métriques standard de vision par ordinateur, incluant la précision, la rappel et le coefficient de Dice, en fonction du jeu de données de test désigné.
2. Évaluer la performance en temps réel en mesurant la charge de calcul lors de l’inférence.
   1. Mesurer le temps d’inférence à l’aide du module temps de la bibliothèque standard Python/C.
   2. Enregistrez l’horodatage de début en appelant time.perf_counter() avant le chargement des données.
   3. Invoquez à nouveau time.perf_counter() après que le modèle ait généré les résultats de prédiction pour obtenir l’horodatage de fin.
   4. Définissez la différence entre les horodatages de fin et de début comme le temps d’inférence pour un seul échantillon.
   5. Répétez cette procédure pour chaque échantillon dans le jeu de données de test, et calculez le temps moyen d’inférence sur tous les échantillons afin de représenter la latence d’inférence globale du modèle.
   6. Référez-vous au pseudocode suivant qui résume la procédure correspondante :
      Initialiser Inference_time = 0 et ind = 0
      Soit X le chemin de stockage de l’ensemble test et le modèle le modèle d’inférence
      Pour chaque x_path dans X :
      Synchronisation du CPU et du GPU
      Start_timestamp = time.perf_counter() # horodatage de début
      x = charge(x_path) # chargement des données
      y = modèle(x) # inférence modèle
      Synchronisation du CPU et du GPU
      End_timestamp = time.perf_counter() # horodatage de fin
      Inference_time += (end_timestamp - start_timestamp)
      Ind += 1
      Fin pour
      Inference_time = Inference_time / ind # temps moyen d’inférence
3. Fixer l’objectif principal de la reconnaissance de la fluorescence hépatique et biliaire est de détecter la région hépatique dans le champ chirurgical et de remplacer l’information correspondante de la lumière blanche, minimisant ainsi les interférences de fluorescence hépatique.
4. Utilisez l’intersection sur Union (IoU) pour quantifier la précision prédictive du modèle.
   REMARQUE : L’intersection sur Union (IoU) est définie comme le rapport du nombre de pixels dans la zone de chevauchement entre la région positive prédite et la région positive de la vraie base et le nombre total de pixels dans l’union des régions prédite et de la vérité de base.
5. Définissons une prédiction comme un Vrai Positif (TP) si l’IoU avec la vérité fondamentale dépasse un seuil spécifié ; sinon, classez-le comme un faux négatif (FN).
6. Marquez toute segmentation prédite sans annotation correspondante comme un Faux Positif (FP).
7. Après avoir calculé l’intersection sur l’Union (IoU) entre les résultats prédits et les labels de la vérité de terrain, fixez le seuil d’IoU à 0,1, en tenant compte de la nature diffuse et à faible contraste des signaux de fluorescence en imagerie chirurgicale.
8. Définissez et calculez les métriques d’évaluation comme suit :
   
   
   

3. Post-traitement morphologique

1. Réduire tous les référentiels de fluorescence hépatique et biliaire de 1920 × résolution 1080 à 960 × 540 en utilisant une méthode basée sur l’interpolation, spécifiquement l’interpolation bilinéaire.
2. Appliquez un bourrage zéro sur la largeur pour obtenir une dimension finale d’entrée de 960 × 544 en générant une matrice tout zéro 960 × 544 et en centrant l’image actuelle à l’intérieur.
3. Concatéter les images en lumière blanche et fluorescente le long de la dimension du canal en stockant leurs matrices correspondantes dans une séquence dans un tenseur construit à l’aide du cadre PyTorch avant de les introduire dans le modèle.
4. Pour réduire les prédictions bruyantes et affiner la qualité des frontières, effectuer des opérations morphologiques d’ouverture et de fermeture sur les sorties initiales de segmentation afin de filtrer le bruit parasite et d’améliorer la délimitation des bords.
5. Commencez par une opération d’ouverture pour éliminer de petites pointes et artefacts de bord dans le masque³² prévu.
6. Suivez une opération de fermeture pour éliminer les trous isolés et les régions fragmentées.
7. Utilisez un noyau de structuration 25 × 25 pour les deux opérations afin d’assurer un affinement efficace des frontières d’organe et une réduction du bruit de segmentation.

4. Environnement d’entraînement et hyperparamètres

1. Entraînez le modèle avec un seul GPU NVIDIA A100 Tensor Core.
2. Réglez la taille du lot à 16.
3. Initialiser l’encodeur (backbone) en utilisant des poids pré-entraînés^{ImageNet 33} pour tirer parti de l’apprentissage par transfert et accélérer la convergence.
4. Utilisez l’optimiseur Stochastic Gradient Descent (SGD)³⁴ pour sa robustesse dans les tâches de segmentation d’images à grande échelle et sa capacité à atténuer les gradients bruyants.
5. Fixer le taux d’apprentissage initial à 0,01 et appliquer une stratégie de désintégration polynomiale pour réduire progressivement le taux d’apprentissage, avec une borne inférieure de 0,0001.
6. Poursuivez l’entraînement pendant un total de 50 000 itérations pour obtenir le modèle final.

5. Entraînement du modèle en trois phases

1. Lors de la phase de sélection de modèle, comparez plusieurs modèles de segmentation utilisant une entrée dual-modale, incluant DeeplabV3³⁵, DLinkNet34³⁶ et^{U-Net 37} ; Sélectionnez le modèle optimal en fonction de la précision de segmentation et de l’efficacité de calcul.
2. Dans la phase d’optimisation structurelle algorithmique, étudiez différentes positions de fusion de caractéristiques au sein du réseau afin de déterminer la stratégie d’intégration la plus efficace pour les données de lumière blanche et de fluorescence.
3. Lors de la phase de généralisation et de validation clinique, appliquer des techniques progressives d’augmentation des données pour renforcer la robustesse du modèle ; valider le modèle final dans des scénarios cliniques afin d’évaluer son applicabilité dans le monde réel.

6. Traitement vidéo chirurgical

1. Extraire des segments vidéo montrant la visualisation intraopératoire de la fluorescence par ICG de l’anatomie biliaire, y compris le canal biliaire commun (CBD) et le canal kystique.
2. Traiter les vidéos sélectionnées en temps réel en utilisant le modèle optimal ; Calculer le temps moyen de traitement par image pour évaluer la performance computationnelle en temps réel.

7. Élimination de la contamination par fluorescence hépatique

1. Appliquer le modèle pour détecter et supprimer la contamination par fluorescence hépatique en temps réel lors des procédures ICGLC.
2. Assurer la préservation de la visualisation de la structure biliaire afin de faciliter l’identification efficace des voies biliaires.
3. Maintenir la performance de suppression de la contamination malgré les défis intraopératoires courants tels que l’obstruction des instruments ou le mouvement de la caméra.

8. Évaluation clinique de la qualité vidéo

1. Recrutez un panel de 10 chirurgiens généraux seniors issus d’institutions externes pour évaluer l’efficacité des vidéos traitées par IA.
2. Fournir à chaque chirurgien des clips vidéo originaux et améliorés par l’IA ; Demandez-leur de remplir un questionnaire d’évaluation subjective basé sur cinq critères d’évaluation prédéfinis.

Résultats

Dans notre étude, un total de 48 patients ayant subi une cholécystectomie laparoscopique élective à indocyanine verte (ICGLC) entre 2022 et 2024 au département de chirurgie générale de l’hôpital Peking Union Medical College Hospital ont été inscrits rétrospectivement. Tous les patients ont reçu une injection intraveineuse de 0,5 mg d’indocyanine verte 20 minutes avant l’opération. L’examen pathologique postopératoire a confirmé que tous les cas avaient été diagnostiqués avec une cholécys...

Discussion

Cette recherche a exploité l’apprentissage profond par IA pour relever un défi majeur dans les chirurgies ICGLC : identifier et masquer la contamination par fluorescence hépatique. Les chirurgiens utilisant la NIRF rapportent souvent que la fluorescence hépatique provoque une fatigue visuelle et complique l’imagerie^{biliaire 38}. En appliquant la technologie de vision par ordinateur, cette étude visait à atténuer ces problèmes et à potentiellement réduire l’incidenc...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Console d’imagerie à fluorescence 4K	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EP4K-01	Fournit trois modes d’imgaging : lumière blanche, fluorescence et fluorescence fusionnée ; Soutien à l’expansion des modules d’IA
Caméra à fluorescence 4K	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EC-4K	Appareil photo entièrement numérisé avec réglages multifonctions ; Prise en charge de l’enregistrement vidéo, de la photographie et de la commutation de modes fluorescents
Système de source de lumière froide	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-CLS-1	Source de lumière froide LED et source lumineuse LED fluorescente avec une longueur d’onde fluorescente de 808 nm
NVIDIA A100 Tensor Core	NVIDIA Corporation	900-21001-0020-100	GPU