Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Bioengineering
Click here for the English version

Bioengineering

Superieure automatische identificatie van trypanosoomparasieten door gebruik te maken van een hybride deep-learning-model

Published: October 27, 2023 doi: 10.3791/65557
Automatic Translation
1, 2, 2, 3, 3, 4, 3, 3, 5
1Faculty of Medicine, King Mongkut’s Institute of Technology Ladkrabang, 2Veterinary Parasitology Research Unit, Faculty of Veterinary Science, Chulalongkorn University, 3College of Advanced Manufacturing Innovation, King Mongkut’s Institute of Technology Ladkrabang, 4Faculty of Science and Technology, Suan Dusit University, 5Department of Electrical Engineering, School of Engineering, King Mongkut’s Institute of Technology Ladkrabang

Summary

Wereldwijd werden medische bloedparasieten automatisch gescreend met behulp van eenvoudige stappen op een low-code AI-platform. De prospectieve diagnose van bloedfilms werd verbeterd door gebruik te maken van een objectdetectie- en classificatiemethode in een hybride deep learning-model. De samenwerking van actieve monitoring en goed getrainde modellen helpt bij het identificeren van hotspots van trypanosoomtransmissie.

Abstract

Trypanosomiasis is een belangrijk probleem voor de volksgezondheid in verschillende regio's over de hele wereld, waaronder Zuid-Azië en Zuidoost-Azië. De identificatie van hotspotgebieden onder actief toezicht is een fundamentele procedure om de overdracht van ziekten te beheersen. Microscopisch onderzoek is een veelgebruikte diagnostische methode. Het is echter in de eerste plaats afhankelijk van bekwaam en ervaren personeel. Om dit probleem aan te pakken, werd een programma voor kunstmatige intelligentie (AI) geïntroduceerd dat gebruik maakt van een hybride deep learning-techniek van neurale netwerkbackbones voor objectidentificatie en objectclassificatie op het interne low-code AI-platform (CiRA CORE). Het programma kan de protozoaire trypanosoomsoorten, namelijk Trypanosoma cruzi, T. brucei en T. evansi, identificeren en classificeren op basis van microscopische beelden met olie-onderdompeling. Het AI-programma maakt gebruik van patroonherkenning om meerdere protozoa binnen een enkel bloedmonster te observeren en te analyseren en markeert de kern en kinetoplast van elke parasiet als specifieke karakteristieke kenmerken met behulp van een aandachtskaart.

Om de prestaties van het AI-programma te beoordelen, worden twee unieke modules gemaakt die een verscheidenheid aan statistische metingen bieden, zoals nauwkeurigheid, herinnering, specificiteit, precisie, F1-score, misclassificatiepercentage, ROC-curven (Receiver Operating Characteristics) en Precision versus Recall (PR)-curves. De bevindingen van de beoordeling tonen aan dat het AI-algoritme effectief is in het identificeren en categoriseren van parasieten. Door een snelle, geautomatiseerde en nauwkeurige screeningtool te leveren, heeft deze technologie het potentieel om ziektebewaking en -bestrijding te transformeren. Het zou lokale functionarissen ook kunnen helpen bij het nemen van beter geïnformeerde beslissingen over strategieën voor het blokkeren van ziekteoverdracht.

Introduction

Trypanosomiasis is een belangrijke uitdaging voor wereldwijde gezondheidsproblemen als gevolg van een verscheidenheid aan zoönotische soorten die ziekten bij de mens veroorzaken met een breed scala aan geografische verspreiding buiten de Afrikaanse en Amerikaanse continenten, zoals Zuid- en Zuidoost-Azië 1,2,3. Menselijke Afrikaanse trypanosomiasis (HAT) of slaapziekte, wordt veroorzaakt door Trypanosoma brucei gambiense en T. b. rhodesiense die respectievelijk de chronische en acute vormen produceren die de belangrijkste verspreiding in Afrika vertegenwoordigen. De veroorzakende parasiet behoort tot de Speekselgroep vanwege de overdracht door geïnfecteerd speeksel van tseetseevliegen4. Overwegende dat de bekende Amerikaanse trypanosomiasis (ziekte van Chagas) veroorzaakt door T. cruzi een probleem voor de volksgezondheid is voor niet-endemische landen; waaronder Canada, de VS, Europa, Australië en Japan, vanwege de frequente migratie van individuen uit endemische gebieden5. De trypanosoominfectie behoort tot de Stercoraria-groep omdat deze wordt overgedragen door de geïnfecteerde uitwerpselen van reduviid-bugs. De trypanosomiasen en trypanosomosen (Surra-ziekte) veroorzaakt door de T. evansi-infectie zijn endemisch in Afrika, Zuid-Amerika, West- en Oost-Azië en Zuid- en Zuidoost-Aziatische landen 3,6. Hoewel menselijke trypanosomiasis veroorzaakt door het trypanosoom is gerapporteerd 3,4,7,8,9,10,11,12, wordt de route van overdracht van de parasitaire infectie besproken: ofwel het mechanische of geïnfecteerde bloed via hematofaag insecten zoals tseetseevliegen en tabaniden of dazen 6,7, 8,9,10,12,13,14. Er is geen casusrapport gevonden in Thailand, maar een hoge prevalentie van de T. evansi-infectie bij hond15, racepaarden en waterbuffels in de oostelijke regio is gepubliceerd16, wat suggereert dat er een verworven overdracht tussen huisdieren zou hebben plaatsgevonden. Er werden verschillende atypische menselijke infecties gerapporteerd die werden veroorzaakt door dierlijke trypanosomen (T. vivax, T. b. brucei, T. congolense, T. lewisi en T. evansi), die niet de klassieke vormen van menselijke trypanosomen zijn. Het bewustzijn over atypische menselijke infecties kan worden onderschat, wat de noodzaak benadrukt van verbeterde diagnostische tests en veldonderzoeken voor het opsporen en bevestigen van deze atypische gevallen, en het mogelijk maken van een goede controle en behandeling van pathogene ziekten bij dieren die de wereldwijde veestapel, voedselzekerheid aantasten18 en menselijke gezondheidszorg. Dit heeft geleid tot de ontwikkeling van een mogelijke strategie die is geïntegreerd met een bestaande gemeenschappelijke methode (microscopisch onderzoek) om bloedmonsters in afgelegen gebieden snel te screenen tijdens actieve bewaking, waardoor de hotspotzones voor het beperken en beheersen van de ziekte kunnen worden geïdentificeerd.

Het hebben van een sporadische incidentie van de Surra-ziekte bij een breed scala aan huisdieren zoals dromedarissen, runderen, paardachtigen en honden die een euryxenous T. evansi oproepen, kan zoönotisch zijn voor mensen 1,4,13,14. Menselijke infectie lijkt onmogelijk omdat een trypanolytische factor in menselijk serum, tot expressie gebracht door een sra-achtig gen, in staat is om menselijke T. brucei en T. congolensete voorkomen 12,19. Bovendien, zoals het eerste casusrapport uit India aantoont, heeft de ziekte geen verband met immuungecompromitteerde hiv-patiënten4. Zoals hierboven beschreven, kan de mogelijke infectie bij de mens verband houden met een lipoproteïnedeficiëntie met hoge dichtheid met een abnormale functie van de trypanosoomlytische factor, een zeldzame autosomaal recessieve genetische aandoening, namelijkde ziekte van Tanger4. In 2016 werd ontdekt dat een Vietnamese patiënt twee wildtype APOL1-allelen bezat en een serum APOL1-concentratie binnen het normale bereik. De theorie van APOL-1-deficiëntie wordt echter niet langer als geldig beschouwd12. Daarom is een mogelijk mechanisme van trypanosoominfectie direct contact van een wond met besmet dierlijk bloed tijdens de beroepsveehouderij 4,12. Microscopisch onderzoek toont aan dat de morfologie van T. evansi een monomorfe vorm van de trypomastigote is, inclusief een overheersend lang slank, geflagelleerd en delend trypanosoom dat vergelijkbaar is met hun verwante soort T. brucei 1,12,13. De kern bevindt zich in de centrale positie met een zichtbare kleine kinetoplast in de achterste positie. Een eerdere studie gaf aan dat de parasiet in twee vergelijkbare vormen kan voorkomen, bekend als de klassieke en afgeknotte vormen. Het blijft echter noodzakelijk om hun respectieve pathogene effecten op gastheren te bevestigen20. Het verloop van de symptomen varieert, variërend van intermitterende koorts geassocieerd met koude rillingen en zweten. Suramine is gelukkig een succesvolle eerstelijnstherapie voor humane Afrikaanse trypanosomiasis in een vroeg stadium zonder invasie van het centrale zenuwstelsel (CZS), waarbij patiënten in India en Vietnam worden genezen 4,12,21.

Behalve onderzoek van klinische symptomen bestaan er verschillende diagnostische methoden voor T. evansi-parasieten, waaronder parasitologische microscopische observatie 4,9,12, serologische 4,8,9,10,12 en moleculair biologische tests 4,12. Dunne bloedfilms die met Giemsa zijn gekleurd, worden vaak gebruikt om de aanwezige parasiet te visualiseren onder microscopisch onderzoek, wat routinematig en algemeen wordt gebruikt22. De procedure lijkt echter haalbaar; Desalniettemin is het tijdrovend en arbeidsintensief, heeft het variabiliteit in de beoordeling van interbeoordelaars, is het alleen gevoelig voor een acute fase en vereist het een persoonlijke stagiair23. Zowel moleculaire biologie als serologische tests hadden ook hoogopgeleid personeel nodig om meerdere processen van monstervoorbereiding uit te voeren, waaronder het extraheren en zuiveren van de monsters voordat ze werden getest met dure apparatuur, die moeilijk te standaardiseren is, het risico op besmetting met extra-parasitaire materialen en discrepanties in de resultaten24. Op basis van de hierboven beschreven grondgedachte is snelle en vroege screeningtechnologie nodig om het veldsurveillanceonderzoek te ondersteunen en ervoor te zorgen dat het onderzoeksresultaat tijdig wordt gerapporteerd om de hotspotzone te identificeren voor verdere controle van de ziekteoverdracht 1,8. Computergestuurde apparaten (CAD) zijn voorgesteld als een innovatieve technologie voor medische gebieden, met inbegrip van histopathologische en cytopathologische taken25. De hierboven genoemde CAD werd met hoge snelheid uitgevoerd en berekend met behulp van patroonherkenning, namelijk kunstmatige intelligentie (AI). De AI-methode wordt bereikt met behulp van convolutionele neurale netwerkalgoritmen die kunnen worden gebruikt om met een groot aantal datasetmonsters om te gaan, met name een gesuperviseerde leerbenadering die een goed getraind model traint op gegevensconsumptie.

Over het algemeen is AI het vermogen van computers om taken op te lossen die deskundige intelligentie vereisen, zoals het labelen van gegevens. Machine learning (ML), een deelgebied van AI, wordt weergegeven als een computersysteem met twee verschillende processen die bestaan uit functie-extractie en patroonherkenning. Deep learning (DL), of geavanceerde ML-algoritmen, verwijst naar de ontwikkeling van geautomatiseerde programma's en apparaten die mensachtige prestaties vergelijken met nauwkeurigheidsniveaus die groter en gelijk zijn aan die van menselijke professionals26. Momenteel is de rol van DL op medisch en veterinair gebied veelbelovend aan het uitbreiden en revolutioneren van de preventie van overdraagbare ziekten met als doel recente preventie en het begeleiden ervan naar individueel gezondheidspersoneel22,27. De potentiële DL-toepassing is grenzeloos met kwaliteitslabels en een groot aantal uitgebreide datasets, waardoor specialisten de projecttaak kunnen beheren. In het bijzonder verbeterde een vooruitgang in het digitale beeld, samen met computerondersteunde analyse, de automatische diagnose en screening in vijf gerapporteerde categorieën pathologie; met inbegrip van statische, dynamische, robotische, beeldvorming van het hele objectglaasje en hybride methoden28. Er moet rekening mee worden gehouden dat de integratie van DL-algoritmebenaderingen en digitale beeldgegevens lokale medewerkers zou kunnen aanmoedigen om de technologie in hun dagelijkse praktijk te gebruiken.

Eerder was de toename van de voorspellingsnauwkeurigheid van het gebruik van een hybride model bewezen27. Om de trypanosoomparasiet in microscopische beelden te identificeren, presenteert dit onderzoek twee hybride modellen, waarin de algoritmen YOLOv4-tiny (objectdetectie) en Densenet201 (objectclassificatie) zijn verwerkt. Van de verschillende detectiemodellen vertoonde YOLOv4-tiny met een CSPDarknet53-backbone hoge prestaties als voorspellingsresultaat in termen van lokalisatie en classificatie29. Aangezien de real-time detector de optimale balans tussen de resolutie van het ingangsnetwerk, de hoeveelheid van de convolutionele laag, de totale parameter en het aantal laaguitgangen heeft gewijzigd, is het prioriteren van hoge werksnelheden en het optimaliseren voor parallelle berekeningen verbeterd in vergelijking met eerdere versies. Dense Convolutional Network (DenseNet) is een ander populair model dat state-of-the-art resultaten behaalt in concurrerende datasets. DenseNet201 leverde een vergelijkbare validatiefout op die vergelijkbaar is met die van ResNet101; DenseNet201 heeft echter minder dan 20 miljoen parameters, wat minder is dan de meer dan 40 miljoen parameters van ResNet10130. Daarom zou het DenseNet-model de nauwkeurigheid van de voorspelling kunnen verbeteren met een toenemend aantal parameters zonder tekenen van overfitting. Hier maakt een programma voor kunstmatige intelligentie (AI) gebruik van een hybride deep learning-algoritme met neurale netwerkbackbones voor diepe detectie en classificatie op het interne CiRA CORE-platform. Het ontwikkelde programma kan de protozoaire trypanosoomsoorten, namelijk Trypanosoma cruzi, T. brucei en T. evansi, identificeren en classificeren op basis van microscopische beelden met olie-onderdompeling. Deze technologie heeft het potentieel om een revolutie teweeg te brengen in ziektebewaking en -bestrijding door een snelle, geautomatiseerde en nauwkeurige screeningsmethode te bieden. Het zou lokaal personeel kunnen helpen bij het nemen van beter geïnformeerde beslissingen over transmissieblokkerende strategieën voor parasitaire protozoaire ziekten.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Gearchiveerde bloedfilms en projectontwerp werden goedgekeurd door de Institutional Biosafety Committee, de Institutional Animal Care and Use Committee van de Faculteit Diergeneeskunde, Chulalongkorn University (IBC nr. 2031033 en IACUC nr. 1931027), en Human Research Ethics Committee van King Mongkut's Institute of Technology Ladkrabang (EC-KMITL_66_014).

1. Voorbereiding van RAW-afbeeldingen

  1. De voorbereiding van de afbeeldingsgegevensset
    1. Verkrijg ten minste 13 positieve objectglaasjes met bloedparasietinfecties, waaronder T. brucei, T. cruzi en T. evansi, bevestigd door parasitologen. Scheid de 13 dia's voor training (10 dia's) en testen (drie dia's).
    2. Maak beelden van de Giemsa gekleurde-dunne bloedfilms zoals hierboven beschreven onder een olie-immersieveld van een lichtmicroscoop met een digitale camera. Verkrijg afbeeldingen met meerdere objecten van de trypomastigoten van alle drie de parasietsoorten die microscopisch worden onderzocht; Zoek naar een slanke vorm, lange staarten, een golvend membraan en een kinetoplast aan het voorste uiteinde.
      OPMERKING: Het maken van zowel dikke als dunne uitstrijkjes zou de detectie van acute fase trypanosomiasisverbeteren 31. De bloedafname door middel van een vingerprik wordt aanbevolen door de WHO32. Niettemin zijn dunne films effectiever in het identificeren van Trypanosoma cruzi en andere soorten, omdat deze organismen de neiging hebben om vervormd te raken in dikke films33. In het licht hiervan gebruikten we dunne bloedfilmbeelden om de juiste morfologie van de parasieten voor deze studie te behouden.
    3. Sla alle afbeeldingen op in een parasietspecifieke map met de volgende specificaties: 1.600 x 1.200 pixels, 24-bits diepte en JPG-bestandsindeling. Splits de afbeeldingen op in de trainings- en testsets met een verhouding van ~6:1.
      OPMERKING: Zie https://gitlab.com/parasite3/superior-auto-identification-of-medically-important-trypanosome-parasites-by-using-a-hybrid-deep-learning-model/-/blob/main/JOVEimage.zip; 650 beelden werden gesplitst om te trainen (560 beelden) en te testen (90 beelden) model.
    4. Definieer het interessegebied als een rechthoekig label voor twee klassen: trypanosomen en niet-trypanosomen. Gebruik de module voor automatisch bijsnijden om alle gedetecteerde afbeeldingen bij te snijden met behulp van het goed getrainde objectdetectiemodel. De auto-cropping module is de module die is ontwikkeld in het in-house CiRA CORE programma (zie Tabel met materialen). Verzamel één object per afbeelding voor het trainen van de objectclassificatie.
      OPMERKING: Voor dit artikel werden 1.017 afbeeldingen gesplitst voor training (892 afbeeldingen) en testen (126 afbeeldingen). De modeltraining werd uitgevoerd met vier gelabelde klassen, waaronder leukocyten, T. brucei, T. cruzi en T. evansi.

2. Trainingsproces met in-house CiRA CORE platform

  1. Een nieuw project starten
    1. Open de CiRA CORE-applicatie vanaf het bureaublad van de computer (zie Tabel met materialen) en maak een nieuw project aan door te dubbelklikken op het pictogram van het programma.
    2. Kies het bedieningspictogram op de linker verticale werkbalk om de gewenste gereedschappen te selecteren.
  2. Training voor objectdetectiemodellen
    1. Selecteer de functie voor het trainings-DL-model voor het labelen en trainen van gegevens met behulp van de methode slepen en neerzetten . Ga naar de werkbalk Algemeen | CiRA AI | Sleep DeepTrain | Zet DeepTrain op het scherm (rechterkant).
      OPMERKING: Voor extra opties klikt u met de rechtermuisknop op het geselecteerde gereedschap en voert u de juiste functies uit: Kopiëren, Knippen of Verwijderen.
    2. Importeer de afbeeldingen met behulp van de instellingen van de DeepTrain-tool. Klik op de knop Afbeeldingen laden en navigeer naar de afbeeldingsmap. Label de objecten door de linkermuisknop ingedrukt te houden en het geselecteerde object een naam te geven. Pas de dikte van de rechthoekige lijn en de lettergrootte aan door op de knop Weergave-instelling te klikken en GT op te slaan als een .gt-bestand in dezelfde map.
      NOTITIE: Sla indien nodig op om ongewenste omstandigheden zoals stroomtekort, automatische programmasluitingen en vastlopen binnen het etiketteringsproces te voorkomen.
    3. Breid de gegevens voorafgaand aan de modeltraining uit om voldoende informatie te verzamelen met behulp van de vier augmentatietechnieken: Rotatie, Contrast, Ruis en Vervaging. Klik op de Gen Setting knop om toegang te krijgen tot deze functie.
    4. Start modeltraining door te klikken op de knop Training in de DeepTrain-tool . Het trainingsgedeelte heeft twee subfuncties: Trainingsbestanden genereren en Trainen. Selecteer onder de functie Trainingsbestanden genereren de gewenste modellen, batchgrootte en onderverdelingen. Klik op de knop Genereren om gegevens te genereren en op te slaan in de map. Kies in de functie Trainen de volgende opties: i) gebruik een andere gegenereerde trainingslocatie voor omstandigheden en back-up, ii) gebruik vooraf gebouwde gewichten voor voortgezette training, of iii) overschrijf parameters voor het huidige trainingsontwerp. Hiermee worden de modelconfiguratie en trainingsvoorwaarden ontworpen.
      OPMERKING: De tijd die nodig is voor het genereren van bestanden is afhankelijk van de grootte van het afbeeldingsbestand, het gebruik van augmentatie en de beschikbare geheugenruimte.
    5. Zodra alle benodigde configuraties zijn voltooid, begint u met de modeltraining door op de knop Trainen te klikken. Laat het programma continu uitvoeren, evalueer het trainingsverlies en pas het gewicht van de dataset aan tijdens het trainingsproces. Als het model optimaal verlies behaalt, slaat u het getrainde gewichtsbestand op in de opgegeven map door op de knop Exporteren te klikken.

3. Evaluatie van het objectdetectiemodel

  1. Selecteer de objectdetectiemodelevaluatiefunctie voor modelevaluatie met behulp van de methode slepen en neerzetten. Ga naar de werkbalk van de plug-in | Evalueren | EvalDetect slepen | Zet EvalDetect op het scherm (rechterkant).
  2. Klik op Instellingen en wacht op drie functies: Detectie, Evalueren en Plotten. Start de modelevaluatie door het getrainde gewichtsbestand uit de directory te importeren (stap 2.2.5) door op Load Config te klikken.
  3. Selecteer onder de detectiefunctie de niet-maximale onderdrukkingswaarde (NMS) om de nauwkeurigheid te verbeteren door redundante fout-positieve (FP)-detecties te elimineren. NMS verwijdert duplicaat, door het model gegenereerde detecties voor verbeterde betrouwbaarheid.
  4. Ga verder met de volgende stappen onder de functie Evaluatie :
    1. Importeer testafbeeldingen uit de map met afbeeldingsbestanden door op Bladeren te klikken. Importeer het GT-bestand uit de map waar het in stap 2.2.2 is opgeslagen door op Load GT te klikken.
    2. Kies de waarde Intersection over Union (IoU) om de nauwkeurigheid van de specifieke beeldtestgegevensset te beoordelen.
    3. Klik op de knop Evaluatie om het detectiemodel in de opgegeven map te beoordelen. Zodra de evaluatie is voltooid, worden de resultaten automatisch opgeslagen als een CSV-bestand in dezelfde map, gesorteerd op klassenaam. Dit CSV-bestand bevat essentiële parameters zoals True Positive (TP), False Positive (FP), False Negative (FN), Recall en Precision voor elke klasse.
  5. Om de Precision-Recall (PR)-curve te plotten, volgt u deze stappen onder de functie Plot : Importeer de CSV-bestanden uit de map van de vorige sectie (stap 3.4) door op Bladeren te klikken. Kies klassen uit de lijst en klik op de knop Plot om de bewerkbare PR-curve-afbeelding weer te geven.
  6. Ten slotte, om een afbeelding met de AUC-waarden van de PR-curve op te slaan in het vereiste afbeeldingsformaat in de opgegeven map, klikt u op de knop Opslaan van de afbeelding.

4. Afbeelding bijsnijden voor een enkel object per afbeelding

  1. Voer de volgende stappen uit voordat u de afbeeldingen bijsnijdt:
    1. Importeer de afbeeldingen uit de map met afbeeldingsbestanden door naar de instellingen van de tool Afbeeldingsdia te gaan.
    2. Importeer het bestand met het getrainde gewicht (opgeslagen in stap 2.2.8) door naar de instellingen van de Deep Detect-tool te gaan. Klik op de knop Configuratie | + knop, selecteer de backend (CUDA of CPU), geef een naam op, klik op OK, kies de map met het gewichtbestand en klik op Kiezen. Selecteer in de Deep Detect-tool de detectieparameters (drempel- en niet-maxima-onderdrukking (nms)); tekening parameters; tracking-parameters; en parameters voor de regio van belang (ROI).
    3. Selecteer de map waar de bijgesneden afbeeldingen worden opgeslagen door naar de instellingen van de tool Diep bijsnijden te gaan. Klik op Bladeren | kies de map om de bijgesneden afbeeldingen op te slaan | klik op Kiezen | selecteer het afbeeldingsformaat (jpg of png) | schakel de optie Automatisch opslaan in.
  2. Snijd afbeeldingen bij om één object per afbeelding te verkrijgen voor beeldclassificatie en segmentatie. Om dit proces uit te voeren, gebruikt u vier tools en legt u verbindingen tussen hen: ga naar de werkbalk Algemeen | Algemeen | Knop uitvoeren. Navigeer vervolgens naar de werkbalk Algemeen | CiRA AI | Diepe detectie; Ga vervolgens naar de werkbalk Algemeen | CiRA AI | Diep gewas. Ga ten slotte naar Afbeeldingswerkbalk | Acquisitie | Afbeeldingsdia.
  3. Zodra alle benodigde instellingen zijn geïnstalleerd, start u het proces voor het bijsnijden van afbeeldingen door op de knop Uitvoeren te klikken.
  4. Verkrijg een nieuwe gegevensset voor beeldtraining die bestaat uit afbeeldingen met één object met een grootte van 608 x 608.

5. Beeldclassificatie als modeltraining

  1. Gebruik slepen en neerzetten om de trainingsfunctie van het afbeeldingsclassificatiemodel te selecteren voor gegevenstraining. Ga naar de werkbalk Afbeelding | DeepClassif | Sleep ClassifTrain | Zet ClassifTrain op het scherm.
  2. Importeer afbeeldingen voor modeltraining met behulp van de instellingen van de ClassifTrain-tool . Klik op de knop Map openen en navigeer naar de gewenste afbeeldingsmap. Breid vóór de training de gegevens uit door op de knop Augmentatie te klikken voor meer informatie met behulp van technieken zoals Rotatie, Contrast, Spiegelen (horizontaal en/of verticaal), Ruis en Vervaging.
  3. Om de modeltraining te starten, klikt u op de GenTrain-knop van de ClassifTrain-tool . Selecteer onder de GenTrain-functie de modellen, batchgrootte en onderverdelingen. Wijs een map toe om het gegenereerde bestand op te slaan. Klik op de knop Genereren om door te gaan met gegevens voor training. Vink in de functie Trainen de juiste opties aan: Doorgaan met trainen met standaardgewicht of aangepast gewicht.
    OPMERKING: Het generatieproces kan enige tijd in beslag nemen, afhankelijk van factoren zoals de grootte van het afbeeldingsbestand, het gebruik van augmentatie, klasseverdeling en beschikbare geheugenruimte.
  4. Zodra alle voorbereidingen zijn voltooid, start u de modeltraining door op de knop Start te klikken. Laat het programma continu uitvoeren, evalueer het trainingsverlies en pas het gewicht van de dataset aan tijdens het trainingsproces. Als het model het gewenste niveau van verlies bereikt, slaat u het getrainde gewichtsbestand op in de opgegeven map door op de knop Exporteren te klikken.

6. Evaluatie van het classificatiemodel

  1. Selecteer de evaluatiefunctie van het afbeeldingsclassificatiemodel voor modelevaluatie met behulp van de methode slepen en neerzetten . Ga naar de werkbalk van de plug-in | Evalueren | Sleep EvaluateClassif | Zet EvaluateClassif neer op het scherm (aan de rechterkant).
  2. Klik op Instellingen om toegang te krijgen tot extra functies binnen de EvaluateClassif-tool, namelijk Evalueren en PlotROC.
  3. Als u de modelevaluatie wilt starten, klikt u op de knop Evalueren in de tool EvaluateClassif . Volg deze stappen onder de functie Evalueren .
    1. Importeer de testbeelden uit de map met afbeeldingsbestanden door te klikken op de afbeelding van de map Laden. Importeer het bestand met het getrainde gewicht uit de directory (opgeslagen in stap 5.4) door te klikken op Load Config. Klik op de knop Start om het classificatiemodel te evalueren.
    2. Zodra de evaluatie is voltooid, slaat u het geëvalueerde bestand op als CSV in de opgegeven map door op de knop Exporteren naar CSV te klikken. Voor de evaluatie van gegevens bij elke drempel slaat u het CSV-bestand met klassenamen op in de opgegeven map door te klikken op Alle drempelwaarde starten. Het opgeslagen CSV-bestand bevat parameters zoals Recall (True Positive Rate), False Positive Rate en Precision voor elke klasse.
  4. Om de ROC-curve (Receiver Operating Characteristics) te plotten, klikt u op de knop PlotROC in de EvaluateClassif-tool. Volg deze stappen onder de functie PlotROC.
    1. Importeer CSV-bestanden uit de eerder verkregen map door op Bladeren te klikken. Inspecteer de lijst met geïmporteerde klassen en selecteer elk klasselabel om de ROC-curve te plotten.
    2. Klik op de knop Plot om de ROC-curve als een afbeelding te visualiseren. Breng de gewenste bewerkingen aan om afbeeldingseigenschappen aan te passen, waaronder lettergrootte, letterkleuren, afronding van de decimaal, lijnstijlen en lijnkleuren.
  5. Sla ten slotte een afbeelding van de ROC-curve met de AUC-waarden op in het gewenste afbeeldingsformaat in de opgegeven map door op de knop Opslaan te klikken.

7. Testen van het proces met de CiRA CORE applicatie

  1. Objectdetectie als modeltest
    1. Om modeltests uit te voeren, gebruikt u vier tools en legt u verbindingen tussen hen. Ga naar de werkbalk Algemeen | Algemeen | Knop uitvoeren. Dan, werkbalk Algemeen | Algemeen | Fouten opsporen. Klik daarna op de werkbalk Algemeen | CiRA AI | DeepDetect, en tot slot Afbeelding werkbalk | Acquisitie | Afbeeldingsdia.
    2. Volg deze stappen voordat u de afbeeldingen test:
      1. Importeer de testafbeeldingen uit de map met afbeeldingsbestanden door te klikken op de optie Instellingen in de tool Afbeeldingsdia .
      2. Importeer het opgeslagen bestand met getrainde gewichten uit stap 2.2.8 door te klikken op de optie Instellingen in de DeepDetect-tool . Klik op de knop Config en vervolgens op de knop +, selecteer de backend (CUDA of CPU), geef een naam op, klik op OK, kies de map met het gewichtsbestand en klik op Kiezen. Selecteer onder de DeepDetect-tool de detectieparameters (Threshold en nms), tekenparameters, trackingparameters en ROI-parameters.
      3. Bekijk de resultaten van de testafbeelding door op de afbeeldingsfunctie in de Debug-tool te klikken.
    3. Controleer ten slotte de voorspelde resultaten voor elke afbeelding door op de knop Uitvoeren op de tool Knop Uitvoeren te klikken.
  2. Beeldclassificatie als modeltest
    1. Om modeltests uit te voeren, gebruikt u vier tools en legt u verbindingen tussen hen. Ga naar de werkbalk Algemeen | Algemeen | knop uitvoeren; vervolgens, werkbalk Algemeen | Fouten opsporen. Navigeer daarna naar Afbeeldingswerkbalk | Acquisitie | ImageSlide, en tot slot, Afbeelding werkbalk | DeepClassif | DeepClassif.
    2. Volg deze stappen voordat u de afbeeldingen test:
      1. Importeer de testafbeeldingen uit de map met afbeeldingsbestanden door te klikken op de optie Instellingen in de tool Afbeeldingsdia .
      2. Importeer het opgeslagen bestand met getrainde gewichten uit sectie 5.5 door te klikken op de optie Instellingen in de DeepClassif-tool . Klik op de knop Configuratie | + knop | selecteer de backend (CUDA of CPU) | Geef een naam op | klik op OK | Kies de map Gewicht bestand | klik op Kiezen. Selecteer onder de DeepClassif-tool de classificatieparameters (drempel en aantal voorspellingen van de hoogste klasse), gidskaartparameters (drempel-, alfa-, bèta- en kleurenkaart) en verschillende parameters in de kleurenkaart.
      3. Bekijk de resultaten van de testafbeelding door op de afbeeldingsfunctie in de Debug-tool te klikken.
    3. Controleer ten slotte de voorspelde resultaten voor elke afbeelding door op de knop Uitvoeren op de tool Knop Uitvoeren te klikken.

8. Hybride (detectie en classificatie) als modeltest

  1. Om deze modeltest uit te voeren, gebruikt u vier tools en legt u verbindingen tussen deze tools. Ga naar de werkbalk Algemeen | Algemeen | Knop uitvoeren. Dan, werkbalk Algemeen | Algemeen | Fouten opsporen. Daarna, Afbeeldingswerkbalk | Acquisitie | ImageSlide, en tot slot, Afbeelding werkbalk | Diep composiet | DeepD->C.
  2. Volg deze stappen voordat u de afbeeldingen test: Importeer testafbeeldingen uit de map met afbeeldingsbestanden door te klikken op de optie Instellingen in de tool Afbeeldingsdia . Importeer de twee opgeslagen bestanden met getrainde gewichten uit sectie 2.1.5 en paragraaf 4.4 door te klikken op de optie Instelling in de DeepD->C-tool :
    1. Klik voor de Detect-functie op de knop Config |+ knop, selecteer de backend (CUDA of CPU) | Geef een naam op | klik op OK | kies de map met het gewichtsbestand | klik op Kiezen. Selecteer onder de functie Detecteren de detectieparameters (Threshold en nms), tekenparameters, trackingparameters en ROI-parameters.
    2. Klik voor de functie Classif op de knop Config |+ knop, selecteer de backend (CUDA of CPU) | Geef een naam op | klik op OK | kies de map met het gewichtsbestand | klik op Kiezen. Selecteer onder de functie Classif de classificatieparameters (Drempelwaarde en aantal voorspellingen van de hoogste klasse) en Gidskaartparameters (drempel-, alfa-, bèta- en kleurenkaart).
  3. Bekijk de resultaten van de testafbeelding door op de afbeeldingsfunctie in de Debug-tool te klikken. Controleer ten slotte de voorspelde resultaten voor elke afbeelding door op de knop Uitvoeren op de tool Knop Uitvoeren te klikken.

9. Vijfvoudige kruisvalidatie

OPMERKING: Om de prestaties van het voorgestelde model effectiever te valideren, wordt K-vouw kruisvalidatie gebruikt.

  1. Verdeel de dataset in vijf secties, die overeenkomen met de vijf vouwen van kruisvalidatie. Gebruik tijdens elke iteratie van modeltraining en -testen één sectie als validatieset voor testen en de overige vier secties voor training. Herhaal dit proces vijf keer, waarbij elke vouw één keer wordt gebruikt als validatieset.
  2. Voor vouwen 1 t/m 5:
    1. Herhaal sectie 5 om het model te trainen met behulp van de trainingsgegevens van de vier vouwen.
    2. Herhaal paragraaf 7.2 om het model te testen met de resterende vouw als testset.

10. Evaluatie van het model

  1. Verwarringsmatrix
    1. Op basis van de testresultaten zullen de vier voorwaarden als volgt gebeuren:
      1. True Positive (TP): wanneer de invoerafbeelding waar is en de voorspelling ook waar is.
      2. Fout-positief (FP): wanneer de invoerafbeelding onwaar is, maar de voorspelling waar is.
      3. False Negative (FN): wanneer de invoerafbeelding waar is, maar de voorspelling onwaar is.
      4. True Negative (TN): wanneer de invoerafbeelding onwaar is en de voorspelling ook onwaar is.
    2. Evalueer aan de hand van deze vier voorwaarden de prestaties met de verwarringsmatrix.
  2. Prestatie-evaluaties
    1. De meest gebruikte classificatieprestatiemaatstaven zijn nauwkeurigheid, precisie, herinnering, specificiteit en F1-scorewaarden. Bereken alle evaluatiemaatstaven in vergelijkingen (1-6) die worden gebruikt om de prestaties van het model te evalueren op basis van waarden uit de verwarringsmatrix.
      Equation 1(1)
      Equation 2(2)
      Equation 3(3)
      Equation 4(4)
      Equation 5(5)
      Equation 6(6)
  3. ROC-curve
    OPMERKING: De ROC-curve is een prestatiemaatstaf voor classificatieproblemen met verschillende drempelwaarden. Het gebied onder de ROC-curve (AUC) vertegenwoordigt de mate of maat van scheidbaarheid, terwijl de ROC een waarschijnlijkheidscurve is.
    1. De ROC-curve is een tweedimensionale grafiek met de waarden van het percentage echte positieve percentages (TPR) en de waarden van de fout-positieve snelheid (FPR) uitgezet op respectievelijk de Y- en X-as. Construeer de ROC-curven met behulp van de TPR- en TFR-waarden die zijn verkregen uit de verwarringsmatrix. De TPR-waarde is gelijk aan de gevoeligheid; bereken de FPR-waarde met behulp van de vergelijking (7).
      Equation 7(7)
    2. Nadat u de TPR- en FPR-waarden hebt verkregen, tekent u de ROC-curve met behulp van de opensource-webtool Jupyter Notebook in een Python-omgeving. De AUC is een effectieve manier om de prestaties van het voorgestelde model in ROC-curve-analyse te beoordelen.
  4. PR-curve
    1. Gebruik de PR-curve om modellen te evalueren door het gebied onder de PR-curve te meten. Construeer de PR-curve door de precisie en herinnering van de modellen uit te zetten met behulp van de betrouwbaarheidsdrempelfuncties van het model. Omdat de PR-curve ook een tweedimensionale grafiek is, zet u Recall op de x-as en Precision op de y-as.
    2. Plot de PR-curve, zoals de ROC-curve, met behulp van de open-source Jupyter Notebook-webtool in een Python-omgeving. Het gebied onder de AUC-score (Precision-Recall-curve) is ook nuttig bij de classificatie van meerdere labels.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

In deze studie werden hybride deep learning-algoritmen voorgesteld om automatisch de positiviteit van een bloedmonster met een trypanosoomparasietinfectie te voorspellen. Gearchiveerde, met Giemsa bevlekte bloedfilms werden gesorteerd om de geparasiteerde versus niet-parasitaire te lokaliseren en te classificeren met behulp van het objectdetectie-algoritme op basis van een neuraal netwerk van darknet-ruggengraat. Binnen elk voorspellingsresultaat van een rechthoekige doos verkregen door het vorige model, werd het best geselecteerde classificatiemodel ontwikkeld om alle drie de soorten medisch en veterinair belangrijke trypanosomen te classificeren, waaronder T. brucei, T. cruzi en T. evansi. De uiteindelijke output van de gebruikte hybride modellen onthulde de robuustheid van de voorgestelde modellen tegen de variatie van 100x microscopische beelden die het voorspellingsresultaat zouden kunnen beïnvloeden, inclusief de morfologie van het bloedstadium van de parasiet. Bovendien kunnen omgevingsfactoren de beeldkwaliteit van kleurverandering verstoren door tijd, intensiteit van de lichtbronnen van de microscoop en vaardigheden voor het voorbereiden van bloedfilms op te slaan. Desalniettemin kan het best geselecteerde model het doel bereiken met hoge prestaties.

Lokalisatie en classificatie van labels met meerdere klassen
Aangezien de detectie van parasitaire protozoa uit Giemsa-kleurende bloedfilm onder olie-immersiemicroscopie vervelend is en de doorlooptijd verlengt, leidt dit tot gevoelige foutbias. Goed getrainde AI-benaderingen vereisen een grote pool van beeldgegevens met herschaling van 416 x 416 pixels en verschillende functiekenmerken van 3-RGB-kleurkanalen om de juiste voorspelling van lokalisatie en classificatie te vergroten. Het aantal parameters tijdens het trainen en optimaliseren van modellen is ingesteld met een leersnelheid van 0,002, een burn-in van 1.000 en stappen tussen 400.000 en 450.000. Laag trainingsverlies maar hoge trainingsnauwkeurigheid werden beschouwd als het optimale niveau of verzadiging bij momentum van 0,9, tint van 0,1 en verval van 0,0005. In de testfase met ongeziene gegevens werden correcte lokalisatie en classificatie uitgevoerd met behulp van de concepten van intersection over union (IOU) en percentage van de kans. Het resultaat van de testinterpretatie werd uitgevoerd bij een drempel van 50% en een niet-maximale onderdrukking (NMS) van 0,4, wat het juiste antwoord gaf met een % waarschijnlijkheid.

Zoals bij alle onderzochte geparasiteerde bloedfilms, is onderscheid tussen het trypanosoom en het niet-trypanosoom uitgevoerd met behulp van een neuraal netwerkmodel voor detectie dat kan functioneren voor zowel lokalisatie als classificatie (Figuur 1)22. Het voorspellingsresultaat van de voorgestelde detectietaak leverde een uitstekend resultaat op met een gemiddelde gemiddelde nauwkeurigheid van 93,10% (tabel 1). Hoewel het getrainde detectiemodel kan worden gebruikt om de niet-trypanosoomklasse meer te identificeren dan het model dat wordt gebruikt om de trypanosoomparasiet te identificeren, levert het ons een grotere precisie op dan 91% voor beide klasselabels. Bovendien vertoonde de precisie-versus-recall-curve een zeer gemiddelde AUC-waarde van 0,969, wat de AUC-waarden voor de parasiet en niet-parasiet op respectievelijk 0,976 en 0,961 opleverde (Figuur 2). Dit bracht ons ertoe onszelf ervan te verzekeren dat het getrainde model betrouwbaar zou kunnen zijn. Het rechthoekige vak van het eerste detectieresultaat werd bijgesneden met behulp van de beeldopnamemodule onder het interne CiRA CORE-programma. De hierboven genoemde bijgesneden afbeeldingen zijn gesorteerd in drie mappen die specifiek zijn voor de trypanosoomsoort. Dit proces werd voorbereid om gegevens in te voeren voor het trainingsclassificatiemodel dat in de volgende subsectie wordt geïllustreerd.

Classificatie modelgewijs classificeren
Om een goed getraind model te vinden voor het classificeren van de bekende soorten van de parasiet, werden T. brucei, T. cruzi en T. evansi bewaard in mappen die hun relatieve klassenamen kregen. Tijdens AI-training werden opnieuw geschaalde afbeeldingen van 256 x 256 pixels ingevoerd in drie RGB-kanalen, leersnelheid van 0,1, inbranden van 1000, momentum van 0,9, tint van 0,1 en verval van 0,0005. Het trainingsverlies en de trainingsnauwkeurigheid werden gebruikt om het optimaal getrainde model te vinden. De classificatievoorspelling werd geanalyseerd met behulp van de concepten pixelgewijze bepaling en % waarschijnlijkheid bij een drempel van 50%.

De vergelijking van drie populaire classificatie neurale netwerkalgoritmen werd bestudeerd om de beste te vinden 27,30. Deze drie neurale netwerken zijn op grote schaal gebruikt bij het classificeren van multiclass-labels op medisch en veterinair gebied 27,34,35. Het gevolgtrekkingsresultaat van het getrainde model met een % waarschijnlijkheid dat 0 tot 1 gerangschikt was, was gerechtvaardigd boven de drempel van 50%. Bovendien werden verschillende patroonherkenningen van elke parasiet gemarkeerd en specifiek voor de kern van het middelste deel van T. evansi door de aandachtskaart. Het grootste kinetoplast-organel van het voorste deel van T. cruzi in vergelijking met de andere twee soorten werd ook benadrukt. Zowel nuclease als kinetoplast werden benadrukt door de aandachtskaart die werd gevonden voor T. brucei (Figuur 3).

Er werden verschillende statistische maatstaven gebruikt om die drie voorgestelde modellen te meten, waaronder nauwkeurigheid, misclassificatiepercentage, herinnering (echt positief percentage), specificiteit (echt negatief percentage), fout-positievenpercentage, vals-negatiefpercentage, precisie en F1-score. Als gevolg hiervan vertoonden bijna alle evaluatiestatistieken met behulp van het Densenet201 neurale netwerk superieure waarden ten opzichte van de andere. Gemiddeld waren de metrische waarden van nauwkeurigheid, herinnering, specificiteit, precisie en F1-score opmerkelijk hoger en gelijk aan 98%. Het belang van de prestaties van het model bleek echter minder dan en gelijk aan 1,5% van de fout-positieven, fout-positieven en fout-negatieve percentages (tabel 2). Gezien de klasse-gewijze vergelijking, lijkt het Densenet201-model T. evansi correct te identificeren zonder fouten, terwijl het dit doet met ongeziene testgegevens, wat suggereert dat het potentieel getrainde model is om de parasietsoorten te onderscheiden.

In figuur 4A-C gaf de AUC onder de ROC-curve de grootste mate van gemiddelde nauwkeurigheid met 0,931 verkregen uit het beste classificatiemodel (figuur 4C), wat representatief was voor de bevestiging van het best geselecteerde model dat werd bestudeerd. De AUC van T. evansi was 0,817, wat lager is dan andere (0,980-1,00 voor T. brucei en 0,955-0,977 voor T. cruzi) en een contrast met de bovenstaande statistische statistieken. Dit kan zijn omdat deze twee waarden worden berekend met verschillende formules. De AUC werd verkregen uit alle drempels, maar de statistische statistieken uit slechts een drempel van 50%, wat suggereert dat deze twee waarden niet kunnen worden vergeleken. Consistente AUC-waarden door klassenamen verkregen uit alle drie de modellen duiden dus op de algemene nauwkeurigheid van respectievelijk T. brucei > T. cruzi > T. evansi.

K-Fold kruisvalidatie
Om de robuustheid van het best geselecteerde classificatiemodel te beoordelen wat betreft het schatten van de werkelijke voorspellingsfout en het afstemmen van de modelparameters zoals hierboven beschreven36, werd de vijfvoudige kruisvalidatietechniek gebruikt. Er werd een willekeurige splitsing van de gegevens in vijf mappen gedaan. Getrainde gegevens toegewezen door vier mappen en geteste gegevens voor de rustmap werden vóór de training voorbereid met het geselecteerde classificatie-algoritme.

Als gevolg hiervan zijn de gemiddelde statistische statistieken; nauwkeurigheid, herinnering (echt positief percentage), specificiteit (echt negatief percentage), precisie en F1-score leverden vergelijkbare waarden op van de bestudeerde statistische statistieken die meer dan 98% lieten zien (tabel 3). Rekening houdend met elke bestudeerde metriek, werd een rangschikking van 0.992-1.000 in nauwkeurigheid gevonden. Er werden hoge specificiteitswaarden van 0,994 tot 1,000 verstrekt. Zowel recall- als F1-scores variërend van 0.988 tot 1.000 werden getoond, evenzo werden 0.989-1.000 nauwkeurig bestudeerd. Interessant is dat lage percentages van verkeerde classificatie, vals-negatieven en vals-positieven werden gevonden bij minder dan 1.2%. Deze kwaliteitsprestaties ondersteunden het uitstekende getrainde model met gevarieerde gegevensvouwen en vertegenwoordigden robuustheid.

Bij de voorgestelde maatstaven onthulde de gemiddelde AUC onder de verkregen ROC-curve gesloten waarden variërend van 0,937 tot 0,944, wat vergelijkbare waarden van algemene nauwkeurigheid opleverde tussen de vijf voudigen van de gegevens (figuur 5). De klasse-gewijze vergelijking leverde een gevarieerde AUC op van 0,831 voor T. evansi, 0,982-1,000 voor T. cruzi en 1,000 voor T. brucei. Hoewel de AUC-waarde van T. evansi lager was dan die van de andere, kunnen de waarden worden blootgesteld aan de hoge mate van fout-positieven (~33%) die behoren tot de drempels van 1% tot 97%, wat resulteert in kleinere AUC-waarden in vergelijking met die van de andere twee klassen (Figuur 6).

De hybride deep learning: een praktische screening
In deze paragraaf wordt de bijdrage van de hybride deep learning-benadering tussen objectdetectie en anderzijds de classificatietechniek weergegeven in figuur 7. De kenmerken van parasieten en niet-parasieten werden onderscheiden en hun relatieve klassen werden geïdentificeerd binnen het roze begrenzingsvak met behulp van het eerste detectiemodel. Vervolgens werden de specifieke soorten van de parasiet in verschillende kleuren gediagnosticeerd met behulp van het goed getrainde classificatiemodel. Het groene label was voor T. evansi, het roze label voor T. brucei en het oranje label voor T. cruzi. Het tweede classificatielabel zou niet worden weergegeven als het eerste detectiemodel faalde, wat wijst op de goed verbonden functies tussen deze twee verschillende neurale netwerkruggengraat in de DC-module van het interne CIRA CORE-platform.

Figure 1
Figuur 1: Architectuur voor een hybride model. Alle drie de parasietsoorten trypanosomen (waaronder Trypanosoma evansi, T. brucei en T. cruzi) werden als input gebruikt. Meerdere objecten binnen een 100x microscopisch beeld werden gedetecteerd met behulp van het detectiemodel. Een enkel bijgesneden object uit het vorige model werd vervolgens geclassificeerd op basis van zijn relatieve soort met behulp van het beste classificatiemodel. Een aandachtskaart geïntegreerd met het beste classificatiemodel markeerde gebieden die specifiek zijn voor elk klasselabel. Klik hier om een grotere versie van deze figuur te bekijken.

Figure 2
Figuur 2: PR-curve. Het gebied onder de PR-curve, of AUC-waarde, in deze studie wordt gebruikt om het vermogen te meten om onderscheid te maken tussen niet-trypanosoom- en trypanosoomklassen. Alle monsters kunnen op beide klasselabels worden gedetecteerd. Een AUC van 1 is een perfecte voorspelling, terwijl een AUC van 0,5 een willekeurige voorspelling is. De curve wordt gebruikt om de prestaties van het voorgestelde detectiemodel te meten. Dit model kan de trypanosoomklasse met een hogere snelheid detecteren (AUC = 0,976) dan de niet-trypanosoomklasse (AUC = 0,961). De gemiddelde AUC-waarde van 0,969 werd verkregen uit het binaire resultaat van twee klasselabels, het niet-trypanosoom en het trypanosoom. Afkortingen: PR = precisie versus recall; AUC = oppervlakte onder de curve. Klik hier om een grotere versie van deze figuur te bekijken.

Figure 3
Figuur 3: Voorspellend resultaat van het classificatiemodel. Alle drie de trypanosoomsoorten werden gebruikt om de best voorgestelde getrainde modellen te testen. Er worden outputbeelden getoond van op soortclassificatie gebaseerde waarschijnlijkheids- en aandachtskaarten. In het bijzonder benadrukten de aandachtskaarten de belangrijke gebieden binnen het onzichtbare object die de discriminatie van de parasietsoorten leidden. Klik hier om een grotere versie van deze figuur te bekijken.

Figure 4
Figuur 4: Modelgewijze vergelijkingsgebaseerde ROC-curves. De AUC onder de ROC-curve is een grafische grafiek van de prestaties van een classificatiesysteem op basis van de gevarieerde discriminatiedrempel. Net als bij de AUC-PR-curve is de AUC-ROC van 1 een perfecte voorspelling, terwijl de AUC van 0,5 een willekeurige voorspelling is, die wordt aangegeven door stippellijnen in elke grafiek. Er werden drie classificatiemodellen vergeleken, waaronder (A) het 1eclassificatiemodel met een gemiddelde AUC van 0,925, (B) de 2eclassificatie met een gemiddelde AUC van 0,924 en (C) de beste classificatie met een gemiddelde AUC van 0,931. Daarom, hoe hoger de AUC, hoe beter de prestaties. Afkortingen: ROC = werkingskarakteristieken van de ontvanger; AUC = oppervlakte onder de curve. Klik hier om een grotere versie van deze figuur te bekijken.

Figure 5
Figuur 5: Vijfvoudige kruisvalidatie. Alle experimenten op basis van de beste classificatie neurale netwerkmodellen werden vergeleken. Vergelijkbare AUC-waarden van vijfvoudige gegevens omvatten (A) 0,944, (B) 0,944, (C) 0,937, (D) 0,941 en (E) 0,938, wat de robuustheid suggereert van het voorgestelde getrainde model dat wordt gebruikt tegen de variatie van de biologische gegevens. Klik hier om een grotere versie van deze figuur te bekijken.

Figure 6
Figuur 6: percentage echte positieven en fout-positieven per klassenaam. De X-as is representatief voor drempels van 1% tot 97%. De Y-as is representatief voor de graden van de statistische metriek. Klik hier om een grotere versie van deze figuur te bekijken.

Figure 7
Figuur 7: Eindoutput van de hybride modellen. De laatste stap van de bijdrage van het hybride model kan worden toegepast met invoergegevens als een onbewerkt microscopisch beeld van 20 μm. Het voorspellende resultaat kan worden verkregen uit zowel de objectdetectie- als de classificatiemodellen. Het eerste voorspellende resultaat gaf aan of het ongeziene testbeeld trypanosoomparasieten bevatte met een rechthoek (roze gekleurde labels). Vervolgens worden de classificatieresultaten die specifiek zijn voor de parasietsoort gevolgd door de eerste detectie met meerkleurige labels; groen voor T. evansi, roze voor T. brucei en oranje voor T. cruzi. Klik hier om een grotere versie van deze figuur te bekijken.

Tabel 1: Gemiddelde precisie per klasse en gemiddelde gemiddelde precisie (mAP) van het detectiemodel. Klik hier om deze tabel te downloaden.

Tabel 2: Vergelijking per classificatiemodel. Acht evaluatiemaatstaven werden gebruikt om de prestaties van het model te meten, waaronder nauwkeurigheid, misclassificatiepercentage, recall (echt positief percentage), specificiteit (echt negatief percentage), fout-positief percentage, vals-negatief percentage, precisie en F1-score. De vetgedrukte waarde is representatief voor de grootste waarde per klasselabel. De cursieve waarde is representatief voor de gemiddelde waarde van elke evaluatiemaatstaf. Klik hier om deze tabel te downloaden.

Tabel 3: Vijfvoudige kruisvalidatie. De vetgedrukte waarde is representatief voor de gemiddelde waarde per evaluatiemaatstaf. Klik hier om deze tabel te downloaden.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Microscopische observatie voor Trypanosoma protozoa-infectie wordt vroeg en vaak gebruikt, vooral tijdens surveillance in afgelegen gebieden waar een gebrek is aan bekwame technici en arbeidsintensieve en tijdrovende processen die allemaal obstakels vormen voor het tijdig melden van de gezondheidsorganisatie. Hoewel moleculair-biologische technieken zoals immunologie en polymerasekettingreactie (PCR) zijn goedgekeurd als hooggevoelige methoden om de effectiviteit van laboratoriumbevindingen te ondersteunen, zijn er dure chemicaliën, apparaten en professionals nodig om ermee om te gaan, die zich meestal in een centraal laboratorium in een groot gezondheidscentrum bevinden. Gedeelde morfologie, gemengde en onrijpe infectie en kenmerken van drie Trypanosoma-soorten zijn vatbaar voor gebruikersvooringenomenheid en verkeerde identificatie, waardoor de geneesmiddelrespons en controlemaatregelworden verminderd 37. Het gebruik van de aangepaste en hybride algoritmen tussen twee verschillende deep learning-modellen binnen het voorgestelde AI-programma kan veel uitdagingen overwinnen, waardoor een nieuw tijdperk van standaard taxonomie automatisch en haalbaar wordt. Eerdere publicaties hebben het potentieel van hybride modellen bevestigd bij het identificeren van malariabloedstadia 27,38. Hier is de uitleg van het protocol voor het trainen, testen en evalueren van de voorgestelde AI-modellen om de volwassen stadia van drie bekende Trypanosoma-soorten te herkennen met een vereenvoudigd proces om te analyseren voor praktische identificatie en verdere kwantificering van de parasitaire protozoa onder een microscopisch veld.

Het voorgestelde model kijkt verder dan het machine learning-model met behulp van het random forest-algoritme, dat is toegepast om de infectie van T. cruzi te identificeren aan de hand van bloeduitstrijkjes. Het machine learning-model bereikte een precisie van 87,6%, een gevoeligheid van 90,5% en een oppervlakte onder de operationele karakteristiek van de ontvanger van 0,94239. In 2015 werden twee methoden, AdaBoost-leren en SVM-leren, uitgevoerd om T. cruzi te onderscheiden van malaria-infectie in bloeduitstrijkjes. Hoewel een hoge mate van zowel sensitiviteit als specificiteit werd gerapporteerd, werd een beperkte dataset van 120 kleurenafbeeldingen van lage dimensie 256 × 256 pixels bestudeerd, die mogelijk niet representatief zijn voor de gehele populatie40. In deze studie werden drie bekende zoönotische Trypanosoma-soorten (bijv. T. cruzi, T. brucei en T. evansi) gescheiden met behulp van het voorgestelde hybride model, dat beter presteerde dan eerdere studies die hierboven zijn beschreven. Dit vertegenwoordigt de kosteneffectiviteit van het deep learning-model. Niettemin kan het nodig zijn dat verschillende grote datasets validatie van de prestaties van het voorgestelde model vereisen om de generalisatie ervan te bevestigen41. T. lewisi heeft het potentieel om mensen opportunistisch te infecteren, en het wordt erkend als een opkomende zoönotische ziekte die wordt overgedragen door ratten, vaak gekoppeld aan verarmde omstandigheden. In sommige landen, zoals Thailand en China, zijn gevallen gedocumenteerd20,42. Bovendien vertonen de morfologieën van T. evansi en T. lewisi een opvallende gelijkenis17. Om de dataset en het voorgestelde model te verbeteren, zou het opnemen van meer exemplaren van T. lewisi in de toekomst nuttig kunnen zijn bij de ontwikkeling van een deep learning-model. Om de reikwijdte van potentiële deep learning-technieken voor de diagnose van aanvullende dierlijke trypanosomosen te verbreden, is het raadzaam om datasets te verzamelen voor andere soorten zoals T. vivax, T. theileria en T. melophagium. Een belangrijke uitdaging om aan te pakken is de diagnose van gemengde infecties waarbij verschillende Trypanosoma-soorten betrokken zijn, aangezien antilichaamdetectiemethoden een verminderde specificiteit kunnen vertonen als gevolg van kruisreacties43. Het is essentieel om diagnostische technieken te verbeteren en te versterken om toepassingen van kunstmatige intelligentie te bevorderen en de gezondheid van vee, mens en milieu te beschermen.

Voorafgaand aan het trainen van het voorgestelde AI-programma om het 2D-beeld van de parasietprotozoa te herkennen, zijn de belangrijke criteria die nodig zijn om het te voltooien, zoals een grote steekproefomvang, klassenbalans, gegevensvergroting en kwaliteitsetikettering door experts. Als kritieke stappen kan het foutsignaal van de trainingsfase door professionals worden ontrafeld om de grondwaarheidslabels voor zowel de Darknet- als de Densenet-algoritmen te reproduceren. Een groot voordeel van het voorgestelde AI-programma is het gebruiksvriendelijke gebruik voor niet-coderende gebruikers door middel van eenvoudige drag-and-drop-stappen. Een ander belangrijk kenmerk is de combinatiemodule van de detectieversie en de aandachtskaart die is geïntegreerd met de classificatiemodellen, waardoor de ongeziene gegevens zo snel mogelijk kunnen worden getest zonder dat u zich zorgen hoeft te maken over het bestandsformaat van de onbewerkte afbeelding. Dit komt omdat een breder scala aan afbeeldingsindelingen kan worden gebruikt, waaronder .jpeg, .jpg, .png, .tif, .tiff, .pdf en .bmp. Toepassing van het AI-programma met een c-mount component van de microscoop kan leiden tot real-time detectie in afgelegen gebieden.

Beperkingen van de methode kunnen van invloed zijn op de voorgestelde protocollen in de pre-trainingsfase. Voordat het trainen van een AI-model begint, moeten sommige vereisten goed zijn voorbereid, met name de kwaliteit van de dataset en expertlabels. Binnen de dataset leidden een kleine steekproefomvang en onevenwichtigheid van de klasse ertoe dat het model de globale minima bereikte en moeite had om het optimale stadium te bereiken. Het gebruik van een grote steekproefomvang en het balanceren van de gegevens helpen het model te optimaliseren met een hoge nauwkeurigheid en weinig verlies tijdens de training. De variatie van beelden, zoals het ontwikkelingsstadium door de levenscyclusperiode van de protozoa en de gevarieerde kleur door Giemsa-kleuring27,44, de omgevings- en beeldschalen, willen worden genormaliseerd voordat ze worden gebruikt voor de training van beide deep learning-modellen. Om de hierboven genoemde voorgestelde problemen op te lossen, kunnen verschillende augmentatiefuncties, zoals rotatiehoeken, helderheid en contrast, verticale en horizontale spiegelingen, Gaussiaanse ruis en Gaussiaanse vervaging, worden gebruikt om de pretrainingsfase45 aan te pakken.

De belangrijke toepassing van de voorgestelde hybride AI-modellen is het identificeren van de parasitaire protozoa in realtime in de microscopische gegevens als ruwe gegevens van de microscoop, bevroren beelden en videoclips. Het stelt ons in staat om het getrainde model te implementeren met ingebedde edge-apparaten46, cloudgebaseerde mobiele applicatie47, browser user interface (BUI)48 en webgebaseerde modelimplementatie49. Als gevolg hiervan heeft het AI-model het potentieel om hybride deep learning toe te passen op actieve surveillance en een tijdig resultaat te leveren vanwege het vermogen om de beslissing van het lokale personeel binnen milliseconden te ondersteunen, wat automatische screeningtechnologie voor aanvullende epidemiologie suggereert.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Alle auteurs hebben geen financiële openbaarmakingen en geen belangenconflicten.

Acknowledgments

Dit werk (Onderzoeksbeurs voor New Scholar, Grant No. RGNS 65 - 212) werd financieel ondersteund door het Bureau van de Permanent Secretaris, Ministerie van Hoger Onderwijs, Wetenschap, Onderzoek en Innovatie (OPS MHESI), Thailand Science Research and Innovation (TSRI) en King Mongkut's Institute of Technology Ladkrabang. We zijn de National Research Council of Thailand (NRCT) [NRCT5-RSA63001-10] dankbaar voor de financiering van het onderzoeksproject. M.K. werd gefinancierd door Thailand Science Research and Innovation Fund Chulalongkorn University. We danken ook het College of Advanced Manufacturing Innovation, King Mongkut's Institute of Technology, Ladkrabang, die het deep learning-platform en de software hebben geleverd om het onderzoeksproject te ondersteunen.

Materials

Name Company Catalog Number Comments
Darknet19, Darknet53 and Densenet201 Gao Huang, Z. L., Laurens van der Maaten. Densely Connected Convolutional Networks. arXiv:1608.06993 [cs.CV]. (2016) https://github.com/liuzhuang13/DenseNet  Deep convolutional neural network model that can function to  classification
Generic name: YOLO model/ detection model?
Olympus CX31 Model CX31RRBSFA  Olympus, Tokyo, Japan SN 4G42178  A light microscope 
Olympus DP21-SAL U-TV0.5XC-3  Olympus, Tokyo, Japan SN 3D03838 A digital camera
Generic name: Classification models/ densely CNNs
Window 10 Microsoft Window 10 Operation system in computers
YOLO v4-tiny  Naing, K. M. et al. Automatic recognition of parasitic products in stool examination using object detection approach. PeerJ Comput Sci. 8 e1065, (2022). https://git.cira-lab.com/users/sign_in Deep convolutional neural network model that can function to both localization and also classification 
https://git.cira-lab.com/users/sign_in

DOWNLOAD MATERIALS LIST

References

  1. Kasozi, K. I., et al. Epidemiology of trypanosomiasis in wildlife-implications for humans at the wildlife interface in Africa. Frontiers in Veterinary Science. 8, 621699 (2021).
  2. Ola-Fadunsin, S. D., Gimba, F. I., Abdullah, D. A., Abdullah, F. J. F., Sani, R. A. Molecular prevalence and epidemiology of Trypanosoma evansi among cattle in peninsular Malaysia. Acta Parasitologica. 65 (1), 165-173 (2020).
  3. Aregawi, W. G., Agga, G. E., Abdi, R. D., Buscher, P. Systematic review and meta-analysis on the global distribution, host range, and prevalence of Trypanosoma evansi. Parasites & Vectors. 12 (1), 67 (2019).
  4. Joshi, P. P., et al. Human trypanosomiasis caused by Trypanosoma evansi in India: the first case report. The Am Journal of Tropical Medicine and Hygiene. 73 (3), 491-495 (2005).
  5. Lidani, K. C. F., et al. Chagas disease: from discovery to a worldwide health problem. Frontiers in Public Health. 7, 166 (2019).
  6. Sazmand, A., Desquesnes, M., Otranto, D. Trypanosoma evansi. Trends in Parasitology. 38 (6), 489-490 (2022).
  7. Powar, R. M., et al. A rare case of human trypanosomiasis caused by Trypanosoma evansi.Indian. Journal of Medical Microbiology. 24 (1), 72-74 (2006).
  8. Shegokar, V. R., et al. Short report: Human trypanosomiasis caused by Trypanosoma evansi in a village in India: preliminary serologic survey of the local population. American Journal of Tropical Medicine and Hygiene. 75 (5), 869-870 (2006).
  9. Haridy, F. M., El-Metwally, M. T., Khalil, H. H., Morsy, T. A. Trypanosoma evansi in dromedary camel: with a case report of zoonosis in greater Cairo, Egypt. Journal of the Egyptian Society of Parasitology. 41 (1), 65-76 (2011).
  10. Dey, S. K. CATT/T.evansi antibody levels in patients suffering from pyrexia of unknown origin in a tertiary care hospital in Kolkata. Research Journal of Pharmaceutical, Biological and Chemical Sciences. 5, 334-338 (2014).
  11. Dakshinkar, N. P., et al. Aberrant trypanosomias in human. Royal Veterinary Journal of India. 3 (1), 6-7 (2007).
  12. Vn Vinh Chau, N., et al. A clinical and epidemiological investigation of the first reported human infection with the zoonotic parasite Trypanosoma evansi in Southeast Asia. Clinical Infectious Diseases. 62 (8), 1002-1008 (2016).
  13. Misra, K. K., Roy, S., Choudhary, A. Biology of Trypanosoma (Trypanozoon) evansi in experimental heterologous mammalian hosts. Journal of Parasitic Diseases. 40 (3), 1047-1061 (2016).
  14. Nakayima, J., et al. Molecular epidemiological studies on animal trypanosomiases in Ghana. Parasites & Vectors. 5, 217 (2012).
  15. Riana, E., et al. The occurrence of Trypanosoma in bats from Western Thailand. The 20th Chulalongkorn University Veterinary Conference CUVC 2021: Research in practice. 51, Bangkok, Thailand. (2021).
  16. Camoin, M., et al. The Indirect ELISA Trypanosoma evansi in equids: optimisation and application to a serological survey including racing horses, in Thailand. BioMed Research International. 2019, 2964639 (2019).
  17. Truc, P., et al. Atypical human infections by animal trypanosomes. PLoS Neglected Tropical Diseases. 7 (9), 2256 (2013).
  18. Desquesnes, M., et al. Diagnosis of animal trypanosomoses: proper use of current tools and future prospects. Parasites & Vectors. 15 (1), 235 (2022).
  19. Da Silva, A. S., et al. Trypanocidal activity of human plasma on Trypanosoma evansi in mice. Revista Brasileira de Parasitologia Veterinaria. 21 (1), 55-59 (2012).
  20. Desquesnes, M., et al. Trypanosoma evansi and surra: a review and perspectives on transmission, epidemiology and control, impact, and zoonotic aspects. BioMed Research International. 2013, 321237 (2013).
  21. World Health Organization. A new form of human trypanosomiasis in India. Description of the first human case in the world caused by Trypanosoma evansi. Weekly Epidemiological Record. 80 (7), 62-63 (2005).
  22. Naing, K. M., et al. Automatic recognition of parasitic products in stool examination using object detection approach. PeerJ Computer Science. 8, 1065 (2022).
  23. Wongsrichanalai, C., Barcus, M. J., Muth, S., Sutamihardja, A., Wernsdorfer, W. H. A review of malaria diagnostic tools: microscopy and rapid diagnostic test (RDT). American Journal of Tropical Medicine and Hygiene. 77, 119-127 (2007).
  24. Rostami, A., Karanis, P., Fallahi, S. Advances in serological, imaging techniques and molecular diagnosis of Toxoplasma gondii infection. Infection. 46 (3), 303-315 (2018).
  25. Ahmad, Z., Rahim, S., Zubair, M., Abdul-Ghafar, J. Artificial intelligence (AI) in medicine, current applications and future role with special emphasis on its potential and promise in pathology: present and future impact, obstacles including costs and acceptance among pathologists, practical and philosophical considerations. A comprehensive review. Diagnostic Pathology. 16 (1), 24 (2021).
  26. Sarker, I. H. Deep learning: a comprehensive overview on techniques, taxonomy, applications and research directions. SN Computer Science. 2 (6), 420 (2021).
  27. Kittichai, V., et al. Classification for avian malaria parasite Plasmodium gallinaceum blood stages by using deep convolutional neural networks. Scientific Reports. 11 (1), 16919 (2021).
  28. Baskota, S. U., Wiley, C., Pantanowitz, L. The next generation robotic microscopy for intraoperative teleneuropathology consultation. Journal of Pathology Informatics. 11, 13 (2020).
  29. Bochkovskiy, A., Wang, C. -Y., Liao, H. -Y. M. YOLOv4: optimal speed and accuracy of object detection. arXiv. , 10934 (2004).
  30. Huang, G., Liu, Z., vander Maaten, L., Weinberger, K. Q. Densely connected convolutional networks. arXiv. , 06993 (2018).
  31. CDC-DPDx. Diagnostic procedures - Blood specimens. , Available from: https://www.cdc.gov/dpdx/diagosticprocedures/blood/specimenproc.html#print (2020).
  32. World Health Organization. Control and surveillance of African trypanosomiasis: report of a WHO expert committee. WHO Technical Report Series 881. , Available from: https://iris.who.int/bitstream/handle/10665/42087/WHO_TRS_881.pdf?sequence=1 (1998).
  33. Leber, A. L. Detection of blood parasites. Clinical Microbiology Procedures Handbook. , ASM Press. Washington, DC. (2022).
  34. Huang, L. -P., Hong, M. -H., Luo, C. -H., Mahajan, S., Chen, L. -J. A vector mosquitoes classification system based on edge computing and deep learning. Proceedings-2018 Conmference on Technologies and Applications of Artifical Intelligence. , Taichung, Taiwan. 24-27 (2018).
  35. Cihan, P., Gökçe, E., Kalipsiz, O. A review of machine learning applications in veterinary field. Kafkas Universitesi Veteriner Fakultesi Dergisi. 23 (4), 673-680 (2017).
  36. Berrar, D. Cross-validation. Encyclopedia of Bioinformatics and Computational Biology. 1, 542-545 (2019).
  37. Gaithuma, A. K., et al. A single test approach for accurate and sensitive detection and taxonomic characterization of Trypanosomes by comprehensive analysis of internal transcribed spacer 1 amplicons. PLoS Neglected Tropical Diseases. 13 (2), 0006842 (2019).
  38. Vijayalakshmi, A., Rajesh Kanna, B. Deep learning approach to detect malaria from microscopic images. Multimedia Tools and Applications. 79 (21-22), 15297-15317 (2019).
  39. Morais, M. C. C., et al. Automatic detection of the parasite Trypanosoma cruzi in blood smears using a machine learning approach applied to mobile phone images. PeerJ. 10, 13470 (2022).
  40. Uc-Cetina, V., Brito-Loeza, C., Ruiz-Pina, H. Chagas parasite detection in blood images using AdaBoost. Computational and Mathematical Methods in Medicine. 2015, 139681 (2015).
  41. Zhang, C., et al. Deep learning for microscopic examination of protozoan parasites. Computational and Structural Biotechnology Journal. 20, 1036-1043 (2022).
  42. Sarataphan, N., et al. Diagnosis of a Trypanosoma lewisi-like (Herpetosoma) infection in a sick infant from Thailand. Journal of Medical Microbiology. 56, 1118-1121 (2007).
  43. Desquesnes, M., et al. A review on the diagnosis of animal trypanosomoses. Parasites & Vectors. 15 (1), 64 (2022).
  44. Fuhad, K. M. F., et al. Deep learning based automatic malaria parasite detection from blood smear and its smartphone based application. Diagnostics (Basel). 10 (5), 329 (2020).
  45. Christian Matek, S. S., Spiekermann, K., Marr, C. Human-level recognition of blast cells in acute myeloid leukaemia with convolutional neural networks. Nature Machine Intelligence. 1, 538-544 (2019).
  46. Hamdan, S., Ayyash, M., Almajali, S. Edge-computing architectures for internet of things applications: a survey. Sensors (Basel). 20 (22), 6441 (2020).
  47. Visser, T., et al. A comparative evaluation of mobile medical APPS (MMAS) for reading and interpreting malaria rapid diagnostic tests. Malaria Journal. 20 (1), 39 (2021).
  48. Giorgi, E., Macharia, P. M., Woodmansey, J., Snow, R. W., Rowlingson, B. Maplaria: a user friendly web-application for spatio-temporal malaria prevalence mapping. Malaria Journal. 20 (1), 471 (2021).
  49. Rajaraman, S., Jaeger, S., Antani, S. K. Performance evaluation of deep neural ensembles toward malaria parasite detection in thin-blood smear images. PeerJ. 7, 6977 (2019).

Tags

Superieure auto-identificatie trypanosoomparasieten hybride deep-learning-model trypanosomiasis volksgezondheidsprobleem Zuid-Azië Zuidoost-Azië hotspotgebieden actieve bewaking microscopisch onderzoek geschoold personeel kunstmatige intelligentie (AI)-programma hybride deep learning-techniek objectidentificatie objectclassificatie neurale netwerkbackbones low-code AI-platform (CiRA CORE) Protozoaire trypanosoomsoorten Trypanosoma Cruzi T. Brucei T. Evansi olie-immersie Microscopische beelden patroonherkenning kern en kinetoplast aandachtskaart statistische metingen nauwkeurigheid herinnering specificiteit precisie F1-score misclassificatiepercentage ROC-curven (Receiver Operating Characteristics) Precision Versus Recall (PR)-curven
Superieure automatische identificatie van trypanosoomparasieten door gebruik te maken van een hybride deep-learning-model
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Kittichai, V., Kaewthamasorn, M.,… More

Kittichai, V., Kaewthamasorn, M., Thanee, S., Sasisaowapak, T., Naing, K. M., Jomtarak, R., Tongloy, T., Chuwongin, S., Boonsang, S. Superior Auto-Identification of Trypanosome Parasites by Using a Hybrid Deep-Learning Model. J. Vis. Exp. (200), e65557, doi:10.3791/65557 (2023).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter