Op basis van brightfield imaging en ML kan het algehele differentiatieproces intelligent worden bewaakt en geoptimaliseerd. In de PSC-fase ontwikkelden we een ML-model dat de uiteindelijke differentiatie-efficiëntie kon voorspellen op basis van de morfologische kenmerken van de initiële PSC-kolonies, om het meest geschikte of geschikte tijdstip te bepalen om differentiatie te starten (Figuur 4A,B). De differentiatie-efficiëntie die door het random forest-model wordt voorspeld, is sterk gecorreleerd met de werkelijke differentiatie-efficiëntie (Pearson's r = 0,76, P < 0,0001) (Figuur 4B). Het getrainde model benadrukt ook kenmerken die het belangrijkst zijn voor de differentiatie. Van alle morfologische kenmerken van de kolonie zijn de standaarddeviatie, de minimale en min/max-verhouding van de centrum-contourafstanden (CCD), evenals de omtrek, de oppervlakte, de oppervlakte/omtrekverhouding, de convexiteit en de cirkelvormigheid, de 8 kenmerken met het meeste gewicht. De relatie tussen deze kenmerken en de uiteindelijke efficiëntie suggereert dat initiële PSC-kolonies met een matig oppervlak en met langere, onregelmatige periferieën over het algemeen een hogere differentiatie-efficiëntie hadden (Figuur 4A), wat ons inspireert om de differentiatie-efficiëntie te verbeteren door de verwerkingstijd van de vergistingsoplossing te verlengen om kleinere kolonies met langere, meer onregelmatige grenzen te verkrijgen (zie Protocolstap 1.3.1). ML-gebaseerde monitoring van PSC-kolonies en de geoptimaliseerde celpassaging-operaties realiseren de optimalisatie van de initiële celtoestand.
In stadium I van cardiale differentiatie hebben we de dosis CHIR (een inductor voor vroege cardiale differentiatie) beoordeeld en aangepast met behulp van ML. Met behulp van logistische regressie kan de CHIR-dosis vroeg worden geëvalueerd met behulp van 0-12 uur time-lapse helderveldbeelden. De logistische regressieclassificatie bereikt een nauwkeurigheid van 93,1%, een precisie van 88,7%, een recall van 94,5%, een F1-score van 91,1% en een AUC van 97,2% wanneer de duur van de CHIR is geselecteerd op 24 uur. De afwijkingsscores (voorspeld resultaat) zijn sterk gecorreleerd met "ΔCHIR-concentratie" (echt resultaat) voor elke CHIR-dosisconditie in experimenten (Pearson's r = 0,82, P < 0,0001) (Figuur 4C,D), wat suggereert dat ML-voorspelling de afwijking van CHIR-doses van optimaal kan weerspiegelen. Met een vroege evaluatie van CHIR-doses kunnen we de duur of concentratie van de CHIR-behandeling vóór 48 uur aanpassen naar het optimale, waardoor we het verkeerd gedifferentieerde celtraject onmiddellijk kunnen corrigeren en de CM-differentiatie met hoge efficiëntie kunnen ondersteunen.
We hebben ook ML-modellen gebouwd om CPC's en CM's informatief te herkennen uit helderveldbeelden in stadium II en fase III van differentiatie (Figuur 5A-D). Door helderveldbeelden van levende cellen in te voeren, kunnen getrainde ML-modellen de regionale verdeling van CPC's en CM's voorspellen en de uiteindelijke differentiatie-efficiëntie niet-invasief evalueren. Voor CPC-herkenning komen de door ResNeSt en Grad-CAM voorspelde CPC-segmentatiemaskers overeen met handmatig geannoteerde maskers (Figuur 5A), met een gemiddelde IoU van 59,0%. Het voorspelde aandeel van CPC-regio's kan ook dienen als indicator voor de uiteindelijke differentiatie-efficiëntie (Pearson's r = 0,88, P < 0,0001) (Figuur 5B). Voor CM-herkenning kan het pix2pix-model cTnT-fluorescentiebeelden genereren die vergelijkbaar zijn met echte (experimenteel verkregen) cTnT-fluorescentiebeelden (Figuur 5C), met een hoge correlatie tussen voorspelde en echte Differentiation Efficiency Index voor hele put (Pearson's r = 0,93, P < 0,0001) (Figuur 5D). Deze aanpak voorkomt onomkeerbare schade aan cellen veroorzaakt door immunofluorescentiekleuring of flowsorting. Op basis van een fotoactieve sonde (DACT-1) hebben we met succes een efficiënte regioselectieve CPC-zuivering bereikt zonder biomarkers (Figuur 5E,F), waardoor real-time zuivering van het gewenste celtype tijdens het differentiatieproces mogelijk is.
Door gebruik te maken van live-cell brightfield-beeldvorming en ML, realiseert de methodologie dus real-time voorspelling van de celafstamming en efficiëntie-evaluatie in het gehele differentiatieproces, waardoor PSC-differentiatie wordt gemoduleerd en gestabiliseerd.

Figuur 1: Schema van de ML-ondersteunde CM-differentiatieworkflow. De onderzoeker voert cardiale differentiatie uit en verkrijgt time-lapse helderveldcelbeelden van een microscoop; beelden in elk stadium van CM-differentiatie worden doorgegeven aan getrainde ML-modellen voor voorspelling; Met behulp van de voorspelling als feedback moduleren en optimaliseren onderzoekers het differentiatieschema in realtime om stabiele, zeer efficiënte differentiatie te bereiken. Schaalbalk = 1 mm. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Acquisitie van celbeelden. (A) Voorbeeld van een helderveld live-celbeeld uit het PSC-stadium met 70% celconfluentie. (B) Voorbeeld van een helderveld live-cell beeld van het PSC-stadium met 80-90% celconfluentie. (C) Voorbeeld van een helderveld live-cell beeld van de CPC-fase. (D) Voorbeeld van een helderveld live-cell beeld van de CM-tafel. (E) Voorbeeld van een helder veld en fluorescentie na immunofluorescentiekleuring vanuit hetzelfde gezichtsveld. (A-E) Schaal balk = 250 μm. Afkortingen: PSC = pluripotente stamcel; CPC = cardiale voorlopercel; CM = cardiomyocyt; cTnT = cardiaal troponine T. Klik hier om een grotere versie van deze figuur te bekijken.

Afbeelding 3: Schermafbeeldingen voor ML-gebruik. (A-C) Representatieve schermafbeeldingen voor ML in de PSC-fase, inclusief (A) voorbereiding van de dataset, (B) testmodelprestaties en (C) interpretatie van het belang van functies. (D-F) Representatieve screenshots voor ML in fase I, inclusief (D) voorbereiding van de dataset en (E,F) modelevaluatie. (G-I) Representatieve screenshots voor ML in fase II, inclusief (G) voorbereiding van de dataset, (H) modeltraining en (I) modelevaluatie. (J-L) Representatieve screenshots voor ML in fase III, inclusief (J) modeltraining en (K,L) modelevaluatie. Afkortingen: ML = machine learning; PSC = pluripotente stamcel. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Representatieve resultaten in de PSC-fase en fase I voor ML-gebaseerde CM-differentiatie. (A) Resultaten van functievisualisatie in de PSC-fase. De relatie tussen differentiatie-efficiëntie en de acht belangrijkste kenmerken wordt getoond. Het belang van functies wordt bepaald door het getrainde ML-model. Het assortiment van elke functie is verdeeld in 20 bakken. Differentiatie-efficiëntie-indexen voor putten binnen elke bak worden gemiddeld en weergegeven op kleur. De trend van de kleurverandering geeft aan hoe elk morfologische kenmerk de uiteindelijke differentiatie-efficiëntie beïnvloedt. Deze resultaten samen suggereren dat een matig gebied, langere omtrekken, meer variërende afstanden tussen het centrum en de contouren, een lagere cirkelvormigheid en een hogere convexiteit meer bevorderlijk zijn voor differentiatie. (B) Evaluatie van de prestaties van ML in het PSC-stadium door middel van correlatieanalyse tussen de werkelijke en de voorspelde differentiatie-efficiëntie-index. De hoge correlatie geeft aan dat het differentiatiepotentieel van PSC-kolonies kan worden voorspeld op basis van de morfologische kenmerken. n = 584 putten. (C) Prestatie-evaluatie van ML in fase I met behulp van correlatieanalyse tussen voorspelde afwijkingsscores en werkelijke ΔCHIR-concentraties voor elke CHIR-dosisconditie in een batch. Afwijkingsscores (variërend van -1 tot 1) worden niet-invasief voorspeld door ML met behulp van 0-12 uur helderveldbeeldstreams. ΔCHIR-concentraties (..., -4 μM, -2 μM, 0, 2 μM, 4 μM, ...) worden experimenteel bepaald door de uiteindelijke differentiatieresultaten om de werkelijke afwijking van optimale omstandigheden voor elke CHIR-conditie te meten. Voorspelde afwijkingsscores zijn zeer indicatief voor de werkelijke ΔCHIR-concentraties, wat suggereert dat ML-voorspelling kan dienen als een signaal voor de beoordeling en aanpassing van de CHIR-dosis. Blauwe en rode vakken geven respectievelijk onderdosering en overdosering aan. (D) Evaluatie van de prestaties van ML in fase I met behulp van cross-batch validatie. In elke ronde wordt één batch gebruikt voor testen, terwijl andere voor training zijn, om het generalisatievermogen van ML-modellen op nieuwe batches te testen. Er wordt een correlatieanalyse uitgevoerd tussen voorspelde afwijkingsscores en werkelijke ΔCHIR-concentraties (onder een CHIR-duur van 24 uur). De kleur van de stippen staat voor verschillende testbatches. n = 20 CHIR-doses. Dit cijfer is ontleend aan Yang et al.35. Afkortingen: ML = machine learning; PSC = pluripotente stamcel; CHIR = CHIR99021. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Representatieve resultaten in het CPC-stadium en het CM-stadium voor CM-differentiatie op basis van ML. (A) Typisch resultaat van ML voor CPC-herkenning in fase II. Getoond worden de echte cTnT-fluorescentiebeelden op dag 12 (links), de handmatig geannoteerde CPC-gebieden (midden) en de CPC-gebieden voorspeld door ML met behulp van helderveldbeelden op dag 6 (rechts). De voorspelde resultaten lijken sterk op de werkelijke experimentele resultaten. Schaalbalk = 1 mm. (B) Prestatie-evaluatie van ML in fase II met behulp van correlatieanalyse tussen de echte differentiatie-efficiëntie-index (vanaf dag 12 cTnT-fluorescentielabels) en het voorspelde percentage CPC-regio's (vanaf dag 6 helderveldbeelden). De hoge correlatie suggereert dat de differentiatie-efficiëntie niet-invasief kan worden voorspeld in stadium II. Echte differentiatie-efficiëntie-indexen zijn genormaliseerd tussen 0% en 100%. n = 35 putten. (C) Typisch resultaat van ML voor CM-herkenning in stadium III. Getoond worden de echte cTnT-fluorescentieresultaten (links), de voorspelde cTnT-fluorescentieresultaten (midden) en de heatmap voor het vergelijken van voorspelde en werkelijke fluorescentie-intensiteiten op elke pixel (rechts). Het formaat van fluorescentieafbeeldingen wordt gewijzigd in 512 x 512 pixels en de getallen in de heatmap-opslaglocaties vertegenwoordigen het frequentieaantal pixels per 100. Een groot deel van de pixels bevindt zich langs de diagonale lijn van de heatmap, wat aangeeft dat de voorspelde en werkelijke fluorescentie-intensiteiten dicht bij elkaar liggen. Schaalbalk = 1 mm. (D) Prestatie-evaluatie van ML in fase III met behulp van correlatieanalyse tussen de werkelijke en voorspelde differentiatie-efficiëntie-indexen. Echte en voorspelde differentiatie-efficiëntie-indexen zijn genormaliseerd tussen 0% en 100%. n = 36 putten. (E) Beeldgeïdentificeerd CPC-zuiveringseffect van dag 6. Na FACS en 6 dagen kweek vertonen niet-gelabelde beeldgeïdentificeerde CPC's een hoge CM-zuiverheid in vergelijking met DACT-1-gelabelde niet-CPC's en cellen van de controlegroep (CTL). Schaalbalk = 100 μm. (F) Kwantitatieve analyse van het zuiveringseffect door vergelijking van het percentage cTnT+- cellen in (E). Gegevens zijn middelen ± SD. n = 5 afbeeldingen. * P < 0,05; P < 0,0001 door eenrichtings-ANOVA, gevolgd door de meervoudige vergelijkingstests van Dunnett. Dit cijfer is ontleend aan Yang et al.35. Afkortingen: ML = machine learning; PSC = pluripotente stamcel; CPC = cardiale voorlopercel; CM = cardiomyocyt; cTnT = cardiaal troponine T. Klik hier om een grotere versie van deze figuur te bekijken.
| Waargenomen probleem | Mogelijke reden | Oplossing |
| ML-modellen presteren niet goed op de trainingsset. | 1. De training van het ML-model sluit niet goed op elkaar aan. 2. Voor traditionele ML zijn de geëxtraheerde afbeeldingskenmerken niet informatief genoeg om celtoestanden en afstammingslijnen weer te geven. 3. Voor deep learning is de representatiekracht van het ontworpen neurale netwerk niet voldoende om de taak uit te voeren. 4. De taak zelf is moeilijk te leren. | 1. Stem hyperparameters af, verhoog bijvoorbeeld het aantal epochs en wijzig de leersnelheid. 2. Observeer de afbeeldingen om morfologische aanwijzingen te vinden over de celtoestanden. Ontwerp biologisch plausibele kenmerken. 3. Wijzig de netwerkarchitectuur om de complexiteit te vergroten. 4. Onderzoek de dataset en zorg ervoor dat de kenmerken van doelcellen gemakkelijk kunnen worden geïdentificeerd. Als het model er niet in slaagt de taak te leren, probeer dan ML toe te passen in een stadium waarin de beeldvormingsaanwijzingen duidelijker zijn of om een eenvoudigere taak te ontwerpen. |
| ML-modellen presteren niet goed op de trainingsset, maar niet op de testset. | 1. Het model past te veel bij de trainingsset. | 1. Verrijk de trainingsdatasets en train het model opnieuw. Vergroot de diversiteit van de trainingsdatasets door meer cellijnen, differentiatievoorwaarden en beeldvormingsvoorwaarden op te nemen. Voor traditionele ML kan het gebruik van functieselectie om het aantal invoerfuncties te verminderen ook het generalisatievermogen van het model vergroten. |
| ML-modellen presteren niet goed op nieuwe batches of nieuwe cellijnen. | 1. Microscoop- en beeldvormingsparameters veranderen. 2. Morfologische kenmerken van verschillende cellijnen kunnen verschillen. | 1. Zorg ervoor dat het beeldvormingsapparaat hetzelfde is als tijdens de modeltraining. 2. Verzamel gelabelde gegevens die zijn verkregen van nieuwe cellijnen en/of nieuwe beeldvormingsomstandigheden, train of verfijn de ML-modellen. |
| ML-geleide modulatie van het differentiatieproces lijkt de differentiatie-uitkomst niet te verbeteren. | 1. De ML-uitvoer is onnauwkeurig. 2. Er zijn problemen met de experimentele reagentia of procedures. 3. De cellijn heeft onderliggende problemen, zonder het vermogen om te differentiëren. | 1. Probeer de hierboven genoemde stappen voor probleemoplossing. 2. Inspecteer de laboratoriumreagentia en experimentele procedures. 3. Verander cellijnen. |
| Celtypebesmetting bestaat nog steeds na zuivering. | 1. Onnauwkeurige voorspellingsresultaten. 2. Sommige ongewenste cellen die zich aan de rand van het gezuiverde gebied bevonden, werden ingekapseld. | 1. Optimaliseer de ML-voorspelde resultaten. 2. Gebruik de ML-voorspelde resultaten conservatiever, d.w.z. een passende vermindering van de grootte van de CM-regio. |
| Slechte celstatus na zuivering. | 1. Laser fototoxiciteit. 2. Langzaam werkingsproces. 3. Celbeschadiging veroorzaakt door spijsvertering. 4. Celbeschadiging veroorzaakt door het sorteerproces van de stroom. | 1. Elimineer de ongewenste cellen via laserbestraling in plaats van doelcellen. 2. Snellere werking. 3. Pas de passaging-methode aan, zoals het verminderen van de concentratie van spijsverteringsenzymen. 4. Pas de sorteermethode aan, zoals het verlagen van de tijdens het sorteerproces ingestelde celstroomsnelheid. |
Tabel 1: Tabel voor probleemoplossing.