Na podstawie obrazowania w jasnym polu i ML, cały proces różnicowania może być inteligentnie monitorowany i optymalizowany. Na etapie PSC opracowaliśmy model ML, który mógł przewidzieć ostateczną skuteczność różnicowania zgodnie z cechami morfologicznymi początkowych kolonii PSC, aby określić najbardziej odpowiedni lub odpowiedni punkt czasowy do zainicjowania różnicowania (Rysunek 4A,B). Efektywność różnicowania przewidywana przez model lasu losowego jest silnie skorelowana z rzeczywistą efektywnością różnicowania (r Pearsona = 0,76, P < 0,0001) (Rysunek 4B). Wytrenowany model podkreśla również cechy, które są najważniejsze dla zróżnicowania. Spośród wszystkich cech morfologicznych kolonii, odchylenie standardowe, minimalny i minimalny/maksymalny stosunek odległości od środka do konturu (CCD), a także obwód, powierzchnia, stosunek powierzchni do obwodu, wypukłość i okrągłość, to 8 cech o największej wadze. Związek między tymi cechami a ostateczną wydajnością sugeruje, że początkowe kolonie PSC o umiarkowanej powierzchni i dłuższych, nieregularnych obrzeżach miały tendencję do posiadania wyższej wydajności różnicowania (Rysunek 4A), co inspiruje nas do poprawy wydajności różnicowania poprzez wydłużenie czasu przetwarzania roztworu mineralizacyjnego w celu uzyskania mniejszych kolonii o dłuższych, bardziej nieregularnych granicach (patrz krok protokołu 1.3.1). Monitorowanie kolonii PSC oparte na uczeniu maszynowym i zoptymalizowane operacje pasażowania komórek zapewniają optymalizację początkowego stanu komórki.
Na I etapie różnicowania serca, oceniliśmy i dostosowaliśmy dawkę CHIR (induktora wczesnego różnicowania serca) za pomocą ML. Korzystając z regresji logistycznej, dawka CHIR może być oceniona wcześnie za pomocą poklatkowych obrazów jasnego pola z 0-12 godzin. Klasyfikator regresji logistycznej osiąga 93,1% dokładności, 88,7% precyzji, 94,5% kompletności, 91,1% wyniku F1 i 97,2% AUC, gdy czas trwania CHIR jest wybrany jako 24 godziny. Wyniki odchylenia (przewidywany wynik) są silnie skorelowane ze "stężeniem ΔCHIR" (prawdziwym wynikiem) dla każdego warunku dawki CHIR w eksperymentach (r Pearsona = 0,82, P < 0,0001) (Rysunek 4C,D), co sugeruje, że przewidywanie ML może odzwierciedlać odchylenie dawek CHIR od optimum. Dzięki wczesnej ocenie dawek CHIR możemy dostosować czas trwania lub stężenie leczenia CHIR do optimum przed 48 godzinami, co pozwala nam szybko skorygować nieprawidłowo zróżnicowaną trajektorię komórek i utrzymać różnicowanie CM z wysoką wydajnością.
Zbudowaliśmy również modele ML, aby informacyjnie rozpoznawać CPC i CM na podstawie obrazów w jasnym polu na etapie II i III różnicowania (Rysunek 5A-D). Wprowadzając obrazy żywych komórek w jasnym polu, wytrenowane modele uczenia maszynowego mogą przewidywać regionalną dystrybucję CPC i CM oraz nieinwazyjnie oceniać ostateczną skuteczność różnicowania. W przypadku rozpoznawania CPC maski segmentacji CPC przewidywane przez ResNeSt i Grad-CAM są zgodne z maskami z adnotacjami ręcznymi (Rysunek 5A), ze średnim IoU wynoszącym 59,0%. Przewidywana proporcja regionów CPC może również służyć jako wskaźnik końcowej skuteczności różnicowania (r Pearsona = 0,88, P < 0,0001) (Rysunek 5B). W celu rozpoznania CM model pix2pix może generować obrazy fluorescencyjne cTnT, które są podobne do prawdziwych (eksperymentalnie uzyskanych) obrazów fluorescencyjnych cTnT (Rysunek 5C), z wysoką korelacją między przewidywanym a prawdziwym wskaźnikiem efektywności różnicowania całej studni (r Pearsona = 0,93, P < 0,0001) (Rysunek 5D). Takie podejście pozwala uniknąć nieodwracalnych uszkodzeń komórek spowodowanych barwieniem immunofluorescencyjnym lub sortowaniem przepływowym. Opierając się na sondzie aktywowanej fotoaktywem (DACT-1), udało nam się osiągnąć skuteczne, selektywne oczyszczanie CPC w regionie bez biomarkerów ( Rysunek 5E,F), umożliwiając w ten sposób oczyszczanie w czasie rzeczywistym pożądanego typu komórki podczas procesu różnicowania.
Tak więc, wykorzystując obrazowanie w jasnym polu żywych komórek i ML, metodologia umożliwia przewidywanie linii komórkowych w czasie rzeczywistym i ocenę wydajności w całym procesie różnicowania, modulując i stabilizując różnicowanie PSC.

Rysunek 1: Schemat przepływu pracy różnicowania CM wspomaganego przez ML. Eksperymentator przeprowadza różnicowanie serca i uzyskuje poklatkowe obrazy komórek w jasnym polu z mikroskopu; obrazy na każdym etapie różnicowania CM są przekazywane do wytrenowanych modeli uczenia maszynowego w celu przewidywania; Wykorzystując prognozę jako informację zwrotną, eksperymentatorzy modulują i optymalizują schemat różnicowania w czasie rzeczywistym, aby osiągnąć stabilne, wysokowydajne różnicowanie. Podziałka = 1 mm. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2: Akwizycja obrazu komórki. (A) Przykład obrazu żywej komórki w jasnym polu ze stadium PSC z 70% konfluencją komórek. (B) Przykład obrazu żywej komórki w jasnym polu ze stadium PSC z 80-90% konfluencją komórek. (C) Przykład obrazu żywej komórki w jasnym polu ze etapu CPC. (D) Przykład obrazu na żywo w jasnym polu ze sceny CM. (E) Przykład jasnego pola i fluorescencji po barwieniu immunofluorescencyjnym z tego samego pola widzenia. (A-E) Podziałka = 250 μm. Skróty: PSC = pluripotencjalne komórki macierzyste; CPC = komórka progenitorowa serca; CM = kardiomiocyt; cTnT = sercowa troponina T. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Zrzuty ekranu dotyczące użycia ML. (A-C) Reprezentatywne zrzuty ekranu dla ML na etapie PSC, w tym (A) przygotowanie zestawu danych, (B) testowanie wydajności modelu i (C) interpretacja ważności funkcji. (D-F) Reprezentatywne zrzuty ekranu dla uczenia maszynowego na etapie I, w tym (D) przygotowanie zestawu danych i (E,F) OCENA MODELU. (G-I) Reprezentatywne zrzuty ekranu dla uczenia maszynowego na etapie II, w tym (G) przygotowanie zestawu danych, (H) trenowanie modelu i (I) ocena modelu. (J-L) Reprezentatywne zrzuty ekranu dla uczenia maszynowego na etapie III, w tym (J) szkolenie modelu i (K,L)) oceny modelu. Skróty: ML = uczenie maszynowe; PSC = pluripotencjalna komórka macierzysta. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Reprezentatywne wyniki na etapie PSC i etapie I dla różnicowania CM opartego na ML. (A) Wyniki wizualizacji cech na etapie PSC. Przedstawiono zależność między skutecznością różnicowania a ośmioma najważniejszymi cechami. Ważność funkcji jest określana przez wytrenowany model uczenia maszynowego. Zakres każdej funkcji jest podzielony na 20 pojemników. Wskaźniki efektywności różnicowania dla studzienek w każdym pojemniku są uśredniane i wyświetlane według kolorów. Trend zmiany koloru pokazuje, w jaki sposób każda cecha morfologiczna wpływa na ostateczną skuteczność różnicowania. Wyniki te razem sugerują, że umiarkowany obszar, dłuższe obwody, bardziej zróżnicowane odległości od środka konturu, mniejsza okrągłość i wyższa wypukłość bardziej sprzyjają różnicowaniu. (B) Ocena skuteczności uczenia maszynowego na etapie PSC poprzez analizę korelacji między prawdziwym a przewidywanym wskaźnikiem efektywności różnicowania. Wysoka korelacja wskazuje, że potencjał różnicowania kolonii PSC można przewidzieć na podstawie jego cech morfologicznych. n = 584 studzienki. (C) Ocena działania ML na etapie I z wykorzystaniem analizy korelacji między przewidywanymi wynikami odchylenia a rzeczywistymi stężeniami ΔCHIR dla każdego warunku dawki CHIR w partii. Wyniki odchylenia (w zakresie od -1 do 1) są przewidywane nieinwazyjnie przez ML przy użyciu strumieni obrazu w jasnym polu 0-12 godzin. Stężenia ΔCHIR (..., -4 μM, -2 μM, 0, 2 μM, 4 μM, ...) są oznaczane doświadczalnie na podstawie końcowych wyników różnicowania w celu zmierzenia rzeczywistego odchylenia od optymalnych warunków dla każdego warunku CHIR. Wyniki przewidywanego odchylenia w dużym stopniu wskazują na rzeczywiste stężenia ΔCHIR, co sugeruje, że przewidywanie ML może służyć jako sygnał do oceny i dostosowania dawki CHIR. Niebieskie i czerwone pola reprezentują odpowiednio stany przedawkowania i przedawkowania. (D) Ocena skuteczności uczenia maszynowego na etapie I z wykorzystaniem walidacji krzyżowej. W każdej rundzie jedna partia jest używana do testowania, podczas gdy inne są do trenowania, aby przetestować zdolność uogólniania modeli uczenia maszynowego w nowych partiach. Przeprowadzana jest analiza korelacji między przewidywanymi wynikami odchyleń a rzeczywistymi stężeniami ΔCHIR (przy czasie trwania CHIR wynoszącym 24 godziny). Kolor kropek reprezentuje różne partie testowe. n = 20 dawek CHIR. Ten rysunek został zaczerpnięty z Yang et al.35. Skróty: ML = uczenie maszynowe; PSC = pluripotencjalna komórka macierzysta; CHIR = CHIR99021. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5: Reprezentatywne wyniki na etapie CPC i etapie CM dla zróżnicowania CM opartego na ML. (A) Typowy wynik ML dla rozpoznania CPC na etapie II. Pokazano prawdziwe obrazy fluorescencji cTnT w dniu 12 (po lewej), ręcznie opisane regiony CPC (w środku) oraz regiony CPC przewidywane przez ML przy użyciu obrazów jasnego pola w dniu 6 (po prawej). Przewidywane wyniki są bardzo zbliżone do rzeczywistych wyników eksperymentu. Podziałka liniowa = 1 mm. (B) Ocena wydajności ML na etapie II przy użyciu analizy korelacji między prawdziwym wskaźnikiem efektywności różnicowania (z 12 dnia znaczników fluorescencyjnych cTnT) a przewidywanym procentem regionów CPC (z 6 dnia obrazów jasnego pola). Wysoka korelacja sugeruje, że efektywność różnicowania można przewidzieć nieinwazyjnie na etapie II. Wskaźniki efektywności rzeczywistego zróżnicowania są znormalizowane w zakresie od 0% do 100%. n = 35 dołków. (C) Typowy wynik ML dla rozpoznania CM na etapie III. Pokazane są rzeczywiste wyniki fluorescencji cTnT (po lewej), przewidywane wyniki fluorescencji cTnT (w środku) oraz mapa cieplna służąca do porównywania przewidywanej i rzeczywistej intensywności fluorescencji w każdym pikselu (po prawej). Obrazy fluorescencyjne są zmieniane na 512 x 512 pikseli, a liczby w pojemnikach mapy cieplnej reprezentują liczbę pikseli na 100. Duża część pikseli znajduje się wzdłuż ukośnej linii mapy cieplnej, co wskazuje, że przewidywana i rzeczywista intensywność fluorescencji są zbliżone. Podziałka liniowa = 1 mm. (D) Ocena wydajności uczenia maszynowego na etapie III przy użyciu analizy korelacji między prawdziwymi i przewidywanymi wskaźnikami efektywności różnicowania. Prawdziwe i przewidywane wskaźniki efektywności różnicowania są znormalizowane w zakresie od 0% do 100%. n = 36 studzienek. (E) Zidentyfikowany obrazowo efekt oczyszczania CPC w dniu 6. Po FACS i 6 dniach hodowli, nieznakowane CPC zidentyfikowane obrazem wykazują wysoką czystość CM w porównaniu z nieznakowanymi DACT-1 nie-CPC i komórkami grupy kontrolnej (CTL). Podziałka = 100 μm. (F) Analiza ilościowa efektu oczyszczania poprzez porównanie procentowej zawartości komórek cTnT+ w (E). Dane są średnimi ± SD. n = 5 obrazów. * P < 0,05; P < 0,0001 za pomocą jednoczynnikowej ANOVA, a następnie wielokrotnych testów porównawczych Dunnetta. Ten rysunek został zaczerpnięty z Yang et al.35. Skróty: ML = uczenie maszynowe; PSC = pluripotencjalna komórka macierzysta; CPC = komórka progenitorowa serca; CM = kardiomiocyt; cTnT = sercowa troponina T. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
| Zaobserwowano problem | Możliwy powód | Rozwiązanie |
| Modele ML nie działają dobrze na zbiorze treningowym. | 1. Trenowanie modelu ML nie jest dobrze zbieżne.
2. W przypadku tradycyjnego uczenia maszynowego wyodrębnione cechy obrazu nie są wystarczająco pouczające, aby odzwierciedlić stany komórek i linie.
3. W przypadku głębokiego uczenia moc reprezentacji zaprojektowanej sieci neuronowej nie jest wystarczająca do wykonania zadania.
4. Samo zadanie jest trudne do nauczenia. | 1. Dostosuj hiperparametry, np. zwiększ liczbę epok i zmodyfikuj tempo uczenia się.
2. Obserwuj obrazy, aby znaleźć morfologiczne wskazówki dotyczące stanów komórek. Projektowanie biologicznie wiarygodnych cech.
3. Zmodyfikuj architekturę sieci, aby zwiększyć jej złożoność.
4. Zbadaj zestaw danych i upewnij się, że cechy komórek docelowych można łatwo zidentyfikować. Jeśli model nie nauczy się zadania, spróbuj zastosować ML na etapie, na którym wskazówki obrazowe są bardziej przejrzyste lub zaprojektować prostsze zadanie. |
| Modele ML nie działają dobrze na zestawie treningowym, ale nie na zestawie testowym. | 1. Model jest nadrzędny w stosunku do zestawu treningowego. | 1. Wzbogać zestawy danych treningowych i ponownie wytrenuj model. Zwiększ różnorodność zestawów danych treningowych, uwzględniając więcej linii komórkowych, warunków różnicowania i warunków obrazowania.
W przypadku tradycyjnego uczenia maszynowego użycie wyboru funkcji w celu zmniejszenia liczby funkcji wejściowych może również zwiększyć zdolność uogólniania modelu. |
| Modele ML nie działają dobrze na nowych partiach lub nowych liniach komórkowych. | 1. Zmiana parametrów mikroskopu i obrazowania.
2. Cechy morfologiczne różnych linii komórkowych mogą być różne. | 1. Upewnij się, że urządzenie do obrazowania jest takie samo jak podczas trenowania modelu.
2. Zbierz oznakowane dane uzyskane z nowych linii komórkowych i/lub nowych warunków obrazowania, przetrenuj lub dostosuj modele uczenia maszynowego. |
| Modulacja procesu różnicowania pod kierunkiem ML nie wydaje się poprawiać wyniku różnicowania. | 1. Dane wyjściowe ML są niedokładne.
2. Występują problemy z eksperymentalnymi odczynnikami lub procedurami.
3. Linia komórkowa ma podstawowe problemy, brak zdolności do różnicowania. | 1. Spróbuj rozwiązać powyższe kroki.
2. Sprawdź odczynniki laboratoryjne i procedury eksperymentalne.
3. Zmień linie komórkowe. |
| Zanieczyszczenie typu komórkowego nadal występuje po oczyszczeniu. | 1. Niedokładne wyniki przewidywania.
2. Niektóre niechciane komórki znajdujące się na krawędzi oczyszczonego obszaru zostały zamknięte. | 1. Zoptymalizuj wyniki przewidywane przez ML.
2. Stosuj wyniki przewidywane przez uczenie maszynowe bardziej konserwatywnie, tj. odpowiednie zmniejszenie rozmiaru regionu CM. |
| Zły stan komórki po oczyszczeniu. | 1. Fototoksyczność laserowa.
2. Powolny proces działania.
3. Uszkodzenie komórek spowodowane trawieniem.
4. Uszkodzenie komórek spowodowane procesem sortowania przepływowego. | 1. Wyeliminuj niechciane komórki za pomocą promieniowania laserowego zamiast komórek docelowych.
2. Szybsza operacja.
3. Dostosuj metodę pasażu, taką jak zmniejszenie stężenia enzymów trawiennych.
4. Dostosuj metodę sortowania, na przykład zmniejszając prędkość przepływu komórek ustawioną podczas procesu sortowania. |
Tabela 1: Tabela rozwiązywania problemów.