Denne artikel forklarer, hvordan man bruger simulationsovervåget maskinlæring til analyse af mitokondriermorfologi i fluorescensmikroskopibilleder af faste celler.
Den kvantitative analyse af subcellulære organeller såsom mitokondrier i cellefluorescensmikroskopibilleder er en krævende opgave på grund af de iboende udfordringer i segmenteringen af disse små og morfologisk forskellige strukturer. I denne artikel demonstrerer vi brugen af en maskinlæringsstøttet segmenterings- og analysepipeline til kvantificering af mitokondriemorfologi i fluorescensmikroskopibilleder af faste celler. Det deep learning-baserede segmenteringsværktøj er trænet på simulerede billeder og eliminerer kravet om grundlæggende sandhedsannoteringer til overvåget dyb læring. Vi demonstrerer brugen af dette værktøj på fluorescensmikroskopibilleder af faste kardiomyoblaster med et stabilt udtryk for fluorescerende mitokondriemarkører og anvender specifikke cellekulturbetingelser til at inducere ændringer i mitokondriemorfologien.
I dette papir demonstrerer vi nytten af et fysikbaseret maskinlæringsværktøj til subcellulær segmentering1 i fluorescensmikroskopibilleder af faste kardiomyoblaster, der udtrykker fluorescerende mitokondriermarkører.
Mitokondrier er de vigtigste energiproducerende organeller i pattedyrceller. Specifikt er mitokondrier meget dynamiske organeller og findes ofte i netværk, der konstant ændrer sig i længde og forgrening. Mitokondriernes form påvirker deres funktion, og celler kan hurtigt ændre deres mitokondriemorfologi for at tilpasse sig en ændring i miljøet2. For at forstå dette fænomen er den morfologiske klassificering af mitokondrier som prikker, stænger eller netværk meget informativ3.
Segmenteringen af mitokondrier er afgørende for analysen af mitokondrie morfologi i celler. Nuværende metoder til at segmentere og analysere fluorescensmikroskopibilleder af mitokondrier er afhængige af manuel segmentering eller konventionelle billedbehandlingsmetoder. Tærskelbaserede tilgange som Otsu4 er mindre nøjagtige på grund af de høje støjniveauer i mikroskopibilleder. Typisk har billeder til morfologisk analyse af mitokondrier et stort antal mitokondrier, hvilket gør manuel segmentering kedelig. Matematiske tilgange som MorphoLibJ5 og semi-overvågede maskinlæringsmetoder som Weka6 er meget krævende og kræver ekspertviden. En gennemgang af billedanalyseteknikkerne for mitokondrier7 viste, at deep learning-baserede teknikker kan være nyttige til opgaven. Faktisk er billedsegmentering i hverdagsbilleder til applikationer som selvkørende blevet revolutioneret med brugen af deep learning-baserede modeller.
Dyb læring er en delmængde af maskinlæring, der giver algoritmer, der lærer af store mængder data. Overvågede deep learning-algoritmer lærer relationer fra store sæt billeder, der er kommenteret med deres GT-etiketter (ground truth). Udfordringerne ved at bruge overvåget dyb læring til segmentering af mitokondrier i fluorescensmikroskopibilleder er todelt. For det første kræver overvåget dyb læring et stort datasæt af træningsbilleder, og i tilfælde af fluorescensmikroskopi ville det være en omfattende opgave at levere dette store datasæt sammenlignet med ved brug af lettere tilgængelige traditionelle kamerabaserede billeder. For det andet kræver fluorescensmikroskopibilleder GT-annoteringer af objekterne af interesse for træningsbillederne, hvilket er en kedelig opgave, der kræver ekspertviden. Denne opgave kan nemt tage timer eller dage af ekspertens tid til et enkelt billede af celler med fluorescerende mærkede subcellulære strukturer. Desuden udgør variationer mellem annotatorer et problem. For at fjerne behovet for manuel annotation og for at kunne udnytte den overlegne ydeevne af dyb læringsteknikker blev der brugt en dyb læringsbaseret segmenteringsmodel her, der blev trænet på simulerede billeder. Fysikbaserede simulatorer giver mulighed for at efterligne og kontrollere processen med billeddannelse i et mikroskop, hvilket gør det muligt at skabe billeder af kendte former. Ved hjælp af en fysikbaseret simulator blev der oprettet et stort datasæt af simulerede fluorescensmikroskopibilleder af mitokondrier til dette formål.
Simuleringen starter med geometrigenereringen ved hjælp af parametriske kurver til formgenerering. Emittere placeres tilfældigt på formens overflade på en ensartet fordelt måde, således at densiteten svarer til de eksperimentelle værdier. En 3D-punktspredningsfunktion (PSF) af mikroskopet beregnes ved hjælp af en beregningseffektiv tilnærmelse8 af Gibson-Lanni-modellen9. For nøje at matche de simulerede billeder med eksperimentelle billeder emuleres både den mørke strøm og skudstøjen for at opnå fotorealisme. Den fysiske GT genereres i form af et binært kort. Koden til generering af datasættet og træning af simuleringsmodellen er tilgængelig10, og trinnet til oprettelse af dette simulerede datasæt er beskrevet i figur 1.
Vi viser nytten af dyb læringsbaseret segmentering, der udelukkende er trænet på et simuleret datasæt ved at analysere konfokale mikroskopibilleder af faste kardiomyoblaster. Disse kardiomyoblaster udtrykte en fluorescerende markør i mitokondriernes ydre membran, hvilket muliggør visualisering af mitokondrierne i fluorescensmikroskopibillederne. Før forsøget blev udført som et eksempel her, blev cellerne frataget glukose og tilpasset galactose i 7 dage i kultur. Udskiftning af glukose i vækstmediet med galactose tvinger cellerne i kultur til at blive mere oxidative og dermed afhængige af deres mitokondrier til energiproduktion11,12. Desuden gør dette cellerne mere følsomme over for mitokondrieskader. Mitokondriemorfologiændringer kan eksperimentelt induceres ved at tilføje et mitokondrieafkoblingsmiddel, såsom carbonylcyanid m-chlorphenylhydrazon (CCCP) til cellekulturmediet13. CCCP fører til tab af mitokondriemembranpotentiale (ΔΨm) og resulterer således i ændringer i mitokondrierne fra en mere rørformet (stanglignende) til en mere kugleformet (priklignende) morfologi14. Derudover har mitokondrier tendens til at svulme under CCCP-behandling15. Vi viser den morfologiske fordeling af mitokondrierændringer, når de galactose-tilpassede kardiomyoblaster blev behandlet med mitokondrieafkoblingen CCCP. Mitokondriernes dybe læringssegmenteringer gjorde det muligt for os at klassificere dem som prikker, stænger eller netværk. Vi afledte derefter kvantitative målinger for at vurdere grenlængderne og overfloden af de forskellige mitokondriefænotyper. Analysens trin er skitseret i figur 2, og detaljerne i cellekulturen, billeddannelsen, oprettelsen af datasæt til dyb læringsbaseret segmentering samt den kvantitative analyse af mitokondrierne er angivet nedenfor.
Vi diskuterer forholdsregler relateret til de kritiske trin i protokollen i afsnittene om “geometrigenerering” og “simulatorparametre”. Afsnittet med titlen “overførselslæring” diskuterer ændringer for højere gennemstrømning, når man tilpasser sig flere mikroskoper. Afsnittene om “partikelanalyse” og “generering af andre subcellulære strukturer” henviser til fremtidige anvendelser af denne metode. Afsnittet om “forskellen fra biologisk sandhed” diskuterer de forskellige grunde til, at simuleringerne kan afvige fra reelle data, og om disse grunde påvirker vores anvendelse. Endelig diskuterer vi et udfordrende scenarie for vores metode i afsnittet “tætpakkede strukturer”.
Generering af geometri
For at generere mitokondriernes 3D-geometri fungerer en simpel 2D-struktur skabt af b-spline-kurver som skeletter godt til oprettelsen af det syntetiske datasæt. Disse syntetiske former efterligner nøje formerne af mitokondrier observeret i 2D-cellekulturer. I tilfælde af 3D-væv som hjertevæv er formen og arrangementet af mitokondrier imidlertid helt anderledes. I sådanne tilfælde kan segmenteringsmodellens ydeevne forbedres med tilføjelsen af retningsvirkning i de simulerede billeder.
Simulator parametre
Der skal udvises forsigtighed ved indstilling af simulatorens parametre for at sikre, at de matcher dataene til at køre inferensen på, da manglende overholdelse kan føre til lavere ydeevne ved segmentering. En sådan parameter er signal-støj-forholdet (SNR) rækkevidde. Intervallet for SNR for de data, der skal testes, skal svare til værdierne i det simulerede datasæt. Desuden skal den anvendte polyesterfibre svare til måltestdataene. For eksempel bør modeltrænede billeder fra en konfokal polyesterfibre ikke bruges til at teste billeder fra et epifluorescerende mikroskop. En anden parameter at være opmærksom på er brugen af yderligere forstørrelse i testdataene. Hvis der er anvendt yderligere forstørrelse i testdataene, skal simulatoren også indstilles korrekt.
Overfør læring
Overførselslæring er fænomenet med at udnytte en lært model, der er uddannet på en opgave til brug i en anden opgave. Dette fænomen gælder også for vores problem i forhold til forskellige typer mikroskopdata. Vægten af segmenteringsmodellen (forsynet med kildekoden), der er trænet på en type mikroskopidata, kan bruges til at initialisere en segmenteringsmodel, der skal bruges på en anden slags optiske mikroskopdata. Dette giver os mulighed for at træne på en betydeligt mindre delmængde af træningsdatasættet (3.000 billeder sammenlignet med 10.000), hvilket reducerer beregningsomkostningerne ved simulering.
Partikelanalyse
Partikelanalyse kan også udføres på de segmenterede masker. Dette kan give oplysninger om arealet og krumningen m.v. af de enkelte mitokondrier. Disse oplysninger kan også tjene som målinger til kvantitativ sammenligning af mitokondrier (ikke brugt til dette eksperiment). For eksempel definerer vi i øjeblikket prikmorfologien ved hjælp af en tærskel baseret på mitokondriernes længde. Det kan i nogle tilfælde være nyttigt at inkorporere ellipticitet for bedre at adskille små stanglignende mitokondrier fra punkta eller priklignende mitokondrier. Alternativt, hvis visse biologiske forhold får mitokondrierne til at krølle sig sammen, kan krumningskvantificering være af interesse for at analysere mitokondriepopulationen.
Generering af andre subcellulære strukturer
Den fysikbaserede segmentering af subcellulære strukturer er blevet demonstreret for mitokondrier og vesikler1. Selvom vesikler udviser forskellige former, er deres størrelser mindre, og de fremstår som enkle kugler, når de observeres gennem et fluorescensmikroskop. Derfor simuleres vesiklernes geometri ved hjælp af sfæriske strukturer med et passende diameterområde. Dette indebærer en ændring i funktionen genererer geometrien (cylindre i tilfælde af mitokondrier og kugler i tilfælde af vesikler) af strukturerne og de respektive parametre (trin 5.4 i protokolafsnittet). Geometrisk er det endoplasmatiske retikulum og mikrotubuli også blevet simuleret som rørformede strukturer17. Modellering af det endoplasmatiske retikulum med en diameter på 150 nm og mikrotubuli med en gennemsnitlig ydre diameter på 25 nm og et indre hult rør på 15 nm i diameter giver tilnærmelser af formerne på disse strukturer. En anden parameter, der vil variere for hver af disse subcellulære strukturer, er fluorofortætheden. Dette beregnes ud fra fordelingen af biomolekylet, som fluorophorerne binder til, og sandsynligheden for binding.
Forskel fra biologisk grundsandhed
De simulerede data, der anvendes til simulationsovervåget træning af deep learning-modellen, adskiller sig på mange måder fra reelle data. i) Fraværet af ikke-specifik mærkning i de simulerede data adskiller sig fra reelle data, da der ofte er fritsvævende fluorophorer i de reelle data. Dette medfører en højere gennemsnitlig baggrundsværdi i det rigtige billede. Denne forskel afbødes ved at matche SNR og indstille baggrundsværdien, så den matcher de observerede reelle værdier. (ii) Bevægelsen af subcellulære strukturer og fotokinetik er to kilder til dynamik i systemet. Bevægelige strukturer i levende celler (som bevæger sig i området et par millisekunder) forårsager bevægelsessløring. Eksponeringstiden reduceres under reel dataindsamling for at undgå sløringseffekten. På den anden side simulerer vi ikke timelapse og antager ubevægelige strukturer; Denne antagelse er gyldig, når eksponeringstiden i de reelle data er lille. Denne antagelse kan dog medføre en fejl i outputtet, hvis eksponeringstiden for de reelle data er stor nok til at indføre bevægelsessløring. Fotokinetik er derimod i størrelsesordenen nanosekunder til mikrosekunder og kan udelades i simuleringen, da de sædvanlige eksponeringstider for eksperimenter er lange nok (i størrelsesordenen millisekunder) til at gennemsnit virkningerne af fotokinetik. (iii) Støj i mikroskopbilleder har forskellige kilder, og disse kilder har forskellige sandsynlighedstæthedsfunktioner. I stedet for at modellere disse individuelle støjkilder, tilnærmer vi det som en gaussisk støj over en konstant baggrund. Denne forskel ændrer ikke signifikant datafordelingen for betingelserne for lavt signal-til-baggrundsforhold (i området 2-4) og når man beskæftiger sig med makrodensiteten af fluorophorer1. (iv) Artefakter i billeddannelse kan opstå fra afvigelser, drift og systematiske sløringer. Vi antager, at mikroskopet er godt justeret, og at de regioner, der er valgt til analyse i de reelle data, er blottet for disse artefakter. Der er også mulighed for at modellere nogle af disse artefakter i PSF18,19,20.
Tætpakkede strukturer
Vanskelighederne med ikke at kunne skelne overlappende stænger fra netværk er et vedvarende problem i segmenteringen af 2D-mikroskopidata. Et ekstremt udfordrende scenarie er præsenteret i figur 5, hvor mitokondrierne er tæt pakket, hvilket fører til suboptimale resultater i segmenteringsmodellen og den følgende analyse. På trods af denne udfordring kan brug af morfologiske operatører i sådanne situationer til at slanke skeletiseringen hjælpe med at bryde disse alt for forbundne netværk, samtidig med at der stadig kan påvises betydelige ændringer i alle mitokondriemorfologikategorierne. Derudover er brugen af en konfokal snarere end et widefield-mikroskop til billeddannelse en metode til delvist at afbøde dette problem ved at eliminere lys, der ikke er i fokus. Desuden ville det i fremtiden være nyttigt at udføre 3D-segmentering for at differentiere mitokondrier, der skærer (dvs. fysisk danner et netværk) fra stanglignende mitokondrier, hvis fremspring i et enkelt plan overlapper hinanden.
Deep-learning segmentering er et lovende værktøj, der tilbyder at udvide mikroskopibrugernes analysefunktioner og dermed åbne muligheden for automatiseret analyse af komplekse data og store kvantitative datasæt, som tidligere ville have været uhåndterlige.
The authors have nothing to disclose.
Forfatterne anerkender diskussionen med Arif Ahmed Sekh. Zambarlal Bhujabal er anerkendt for at hjælpe med at konstruere de stabile H9c2-celler. Vi anerkender følgende finansiering: ERC-startbevilling nr. 804233 (til K.A.), Researcher Project for Scientific Renewal grant nr. 325741 (til D.K.P.), Northern Norway Regional Health Authority grant no. HNF1449-19 (Å.B.B.) og UiT’s tematiske finansieringsprojekt VirtualStain with Cristin Project ID 2061348 (D.K.P., Å.B.B., K.A. og A.H.).
12-well plate | FALCON | 353043 | |
Aqueous Glutaraldehyde EM Grade 25% | Electron Microscopy Sciences | 16200 | |
Axio Vert.A1 | Zeiss | Brightfield microscope | |
CCCP | Sigma-Aldrich | C2759 | |
Computer | n/a | n/a | Must be running Linux/Windows Operating System having an NVIDIA GPU with at least 4GB of memory |
Coverslips | VWR | 631-0150 | |
DAPI (stain) | Sigma-Aldrich | D9542 | |
DMEM | gibco | 11966-025 | |
Fetal Bovine Serum | Sigma-Aldrich | F7524 | |
Glass Slides (frosted edge) | epredia | AA00000112E01MNZ10 | |
H9c2 mCherry-EGFP-OMP25 | In-house stable cell line derived from purchased cell line | ||
Incubator | Thermo Fisher Scientific | 51033557 | |
LSM 800 | Zeiss | Confocal Microscope | |
Mounting Media (Glass) | Thermo Fisher Scientific | P36980 | |
Paraformaldehyde Solution, 4% in PBS | Thermo Fisher Scientific | J19943-K2 | |
Plan-Apochromat 63x oil (M27) objective with an NA of 1.4 | Zeiss | 420782-9900-000 | |
Sterile laminar flow hood | Labogene | SCANLAF MARS | |
Trypsin | Sigma-Aldrich | T4049 | |
Vacusafe aspiration system | VACUUBRAND | 20727400 | |
ZEN 2.6 | Zeiss |