Summary
Den här artikeln förklarar hur man använder simuleringsövervakad maskininlärning för att analysera mitokondrimorfologi i fluorescensmikroskopibilder av fasta celler.
Abstract
Den kvantitativa analysen av subcellulära organeller såsom mitokondrier i cellfluorescensmikroskopibilder är en krävande uppgift på grund av de inneboende utmaningarna i segmenteringen av dessa små och morfologiskt olika strukturer. I den här artikeln demonstrerar vi användningen av en maskininlärningsstödd segmenterings- och analyspipeline för kvantifiering av mitokondriell morfologi i fluorescensmikroskopibilder av fasta celler. Det djupinlärningsbaserade segmenteringsverktyget tränas på simulerade bilder och eliminerar kravet på grundläggande sanningsanteckningar för övervakad djupinlärning. Vi demonstrerar nyttan av detta verktyg på fluorescensmikroskopibilder av fasta kardiomyoblaster med ett stabilt uttryck av fluorescerande mitokondrimarkörer och använder specifika cellodlingsförhållanden för att inducera förändringar i mitokondriell morfologi.
Introduction
I den här artikeln demonstrerar vi nyttan av ett fysikbaserat maskininlärningsverktyg för subcellulär segmentering1 i fluorescensmikroskopibilder av fasta kardiomyoblaster som uttrycker fluorescerande mitokondrimarkörer.
Mitokondrier är de viktigaste energiproducerande organellerna i däggdjursceller. Specifikt är mitokondrier mycket dynamiska organeller och finns ofta i nätverk som ständigt förändras i längd och förgrening. Mitokondriernas form påverkar deras funktion, och celler kan snabbt ändra sin mitokondriella morfologi för att anpassa sig till en förändring i miljön2. För att förstå detta fenomen är den morfologiska klassificeringen av mitokondrier som prickar, stavar eller nätverk mycket informativ3.
Segmenteringen av mitokondrier är avgörande för analysen av mitokondriell morfologi i celler. Nuvarande metoder för att segmentera och analysera fluorescensmikroskopibilder av mitokondrier förlitar sig på manuell segmentering eller konventionella bildbehandlingsmetoder. Tröskelbaserade metoder som Otsu4 är mindre exakta på grund av de höga ljudnivåerna i mikroskopibilder. Vanligtvis har bilder för morfologisk analys av mitokondrier ett stort antal mitokondrier, vilket gör manuell segmentering tråkig. Matematiska tillvägagångssätt som MorphoLibJ5 och semi-övervakade maskininlärningsmetoder som Weka6 är mycket krävande och kräver expertkunskap. En genomgång av bildanalysteknikerna för mitokondrier7 visade att djupinlärningsbaserade tekniker kan vara användbara för uppgiften. Faktum är att bildsegmentering i vardagsbilder för applikationer som självkörning har revolutionerats med hjälp av djupinlärningsbaserade modeller.
Djupinlärning är en delmängd av maskininlärning som tillhandahåller algoritmer som lär sig av stora mängder data. Övervakade djupinlärningsalgoritmer lär sig relationer från stora uppsättningar bilder som är kommenterade med sina GT-etiketter (ground truth). Utmaningarna med att använda övervakad djupinlärning för att segmentera mitokondrier i fluorescensmikroskopibilder är tvåfaldiga. För det första kräver övervakad djupinlärning en stor datauppsättning med träningsbilder, och när det gäller fluorescensmikroskopi skulle det vara en omfattande uppgift att tillhandahålla denna stora datauppsättning jämfört med när man använder mer lättillgängliga traditionella kamerabaserade bilder. För det andra kräver fluorescensmikroskopibilder GT-anteckningar av föremålen av intresse för träningsbilderna, vilket är en tråkig uppgift som kräver expertkunskap. Denna uppgift kan enkelt ta timmar eller dagar av expertens tid för en enda bild av celler med fluorescerande märkta subcellulära strukturer. Dessutom utgör variationer mellan annotatorer ett problem. För att ta bort behovet av manuell anteckning och för att kunna utnyttja den överlägsna prestandan hos djupinlärningstekniker användes en djupinlärningsbaserad segmenteringsmodell här som tränades på simulerade bilder. Fysikbaserade simulatorer ger ett sätt att efterlikna och kontrollera processen för bildbildning i ett mikroskop, vilket möjliggör skapandet av bilder av kända former. Med hjälp av en fysikbaserad simulator skapades en stor datauppsättning med simulerade fluorescensmikroskopibilder av mitokondrier för detta ändamål.
Simuleringen börjar med geometrigenereringen med hjälp av parametriska kurvor för formgenerering. Emittrar placeras slumpmässigt på formens yta på ett jämnt fördelat sätt så att densiteten matchar de experimentella värdena. Mikroskopets 3D-punktspridningsfunktion (PSF) beräknas med hjälp av en beräkningseffektiv approximation8 av Gibson-Lanni-modellen9. För att nära matcha de simulerade bilderna med experimentella bilder emuleras både den mörka strömmen och det tagna bruset för att uppnå fotorealism. Den fysiska GT genereras i form av en binär karta. Koden för att generera datauppsättningen och träna simuleringsmodellen är tillgänglig10, och steget för att skapa den här simulerade datauppsättningen beskrivs i bild 1.
Vi visar nyttan av djupinlärningsbaserad segmentering som tränas helt på en simulerad datauppsättning genom att analysera konfokalmikroskopibilder av fasta kardiomyoblaster. Dessa kardiomyoblaster uttryckte en fluorescerande markör i det mitokondriella yttre membranet, vilket möjliggjorde visualisering av mitokondrierna i fluorescensmikroskopibilderna. Innan experimentet genomfördes som ett exempel här, berövades cellerna glukos och anpassades till galaktos i 7 dagar i odling. Att ersätta glukos i tillväxtmediet med galaktos tvingar cellerna i odling att bli mer oxidativa och därmed beroende av sina mitokondrier för energiproduktion11,12. Dessutom gör detta cellerna mer känsliga för mitokondriell skada. Mitokondriella morfologiska förändringar kan induceras experimentellt genom att tillsätta ett mitokondriellt frikopplingsmedel såsom karbonylcyanid m-klorfenylhydrazon (CCCP) till cellodlingsmediet13. CCCP leder till en förlust av mitokondriell membranpotential (ΔΨm) och resulterar därmed i förändringar i mitokondrierna från en mer rörformig (stavliknande) till en mer globulär (prickliknande) morfologi14. Dessutom tenderar mitokondrier att svälla under CCCP-behandling15. Vi visar den morfologiska fördelningen av mitokondrier när de galaktosanpassade kardiomyoblasterna behandlades med mitokondriell frikoppling CCCP. Mitokondriernas djupinlärningssegmenteringar gjorde det möjligt för oss att klassificera dem som prickar, stavar eller nätverk. Vi härledde sedan kvantitativa mätvärden för att bedöma grenlängderna och överflödet av de olika mitokondriella fenotyperna. Stegen i analysen beskrivs i figur 2, och detaljerna i cellkulturen, avbildning, datasetskapande för djupinlärningsbaserad segmentering, samt den kvantitativa analysen av mitokondrierna, ges nedan.
Protocol
OBS: Avsnitt 1-4 kan utelämnas om man arbetar med befintliga mikroskopibilder av mitokondrier med kända experimentella förhållanden.
1. Cellodling
- Odla H9c2-cellerna i DMEM utan glukos kompletterat med 2 mM L-glutamin, 1 mM natriumpyruvat, 10 mM galaktos, 10% FBS, 1% streptomycin / penicillin och 1 μg / ml puromycin. Låt cellerna anpassa sig till galaktos i minst 7 dagar i odling före experimenten.
OBS: H9c2-cellerna som används här har modifierats genetiskt för att uttrycka fluorescerande mitokondrier och har också förvärvat en puromycinresistensgen. Tillsatsen av detta antibiotikum säkerställer tillväxten av celler med resistensgenen och därmed fluorescerande mitokondrier. - Frö H9c2-cellerna för experimentet när cellsammanflödet når cirka 80% (T75-odlingskolv, bedömd med brightfield-mikroskopi). Förvärm mediet och trypsin till 37 °C i minst 15 minuter innan du fortsätter.
OBS: Det är möjligt att utföra experimentet parallellt med två eller flera olika cellodlingsförhållanden. H9c2-cellsammanflödet bör inte vara över 80% för att förhindra förlust av myoblastiska celler. Vid 100% sammanflöde bildar cellerna myorör och börjar differentiera. - Förbered dig på att så cellerna, som arbetar i en steril laminär flödeshuv, genom att placera en # 1.5 glasöverdrag för varje experimentellt tillstånd i en brunn på en 12-brunnsplatta. Märk varje tillstånd och de experimentella detaljerna på 12-brunnsplattan.
- Flytta cellodlingskolven från inkubatorn till arbetsytan i huven. Aspirera mediet med ett aspirationssystem eller elektronisk pipett och tvätta sedan två gånger med 5 ml PBS (rumstemperatur).
- Flytta det förvärmda trypsinet till arbetsytan och aspirera den slutliga PBS-tvätten; Tillsätt sedan det förvärmda trypsin för att lossa cellerna (1 ml för en T75-odlingskolv). Sätt tillbaka odlingskolven i inkubatorn i 2–3 minuter vid 37 °C.
- Flytta det förvärmda mediet till arbetsytan mot slutet av inkubationen. Kontrollera att cellerna har lossnat med hjälp av ett ljusfältsmikroskop.
- Om alla celler inte har lossnat, applicera flera försiktiga men fasta kranar på sidan av kolven för att lossa de återstående cellerna.
- Sätt tillbaka odlingskolven på arbetsytan. Tillsätt 4 ml cellodlingsmedium till odlingskolven med en elektronisk pipett för att stoppa trypsinverkan. När du tillsätter odlingsmedium till kolven, använd pipetten för att upprepade gånger sprida mediet över ytan för att lossa och samla cellerna i en cellsuspension.
- Överför cellsuspensionen (5 ml) från kolven till ett rör på 15 ml.
- Centrifugera cellerna vid 200 x g i 5 min. Öppna röret i huven, ta bort supernatanten genom aspiration och återsuspendera cellpelleten försiktigt i 5 ml cellodlingsmedier.
- Bedöm antalet celler genom att analysera en liten volym av cellsuspensionen i en automatiserad cellräknare. Observera antalet levande celler per milliliter odlingsmedium.
- Flytta den önskade volymen (t.ex. 150 μL per brunn) av cellsuspensionen, beräknad för en sådddensitet på cirka 2 x 104 celler/cm2, till ett förmärkt 15 ml centrifugrör. Tillsätt det förvärmda cellodlingsmediet till centrifugröret på 15 ml vid en förberäknad volym baserat på antalet brunnar. För 12-brunnsplattor, använd en total volym på 1 ml för varje brunn.
- Se till att den utspädda cellsuspensionen blandas ordentligt genom att pipettera innehållet i centrifugröret upp och ner flera gånger innan lämplig volym fördelas till varje brunn. När cellsuspensionen har dispenserats i brunnen, skaka plattan på ett noggrant kontrollerat sätt i varje riktning för att bättre fördela cellerna genom brunnarna. Placera 12-brunnsplattan i inkubatorn vid 37 °C till nästa dag.
- Kontrollera cellerna med ett ljusfältmikroskop för att utvärdera tillväxten. Om cellerna har uppnått tillräcklig tillväxt till cirka 80% sammanflöde, fortsätt till nästa steg; Annars upprepar du utvärderingen dagligen tills tillräcklig tillväxt har uppnåtts.
2. Experimentellt förfarande
- Beräkna de mängder som behövs av materialen för experimentet enligt stamlösningskoncentrationerna. Tina de frysta materialen (30 mM CCCP-stamlösning) vid 37 °C och låt cellodlingsmediet förvärmas vid 37 °C.
- När den har tinats, skapa en arbetslösning med 10 μM CCCP genom att späda stamlösningen (1:3 000) i cellodlingsmediet.
OBS: Pipettera inte volymer mindre än 1 μl. - Starta de experimentella behandlingarna när alla nödvändiga material är förberedda och förvärmda. Aspirera cellodlingsmediet från brunnarna på 12-brunnsplattan och applicera sedan snabbt det färska förvärmda mediet på kontrollbrunnarna och det förvärmda mediet med 10 μM CCCP-lösning på testtillståndsbrunnarna.
- Inkubera 12-brunnsplattan i 37 °C cellinkubatorn i 2 timmar. Under inkubationsperioden, förbered fixeringslösningen.
- För beredning av fixeringslösningen, använd färdig 4% paraformaldehyd (PFA) för att späda 25% glutaraldehyd (GA) stamlösning till 0,2% (1:125). Ställ lösningen på förvärmning vid 37 °C. För en 12-brunnsplatta räcker det med 500 μL per brunn.
VARNING: PFA och GA är giftiga kemikalier. Arbeta i en kemisk huva med skyddsutrustning. Se deras respektive SDS för mer information. - När inkubationsperioden är klar, ta bort 12-brunnsplattan från inkubatorn och placera den på arbetsytan.
OBS: Arbetet kräver inte längre en steril miljö. - Aspirera cellodlingsmediet från brunnarna och applicera den förvärmda fixeringslösningen. Sätt tillbaka 12-brunnsplattan till 37 °C inkubatorn i 20 minuter.
- Aspirera fixeringslösningen när inkubationen är klar och tvätta varje brunn två gånger med rumstemperatur PBS. Det är möjligt att pausa experimentet i detta skede av protokollet och fortsätta senare.
- Om experimentet är pausat, tillsätt 1 ml PBS per brunn, försegla 12-brunnsplattan med plastfilm (parafilm) och förvara vid 4 °C.
3. Färgning och montering av cellerna på täckglasen
- Tina DAPI-beståndet (kärnfläck) och snurra ner i en minicentrifug innan det öppnas. Förbered DAPI-färgningslösningen genom att späda DAI-lager i PBS (1: 1,000).
- Aspirera PBS från 12-brunnsplattan och applicera 1 ml DAPI-färgningslösning på varje brunn. Inkubera i mörkret vid rumstemperatur i 5 min.
- Aspirera DAPI-färgningslösningen. Tvätta två gånger med 2 ml PBS per brunn.
- Förbered frostat glasmikroskopglas (glasskivor) genom att tvätta dem i 70% etanol, följt av tre tvättar i PBS. Torka försiktigt av rutschkanorna med luddfria pappershanddukar och rikta dem mot ljuset för att kontrollera om det finns tecken på damm eller fett.
OBS: Handskar krävs för detta steg. - Märk glasskivorna med de experimentella detaljerna. Överför monteringsmediet till ett mikrocentrifugrör och snurra ner i en minicentrifug.
- Förbered dig på montering av täckglasen genom att ordna arbetsytan. Håll en 12-brunnsplatta med täckglas, märkta glasskivor, monteringsmedium, en pipett, 10 μL pipettspetsar, luddfria pappershanddukar och pincett redo.
- Applicera 10 μL monteringsmedium (ProLong Glass) på en förberedd glasskiva för att montera ett täckglas.
- Plocka upp täckglaset från 12-brunnsplattan med pincett och dutta bort fukt från täckglaset genom att kort röra kanten och baksidan av täckglaset till den förberedda luddfria pappershandduken. Sänk försiktigt ner täcket på droppen av monteringsmediet.
- Upprepa ovanstående två steg för varje täckglas. Placera monteringsmediumdropparna för att möjliggöra mellan en och fyra täckglas per glasskiva.
- Se till att glasskivorna är på en plan yta för att undvika att de monterade täckglasen rör sig. Placera glasskivorna på en mörk plats vid rumstemperatur över natten så att monteringsmediet kan stelna. Proverna är nu klara för avbildning. Experimentet kan pausas i detta skede av protokollet och fortsättas senare.
- Om experimentet pausas i detta skede, täck dem i aluminiumfolie för att skydda dem från ljus efter att ha låtit proverna ställas in över natten vid rumstemperatur.
4. Mikroskopi och avbildning
- Täck proverna i aluminiumfolie för transport (om det inte redan är gjort).
- Vid ankomsten till mikroskopianläggningen, använd dubbeldestilleradH2Omed mikroskopfilterpapper för att rengöra PBS-resterna från täckglasen på glasskivorna. Kontrollera att det inte finns några fläckar på täckglasen genom att hålla glasskivorna mot ett starkt ljus.
- Gå igenom startproceduren för mikroskopet. Välj lämpligt mål (Plan-Apochromat 63x/1,40 Oil M27) och lägg till nedsänkningsmedium.
- Placera provet i provhållaren. I mikroskopprogramvaran använder du fliken "Lokalisera" för att aktivera EGFP-fluorescensbelysningen och justera z-nivån manuellt med hjälp av kikaren för att ha provet i fokus. Stäng av fluorescensbelysningen när du hittar fokus.
- Byt till fliken "Förvärva" i mikroskopprogramvaran. Använd "Smart Setup" för att välja de fluorescenskanaler som ska användas för avbildning. För det här experimentet valdes kanalförinställningarna EGFP och DAPI.
- Justera varje kanalintensitet från de ursprungliga inställningarna med hjälp av intensitetshistogrammet som en guide för optimerad signalstyrka. Avbildning kan nu börja.
- För avbildning, använd programvarans alternativ för att placera bildpositionerna i en matris och centrera matrisen i mitten av täckglaset med totalt 12 positioner som ska avbildas. Kontrollera att varje position i matrisen innehåller celler. Om det inte finns några celler justerar du positionen till ett område med celler.
- Justera fokus för varje position i matrisen med hjälp av mikroskopprogramvarans autofokus och följ upp detta med en manuell finjustering för att säkerställa att så många mitokondrier som möjligt är i fokus.
EGFP-kanalen används för dessa manuella justeringar. - Hämta bilderna med den här metoden för varje täckglas. Spara bildfilerna och fortsätt till stegen för morfologisk analys.
5. Generera simulerade träningsdata
- Ladda ner koden10 och packa upp innehållet. Följ anvisningarna i README.md för att konfigurera den miljö som krävs.
- Navigera till mappen "src", som är hemmappen för det här projektet. De numrerade mapparna inuti innehåller koder som är specifika för olika steg för att använda verktyget.
OBS: Använd kommandot "cd <>" för att navigera till alla undermappar i koden. Om du vill köra en python-fil använder du kommandot "python < >.py ". Presentationen med namnet "Tutorial.pptx" innehåller en komplett uppsättning instruktioner för att använda segmenteringsmodellen. - Gör en kopia eller använd mappen "2. Mitokondrier Simulation Airy", och byt namn på den (Airy används här eftersom det är PSF-funktionen närmast ett konfokalmikroskop, som användes som det aktuella mikroskopet). Gå in i mappen med namnet "simulator".
Den här mappen innehåller alla filer som är relaterade till simuleringen av träningsdata. Det finns tre uppsättningar parametrar som ska ställas in för simuleringen. - För det första, för simulatorn i batchkonfigurationsfilen "simulator / batch / bxx.csv", ställ in parametrarna för ungefär provet, inklusive antalet mitokondrier, intervallet av diametrar och längden på strukturerna, intervallet för z-axeln som strukturen uppvisar och fluoroforernas densitet.
- Ställ sedan in parametrarna relaterade till det optiska systemet.
- Denna uppsättning inkluderar typen av mikroskop (som bestämmer vilken PSF-modell som väljs), den numeriska bländaren (NA), förstoringen (M), pixelstorleken (i μm), fluoroforernas emissionsvåglängd och bakgrundsbrusparametern etc.
- Ställ in de optiska parametrarna för NA, förstoringen och minsta våglängd för datauppsättningen i filen "simulator/microscPSFmod.py".
- Ange önskat värde för pixelstorleken och ange datauppsättningens emissionsvåglängd som en parameter till funktionen "process_matrix_all_z" i filen "simulator/generate_batch_parallel.py".
- Ställ in de tre sista parametrarna för funktionen "save_physics_gt" i filen "simulator / generate_batch_parallel.py". Parametrarna är pixelstorlek (i nm), storleken på utdatabilden och max_xy.
- Ange den tredje uppsättningen parametrar för utdatauppsättningen, till exempel storleken på utdatabilderna, antalet paneler i varje bild och antalet totala bilder, i filen "simulator/generate_batch_parallel.py".
- Kör filen "simulator/generate_batch_parallel.py" för att starta simuleringen.
- För att få den slutliga bilden, gör en kopia av mappen med namnet "5. Dataförberedelse och träning/dataförberedelse" i hemmappen och navigera till den.
OBS: Varje bild av den syntetiska datauppsättningen bildas genom att skapa ett montage av fyra simulerade bilder på 128 pixlar x 128 pixlar, vilket ger en slutlig bildstorlek på 256 pixlar x 256 pixlar. Detta genererar först många enskilda paneler (cirka 12 000) för både mikroskopbilderna (i mappen "output") och segmenteringar av grundsanning (i mappen "output/physics_gt").- Ställ in parametrarna för batchnumret, antalet bilder per sats och brusområdet i "data_generator.py".
- Kör filen "data_generator.py" för att skapa montagebilderna.
- Kopiera mapparna med namnet "image" och "segment" till "5. Mappen Dataförberedelse och träning/datatrain/träning" från mappen "5. Dataförberedelse och träning/dataförberedelse/data".
6. Djupinlärningsbaserad segmentering
- Träna segmenteringsmodellen på de simulerade bilderna på följande sätt:
- Om du vill träna segmenteringsmodellen för ett nytt mikroskop navigerar du till "5. Mappen Dataförberedelse och träning/träning" och ange parametrarna för batchstorleken, stamnätsmodellen för segmenteringen, antalet epoker och inlärningshastigheten för träning i filen "train_UNet.py".
- Kör "train_UNet.py" för att starta träningen. Träningsprocessen visar måttet för segmenteringens prestanda på den simulerade valideringsuppsättningen.
När träningen är klar sparas modellen som "best_model.h5" i "5. Mappen Dataförberedelse och träning/träning".
- Testa modellen på verkliga mikroskopbilder som delas upp till en storlek som är önskvärd för den tränade modellen genom följande steg.
- Navigera till "6. Förbered testdata" och kopiera ". png" formatfiler av data i mappen "png".
- Kör filen "split_1024_256.py" för att dela upp bilderna till en storlek som är önskvärd för den tränade modellen. Detta skapar 256 pixlar x 256 pixel stora beskärningar av bilderna i mappen "data".
- Kopiera den skapade mappen "data" till "7. Mappen Testsegmentering".
- Navigera till mappen "7. Testa segmentering", och ange namnet på den sparade modellen som ska användas.
- För att segmentera grödorna, kör filen "segment.py". De segmenterade bilderna sparas i mappen "output".
7. Morfologisk analys: Analys av mitokondriell morfologi för de två datagrupperna "Glukos" och "CCCP"
- Ordna de data som ska analyseras (en mapp för varje bild, där varje mapp innehåller de segmenterade utdatagrödorna för en bild).
- Ladda ner och placera tilläggsfilen med namnet "make_montage.py" i mappen "7. Testa segmentering".
- Kör filen "make_montage.py" för att sy den segmenterade utdata tillbaka till bildens ursprungliga storlek.
- Skapa en ny mapp med namnet "9. Morfologisk analys " i mappen "src" .
- Installera Skan16 - och Seaborn Python-paketen i miljön med kommandot "pip install seaborn[stats] skan".
OBS: Segmenteringsmaskerna skelettiseras med hjälp av biblioteket som heter Skan för att möjliggöra analys av topologin för varje enskild mitokondrion. - Placera tilläggsfilen " analyze_mitochondria.py " i mappen "9. Morfologisk analys".
- Ordna bilderna av olika grupper av experimentet i olika mappar i mappen "7. Testa segmentering".
- Ställ in parametrarna för "pixelstorlek" och "inmatningsväg" i filen "analyze_mitochondria.py".
- Kör filen " analyze_mitochondria.py" för att köra koden för att skelettisera och skapa diagram för analysen.
Representative Results
Resultaten från djupinlärningssegmenteringarna av mitokondrier i konfokala bilder av fasta kardiomyoblaster som uttrycker fluorescerande mitokondrimarkörer visar nyttan av denna metod. Denna metod är kompatibel med andra celltyper och mikroskopisystem, vilket endast kräver omskolning.
Galaktosanpassade H9c2-kardiomyoblaster med fluorescerande mitokondrier behandlades med eller utan CCCP i 2 timmar. Cellerna fixerades sedan, färgades med ett kärnfärgämne och monterades på glasskivor för fluorescensmikroskopianalys. Ett konfokalmikroskop användes för att få bilder av både kontroll- och CCCP-behandlade celler. Vi utförde vår analys på 12 konfokala bilder, med cirka 60 celler per tillstånd. Mitokondriernas morfologiska tillstånd i varje bild bestämdes och kvantifierades sedan. Segmenteringsmaskerna som erhölls från den tränade modellen skelettiserades för att möjliggöra analys av topologin för varje enskild mitokondrion för detta experiment. Grenlängden för de enskilda mitokondrierna användes som parameter för klassificering. De enskilda mitokondrierna klassificerades i morfologiska klasser enligt följande regel. Specifikt betraktades alla mitokondriella skelett med en längd mindre än 1 500 nm som en punkt, och de längre mitokondrierna kategoriserades ytterligare i nätverk eller stång. Om det fanns minst en korsning där två eller flera grenar korsade varandra definierades detta som ett nätverk; Annars klassificerades mitokondrion som en stång. En exempelbild med mitokondriella skelett märkta med morfologiklasserna visas i figur 3.
Mitokondriell morfologikategorisering i figur 4A visar att det är möjligt att upptäcka signifikanta förändringar när CCCP appliceras i 2 timmar; Detta framgår tydligast av ökningen av prickar för de CCCP-behandlade cellerna.
Den genomsnittliga grenlängden i figur 4B är en annan väg för att illustrera detekterbara och signifikanta förändringar i morfologin. Både stavar och nätverk reducerades som väntat signifikant i förhållande till kontrollen när cellerna behandlades med CCCP. Den signifikanta ökningen av de genomsnittliga grenlängderna på prickar förväntades också med tanke på den svullnad som mitokondrier genomgår när de utsätts för CCCP.
Bild 1: Pipeline för simulering av fluorescensmikroskopibilder. Rörledningen inkluderar (i) 3D-geometrigenerering, (ii) emulering av sändare och fotokinetik, (iii) 3D PSF-faltning, (iv) brusaddition och (v) binarisering. Klicka här för att se en större version av denna siffra.
Figur 2: Steg för maskininlärningsbaserad analys av mitokondriell morfologi . (1) De bilder som ska segmenteras beskärs först i storlekar som är acceptabla för segmenteringsmodellen. (2) Den djupinlärningsbaserade segmenteringen tillämpas på bildgrödorna. (3) De segmenterade produktionsgrödorna sys tillbaka till sin ursprungliga storlek. (4) De montage-segmenteringarna är skelettiserade. (6) Morfologisk analys utförs baserat på topologin från skelettiseringarna. Klicka här för att se en större version av denna siffra.
Figur 3: Mitokondriellt skelett överlagrat på segmenteringsutgången från mikroskopibilder . (A) Segmenteringsutgången. (B) Det räta skelettet (euklidiskt avstånd mellan start- och slutpunkterna för en gren) läggs över ovanpå segmenteringsutgången. Skelettets färgkodning visar klassen mitokondrier. Nätverk är röda, stavar är gröna och prickar är lila i färg. Klicka här för att se en större version av denna siffra.
Figur 4: Analys av mitokondriell morfologi. (A) En översikt över den relativa procentandelen av olika morfologiska kategorier baserat på den totala mitokondriella längden. B) Jämförelse av den genomsnittliga mitokondriella grenlängden mellan försöksbetingelserna och mellan morfologiska kategorier. X-axeln visar de morfologiska kategoriseringarna och y-axeln visar mitokondriernas genomsnittliga grenlängd i nanometer (nm). Statistisk signifikans i form av p-värden visas som * p < 0,05, ** p < 0,01, *** p < 0,001 och **** p < 0,0001. Klicka här för att se en större version av denna siffra.
Bild 5: Felfall av segmentering. En hög densitet av mitokondrier är ett utmanande scenario för segmenteringsmodellen. Det färgade skelettet visar de längsta enskilda mitokondrierna som upptäckts i bilden. Genom att gå igenom längdmätningarna kan dessa scenarier detekteras och bearbetas för att förbättra segmenteringsresultaten med hjälp av den morfologiska operatorn erode (slimmar det detekterade skelettet). Klicka här för att se en större version av denna siffra.
Discussion
Vi diskuterar försiktighetsåtgärder relaterade till de kritiska stegen i protokollet i styckena om "geometrigenerering" och "simulatorparametrar". Stycket med titeln "överföringsinlärning" diskuterar modifieringar för högre genomströmning vid anpassning till flera mikroskop. Styckena om "partikelanalys" och "generering av andra subcellulära strukturer" hänvisar till framtida tillämpningar av denna metod. Stycket om "skillnaden från biologisk sanning" diskuterar de olika orsakerna till att simuleringarna kan skilja sig från verkliga data och om dessa skäl påverkar vår tillämpning. Slutligen diskuterar vi ett utmanande scenario för vår metod i stycket "tätt packade strukturer".
Generering av geometri
För att generera mitokondriernas 3D-geometri fungerar en enkel 2D-struktur skapad av b-splinekurvor som skelett bra för skapandet av den syntetiska datauppsättningen. Dessa syntetiska former efterliknar nära formerna av mitokondrier som observerats i 2D-cellkulturer. Men när det gäller 3D-vävnad, såsom hjärtvävnad, är mitokondriernas form och arrangemang ganska olika. I sådana fall kan segmenteringsmodellens prestanda förbättras med tillägg av riktning i de simulerade bilderna.
Simulator parametrar
Försiktighet bör iakttas när du ställer in parametrarna för simulatorn för att säkerställa att de matchar de data som ska köras härledningen, eftersom underlåtenhet att göra detta kan leda till lägre prestanda vid segmentering. En sådan parameter är signal-brusförhållandet (SNR). Intervallet för SNR för de data som ska testas bör matcha värdena för den simulerade datauppsättningen. Dessutom bör den polyesterstapelfibrer som används matcha den för måltestdata. Modelltränade bilder från en konfokal polyesterstapelfibrer bör till exempel inte användas för att testa bilder från ett epifluorescerande mikroskop. En annan parameter att vara uppmärksam på är användningen av ytterligare förstoring i testdata. Om ytterligare förstoring har använts i testdata bör simulatorn också ställas in på lämpligt sätt.
Överför lärande
Överföringsinlärning är fenomenet att utnyttja en inlärd modell som tränats på en uppgift för användning i en annan uppgift. Detta fenomen är också tillämpligt på vårt problem i förhållande till olika typer av mikroskopdata. Vikterna för segmenteringsmodellen (som medföljer källkoden) som tränas på en typ av mikroskopidata kan användas för att initiera en segmenteringsmodell som ska användas på en annan typ av optiska mikroskopdata. Detta gör att vi kan träna på en betydligt mindre delmängd av träningsdatauppsättningen (3 000 bilder jämfört med 10 000), vilket minskar beräkningskostnaderna för simulering.
Partikelanalys
Partikelanalys kan också utföras på de segmenterade maskerna. Detta kan ge information om området och krökningen etc. för de enskilda mitokondrierna. Denna information kan också fungera som mätvärden för kvantitativ jämförelse av mitokondrier (används inte för detta experiment). Till exempel definierar vi för närvarande punktmorfologin med hjälp av ett tröskelvärde baserat på mitokondriernas längd. Det kan i vissa fall vara användbart att införliva ellipticitet för att bättre separera små stavliknande mitokondrier från puncta eller prickliknande mitokondrier. Alternativt, om vissa biologiska förhållanden får mitokondrierna att krulla upp, kan krökningskvantifiering vara av intresse för att analysera mitokondriell population.
Generera andra subcellulära strukturer
Den fysikbaserade segmenteringen av subcellulära strukturer har demonstrerats för mitokondrier och vesiklar1. Även om vesiklar uppvisar varierande former, är deras storlekar mindre och de verkar som enkla sfärer när de observeras genom ett fluorescensmikroskop. Därför simuleras vesiklarnas geometri med hjälp av sfäriska strukturer med ett lämpligt diameterområde. Detta innebär att en förändring i funktionen genererar geometrin (cylindrar i fallet med mitokondrier och sfärer i fallet med vesiklar) av strukturerna och respektive parametrar (steg 5.4 i protokollavsnittet). Geometriskt har endoplasmatisk retikulum och mikrotubuli också simulerats som rörformiga strukturer17. Modellering av endoplasmatisk retikulum med en diameter på 150 nm och mikrotubuli med en genomsnittlig ytterdiameter på 25 nm och ett inre ihåligt rör med en diameter på 15 nm ger approximationer av formerna för dessa strukturer. En annan parameter som varierar för var och en av dessa subcellulära strukturer är fluorofordensiteten. Detta beräknas baserat på fördelningen av biomolekylen till vilken fluoroforerna binder och sannolikheten för bindning.
Skillnad från biologisk grundsanning
De simulerade data som används för simuleringsövervakad träning av djupinlärningsmodellen skiljer sig från verkliga data på många sätt. (i) Frånvaron av icke-specifik märkning i simulerade data skiljer sig från verkliga data, eftersom det ofta finns fritt flytande fluoroforer i de verkliga data. Detta orsakar ett högre genomsnittligt bakgrundsvärde i den verkliga bilden. Denna skillnad minimeras genom att matcha SNR och ställa in bakgrundsvärdet så att det matchar de observerade verkliga värdena. (ii) Rörelsen av subcellulära strukturer och fotokinetik är två källor till dynamik i systemet. Rörliga strukturer i levande celler (som rör sig i intervallet några millisekunder) orsakar rörelseoskärpa. Exponeringstiden reduceras under verklig datainsamling för att undvika suddighetseffekten. Å andra sidan simulerar vi inte timelapse och antar orörliga strukturer; Detta antagande är giltigt när exponeringstiden i de verkliga uppgifterna är liten. Detta antagande kan dock ge ett fel i utdata om exponeringstiden för de verkliga data är tillräckligt stor för att införa rörelseoskärpa. Fotokinetik, å andra sidan, är i storleksordningen nanosekunder till mikrosekunder och kan utelämnas i simuleringen, eftersom de vanliga exponeringstiderna för experiment är tillräckligt långa (i storleksordningen millisekunder) för att medelvärdet av effekterna av fotokinetik. (iii) Brus i mikroskopbilder har olika källor, och dessa källor har olika sannolikhetstäthetsfunktioner. Istället för att modellera dessa enskilda ljudkällor, approximerar vi det som ett gaussiskt brus över en konstant bakgrund. Denna skillnad förändrar inte signifikant datafördelningen för förhållandena med lågt signal-till-bakgrundsförhållande (i intervallet 2-4) och vid hantering av makrodensiteten hos fluoroforer1. (iv) Artefakter i avbildning kan uppstå från avvikelser, drift och systematiska oskärpa. Vi antar att mikroskopet är väl anpassat och att de regioner som valts för analys i de verkliga uppgifterna saknar dessa artefakter. Det finns också möjlighet att modellera några av dessa artefakter i PSF18,19,20.
Tätt packade strukturer
Svårigheterna med att inte kunna skilja överlappande stavar från nätverk är ett ihållande problem i segmenteringen av 2D-mikroskopidata. Ett extremt utmanande scenario presenteras i figur 5, där mitokondrierna är tätt packade, vilket leder till suboptimala resultat i segmenteringsmodellen och följande analys. Trots denna utmaning kan användning av morfologiska operatörer i sådana situationer för att slimma skelettiseringen hjälpa till att bryta dessa alltför anslutna nätverk samtidigt som betydande förändringar i alla mitokondriella morfologikategorier fortfarande kan detekteras. Dessutom är användningen av ett konfokalt snarare än ett widefield-mikroskop för avbildning en metod för att delvis mildra detta problem genom att eliminera ljus utanför fokus. Vidare skulle det i framtiden vara användbart att utföra 3D-segmentering för att skilja mitokondrier som skär varandra (dvs fysiskt bildar ett nätverk) från stavliknande mitokondrier vars utsprång i ett enda plan överlappar varandra.
Djupinlärningssegmentering är ett lovande verktyg som erbjuder att utöka mikroskopianvändarnas analysfunktioner, vilket öppnar möjligheten till automatiserad analys av komplexa data och stora kvantitativa datamängder, vilket tidigare skulle ha varit oöverskådligt.
Disclosures
Författarna förklarar att det inte finns några intressekonflikter relaterade till denna artikel.
Acknowledgments
Författarna erkänner diskussionen med Arif Ahmed Sekh. Zambarlal Bhujabal är erkänt för att ha hjälpt till med att konstruera de stabila H9c2-cellerna. Vi erkänner följande finansiering: ERC starting grant no. 804233 (till K.A.), Researcher Project for Scientific Renewal grant no. 325741 (till D.K.P.), Northern Norway Regional Health Authority grant no. HNF1449-19 (Å.B.B.) och UiT:s tematiska finansieringsprojekt VirtualStain med Cristin Project ID 2061348 (D.K.P., Å.B.B., K.A. och A.H.).
Materials
| Name | Company | Catalog Number | Comments |
| 12-well plate | FALCON | 353043 | |
| Aqueous Glutaraldehyde EM Grade 25% | Electron Microscopy Sciences | 16200 | |
| Axio Vert.A1 | Zeiss | Brightfield microscope | |
| CCCP | Sigma-Aldrich | C2759 | |
| Computer | n/a | n/a | Must be running Linux/Windows Operating System having an NVIDIA GPU with at least 4GB of memory |
| Coverslips | VWR | 631-0150 | |
| DAPI (stain) | Sigma-Aldrich | D9542 | |
| DMEM | gibco | 11966-025 | |
| Fetal Bovine Serum | Sigma-Aldrich | F7524 | |
| Glass Slides (frosted edge) | epredia | AA00000112E01MNZ10 | |
| H9c2 mCherry-EGFP-OMP25 | In-house stable cell line derived from purchased cell line | ||
| Incubator | Thermo Fisher Scientific | 51033557 | |
| LSM 800 | Zeiss | Confocal Microscope | |
| Mounting Media (Glass) | Thermo Fisher Scientific | P36980 | |
| Paraformaldehyde Solution, 4% in PBS | Thermo Fisher Scientific | J19943-K2 | |
| Plan-Apochromat 63x oil (M27) objective with an NA of 1.4 | Zeiss | 420782-9900-000 | |
| Sterile laminar flow hood | Labogene | SCANLAF MARS | |
| Trypsin | Sigma-Aldrich | T4049 | |
| Vacusafe aspiration system | VACUUBRAND | 20727400 | |
| ZEN 2.6 | Zeiss |
References
- Sekh, A. A., et al. Physics-based machine learning for subcellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Pernas, L., Scorrano, L. Mito-morphosis: Mitochondrial fusion, fission, and cristae remodeling as key mediators of cellular function. Annual Review of Physiology. 78, 505-531 (2016).
- Li, Y., et al. Imaging of macrophage mitochondria dynamics in vivo reveals cellular activation phenotype for diagnosis. Theranostics. 10 (7), 2897-2917 (2020).
- Xu, X., Xu, S., Jin, L., Song, E. Characteristic analysis of Otsu threshold and its applications. Pattern Recognition Letters. 32 (7), 956-961 (2011).
- Legland, D., Arganda-Carreras, I., Schindelin, J. MorphoLibJ: MorphoLibJ v1.2.0. Zenodo. , Available from: https://zenodo.org/record/50694#.Y8qfo3bP23A (2016).
- Arganda-Carreras, I., et al. Trainable_Segmentation: Release v3.1.2. Zenodo. , Available from: https://zenodo.org/record/59290#.Y8qf13bP23A (2016).
- Chu, C. H., Tseng, W. W., Hsu, C. M., Wei, A. C. Image analysis of the mitochondrial network morphology with applications in cancer research. Frontiers in Physics. 10, 289 (2022).
- Xue, F., Li, J., Blu, T. Fast and accurate three-dimensional point spread function computation for fluorescence microscopy. Journal of the Optical Society of America A. 34 (6), 1029-1034 (2017).
- Lanni, F., Gibson, S. F. Diffraction by a circular aperture as a model for three-dimensional optical microscopy. Journal of the Optical Society of America A. 6 (9), 1357-1367 (1989).
- Sekh, A. A., et al. Physics based machine learning for sub-cellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Liu, Y., Song, X. D., Liu, W., Zhang, T. Y., Zuo, J. Glucose deprivation induces mitochondrial dysfunction and oxidative stress in PC12 cell line. Journal of Cellular and Molecular Medicine. 7 (1), 49-56 (2003).
- Dott, W., Mistry, P., Wright, J., Cain, K., Herbert, K. E. Modulation of mitochondrial bioenergetics in a skeletal muscle cell line model of mitochondrial toxicity. Redox Biology. 2, 224-233 (2014).
- Ishihara, N., Jofuku, A., Eura, Y., Mihara, K. Regulation of mitochondrial morphology by membrane potential, and DRP1-dependent division and FZO1-dependent fusion reaction in mammalian cells. Biochemical and Biophysical Research Communications. 301 (4), 891-898 (2003).
- Miyazono, Y., et al. Uncoupled mitochondria quickly shorten along their long axis to form indented spheroids, instead of rings, in a fission-independent manner. Scientific Reports. 8, 350 (2018).
- Ganote, C. E., Armstrong, S. C. Effects of CCCP-induced mitochondrial uncoupling and cyclosporin A on cell volume, cell injury and preconditioning protection of isolated rabbit cardiomyocytes. Journal of Molecular and Cellular Cardiology. 35 (7), 749-759 (2003).
- Nunez-Iglesias, J., Blanch, A. J., Looker, O., Dixon, M. W., Tilley, L. A new Python library to analyse skeleton images confirms malaria parasite remodelling of the red blood cell membrane skeleton. PeerJ. 2018, 4312 (2018).
- Sage, D., et al. Super-resolution fight club: Assessment of 2D and 3D single-molecule localization microscopy software. Nature Methods. 16, 387-395 (2019).
- Yin, Z., Kanade, T., Chen, M. Understanding the phase contrast optics to restore artifact-free microscopy images for segmentation. Medical Image Analysis. 16 (5), 1047-1062 (2012).
- Malm, P., Brun, A., Bengtsson, E. Simulation of bright-field microscopy images depicting pap-smear specimen. Cytometry. Part A. 87 (3), 212-226 (2015).
- Bifano, T., Ünlü, S., Lu, Y., Goldberg, B. Aberration compensation in aplanatic solid immersion lens microscopy. Optical Express. 21 (23), 28189-28197 (2013).
