Summary
Den beskrivna pipelinen är utformad för segmentering av elektronmikroskopi-datauppsättningar som är större än gigabyte, för att extrahera hela cellmorfologier. När cellerna är rekonstruerade i 3D, anpassad programvara utformad kring individuella behov kan användas för att utföra en kvalitativ och kvantitativ analys direkt i 3D, även med hjälp av virtuell verklighet för att övervinna Visa ocklusion.
Abstract
Seriell snittning och efterföljande högupplöst avbildning av biologisk vävnad med hjälp av elektronmikroskopi (EM) möjliggör segmentering och rekonstruktion av högupplöst avbildade stackar för att avslöja ultrastrukturella mönster som inte kunde lösas med 2D Bilder. Det sistnämnda kan faktiskt leda till en feltolkning av morfologier, som i fallet med mitokonbenerna. användningen av 3D-modeller är därför vanligare och tillämpas på utformningen av morfologi-baserade funktionella hypoteser. Till datum, användning av 3D-modeller som genereras från ljus eller Electron bild stackar gör kvalitativa, visuella bedömningar, samt kvantifiering, mer praktiskt att utföras direkt i 3D. Eftersom dessa modeller är ofta extremt komplexa, är en virtuell verklighet miljö också viktigt att inrättas för att övervinna ocklusion och att dra full nytta av 3D-struktur. Här beskrivs en steg-för-steg-guide från bildsegmentering till rekonstruktion och analys i detalj.
Introduction
Den första föreslagna modellen för en elektronmikroskopi setup möjliggör automatiserad seriell sektion och avbildning går tillbaka till 19811; spridningen av sådana automatiserade, förbättrade inställningar för att bilden stora prover med hjälp av EM ökade under de senaste tio åren2,3, och verk skylta imponerande täta rekonstruktioner eller full morfologier omedelbart följt4, 5,6,7,8,9,10.
Produktionen av stora datamängder kom med behovet av förbättrade pipelines för bildsegmentering. Mjukvaruverktyg för manuell segmentering av seriesektioner, såsomReconstruct och TrakEM211, varkonstruerade för transmissionselektronmikroskopi (TEM). Eftersom hela processen kan vara extremt tidskrävande, dessa verktyg är inte lämpliga när det handlar om tusentals seriella mikrografer som kan genereras automatiskt med State-of-the-art, automatiserad EM seriell sektion tekniker (3DEM), såsom block-Face scanning elektronmikroskopi (SBEM)3 eller fokuserad jonstråle-scanning elektronmikroskopi (FIB-SEM)2. Av denna anledning, forskare sätta insatser för att utveckla semi-automatiserade verktyg, samt helt automatiserade verktyg, för att förbättra segmenteringen effektivitet. Helt automatiserade verktyg, baserade på maskininlärning13 eller State-of-the-art, otränade pixel klassificering algoritmer14, förbättras för att användas av en större gemenskap; ändå är segmenteringen fortfarande långt ifrån helt tillförlitlig, och många verk är fortfarande baserade på manuellt arbete, vilket är ineffektivt när det gäller segmenteringstid men ändå ger fullständig tillförlitlighet. Halvautomatiserade verktyg, såsom ilastik15, utgör en bättre kompromiss, eftersom de ger en omedelbar avläsning för segmenteringen som kan korrigeras i viss utsträckning, även om det inte ger en verklig korrekturläsning ram, och kan integreras använda TrakEM2 parallellt16.
Storskalig segmentering är hittills huvudsakligen begränsad till connectomics; Därför är datavetare mest intresserade av att tillhandahålla ramverk för integrerade visualiseringar av stora, kommenterade datauppsättningar och analysera anslutningsmönster som härledas av närvaron av synaptiska kontakter17,18. Ändå kan noggranna 3D-rekonstruktioner användas för kvantitativa morphometriska analyser, snarare än kvalitativa bedömningar av 3D-strukturerna. Verktyg som neuromorph19,20 och glykogen analys10 har utvecklats för att ta mätningar på 3D rekonstruktioner för längder, ytor, och volymer, och på distributionen av moln punkter, helt kasta den ursprungliga EM-stacken8,10. Astrocyter representerar en intressant fallstudie, eftersom bristen på visuella ledtrådar eller repetitiva strukturella mönster ger utredarna en antydan om funktionen hos enskilda strukturella enheter och därav avsaknaden av en adekvat ontologi av astrocytiska processer 21, gör det utmanande att designa analytiska verktyg. Ett nyligen försök var Abstractocyte22, vilket möjliggör en visuell utforskning av astrocytiska processer och inferens av kvalitativa relationer mellan astrocytiska processer och neuriter.
Ändå, bekvämligheten med Imaging sektionerad vävnad under EM kommer från det faktum att mängden information gömd i intakt hjärnan prover är enorm och tolka enstaka avsnitt bilder kan övervinna detta problem. Tätheten av strukturer i hjärnan är så hög att 3D rekonstruktioner av även ett fåtal objekt synlig på en gång skulle göra det omöjligt att skilja dem visuellt. Av denna anledning föreslog vi nyligen att Virtual Reality (VR) skulle användas som en förbättrad metod för att observera komplexa strukturer. Vi fokuserar på astrocyter23 att övervinna ocklusion (som är blockering av synlighet av ett objekt av intresse med en andra, i en 3D-rymden) och lätta kvalitativa bedömningar av rekonstruktioner, inklusive korrekturläsning, samt kvantifieringar av funktioner som använder antal punkter i rymden. Vi kombinerade nyligen VR visuell utforskning med användning av GLAM (glykogen-derived laktatabsorptionsmodell), en teknik för att visualisera en karta över laktat Shuttle sannolikhet för neuriter, genom att betrakta glykogen granulat som ljusavgivande organ23; i synnerhet använde vi VR för att kvantifiera de ljus toppar som produceras av GLAM.
Protocol
1. bildbehandling med Fiji
- Öppna bildstapeln genom att dra och släppa den ursprungliga filen från mikroskopet som innehåller stacken, eller genom att dra och släppa mappen som innehåller hela bildstapeln i programfönstret.
Anmärkning: Fiji kan automatiskt känna igen alla standardbildformat, såsom. jpg,. tif, och. png, samt proprietära filformat från Mikroskop leverantörer. Följande protokoll har optimerats för bildstackar från 3DEM, men dessa steg kan även användas för lätta mikroskopi-datauppsättningar. - När stacken har öppnats går du till bild ≫ egenskaper för att se till att Voxel-storleken har lästs från metadata. Om inte, kan den matas in manuellt.
- Se till att omvandla bilden till 8-bitars. Klicka på bilden ≫ typ och välj 8-bitars.
- Om den ursprungliga stacken fanns i olika sekventiella filer/mappar, Använd CONCATENATE för att sammanfoga dem i en enda stapel genom att välja Bild > stackar ≫ verktyg > CONCATENATE.
- Spara stacken genom att välja arkiv ≫ Spara som. Det kommer att sparas som en enda TIF-fil och kan användas som en säkerhetskopia och för vidare bearbetning.
- Om den ursprungliga stacken förvärvas som olika brickor, tillämpa sömmar inom TrakEM2.
- Skapa ett nytt TrakEM2 projekt med nya ≫ TrakEM2 (tom).
- Inom vyport grafiskt användargränssnitt (GUI), importera stackarna genom att klicka på höger musknapp > Importera > import stack, och importera alla brickor öppnas i Fiji viktigaste GUI. Se till att ändra storlek på arbetsytans storlek för att passa hela stacken genom att högerklicka på > Display > ändra storlek på canvas/Layer set, och välj y/x pixelstorlek beroende på den slutliga storleken på montage.
Anmärkning: Till exempel, om montage bör slutföras med fyra brickor av 4 096 x 4 096 pixlar, arbetsytans storlek bör vara minst 8 192 x 8 192 pixlar. Överväg att göra det något större, och beskära det senare. - Överlägga de gemensamma delarna av enskilda brickor genom att dra och släppa dem på lageruppsättningen. Använd skjutreglaget längst upp till vänster för att ändra genomskinligheten för att hjälpa till med överlagring.
- Montage och justera Travarna genom att klicka med höger musknapp ≫ justeraoch välj sedan ett av alternativen (se anmärkning nedan).
Anmärkning: SBEM eller FIB-SEM är vanligtvis redan väl anpassade, men mindre avvikelser kan förekomma. Justera lager är automatiserad pipeline för z -justering; Montage flera lager är automatiserad pipeline för att justera brickor på varje z -stacken, för hela volymen; Align Multilayer Mosaic kombinerar de två föregående alternativen. Den här åtgärden är tidskrävande och omfattas av maskinens RAM-minne. Överväg att använda en high-end dator och låt den köras i timmar/dagar, beroende på storleken på stacken. - Slutligen, exportera bilden stackar och spara dem genom att använda musen högerklicka ≫ göra platt bild, och sedan se till att välja den första till den sista bilden i rullgardinsmenyerna Start och .
- Använda TrakEM2 inbäddade funktioner, segment strukturer av intresse om det behövs.
- I TrakEM2's GUI högerklickar du på något under Mallfönstret och väljer Lägg till nytt barn ≫ Area_list.
- Dra och släpp något ovanpå mappen under projektobjekt, och en något kommer att visas där.
- Dra och släpp områdeslistan från mallen till allt som finns under projektobjekt.
- Välj Z-utrymmet med markören på bildens stack visningsområde. Områdeslistan visas med ett unikt ID-nummer. Välj penselverktyget överst (längst ned till höger) och Använd musen för att segmentera en struktur genom att fylla dess Cytosol, över hela z -stacken.
- Exportera den segmenterade masken som ska användas i ilastik som frö för carving genom att högerklicka antingen på området listobjektet i Z-utrymmeslistan eller på masken i vyporten och välj Exportera > områdeslistor som etiketter (TIF).
- Beroende på den upplösning som behövs för ytterligare rekonstruktioner, om möjligt, minska pixelstorleken på bildstapeln genom nedsampling, med tanke på minneskraven för programvaran som kommer att användas för segmentering och rekonstruktion. Använd bild ≫ justera ≫ storlek.
Obs: ilastik hanterar staplar på upp till 500 pixlar på XY väl. Också, nedsampling kommer att minska upplösningen av stacken; Ta därför hänsyn till den minsta storlek vid vilken objektet fortfarande verkar igenkännligt och därmed kan segmenteras. - För att förbättra kontrasten och hjälpa segmenteringen, kan oskarp mask filtret appliceras för att göra membranen skarpare. Använd Process ≫ Filter ≫ oskarp mask.
- Exportera bildstapeln som enstaka bilder för vidare bearbetning i segmentering programvara, (t. ex. ilastik), med fil ≫ Spara som... > Bildsekvens och välj. TIF-format.
2. segmentering (halvautomatiserad) och rekonstruktion med ilastik 1.3.2
- I det huvudsakliga ilastik GUI, Välj carving modulen.
- Ladda bild stacken med Lägg till ny ≫ lägga till en enda 3D/4D volym från sekvens.
- Välj hela katalogen och välj den mapp som innehåller bild stacken sparas som enskilda filer. Längst ned i det nya fönstret, där det finns alternativ för inläsning av bilderna, ser du till att behålla Z markerat.
- För följande steg, alla åtgärder och knappar finns på vänster sida av huvudprogrammet GUI. Använd standardalternativen som redan är markerade under fliken förbehandling . Använd ljusa linjer (ås filter) och hålla filter skalan på 1,600. Den här parametern kan ändras efteråt.
- När förbehandlingen är klar väljer du nästa sida i rullgardinsmenyn för etiketteringsmodulen . Som standard finns ett objekt och en bakgrund .
-
Välj objektet utsäde genom att klicka på den, och rita en linje ovanpå strukturen av intresse; Välj sedan bakgrundsutsädet och rita en eller flera rader utanför objektet som ska rekonstrueras. Klicka sedan på segment och vänta.
Beroende på kraften i datorn och storleken på stacken, segmentering kan ta från några sekunder till timmar. När det är klart bör en halvtransparent mask som belyser segmenteringen visas ovanpå den segmenterade strukturen.- Bläddra igenom stacken för att kontrollera segmenteringen. Segmenteringen kanske inte är korrekt och följer inte strukturen av intresse exakt eller spill ut från den. Korrigera eventuella spill genom att placera en bakgrund utsäde på spillda segmentering, och lägga till ett objekt utsäde över icke rekonstruerade segmentet av objektet av intresse.
- Om segmenteringen fortfarande inte är korrekt, försök att ändra med bias -parametern, vilket kommer att öka eller minska mängden osäkra klassificerade pixlar som accepteras. Dess värde är 0,95 som standard; minska det för att begränsa eventuella spridningseffekter (vanligtvis till inte mindre än 0,9) eller öka om segmenteringen är för konservativ (upp till 1).
- En annan möjlighet är att gå tillbaka till steg 2,4 (genom att klicka på förbehandling) och att ändra storleken på filtret; öka värdet (t. ex. till 2) kommer att minimera salt-och peppar brus-liknande effekter, men kommer också att göra membranen mer suddig och mindre detaljer svårare att upptäcka. Detta kan begränsa spill.
- Upprepa så mycket som behövs, så länge alla önskade objekt har segmenterats. När ett objekt är färdigt, klicka på Spara aktuellt objekt, under segment. Två nya frön kommer att visas, för att starta segmenteringen av ett nytt objekt.
- Extrahera ytan maskor direkt som. obj filer genom att klicka på Exportera alla maskor.
- Om ytterligare korrekturläsning behövs, segmentering kan extraheras som binära masker. Välj den mask som du vill exportera den genom att klicka på Bläddra objekt. sedan, högerklicka på segmentering ≫ export och sedan, under utdatafil info, Välj TIF sekvens som format.
3. korrekturläsning/segmentering (Manual) i TrakEM2 (Fiji)
- Ladda bildstapeln och skapa ett nytt TrekEM2-projekt enligt steg 1.6.1.
- Importera de masker som behöver korrekturläsning med alternativet Importera etiketter som arealists, tillgängliga i samma import meny som används för att importera bildstapeln.
- Välj den arealist som importerats i Z-utrymmet och Använd penselverktyget för att granska segmenteringen.
- Visualisera modellen i 3D genom att högerklicka på områdes lista ≫ Visa i 3D. I följande fönster som ber om ett sampla tal, ett högre värde kommer att generera en lägre upplösning mesh.
Anmärkning: Beroende på objektets storlek kan du överväga att använda ett värde mellan 4 och 6, vilket vanligtvis ger den bästa kompromissen mellan upplösning och morfologisk detalj. - Exportera 3D-mesh som Wavefront. obj genom att välja från meny filen ≫ exportera ytor ≫ vågfront.
4.3D-analys
- Öppna mixer. För följande steg, se till att installera NeuroMorph Toolkit (finns tillgänglig på https://neuromorph.epfl.ch/index.html) och glykogen Analysis Toolkit (finns på https://github.com/daniJb/glyco-analysis).
- Importera objekten med hjälp av NeuroMorph batch importera genom att klicka på Importera objekt under scen menyn för att importera flera objekt på en gång. Se till att aktivera Använd remesh och slät skuggning.
Anmärkning: Det rekommenderas inte att klicka på FINALIZE remesh om det finns osäkerhet om den ursprungliga storleken på objektet. Importera träd djup vid värde 7 (standard) är vanligtvis bra att bibehålla en godtagbar upplösning och morfologi av objektet. - Välj objekt av intresse från outliner och ändra octree djupet av remesh-funktionen under modifierare menyn iterativt för att minimera antalet hörn och för att undvika att förlora detaljer i upplösning och korrekt morfologi. När du ändrar octree djup, kommer mesh på det huvudsakliga GUI ändras i enlighet därmed. När du är klar, klicka på Verkställ för att slutföra processen.
Anmärkning: Värden runt 4 är oftast bra för små objekt (såsom postsynaptiska tätheter), värden runt 7 för större (t. ex. långa axoner eller dendriter), och värden runt 8 eller 9 för fullständig cellulär morfologier där detaljer i olika upplösningar bör Underhålls. - Använd bild stacken interaktioner på den vänstra panelen, under neuromorph -menyn, för att läsa in bildstapeln. Se till att ange den fysiska storleken på bilden stacken för x, y, och x (i mikrometer eller nanometer, beroende på enheter av mesh) och Välj sökvägen till stacken genom att klicka på Source_Z. X och Y är ortogonala plan; de är valfria och kommer endast att läsas in om användaren infogar en giltig sökväg.
- Välj sedan ett nät på vyport genom att högerklicka på den, ange redigeringsläget genom att trycka på Tab, Välj en (eller flera) hörn med musen högerklicka, och slutligen, klicka på Visa bild vid vertex. Ett (eller flera) skär plan (er) med mikrografen visas ovanpå maskan.
- Välj den klippta planet genom att högerklicka på den, tryck på CTRL + Y, och bläddra över 3D-modellen med hjälp av musen rulla. Detta kan också användas som korrektur läsnings metod.
- Använd mätverktyg för kvantifikationer av ytområden, volymer och längder. Dessa åtgärder dokumenteras i mer information av Jorstad et al.19 och på Neuromorphs hemsida24.
- Använd glykogen analysverktyg för att kvantifiera glykogen närhet mot Taggar och Boutons. Verksamheten dokumenteras i mer information i en tidigare publikation10 och i glykogenanalysförvaret25.
- Importera objekten med hjälp av NeuroMorph batch importera genom att klicka på Importera objekt under scen menyn för att importera flera objekt på en gång. Se till att aktivera Använd remesh och slät skuggning.
- Kör GLAM23. Koden, den körbara filen och vissa testfiler finns i GLAM repository26.
- Förbered två geometrifiler i. ply format: en källfil som innehåller glykogengranulat och en målfil som innehåller morfologiska ytor.
- Förbered tre. ASCII färgkarta-filer (varje rad som innehåller t_norm (0.. 1) R (0.. 255) G (0.. 255) B (0.. 255)) för att representera lokala absorptionsvärden, toppvärden och genomsnittliga absorptionsvärden.
- Kör C++-skriptet glam, med geometrifilerna (steg 4.2.1) och färgkarta-filerna (steg 4.2.2), genom att ställa in influensradien (i mikrometer), det maximala förväntade absorptionsvärdet och ett normaliserat tröskelvärde för klustring av absorptionstopparna. Om du vill ha information om andra parametrar kör du skriptet med alternativet-Help.
- Exportera resultaten som. PLY-eller. obj-filer: målobjektet färgmappat med GLAM-värden, absorptionstoppmarkörer som representeras som färgkodade sfärer och målobjekt färgkodade med hänsyn till medelvärdet av absorptionsvärdet.
- Öppna VR-data samverkar. VR data Interact-körbar kod finns tillgänglig i en offentlig databas27.
- Importera maskor som ska visualiseras, enligt instruktionerna i VR-menyn. Se till att importera de. obj-filer som beräknats i steg 4.2.1, om en GLAM-analys behövs.
Representative Results
Genom att använda proceduren som presenteras ovan visar vi resultat på två bildstaplar i olika storlekar för att visa hur flexibiliteten i verktygen gör det möjligt att skala upp proceduren till större datauppsättningar. I detta fall är de två 3DEM-dataset (i) P14 råtta, somatosensorisk cortex, lager VI, 100 μm x 100 μm x 76,4 μm4 och (II) P60 råtta, Hippocampus CA1, 7,07 μm x 6,75 μm x 4,73 μm10.
Förbehandling steg (figur 1) kan utföras på samma sätt för båda datauppsättningar, helt enkelt med hänsyn till att en större datauppsättning som den första stacken, som är 25 GB, kräver mer utför maskinvara för att hantera stora datavisualisering och bearbetning . Den andra stacken är bara 1 GB, med en perfekt isotrop Voxel storlek.
Storleken på data kan inte vara direkt relaterade till synfältet (FOV), snarare än till upplösningen av stacken själv, vilket beror på den maximala pixelstorleken på sensorn i mikroskopet, och förstoringen av stacken. I vilket fall som helst, logiskt, större FOVs kommer sannolikt att ockupera mer fysiskt utrymme jämfört med mindre FOVs, om de förvärvas i samma upplösning.
När bilden stacken importeras, som anges i avsnitt 1 i protokollet, i Fiji programvara (figur 1a), en vetenskaplig release av imagej12, en viktig punkt är att se till att bildformatet är 8-bitars (figur 1b). Detta eftersom många förvärv programvara olika mikroskopi företag producenter generera sina proprietära filformat i 16-bitars för att lagra metadata som är relevanta för information om inlösenprocessen (dvs pixelstorlek, tjocklek, ström/spänning av elektronstråle, kammartryck) tillsammans med bildstapeln. Sådana justeringar gör att forskarna kan spara minne, eftersom de extra 8-bitars som innehåller metadata inte påverkar bilderna. Den andra viktiga parametern för att kontrollera är Voxel storlek, som sedan gör det möjligt att återuppbyggnaden efter segmenteringen skall utföras på rätt skala (mikrometer eller nanometer; Figur 1b).
Stackar kan behöva omjustering och/eller sömnad om de har förvärvats med hjälp av plattsättning; dessa operationer kan utföras inom TrakEM2 (figur 2A), men när det gäller omjustering, automatiserade 3dem tekniker som FIB-SEM eller 3view är oftast väl rejusterat.
Ett sista steg kräver filtrering och, möjligen, nedsampling av stacken, beroende på vilka objekt som behöver rekonstrueras och om nedsampling påverkar erkännandet av reconstructable funktioner. Till exempel, för den större stacken (av den somatosensoriska cortex av P14 råttor), var det inte möjligt att äventyra upplösningen till förmån för återuppbyggnaden effektivitet, medan för den mindre stacken (i hippocampus CA1 av P60 råttor), var det möjligt att göra det eftersom upplösningen var långt över vad som behövdes för att de minsta föremålen skulle rekonstrueras. Slutligen, användningen av oskarp mask ökar skillnaden mellan membranen och bakgrunden, vilket gör det gynnsamt för rekonstruktioner av programvara som ilastik som använder gradienter för att pre-utvärdera gränser.
Efter bild bearbetningen kan rekonstruktion utföras antingen manuellt med hjälp av TrakEM2, eller halvautomatiskt med ilastik (figur 2C). En datauppsättning som den mindre som anges här (II), som kan nedsamplas för att passa in i minnet, kan vara helt segmenterad med ilastik (figur 2b) för att producera en tät rekonstruktion. När det gäller den första datauppsättningen som listas här (i) har vi lyckats Ladda och förbehandla hela datauppsättningen med en Linux-arbetsstation med 500 GB RAM-minne. Den glesa segmenteringen av 16 fullständiga morfologier erhölls med en hybrid pipeline, genom att extrahera grov segmentering som var manuellt korrekturläst med TrakEM2.
3D-analys av funktioner som ytområden, volymer, eller distribution av intracellulära glykogen kan utföras inom en mixer miljö (figur 3) med hjälp av anpassade koder, såsom NeuroMorph19 eller glykogen analys10.
Vid datauppsättningar som innehåller glykogen granulat samt, analys på deras distribution kan härledas med hjälp av glam, en c + +-kod som skulle generera färgkartor med inflytande område direkt på nätet.
Slutligen kan sådana komplexa datauppsättningar visualiseras och analyseras med hjälp av VR, vilket har visat sig vara användbart för analys av datauppsättningar med en viss ockluderad vy (figur 4). Till exempel, toppar som härletts från GLAM kartor var lätt slutsatsen visuellt från dendriter i den andra dataset diskuteras här.
Figur 1: bildbehandling och förberedelse för bildsegmentering. (a) Fiji viktigaste GUI. (b) exempel på staplade bilder från dataset (i) som diskuteras i representativa resultat. Panelen till höger visar egenskaper som tillåter användaren att ställa in Voxel storlek. (c) exempel på en filer och ändra storlek på åtgärden tillämpas på en enda bild. Panelerna till höger visar förstoringar från bildens mitt. Vänligen klicka här för att se en större version av denna siffra.
Figur 2: segmentering och rekonstruktion med TrakEM2 och ilastik. (a) TrakEM2 GUI med objekt manuellt segmenterade (i rött). (b) den exporterade masken från panel a kan användas som insats (utsäde) för (c) halvautomatiserad segmentering (carving). Från ilastik kan masker (röda) exporteras vidare till TrakEM2 för manuell korrekturläsning. (d) masker kan sedan exporteras som 3D-trekantiga maskor för att avslöja rekonstruerade konstruktioner. I detta exempel, fyra neuroner, astrocyter, microglia, och pericyter från dataset (i) (diskuteras i representativa resultat) rekonstruerades med hjälp av denna process. Vänligen klicka här för att se en större version av denna siffra.
Figur 3: 3D-analys av rekonstruerade morfologier med hjälp av kundanpassade verktyg. a) ISOTROPISKT avbildad volym från FIB-SEM dataset (II) (som diskuteras i de representativa resultaten). btät rekonstruktion från panel a. Grå = axoner; grön = astrocytisk process; blå = dendriter. (c) Mikrograf som visar exempel på mål för kvantifieringar såsom synapser (dataset (i)) och astrocytic glykogen granulat (dataset (II)) i rätt förstoringar. (d) mask från panel c som visar fördelningen av glykogen granulat runt synapser. (e) kvantifiering av glykogen distribution från datauppsättningen från panel c, med hjälp av glykogen Analysis Toolbox från Blender. Felstaplar indikerar standardfel. N = 4 145 glykogen granulat. (f) en grafisk illustration av input och output visualisering av glam. Vänligen klicka här för att se en större version av denna siffra.
Figur 4: analys i VR. (a) en användare som bär ett VR-headset medan de arbetar (b) den täta återuppbyggnaden från FIB-SEM dataset (II) (som diskuteras i representativa resultat). (c) uppslukande VR-scen från en delmängd av neuriter från panel b. Den gröna lasern pekar på en GLAM Peak. (d) exempel på en analys från Glam Peak COUNTS i VR. N = 3 möss per varje stapel. Analys av FIB-SEM från en tidigare publikation28. Felstaplarna anger standard felen. *p < 0,1, enkelriktad ANOVA. Vänligen klicka här för att se en större version av denna siffra.
Discussion
Den metod som presenteras här är en användbar steg-för-steg guide för segmentering och 3D rekonstruktion av en flerskalig EM DataSet, oavsett om de kommer från högupplösta Imaging tekniker, som FIB-SEM, eller andra automatiserade seriella snittning och Imaging tekniker. FIB-SEM har fördelen av potentiellt nå perfekt isotropi i Voxel storlek genom att skära sektioner så tunna som 5 nm med hjälp av en fokuserad jonstråle, dess FOV kan begränsas till 15-20 μm på grund av sidan artefakter, som möjligen på grund av avsättning av den skurna vävnaden om fo V överskrider detta värde. Sådana artefakter kan undvikas genom att använda andra tekniker, såsom SBEM, som använder en diamantkniv för att skära seriella sektioner inuti Mikroskop kammaren. I det senare fallet kan z -upplösningen vara runt 20 nm i bästa (vanligtvis, 50 nm), men FOV kan vara större, även om pixel upplösningen bör äventyras för en stor region av intresse. En lösning för att övervinna sådana begränsningar (förstoring kontra FOV) är att dela regionen av intresse för kakel och förvärva var och en av dem med en högre upplösning. Vi har visat här resultat från både en SBEM stack-dataset (i) i representativa resultat-och en FIB-SEM stack-dataset (II) i representativa resultat.
Eftersom generering av större och större datauppsättningar blir allt vanligare, är insatserna för att skapa verktyg för pixel klassificering och automatiserad bildsegmentering multiplicerande. men hittills har ingen programvara visat tillförlitlighet jämförbar med den för mänsklig korrekturläsning, vilket därför fortfarande är nödvändigt, oavsett hur tidskrävande det är. I allmänhet kan mindre datauppsättningar som kan nedsamplas, som i fallet med dataset (II), vara tätt rekonstruerade av en enda, expertanvändare i en vecka, inklusive korrektur läsningstid.
Det protokoll som presenteras här innebär användning av tre program i synnerhet: Fiji (version 2.0.0-RC-65/1.65 b), ilastik (version 1.3.2 RC2) och Blender (2,79), som alla är öppen källkod och flera plattformar program och nedladdningsbara gratis. Fiji är en release av ImageJ, drivs av plugins för biologisk bildanalys. Den har en robust mjukvaruarkitektur och föreslås eftersom det är en gemensam plattform för Life forskare och inkluderar TrakEM2, en av de första och mest använda plugins för bild segmentering. En fråga som upplevs av många användare nyligen är övergången från Java 6 till Java 8, vilket skapar kompatibilitetsproblem; Därför föreslår vi att du avstår från att uppdatera till Java 8, om möjligt, så att Fiji kan fungera korrekt. ilastik är en kraftfull programvara som tillhandahåller ett antal ramverk för pixel klassificering, var och en dokumenteras och förklaras på deras hemsida. Den carving modul som används för semi-automatiserad segmentering av EM stackar är bekvämt eftersom det sparar mycket tid, så att forskarna att minska den tid som spenderas på manuellt arbete från månader till dagar för en erfaren användare, som med ett enda klick en hel neurit kan vara segmenterade i sekunder. Den förbehandling steg är mycket intensiv från en hårdvara synvinkel, och mycket stora dataset, som SBEM stacken presenteras här, vilket var 26 GB, kräver märkliga strategier för att passa in i minnet, med tanke på att man skulle förvärva stora dataset eftersom inte kan kompromiss synfält och upplösning. Därför är nedsampling kanske inte en lämplig lösning i detta fall. Den senaste utgåvan av programvaran kan göra förbehandling i ett par timmar med en kraftfull Linux-arbetsstation, men segmenteringen skulle ta minuter, och rullning genom stacken skulle fortfarande vara relativt långsam. Vi använder fortfarande denna metod för en första, grov segmentering, och korrekturläsa den med hjälp av TrakEM2. Slutligen är Blender en 3D-modellering programvara, med en kraftfull 3D-rendering motor, som kan anpassas med python-skript som kan bäddas in i de viktigaste GUI som tillägg, såsom NeuroMorph och glykogen analys. Flexibiliteten i denna programvara kommer med nackdelen att, till skillnad från Fiji, till exempel, är det inte avsedd för online-visualisering av stora dataset; Därför kan visualisering och navigering genom stora maskor (mer än 1 GB) vara långsam och inte effektiv. På grund av detta är det alltid tillrådligt att välja tekniker som minskar mesh komplexitet men är noga med att inte störa den ursprungliga morfologin av strukturen av intresse. Funktionen remesh kommer väl till pass och är en inbäddad funktion i verktyget NeuroMorph batch import. Ett problem med den här funktionen är att, beroende på antalet hörn i det ursprungliga mesh, octree djup värde, som är relaterat till den slutliga upplösningen, bör ändras i enlighet med detta. Små objekt kan remeshed med ett litet octree djup (t. ex. 4), men samma värde kan störa morfologin av större objekt, som behöver större värden (6 i bästa, till 8 eller till och med 9 för en mycket stor mesh, till exempel en full cell). Det är tillrådligt att göra denna process iterativ och testa olika octree djup om storleken på objektet är oklart.
Som tidigare nämnts, en aspekt som bör beaktas är den beräkningskraft som ska ägnas åt återuppbyggnad och analys, i samband med den programvara som används. Alla operationer som visas i de representativa resultaten av detta manuskript erhölls med hjälp av en MacPro, utrustad med ett AMD FirePro D500-grafikkort, 64 GB RAM-minne och en Intel Xeon E5-processor med 8 kärnor. Fiji har en bra mjukvaruarkitektur för hantering av stora dataset; Därför rekommenderas att använda en bärbar dator med en bra maskinvaruprestanda, till exempel en MacBook Pro med en 2,5 GHz Intel i7 CPU och 16 GB RAM. ilastik programvara är mer krävande när det gäller hårdvara resurser, särskilt under förbehandling steg. Även nedsampling bild stacken är ett bra knep för att begränsa hårdvaru förfrågningar från programvaran och tillåter användaren att bearbeta en stapel med en bärbar dator (vanligtvis om det är under 500 pixlar i x,y,z), föreslår vi att använda en high-end dator för att köra denna programvara smidigt. Vi använder en arbetsstation utrustad med en Intel Xeon Gold 6150-processor med 16 kärnor och 500 GB RAM.
När den förses med en noggrann 3D-rekonstruktion, kan forskarna kasta de ursprungliga mikrografer och arbeta direkt på 3D-modeller för att extrahera användbara morfometriska data att jämföra celler av samma typ, samt olika typer av celler, och dra nytta av VR för kvalitativa och kvantitativa bedömningar av morfologier. I synnerhet har användningen av den senare visat sig vara fördelaktigt när det gäller analyser av täta eller komplexa morfologier som uppvisar visuell ocklusion (dvs. blockeringen av bild av ett objekt av intresse i 3D-rymden med en andra placerad mellan betraktaren och Fi första objektet), vilket gör det svårt att representera och analysera dem i 3D. I det exempel som presenteras tog en erfaren användare cirka 4 timmar i sträck för att observera datauppsättningarna och räkna objekten. Den tid som tillbringas på VR-analys kan variera eftersom aspekter som VR-sjukdom (som i viss mån kan relateras till bil sjuka) kan ha en negativ inverkan på användarupplevelsen; i detta fall kan användaren föredra andra analysverktyg och begränsa sin tid tillägnad VR.
Slutligen, alla dessa steg kan tillämpas på andra mikroskopi och icke-EM tekniker som genererar bild stackar. EM genererar bilder som i allmänhet är utmanande att hantera och segmentera, jämfört med till exempel fluorescensmikroskopi, där något jämförbart med en binär mask (signal kontra en svart bakgrund), som i princip lätt kan återges i 3D för vidareförädling, behöver ofta åtgärdas.
Disclosures
Författarna har inget att avslöja.
Acknowledgments
Detta arbete stöddes av King Abdullah University of Science and Technology (KAUST) konkurrenskraftig forskning Grants (CRG) Grant "KAUST-BBP alliansen för integrativ modellering av hjärnans energi metabolism" till P.J.M.
Materials
| Name | Company | Catalog Number | Comments |
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | --- | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | --- | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | --- | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM - a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Eurographics Italian Chapter Conference 2017 – Smart Tools and Apps in computer Graphics, , Catania, Italy. (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Chicago, IL, , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. 2016 4th Saudi International Conference on Information Technology (Big Data Analysis) (KACSTIT), Riyadh, Saudi Arabia, , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C. Astroglial anatomy in the times of connectomics. Journal of Translational Neuroscience. 2, 31-40 (2017).
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. NeuroMorph Analysis and Visualization Toolset. , http://neuromorph.epfl.ch (2018).
- Boges, D. GitHub - daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data. , https://github.com/daniJb/glyco-analysis (2018).
- Agus, M. GitHub – magus74/GLAM: Glycogen Lactate Absorption Model. , https://github.com/magus74/GLAM (2019).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
