Den beskrivna pipelinen är utformad för segmentering av elektronmikroskopi-datauppsättningar som är större än gigabyte, för att extrahera hela cellmorfologier. När cellerna är rekonstruerade i 3D, anpassad programvara utformad kring individuella behov kan användas för att utföra en kvalitativ och kvantitativ analys direkt i 3D, även med hjälp av virtuell verklighet för att övervinna Visa ocklusion.
Seriell snittning och efterföljande högupplöst avbildning av biologisk vävnad med hjälp av elektronmikroskopi (EM) möjliggör segmentering och rekonstruktion av högupplöst avbildade stackar för att avslöja ultrastrukturella mönster som inte kunde lösas med 2D Bilder. Det sistnämnda kan faktiskt leda till en feltolkning av morfologier, som i fallet med mitokonbenerna. användningen av 3D-modeller är därför vanligare och tillämpas på utformningen av morfologi-baserade funktionella hypoteser. Till datum, användning av 3D-modeller som genereras från ljus eller Electron bild stackar gör kvalitativa, visuella bedömningar, samt kvantifiering, mer praktiskt att utföras direkt i 3D. Eftersom dessa modeller är ofta extremt komplexa, är en virtuell verklighet miljö också viktigt att inrättas för att övervinna ocklusion och att dra full nytta av 3D-struktur. Här beskrivs en steg-för-steg-guide från bildsegmentering till rekonstruktion och analys i detalj.
Den första föreslagna modellen för en elektronmikroskopi setup möjliggör automatiserad seriell sektion och avbildning går tillbaka till 19811; spridningen av sådana automatiserade, förbättrade inställningar för att bilden stora prover med hjälp av EM ökade under de senaste tio åren2,3, och verk skylta imponerande täta rekonstruktioner eller full morfologier omedelbart följt4, 5,6,7,8,9,10.
Produktionen av stora datamängder kom med behovet av förbättrade pipelines för bildsegmentering. Mjukvaruverktyg för manuell segmentering av seriesektioner, såsomReconstruct och TrakEM211, varkonstruerade för transmissionselektronmikroskopi (TEM). Eftersom hela processen kan vara extremt tidskrävande, dessa verktyg är inte lämpliga när det handlar om tusentals seriella mikrografer som kan genereras automatiskt med State-of-the-art, automatiserad EM seriell sektion tekniker (3DEM), såsom block-Face scanning elektronmikroskopi (SBEM)3 eller fokuserad jonstråle-scanning elektronmikroskopi (FIB-SEM)2. Av denna anledning, forskare sätta insatser för att utveckla semi-automatiserade verktyg, samt helt automatiserade verktyg, för att förbättra segmenteringen effektivitet. Helt automatiserade verktyg, baserade på maskininlärning13 eller State-of-the-art, otränade pixel klassificering algoritmer14, förbättras för att användas av en större gemenskap; ändå är segmenteringen fortfarande långt ifrån helt tillförlitlig, och många verk är fortfarande baserade på manuellt arbete, vilket är ineffektivt när det gäller segmenteringstid men ändå ger fullständig tillförlitlighet. Halvautomatiserade verktyg, såsom ilastik15, utgör en bättre kompromiss, eftersom de ger en omedelbar avläsning för segmenteringen som kan korrigeras i viss utsträckning, även om det inte ger en verklig korrekturläsning ram, och kan integreras använda TrakEM2 parallellt16.
Storskalig segmentering är hittills huvudsakligen begränsad till connectomics; Därför är datavetare mest intresserade av att tillhandahålla ramverk för integrerade visualiseringar av stora, kommenterade datauppsättningar och analysera anslutningsmönster som härledas av närvaron av synaptiska kontakter17,18. Ändå kan noggranna 3D-rekonstruktioner användas för kvantitativa morphometriska analyser, snarare än kvalitativa bedömningar av 3D-strukturerna. Verktyg som neuromorph19,20 och glykogen analys10 har utvecklats för att ta mätningar på 3D rekonstruktioner för längder, ytor, och volymer, och på distributionen av moln punkter, helt kasta den ursprungliga EM-stacken8,10. Astrocyter representerar en intressant fallstudie, eftersom bristen på visuella ledtrådar eller repetitiva strukturella mönster ger utredarna en antydan om funktionen hos enskilda strukturella enheter och därav avsaknaden av en adekvat ontologi av astrocytiska processer 21, gör det utmanande att designa analytiska verktyg. Ett nyligen försök var Abstractocyte22, vilket möjliggör en visuell utforskning av astrocytiska processer och inferens av kvalitativa relationer mellan astrocytiska processer och neuriter.
Ändå, bekvämligheten med Imaging sektionerad vävnad under EM kommer från det faktum att mängden information gömd i intakt hjärnan prover är enorm och tolka enstaka avsnitt bilder kan övervinna detta problem. Tätheten av strukturer i hjärnan är så hög att 3D rekonstruktioner av även ett fåtal objekt synlig på en gång skulle göra det omöjligt att skilja dem visuellt. Av denna anledning föreslog vi nyligen att Virtual Reality (VR) skulle användas som en förbättrad metod för att observera komplexa strukturer. Vi fokuserar på astrocyter23 att övervinna ocklusion (som är blockering av synlighet av ett objekt av intresse med en andra, i en 3D-rymden) och lätta kvalitativa bedömningar av rekonstruktioner, inklusive korrekturläsning, samt kvantifieringar av funktioner som använder antal punkter i rymden. Vi kombinerade nyligen VR visuell utforskning med användning av GLAM (glykogen-derived laktatabsorptionsmodell), en teknik för att visualisera en karta över laktat Shuttle sannolikhet för neuriter, genom att betrakta glykogen granulat som ljusavgivande organ23; i synnerhet använde vi VR för att kvantifiera de ljus toppar som produceras av GLAM.
Den metod som presenteras här är en användbar steg-för-steg guide för segmentering och 3D rekonstruktion av en flerskalig EM DataSet, oavsett om de kommer från högupplösta Imaging tekniker, som FIB-SEM, eller andra automatiserade seriella snittning och Imaging tekniker. FIB-SEM har fördelen av potentiellt nå perfekt isotropi i Voxel storlek genom att skära sektioner så tunna som 5 nm med hjälp av en fokuserad jonstråle, dess FOV kan begränsas till 15-20 μm på grund av sidan artefakter, som möjligen på grund av avsättning av den skurna vävnaden om fo V överskrider detta värde. Sådana artefakter kan undvikas genom att använda andra tekniker, såsom SBEM, som använder en diamantkniv för att skära seriella sektioner inuti Mikroskop kammaren. I det senare fallet kan z -upplösningen vara runt 20 nm i bästa (vanligtvis, 50 nm), men FOV kan vara större, även om pixel upplösningen bör äventyras för en stor region av intresse. En lösning för att övervinna sådana begränsningar (förstoring kontra FOV) är att dela regionen av intresse för kakel och förvärva var och en av dem med en högre upplösning. Vi har visat här resultat från både en SBEM stack-dataset (i) i representativa resultat-och en FIB-SEM stack-dataset (II) i representativa resultat.
Eftersom generering av större och större datauppsättningar blir allt vanligare, är insatserna för att skapa verktyg för pixel klassificering och automatiserad bildsegmentering multiplicerande. men hittills har ingen programvara visat tillförlitlighet jämförbar med den för mänsklig korrekturläsning, vilket därför fortfarande är nödvändigt, oavsett hur tidskrävande det är. I allmänhet kan mindre datauppsättningar som kan nedsamplas, som i fallet med dataset (II), vara tätt rekonstruerade av en enda, expertanvändare i en vecka, inklusive korrektur läsningstid.
Det protokoll som presenteras här innebär användning av tre program i synnerhet: Fiji (version 2.0.0-RC-65/1.65 b), ilastik (version 1.3.2 RC2) och Blender (2,79), som alla är öppen källkod och flera plattformar program och nedladdningsbara gratis. Fiji är en release av ImageJ, drivs av plugins för biologisk bildanalys. Den har en robust mjukvaruarkitektur och föreslås eftersom det är en gemensam plattform för Life forskare och inkluderar TrakEM2, en av de första och mest använda plugins för bild segmentering. En fråga som upplevs av många användare nyligen är övergången från Java 6 till Java 8, vilket skapar kompatibilitetsproblem; Därför föreslår vi att du avstår från att uppdatera till Java 8, om möjligt, så att Fiji kan fungera korrekt. ilastik är en kraftfull programvara som tillhandahåller ett antal ramverk för pixel klassificering, var och en dokumenteras och förklaras på deras hemsida. Den carving modul som används för semi-automatiserad segmentering av EM stackar är bekvämt eftersom det sparar mycket tid, så att forskarna att minska den tid som spenderas på manuellt arbete från månader till dagar för en erfaren användare, som med ett enda klick en hel neurit kan vara segmenterade i sekunder. Den förbehandling steg är mycket intensiv från en hårdvara synvinkel, och mycket stora dataset, som SBEM stacken presenteras här, vilket var 26 GB, kräver märkliga strategier för att passa in i minnet, med tanke på att man skulle förvärva stora dataset eftersom inte kan kompromiss synfält och upplösning. Därför är nedsampling kanske inte en lämplig lösning i detta fall. Den senaste utgåvan av programvaran kan göra förbehandling i ett par timmar med en kraftfull Linux-arbetsstation, men segmenteringen skulle ta minuter, och rullning genom stacken skulle fortfarande vara relativt långsam. Vi använder fortfarande denna metod för en första, grov segmentering, och korrekturläsa den med hjälp av TrakEM2. Slutligen är Blender en 3D-modellering programvara, med en kraftfull 3D-rendering motor, som kan anpassas med python-skript som kan bäddas in i de viktigaste GUI som tillägg, såsom NeuroMorph och glykogen analys. Flexibiliteten i denna programvara kommer med nackdelen att, till skillnad från Fiji, till exempel, är det inte avsedd för online-visualisering av stora dataset; Därför kan visualisering och navigering genom stora maskor (mer än 1 GB) vara långsam och inte effektiv. På grund av detta är det alltid tillrådligt att välja tekniker som minskar mesh komplexitet men är noga med att inte störa den ursprungliga morfologin av strukturen av intresse. Funktionen remesh kommer väl till pass och är en inbäddad funktion i verktyget NeuroMorph batch import. Ett problem med den här funktionen är att, beroende på antalet hörn i det ursprungliga mesh, octree djup värde, som är relaterat till den slutliga upplösningen, bör ändras i enlighet med detta. Små objekt kan remeshed med ett litet octree djup (t. ex. 4), men samma värde kan störa morfologin av större objekt, som behöver större värden (6 i bästa, till 8 eller till och med 9 för en mycket stor mesh, till exempel en full cell). Det är tillrådligt att göra denna process iterativ och testa olika octree djup om storleken på objektet är oklart.
Som tidigare nämnts, en aspekt som bör beaktas är den beräkningskraft som ska ägnas åt återuppbyggnad och analys, i samband med den programvara som används. Alla operationer som visas i de representativa resultaten av detta manuskript erhölls med hjälp av en MacPro, utrustad med ett AMD FirePro D500-grafikkort, 64 GB RAM-minne och en Intel Xeon E5-processor med 8 kärnor. Fiji har en bra mjukvaruarkitektur för hantering av stora dataset; Därför rekommenderas att använda en bärbar dator med en bra maskinvaruprestanda, till exempel en MacBook Pro med en 2,5 GHz Intel i7 CPU och 16 GB RAM. ilastik programvara är mer krävande när det gäller hårdvara resurser, särskilt under förbehandling steg. Även nedsampling bild stacken är ett bra knep för att begränsa hårdvaru förfrågningar från programvaran och tillåter användaren att bearbeta en stapel med en bärbar dator (vanligtvis om det är under 500 pixlar i x,y,z), föreslår vi att använda en high-end dator för att köra denna programvara smidigt. Vi använder en arbetsstation utrustad med en Intel Xeon Gold 6150-processor med 16 kärnor och 500 GB RAM.
När den förses med en noggrann 3D-rekonstruktion, kan forskarna kasta de ursprungliga mikrografer och arbeta direkt på 3D-modeller för att extrahera användbara morfometriska data att jämföra celler av samma typ, samt olika typer av celler, och dra nytta av VR för kvalitativa och kvantitativa bedömningar av morfologier. I synnerhet har användningen av den senare visat sig vara fördelaktigt när det gäller analyser av täta eller komplexa morfologier som uppvisar visuell ocklusion (dvs. blockeringen av bild av ett objekt av intresse i 3D-rymden med en andra placerad mellan betraktaren och Fi första objektet), vilket gör det svårt att representera och analysera dem i 3D. I det exempel som presenteras tog en erfaren användare cirka 4 timmar i sträck för att observera datauppsättningarna och räkna objekten. Den tid som tillbringas på VR-analys kan variera eftersom aspekter som VR-sjukdom (som i viss mån kan relateras till bil sjuka) kan ha en negativ inverkan på användarupplevelsen; i detta fall kan användaren föredra andra analysverktyg och begränsa sin tid tillägnad VR.
Slutligen, alla dessa steg kan tillämpas på andra mikroskopi och icke-EM tekniker som genererar bild stackar. EM genererar bilder som i allmänhet är utmanande att hantera och segmentera, jämfört med till exempel fluorescensmikroskopi, där något jämförbart med en binär mask (signal kontra en svart bakgrund), som i princip lätt kan återges i 3D för vidareförädling, behöver ofta åtgärdas.
The authors have nothing to disclose.
Detta arbete stöddes av King Abdullah University of Science and Technology (KAUST) konkurrenskraftig forskning Grants (CRG) Grant “KAUST-BBP alliansen för integrativ modellering av hjärnans energi metabolism” till P.J.M.
Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |