Summary
De beschreven pijplijn is ontworpen voor de segmentatie van elektronenmicroscopie datasets groter dan gigabytes, om hele celmorfologieën te extraheren. Zodra de cellen zijn gereconstrueerd in 3D, kan aangepaste software die is ontworpen rond individuele behoeften worden gebruikt om een kwalitatieve en kwantitatieve analyse rechtstreeks in 3D uit te voeren, ook met behulp van Virtual Reality om de zicht occlusie te overwinnen.
Abstract
Seriële snijden en daaropvolgende hoge-resolutie beeldvorming van biologisch weefsel met behulp van elektronenmicroscopie (em) zorgen voor de segmentatie en reconstructie van hoge resolutie afbeelding gemaakt stacks te onthullen ultrastructurele patronen die niet kon worden opgelost met behulp van 2D Afbeeldingen. Inderdaad, deze laatste zou kunnen leiden tot een verkeerde interpretatie van morfologieën, zoals in het geval van de mitochondriën; het gebruik van 3D-modellen is daarom meer en meer gebruikelijk en wordt toegepast op de formulering van functionele hypotheses op basis van morfologie. Tot op heden maakt het gebruik van 3D-modellen die zijn gegenereerd op basis van licht-of elektronen beeld stapels kwalitatieve, visuele evaluaties, evenals kwantificering, handiger om rechtstreeks in 3D te worden uitgevoerd. Omdat deze modellen vaak extreem complex zijn, is een virtual reality-omgeving ook belangrijk om te worden opgezet om occlusie te overwinnen en om ten volle te profiteren van de 3D-structuur. Hier wordt een stapsgewijze handleiding van beeldsegmentatie naar reconstructie en analyse gedetailleerd beschreven.
Introduction
Het eerste voorgestelde model voor een elektronenmicroscopie Setup waardoor geautomatiseerde seriële sectie en imaging dateert uit 19811; de diffusie van dergelijke geautomatiseerde, verbeterde opstellingen naar beeld grote monsters met em steeg in de laatste tien jaar2,3, en werkt met indrukwekkende dichte reconstructies of volledige morfologieën onmiddellijk gevolgd4, 5,6,7,8,9,10.
De productie van grote gegevenssets kwam met de behoefte aan verbeterde pijplijnen voorbeeld segmentatie. Software tools voor het handmatig segmenteren van seriële secties, zoals reconstrueren en TrakEM211,12, zijn ontworpen voor transmissie elektronenmicroscopie (TEM). Omdat het hele proces zeer tijdrovend kan zijn, zijn deze tools niet geschikt voor de duizenden seriële micro grafieken die automatisch kunnen worden gegenereerd met de modernste, geautomatiseerde EM seriële sectie technieken (3DEM), zoals blok-gezicht Scanning elektronenmicroscopie (SBEM)3 of gerichte Ion Beam-Scanning elektronenmicroscopie (FIB-SEM)2. Om deze reden, wetenschappers zetten inspanningen in het ontwikkelen van semi-geautomatiseerde tools, evenals volledig geautomatiseerde tools, om segmentatie efficiëntie te verbeteren. Volledig geautomatiseerde tools, gebaseerd op machine learning13 of State-of-the-Art, ongetrainde algoritmen voor pixel classificatie14, worden verbeterd om te worden gebruikt door een grotere Gemeenschap; Niettemin, segmentatie is nog verre van volledig betrouwbaar, en veel werken zijn nog steeds gebaseerd op handmatige arbeid, die inefficiënt is in termen van segmentatie tijd, maar biedt nog steeds volledige betrouwbaarheid. Semi-geautomatiseerde instrumenten, zoals ilastik15, vormen een beter compromis, omdat ze een onmiddellijke uitlezen bieden voor de segmentatie die tot op zekere hoogte kan worden gecorrigeerd, hoewel het geen echt correcter proef kader biedt en kan worden geïntegreerd met behulp van TrakEM2 in parallel16.
Grootschalige segmentatie is, tot op heden, meestal beperkt tot connectomics; Daarom zijn computerwetenschappers het meest geïnteresseerd in het bieden van frameworks voor geïntegreerde visualisaties van grote, geannoleerde gegevenssets en analyseren van connectiviteits patronen die worden afgeleid door de aanwezigheid van synaptische contacten17,18. Niettemin kunnen nauwkeurige 3D-reconstructies worden gebruikt voor kwantitatieve Morfometrische analyses, in plaats van kwalitatieve evaluaties van de 3D-structuren. Tools zoals neuromorph19,20 en glycogeen analyse10 zijn ontwikkeld om metingen uit te voeren op de 3D-reconstructies voor lengtes, oppervlakte gebieden en volumes, en op de distributie van Cloud punten, volledig de originele em-stack8,10verwijderen. Astrocyten vertegenwoordigen een interessante casestudy, omdat het gebrek aan visuele aanwijzingen of repetitieve structurele patronen onderzoekers een hint geven over de functie van individuele structurele eenheden en daaruit voortvloeiende afwezigheid van een adequate ontologie van astrocytische processen 21, maak het een uitdaging om analytische tools te ontwerpen. Een recente poging was Abstractocyte22, die een visuele verkenning van astrocytische processen en de deductie van kwalitatieve relaties tussen astrocytische processen en neurites mogelijk maakt.
Niettemin is het gemak van beeldvormings weefsel onder EM afkomstig van het feit dat de hoeveelheid informatie die verborgen is in intacte hersen monsters enorm is en het interpreteren van enkele sectie-afbeeldingen dit probleem kan overwinnen. De dichtheid van de structuren in de hersenen is zo hoog dat 3D reconstructies van zelfs een paar voorwerpen zichtbaar in een keer zou het onmogelijk maken om ze visueel te onderscheiden. Om deze reden hebben we onlangs het gebruik van Virtual Reality (VR) voorgesteld als een verbeterde methode om complexe structuren te observeren. We richten ons op astrocyten23 om occlusie te overwinnen (dat is de blokkering van de zichtbaarheid van een object van belang met een tweede, in een 3D-ruimte) en het verlichten van kwalitatieve evaluaties van de reconstructies, inclusief proeflezen, evenals risicokwantificeringen van functies met behulp van aantal punten in de ruimte. We hebben onlangs VR-visuele verkenning gecombineerd met het gebruik van GLAM (glycogeen-afgeleide lactaat absorptie model), een techniek om een kaart van lactaat shuttle waarschijnlijkheid van neurites te visualiseren, door de glycogeen korrels te beschouwen als lichtuitstralende lichamen23; in het bijzonder gebruikten we VR om de door GLAM geproduceerde licht pieken te kwantificeren.
Protocol
1. beeldverwerking met behulp van Fiji
- Open de afbeeldingsstapel door het oorspronkelijke bestand van de microscoop met de stapel te slepen en neer te zetten, of door de map met de hele afbeeldingsstapel naar het software venster te slepen.
Opmerking: Fiji kan automatisch alle standaard afbeeldingsindelingen herkennen, zoals. jpg,. TIF en. png, evenals eigen bestandsindelingen van Microscoop-providers. Hoewel het volgende protocol is geoptimaliseerd voor afbeeldingsstapels van 3DEM, kunnen deze stappen ook worden gebruikt voor lichte microscopie gegevenssets. - Zodra de stack is geopend, gaat u naar afbeelding ≫ eigenschappen om ervoor te zorgen dat de Voxel-grootte is gelezen uit de metagegevens. Zo niet, dan kan deze handmatig worden ingevoerd.
- Zorg ervoor dat u de afbeelding transformeert naar 8-bits. Klik op de afbeelding ≫ type en selecteer 8-bit.
- Als de oorspronkelijke stack in verschillende sequentiële bestanden/mappen was, gebruikt u Concatenate om ze samen te voegen in één stapel door Afbeelding > stapels te selecteren ≫ tools > aaneenschakelen.
- Sla de stapel op door bestand ≫ opslaan alste selecteren. Het wordt opgeslagen als een enkel. TIF-bestand en kan worden gebruikt als een back-up en voor verdere verwerking.
- Als de oorspronkelijke stack is verworven als verschillende tegels, toepassen van stiksels binnen TrakEM2.
- Maak een nieuw TrakEM2 project met behulp van nieuwe ≫ TrakEM2 (blanco).
- Importeer de stapels in de grafische gebruikersinterface van viewport (GUI) door op de rechtermuis knop te klikken > > Import stackte importeren en alle tegels te importeren die in de Hoofdinterface van Fiji zijn geopend. Zorg ervoor dat u het formaat van de canvasgrootte aanpast aan de hele stapel door met de rechtermuisknop te klikken op > weergeven >de grootte van de canvas-/laagset te wijzigen en de y/x -pixelgrootte te kiezen, afhankelijk van de uiteindelijke grootte van de montage.
Opmerking: Als de montage bijvoorbeeld moet worden voltooid met vier tegels van 4.096 x 4.096 pixels, moet de canvasgrootte ten minste 8.192 x 8.192 pixels zijn. Overweeg het iets groter te maken en snijd het later bij. - De gemeenschappelijke gedeelten van afzonderlijke tegels Super leggen door ze te slepen en neer te zetten op de laagset. Gebruik de schuifregelaar linksboven om de transparantie te wijzigen om te helpen bij de Super inslag.
- Montage en opnieuw uitlijnen van de stapels door te klikken op de rechtermuis knop > uit te lijnenen selecteer vervolgens een van de opties (Zie de opmerking hieronder).
Opmerking: SBEM of FIB-SEM zijn meestal al goed uitgelijnd, maar er kunnen kleine afwijkingen optreden. Lagen uitlijnen is de geautomatiseerde pijplijn voor z -uitlijning; Montage meerdere lagen is de geautomatiseerde pijplijn voor het uitlijnen van tegels op elke z -stack, voor het hele volume; Met meerlaagse mozaïek uitlijnen worden de twee vorige opties gecombineerd. Deze bewerking is tijdrovend en onderhevig aan het Random-Access geheugen (RAM) van de machine. Overweeg het gebruik van een high-end computer en laat deze worden uitgevoerd voor uren/dagen, afhankelijk van de grootte van de stack. - Ten slotte exporteert u de afbeeldingsstapels en slaat u deze op met de rechtermuis klik ≫ Maak een platte afbeeldingen zorg ervoor dat u de eerste tot de laatste afbeelding selecteert in de vervolgkeuzemenu's begin en einde.
- Met behulp van TrakEM2 embedded functies, segment structuren van belang indien nodig.
- In de TrakEM2's GUI, klik met de rechtermuisknop op iets onder de sjabloon venster en selecteer nieuwe kind toevoegen ≫ Area_list.
- Sleep Alles boven op de map onder Project objectenen er wordt een Alles weergegeven.
- Sleep de gebieds lijst van de sjabloon naar de Alles onder Project objecten.
- Selecteer op de viewport van de afbeeldings stack de Z-ruimte met de cursor. De gebieds lijst wordt weergegeven met een uniek ID-nummer. Selecteer het gereedschap Penseel bovenaan (rechtsonder) en gebruik de muis om een structuur te segmenteren door de cytosol over de hele z -stapel te vullen.
- Exporteer het gesegmenteerde masker dat in ilastik moet worden gebruikt als seed for carving door met de rechtermuisknop te klikken op het object Area List in de lijst met Z-ruimten of op het masker in de viewport en selecteer ≫ gebieds lijsten exporteren als labels (TIF).
- Afhankelijk van de resolutie die nodig is voor verdere reconstructies, verlaag, indien mogelijk, de pixelgrootte van de afbeeldings stack door downsamplen, rekening houdend met de geheugenvereisten van de software die zal worden gebruikt voor segmentatie en reconstructie. Gebruik afbeelding > ≫ grootte aan te passen.
Opmerking: ilastik verwerkt stapels van maximaal 500 pixels op XY well. Ook zal downsamplen de resolutie van de stack verminderen; Daarom moet u rekening houden met de minimale grootte waarop het object nog steeds herkenbaar lijkt en dus kan worden gesegmenteerd. - Om het contrast te verbeteren en de segmentatie te helpen, kan het onscherpe masker filter worden toegepast om de membranen scherper te maken. Gebruik proces ≫ Filter ≫ Onscherp masker.
- Exporteer de afbeeldings stack als afzonderlijke afbeeldingen voor verdere verwerking in segmentatie software (bijv. ilastik), met behulp van bestand ≫ opslaan als... > Afbeeldingsvolgorde en kies. TIF-indeling.
2. segmentatie (semi-geautomatiseerd) en reconstructie met ilastik 1.3.2
- In de belangrijkste ilastik GUI, selecteer de carving module.
- Laad de afbeeldings stack met nieuwe toevoegen > een enkel 3D/4D-volume uit de reeks toevoegen.
- Selecteer hele map en kies de map met de afbeeldings stack die als afzonderlijke bestanden is opgeslagen. Onder aan het nieuwe venster, waar de opties voor het laden van de afbeeldingen aanwezig zijn, zorg ervoor dat u Z geselecteerd houdt.
- Voor de volgende stappen kunnen alle bewerkingen en knoppen worden gevonden aan de linkerkant van de HoofdSoftware GUI. Gebruik onder het tabblad voor verwerking de standaardopties die al zijn aangevinkt. Gebruik heldere lijnen (Ridge filters) en houd de filter schaal op 1,600. Deze parameter kan daarna worden gewijzigd.
- Zodra de voor verwerking is voltooid, selecteert u de volgende pagina in het vervolgkeuzemenu van de etiketterings module. Een object en één achtergrond zijn standaard aanwezig.
-
Selecteer het object zaad door erop te klikken, en teken een lijn bovenop de structuur van belang; Selecteer vervolgens het achtergrond zaad en teken een of meerdere regels buiten het object om te worden gereconstrueerd. Klik vervolgens op segment en wacht.
Opmerking: afhankelijk van de kracht van de computer en de grootte van de stack, segmentatie kan nemen van een paar seconden tot uren. Zodra het klaar is, moet een semi-doorzichtig masker dat de segmentatie markeert boven op de gesegmenteerde structuur worden weergegeven.- Scroll door de stapel om de segmentatie te controleren. De segmentatie is mogelijk niet nauwkeurig en volgt niet de structuur van de belangstelling nauwkeurig of uitlekken. Corrigeer eventuele overloop door het plaatsen van een achtergrond zaad op de gemorste segmentatie, en voeg een object zaad toe over het niet-gereconstrueerde segment van het object van belang.
- Als de segmentatie nog steeds niet correct is, probeert te wijzigen met de Bias parameter, die zal verhogen of verminderen van de hoeveelheid onzekere geclassificeerde pixels als geaccepteerd. De waarde is standaard 0,95; Verlaag het om een overloop (meestal niet minder dan 0,9) te beperken of Verhoog of de segmentatie te conservatief is (maximaal 1).
- Een andere mogelijkheid is om terug te gaan naar stap 2,4 (door te klikken op voor verwerking) en om de grootte van het filter te wijzigen; het verhogen van de waarde (bijvoorbeeld, naar 2) zal de zout-en-peper lawaai-achtige effecten te minimaliseren, maar zal ook het maken van membranen meer wazig en kleinere details moeilijker te detecteren. Dit kan de overloop beperken.
- Herhaal zo veel als nodig is, zolang alle gewenste objecten zijn gesegmenteerd. Zodra een object is voltooid, klikt u op huidig object opslaan, onder segment. Er zullen twee nieuwe zaden verschijnen om de segmentatie van een nieuw object te starten.
- Extract oppervlakte mazen meteen als. obj bestanden door te klikken op alle netten exporteren.
- Als verder proeflezen nodig is, kan segmentatie worden geëxtraheerd als binaire maskers. Selecteer het masker om het te exporteren door op objecten bladeren te klikken. Klik vervolgens met de rechtermuisknop op segmentatie ≫ exporteren en selecteer vervolgens onder uitvoer Bestandsinfode optie TIF-reeks als indeling.
3. Proofreading/segmentatie (handmatig) in TrakEM2 (Fiji)
- Laad de afbeeldingsstapel en maak een nieuw TrekEM2 project aan volgens stap 1.6.1.
- Importeer de maskers die moeten worden proeflezen met behulp van de optie labels importeren als arealisten, beschikbaar in hetzelfde import menu dat wordt gebruikt om de afbeeldings stack te importeren.
- Selecteer de in de Z-ruimte geïmporteerde arealist en gebruik het gereedschap Penseel om de segmentatie te bekijken.
- Visualiseer het model in 3D door met de rechtermuisknop op de gebieds lijst te klikken > in 3D weer te geven. In het volgende venster waarin wordt gevraagd om een nieuwe nummer, genereert een hogere waarde een lagere resolutie mesh.
Opmerking: Afhankelijk van de grootte van het object u overwegen een waarde tussen 4 en 6 te gebruiken, wat meestal het beste compromis tussen resolutie en morfologische details geeft. - Exporteer het 3D-net als Wavefront. obj door te kiezen uit het menu bestand > oppervlakken exporteren ≫ Wavefront.
4.3D-analyse
- Blender openen. Voor de volgende stappen, zorg ervoor dat de NeuroMorph Toolkit installeren (beschikbaar op https://neuromorph.epfl.ch/index.html) en de glycogeen Analysis Toolkit (beschikbaar op https://github.com/daniJb/glyco-analysis).
- Importeer de objecten met behulp van de neuro Morph batchimport door te klikken op objecten importeren onder het menu scène , om meerdere objecten tegelijk te importeren. Zorg ervoor dat u remesh en vloeiende arceringgebruiken activeert.
Opmerking: Het wordt afgeraden om te klikken op remesh voltooien als er onzekerheid is over de aanvankelijke grootte van het object. De diepte van de import structuur bij waarde 7 (standaard) is meestal goed om een acceptabele resolutie en morfologie van het object te behouden. - Selecteer het object van belang van de Outliner en wijzig de boom-diepte van de functie remesh onder het menu parameters iteratief om het aantal hoekpunten te minimaliseren en om te voorkomen dat details verloren gaan in de resolutie en de juiste morfologie. Bij het wijzigen van de boom-diepte, zal het net op de hoofd-GUI dienovereenkomstig veranderen. Als u klaar bent, klikt u op toepassen om het proces te voltooien.
Opmerking: Waarden rond 4 zijn meestal goed voor kleine objecten (zoals postsynaptische dichtheden), waarden rond 7 voor grotere (zoals lange axonen of dendrites) en waarden rond 8 of 9 voor volledige cellulaire morfologieën waarbij Details van verschillende resoluties moeten worden Onderhouden. - Gebruik het beeld van het Super inslag gereedschap afbeelding stack interacties in het linkerdeelvenster, onder het menu neuromorph , om de afbeeldings stack te laden. Zorg ervoor dat u de fysieke grootte van de afbeeldingsstapel invoert voor x, yen x (in micron of nanometers, afhankelijk van de eenheden van het net) en selecteer het pad van de stapel door te klikken op Source_Z. X en Y zijn orthogonale vlakken; ze zijn optioneel en worden alleen geladen als de gebruiker een geldig pad invoegt.
- Selecteer vervolgens een mesh op de viewport door er met de rechtermuisknop op te klikken, voer de bewerkingsmodus in door op Tabte drukken, selecteer een (of meer) hoekpunten met de muisklik met de rechtermuisknop en klik ten slotte op Toon afbeelding op vertex. Een (of meer) knipvlak (en) met de micro grafiek verschijnt bovenop het gaas.
- Selecteer het knipvlak door er met de rechtermuisknop op te klikken, druk op CTRL + Yen scroll over het 3D-model met de muis scroll. Dit kan ook worden gebruikt als proefmethode.
- Gebruik meetinstrumenten voor de kwantificaties van oppervlakte gebieden, volumes en lengtes. Deze operaties worden gedocumenteerd in meer details door Jorstad et al.19 en op de NeuroMorph website24.
- Gebruik de glycogeen Analysetool voor het kwantificeren van glycogeen nabijheid richting stekels en boutons. Bewerkingen worden gedocumenteerd in meer details in een vorige publicatie10 en in de glycogeen analyse opslagplaats25.
- Importeer de objecten met behulp van de neuro Morph batchimport door te klikken op objecten importeren onder het menu scène , om meerdere objecten tegelijk te importeren. Zorg ervoor dat u remesh en vloeiende arceringgebruiken activeert.
- Voer GLAM23uit. De code, het uitvoerbare bestand en sommige testbestanden zijn beschikbaar in de GLAM repository26.
- Bereid twee geometrie bestanden voor in. ply-formaat: één bronbestand met glycogeen granulaat en één doelbestand met de morfologie oppervlakken.
- Bereid drie. ASCII de-bestanden (elke regel met t_norm (0.. 1) R (0.. 255) G (0.. 255) B (0.. 255)) voor het vertegenwoordigen van lokale absorptie waarden, piekwaarden en gemiddelde absorptie waarden.
- Voer de C++ script glam, met de geometrie bestanden (stap 4.2.1) en de bestanden (stap 4.2.2), door het instellen van de invloed RADIUS (in microns), de maximale verwachte absorptiewaarde en een genormaliseerde drempel voor het clusteren van de absorptie pieken. Voor informatie over andere parameters voert u het script uit met de optie-Help.
- Exporteer de resultaten als. ply-of. obj-bestanden: target objecten kleur-toegewezen met GLAM waarden, absorptie piek markeringen weergegeven als kleurgecodeerde bollen, en doelobjecten kleurgecodeerd met betrekking tot de gemiddelde absorptiewaarde.
- Open VR data interactie. VR data Interact-uitvoerbare code is beschikbaar in een openbare repository27.
- Importeer mazen die moeten worden gevisualiseerd, volgens de instructies in het VR-menu. Zorg ervoor dat u de. obj-bestanden importeert die in stap 4.2.1 zijn berekend, in het geval dat een GLAM-analyse nodig is.
Representative Results
Door de hierboven gepresenteerde procedure te gebruiken, laten we resultaten zien op twee afbeeldingsstapels van verschillende grootten, om aan te tonen hoe de flexibiliteit van de hulpprogramma's het mogelijk maakt om de procedure op te schalen naar grotere gegevenssets. In dit geval zijn de twee 3DEM-gegevenssets (i) P14 rat, Somatosensorische cortex, laag VI, 100 μm x 100 μm x 76,4 μm4 en (II) P60 rat, Hippocampus CA1, 7,07 μm x 6,75 μm x 4,73 μm10.
De voor verwerkingsstappen (afbeelding 1) kunnen op dezelfde manier worden uitgevoerd voor beide gegevenssets, waarbij u alleen rekening houdt met het dat een grotere gegevensset, zoals de eerste stack, die 25 GB is, meer presterende hardware vereist om grote gegevensvisualisatie en-verwerking te verwerken . De tweede stack is slechts 1 GB, met een perfect isotrope Voxel grootte.
De grootte van de gegevens is mogelijk niet direct gerelateerd aan het gezichtsveld (FOV), in plaats van aan de resolutie van de stapel zelf, die afhangt van de maximale pixelgrootte van de sensor van de Microscoop en de vergroting van de stapel. In ieder geval zullen grotere Fov's logischerwijs meer fysieke ruimte innemen in vergelijking met kleinere Fov's, als ze bij dezelfde resolutie worden verworven.
Zodra de afbeeldings stack is geïmporteerd, zoals aangegeven in sectie 1 van het Protocol, in Fiji-software (Figuur 1a), een wetenschappelijke uitgave van imagej12, is een belangrijk punt om ervoor te zorgen dat het afbeeldingsformaat 8-bit is (Figuur 1b). Dit omdat veel acquisitie software verschillende fabrikanten van microscopie bedrijven hun eigen bestandsformaat genereren in 16-bits om metagegevens op te slaan die relevant zijn voor informatie over het verwervingsproces (d.w.z. pixelgrootte, dikte, stroom/spanning van de Elektronenstraal, kamer druk) samen met de beeld stapel. Dergelijke aanpassingen kunnen wetenschappers geheugen te besparen, als de extra 8-bits met metagegevens heeft geen invloed op de afbeeldingen. De tweede belangrijke parameter om te controleren is de grootte van de Voxel, die vervolgens de reconstructie na de segmentatie kan worden uitgevoerd op de juiste schaal (micrometers of nanometers; Figuur 1b).
Stapels moeten mogelijk opnieuw worden toegewezen en/of stiksel als ze zijn verkregen met behulp van betegeling; deze operaties kunnen worden uitgevoerd binnen TrakEM2 (Fig. 2a), hoewel met betrekking tot Realignment, geautomatiseerde 3dem-technieken zoals FIB-SEM of 3view meestal goed zijn toegewezen.
Een laatste stap vereist filtering en eventueel downsamplen van de stack, afhankelijk van welke objecten moeten worden gereconstrueerd en of downsamplen de herkenning van de reconstructable-functies beïnvloedt. Bijvoorbeeld, voor de grotere stapel (van de Somatosensorische cortex van P14 ratten), was het niet mogelijk om de resolutie in gevaar te brengen ten gunste van de efficiëntie van de wederopbouw, terwijl voor de kleinere stapel (van de Hippocampus CA1 van P60 ratten), was het mogelijk om dit te doen omdat de resolutie ver boven wat nodig was voor de kleinste objecten worden gereconstrueerd. Ten slotte verbetert het gebruik van het onscherpe masker het verschil tussen de membranen en de achtergrond, waardoor het gunstig is voor de reconstructies van software zoals ilastik die verlopen gebruikt om grenzen vooraf te evalueren.
Na de beeldverwerking kan de reconstructie handmatig worden uitgevoerd met behulp van TrakEM2 of semi-automatisch met ilastik (figuur 2c). Een gegevensset zoals de kleinere die hier wordt vermeld (II), die kan worden gedownsampled om in het geheugen te passen, kan volledig worden gesegmenteerd met ilastik (Figuur 2b) om een dichte reconstructie te produceren. In het geval van de eerste gegevensset die hier wordt vermeld (i), zijn we erin geslaagd de volledige gegevensset te laden en vooraf te verwerken met een Linux-werkstation met 500 GB RAM. De verspreide segmentatie van 16 volledige morfologieën werd verkregen met een hybride pijpleiding, door het extraheren van ruwe segmentatie die handmatig werd Review met behulp van TrakEM2.
De 3D-analyse van functies zoals oppervlakte gebieden, volumes of de verdeling van intracellulaire glycogeen kan worden uitgevoerd binnen een blender omgeving (Figuur 3) met behulp van aangepaste codes, zoals NeuroMorph19 of glycogeen analyse10.
In het geval van datasets die ook glycogeen granulaat bevatten, kan de analyse van de verdeling ervan worden afgeleid met behulp van GLAM, een C++-code die colormaps met invloed gebied direct op het net zou genereren.
Tot slot kunnen dergelijke complexe gegevenssets worden gevisualiseerd en geanalyseerd met behulp van vr, wat nuttig is gebleken voor de analyse van gegevenssets met een bepaalde verstopt weergave (Figuur 4). Pieken die zijn afgeleid van GLAM-Maps werden bijvoorbeeld gemakkelijk visueel afgeleid van dendrites in de tweede gegevensset die hier wordt besproken.
Figuur 1: beeldverwerking en voorbereiding voorbeeld segmentatie. (a) belangrijkste Fiji GUI. (b) voorbeeld van gestapelde afbeeldingen uit gegevensset (i) die in de representatieve resultaten worden besproken. Het paneel aan de rechterkant toont eigenschappen waarmee de gebruiker de Voxel-grootte kan instellen. (c) voorbeeld van een Filer en resize bewerking toegepast op een enkele afbeelding. De panelen aan de rechterkant tonen vergroingen vanuit het midden van de afbeelding. Klik hier om een grotere versie van dit cijfer te bekijken.
Figuur 2: segmentatie en reconstructie met behulp van TrakEM2 en ilastik. (a) TrakEM2 GUI met objecten handmatig gesegmenteerd (in rood). b) het geëxporteerde masker van panel a kan worden gebruikt als input (Seed) voor (c) semi-automatische segmentatie (carving). Van ilastik, kunnen maskers (rood) verder worden geëxporteerd naar TrakEM2 voorhand matige Proofreading. (d) maskers kunnen vervolgens worden geëxporteerd als 3D-driehoekige mazen om gereconstrueerde structuren te onthullen. In dit voorbeeld werden vier neuronen, astrocyten, Microglia en pericytes uit DataSet (i) (besproken in de representatieve resultaten) gereconstrueerd met behulp van dit proces. Klik hier om een grotere versie van dit cijfer te bekijken.
Figuur 3: 3D-analyse van gereconstrueerde morfologieën met behulp van aangepaste gereedschappen. a)isotroop afbeelding gemaakt volume van FIB-SEM DataSet (II) (zoals besproken in de representatieve resultaten). b) dichte reconstructie van panel a. Grijs = axonen; groen = astrocytisch proces; blauw = dendrieten. (c) micro grafiek met voorbeelden van streefcijfers voor kwantificaties zoals synapsen (DataSet (i)) en astrocytische glycogeen korrels (DataSet (II)) in de juiste vergroingen. d) masker van paneel c dat de verdeling van glycogeen korrels rond synapsen weergeeft. (e) kwantificering van de glycogeen verdeling vanuit de gegevensset van panel c, met behulp van de glycogeen Analysis Toolbox van Blender. De foutbalken geven standaardfouten aan. N = 4.145 glycogeen granulaat. f) een grafische illustratie van de input-en output visualisatie van glam. Klik hier om een grotere versie van dit cijfer te bekijken.
Figuur 4: analyse in vr. a) eengebruiker die een vr-headset draagt tijdens het werken aan (b) de dichte reconstructie van FIB-SEM DataSet (II) (zoals besproken in de representatieve resultaten). (c) meeslepende VR-scène uit een subset van neurites van panel b. De groene laser wijst naar een GLAM Peak. (d) voorbeeld van een analyse van glam Peak telt in vr. N = 3 muizen per staaf. Analyse van FIB-SEM uit een vorige publicatie28. De foutbalken geven de standaardfouten aan; *p < 0,1, one-way ANOVA. Klik hier om een grotere versie van dit cijfer te bekijken.
Discussion
De hier gepresenteerde methode is een handige stapsgewijze handleiding voor de segmentering en 3D-reconstructie van een Multi Scale EM-gegevensset, ongeacht of deze afkomstig zijn van beeldvormingstechnieken met hoge resolutie, zoals FIB-SEM, of andere geautomatiseerde technieken voor serie-en beeldbewerking. FIB-SEM heeft het voordeel dat het mogelijk is om een perfecte isotropie in de Voxel-grootte te bereiken doorsneden zo dun als 5 nm te gebruiken met behulp van een gerichte ionen straal, de FOV kan beperkt zijn tot 15-20 μm vanwege zijartefacten, die mogelijk te wijten zijn aan de afzetting van het snij weefsel als de FO V overschrijdt deze waarde. Dergelijke artefacten kunnen worden vermeden door gebruik te maken van andere technieken, zoals SBEM, die een diamant mes gebruikt om seriële secties in de Microscoop kamer te knippen. In dit laatste geval kan de z -resolutie op zijn best rond de 20 nm liggen (meestal 50 nm), maar de FOV kan groter zijn, hoewel de pixel resolutie moet worden aangetast voor een groot gebied van belang. Een oplossing om dergelijke beperkingen te overwinnen (vergroting versus FOV) is om de regio van belang in tegels te verdelen en te verwerven elk van hen met een hogere resolutie. We hebben hier resultaten van zowel een SBEM stack-DataSet (i) getoond in de representatieve resultaten-en een FIB-SEM stack-DataSet (II) in de representatieve resultaten.
Naarmate de generatie van grotere en grotere gegevenssets steeds vaker voorkomt, worden de inspanningen voor het maken van tools voor pixel classificatie en geautomatiseerde beeldsegmentatie vermenigvuldigd; tot op heden heeft geen enkele software bewezen betrouwbaarheid die vergelijkbaar is met die van de menselijke proef, wat dus nog steeds nodig is, hoe tijdrovend die ook is. In het algemeen kunnen kleinere gegevenssets die kunnen worden gedownsampled, zoals in het geval van gegevensset (II), in een week dicht bij een enkele, deskundige gebruiker worden gereconstrueerd, inclusief proeftijd.
Het hier gepresenteerde protocol omvat het gebruik van drie software Programma's in het bijzonder: Fiji (versie 2.0.0-RC-65/1.65 b), ilastik (versie 1.3.2 RC2) en Blender (2,79), die alle open-source en multi-platform Programma's en gratis te downloaden zijn. Fiji is een uitgave van ImageJ, Powered by plugins voor biologische beeldanalyse. Het heeft een robuuste software-architectuur en wordt gesuggereerd omdat het een gemeenschappelijk platform is voor biowetenschappers en omvat TrakEM2, een van de eerste en meest gebruikte plugins voorbeeld segmentatie. Een probleem dat veel gebruikers de laatste tijd ervaren, is de overgang van Java 6 naar Java 8, die compatibiliteitsproblemen creëert; Daarom raden we u aan om, indien mogelijk, niet te updaten naar Java 8 om Fiji goed te laten werken. ilastik is een krachtige software die een aantal frameworks voor pixel classificatie, elk gedocumenteerd en uitgelegd op hun website. De carving-module die wordt gebruikt voor de semi-automatische segmentatie van EM-stacks is handig omdat het veel tijd bespaart, waardoor wetenschappers de tijd die aan handmatig werk wordt besteed van maanden tot dagen voor een ervaren gebruiker kunnen verkorten, omdat met een enkele klik een volledige neuriet kan worden gesegmenteerd in seconden. De voorbewerkings stap is zeer intens vanuit een hardwareoogpunt en zeer grote gegevenssets, zoals de SBEM-stack die hier wordt gepresenteerd, die 26 GB was, vereisen bijzondere strategieën om in het geheugen te passen, gezien het feit dat een grote gegevensset zou worden verkregen omdat deze niet compromis veld van weergave en resolutie. Daarom is downsamplen misschien geen geschikte oplossing in dit geval. De nieuwste release van de software kan de voor verwerking in een paar uur doen met een krachtig Linux-werkstation, maar de segmentatie zou minuten duren, en scrollen door de stapel zou nog steeds relatief traag zijn. We gebruiken deze methode nog steeds voor een eerste, ruwe segmentatie, en proef het met behulp van TrakEM2. Tot slot, Blender is een 3D modeling software, met een krachtige 3D rendering engine, die kan worden aangepast met python scripts die kunnen worden ingebed in de hoofd-GUI als add-ons, zoals NeuroMorph en glycogeen analyse. De flexibiliteit van deze software wordt geleverd met het nadeel dat, in tegenstelling tot Fiji, bijvoorbeeld, het is niet ontworpen voor de online visualisatie van grote datasets; Daarom kan het visualiseren en navigeren door grote mazen (meer dan 1 GB) traag en niet efficiënt zijn. Daarom is het altijd raadzaam om technieken te kiezen die de fijnmazige complexiteit verminderen, maar zorg ervoor dat u de oorspronkelijke morfologie van de structuur van de interesse niet verstoort. De remesh-functie is handig en is een ingebed kenmerk van de NeuroMorph batchimport tool. Een probleem met deze functie is dat, afhankelijk van het aantal hoekpunten van het oorspronkelijke net, de waarde van de boom-diepte, die is gerelateerd aan de uiteindelijke resolutie, dienovereenkomstig moet worden gewijzigd. Kleine objecten kunnen worden remeshed met een kleine boom diepte (bijvoorbeeld 4), maar dezelfde waarde kan verstoren de morfologie van grotere objecten, die grotere waarden (6 op zijn best, 8 of zelfs 9 voor een zeer grote mesh, zoals een volle cel). Het is raadzaam om dit proces iteratief te maken en de verschillende boom diepten te testen als de grootte van het object niet duidelijk is.
Zoals eerder vermeld, is een aspect dat in aanmerking moet worden genomen de rekenkracht om te worden gewijd aan de wederopbouw en analyse, met betrekking tot de software die wordt gebruikt. Alle bewerkingen die worden weergegeven in de representatieve resultaten van dit manuscript zijn verkregen met behulp van een MacPro, uitgerust met een AMD FirePro D500 grafische kaart, 64 GB RAM en een Intel Xeon E5 CPU met 8 cores. Fiji heeft een goede software architectuur voor het verwerken van grote datasets; Daarom is het raadzaam om een laptop met een goede hardware prestaties, zoals een MacBook Pro met een 2,5 GHz Intel i7 CPU en 16 GB RAM-geheugen te gebruiken. ilastik software is veeleisender in termen van hardwarebronnen, in het bijzonder tijdens de voor verwerking stap. Hoewel het downsamplen van de afbeeldings stack een goede truc is om de hardwareverzoeken van de software te beperken en stelt de gebruiker in staat om een stapel te verwerken met een laptop (meestal als deze lager is dan 500 pixels in x,y,z), raden we het gebruik van een high-end computer om deze software soepel uit te voeren. We gebruiken een werkstation dat is uitgerust met een Intel Xeon Gold 6150 CPU met 16 cores en 500 GB RAM.
Wanneer ze voorzien zijn van een nauwkeurige 3D-reconstructie, kunnen wetenschappers de originele micro grafieken verwijderen en direct op de 3D-modellen werken om nuttige morphometrische gegevens te extraheren om cellen van hetzelfde type te vergelijken, evenals verschillende soorten cellen, en gebruik te maken van VR voor kwalitatieve en kwantitatieve evaluaties van de morfologieën. Het gebruik van deze laatste is met name nuttig gebleken in het geval van analyses van dichte of complexe morfologieën die visuele occlusie (d.w.z. de blokkering van een voorwerp van interesse in de 3D-ruimte, door een tweede tussen de waarnemer en de fi RST object), waardoor het moeilijk is om ze in 3D te vertegenwoordigen en te analyseren. In het gepresenteerde voorbeeld heeft een ervaren gebruiker ongeveer 4 niet-opeenvolgende uren om de gegevenssets te observeren en de objecten te tellen. De tijd besteed aan VR-analyse kan variëren als aspecten zoals VR-ziekte (die tot op zekere hoogte kunnen worden gerelateerd aan auto ziekte) kunnen een negatieve invloed hebben op de gebruikerservaring; in dit geval kan de gebruiker de voorkeur geven aan andere analysetools en de tijd beperken die is toegewezen aan VR.
Ten slotte kunnen al deze stappen worden toegepast op andere microscopie-en niet-EM-technieken die afbeeldingsstapels genereren. EM genereert beelden die in het algemeen uitdagend zijn om te hanteren en te segmenteren, in vergelijking met bijvoorbeeld fluorescentiemicroscopie, waarbij iets vergelijkbaar is met een binair masker (signaal versus een zwarte achtergrond), dat in principe gemakkelijk kan worden gerenderd in 3D voor verdere verwerking, vaak moet worden aangepakt.
Disclosures
De auteurs hebben niets te onthullen.
Acknowledgments
Dit werk werd gesteund door de King Abdullah University of Science and Technology (KAUST) concurrerende onderzoeksbeurzen (CRG) Grant "KAUST-BBP Alliance voor integratieve modellering van de hersenen energie metabolisme" aan P.J.M.
Materials
| Name | Company | Catalog Number | Comments |
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | --- | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | --- | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | --- | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM - a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Eurographics Italian Chapter Conference 2017 – Smart Tools and Apps in computer Graphics, , Catania, Italy. (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Chicago, IL, , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. 2016 4th Saudi International Conference on Information Technology (Big Data Analysis) (KACSTIT), Riyadh, Saudi Arabia, , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C.
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. NeuroMorph Analysis and Visualization Toolset. , http://neuromorph.epfl.ch (2018).
- Boges, D. GitHub - daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data. , https://github.com/daniJb/glyco-analysis (2018).
- Agus, M. GitHub – magus74/GLAM: Glycogen Lactate Absorption Model. , https://github.com/magus74/GLAM (2019).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
