Van Voxels to Knowledge: Een praktische gids voor de segmentatie van Complex Electron Microscopy 3D-Data

Summary

De bottleneck voor mobiele 3D-elektronenmicroscopie is feature extractie (segmentatie) in zeer complexe 3D-density maps. We hebben een set van criteria, waarin aanbevelingen worden gedaan met betrekking tot welke segmentatie aanpak (handmatig, semi-automatisch of automatisch) is het meest geschikt voor verschillende soorten data ontwikkeld, en zo een uitgangspunt voor effectieve segmentatie.

Abstract

Modern 3D elektronenmicroscopie werden er onlangs toegelaten ongekend inzicht in de 3D ultrastructurele complex van cellen en weefsels, waardoor de visualisatie van grote macromoleculaire machines, zoals hechting complexen, alsmede hogere orde structuren, zoals het cytoskelet en cellulaire organellen in hun respectieve cellen en weefsels context. Gezien de inherente complexiteit van cellulaire volumes, is het noodzakelijk om eerst de belangrijke kenmerken extract teneinde visualisatie, kwantificering en daarom begrip van hun 3D organisatie mogelijk. Elke gegevensverzameling wordt bepaald door verschillende kenmerken, bijvoorbeeld signaal-ruisverhouding, krokantheid (scherpte) van de gegevens, heterogeniteit van zijn eigenschappen, drukte kenmerken, aanwezigheid of afwezigheid van karakteristieke vormen die zorgen voor een gemakkelijke identificatie en het percentage van het totale volume dat een specifiek gebied van belang inneemt. Al deze eigenschappen moeten worden overwogenbij de beslissing over welke aanpak over te nemen voor segmentatie.

De zes verschillende 3D ultrastructureel datasets gepresenteerd werden verkregen door drie verschillende beeldvormingstechnieken: hars ingebed in lood electron tomography, gericht ion balk- en serieblok face scanning elektronenmicroscopie (FIB-SEM, SBF-SEM) van licht gekleurd en bevlekt monsters respectievelijk. Voor deze datasets, zijn vier verschillende segmentatie benaderingen zijn toegepast: (1) volledig handmatige modelbouw gevolgd alleen door visualisatie van het model, (2) handmatig opsporen segmentatie van de gegevens gevolgd door oppervlak rendering, (3) semi-geautomatiseerde wijze: door oppervlakte-rendering of (4) geautomatiseerd op maat gemaakt segmentatie algoritmen gevolgd door oppervlakte-rendering en kwantitatieve analyse. Afhankelijk van de combinatie van data set eigenschappen, bleek dat doorgaans een van deze vier categorische methoden beter presteert dan de anderen, maar afhankelijk van de exacte sequentie van criteria more dan een aanpak kan succesvol zijn. Op basis van deze gegevens stellen we een triage systeem dat zowel objectieve gegevens set kenmerken en subjectieve persoonlijke criteria categoriseert voor de analyse van de verschillende datasets.

Introduction

Traditioneel, de elektronenmicroscopie (EM) veld is verdeeld in 1) de structurele biologie tak met hoge en super hoge resolutie TEM, gewoonlijk gecombineerd met impliciete of expliciete gegevens gemiddeld om de driedimensionale (3D) structuur van macromoleculaire complexen onderzoeken in een gedefinieerde samenstelling en gewoonlijk een relatief kleine omvang ^1-4, en 2) de cellulaire imaging branche waarin gehele cellen decors gevisualiseerd ^1,5,6. Terwijl de structurele biologie tak een spectaculaire ontwikkeling heeft doorgemaakt in de afgelopen vier decennia, is de celbiologie tak meestal beperkt tot twee dimensies, vaak op minder-dan-optimaal bewaard monsters. Alleen met de komst van elektronentomografie in het laatste decennium heeft celbiologische ultrastructurele imaging uitgebreid naar de derde dimensie ^5,7, waar typische gemiddelde kan niet worden uitgevoerd als de cellulaire landschappen en daarmee de eigenschappen van belang, typisch uniek.

Hoewel gevisualiseerd cellulaire schermen vaak verbluffend om het oog, efficiënte afzuiging faciliteiten plaats en daaropvolgende kwantitatieve analyse van dergelijke zeer complexe cellulaire volumes achterblijven, mede doordat de precieze samenstelling eiwit is gewoonlijk bekend, waardoor het dus moeilijk om deze cellulaire interpreteren 3D-volumes. Tot op heden is extensieve biologische kennis vaak nodig om complexe tomogrammen interpreteren, of zelfs de belangrijke regio essentiële componenten in de 3D-volume identificeren. Een verdere complicatie visualisatie van 3D-volumes opvallend niet triviaal. 3D-volumes kunnen worden beschouwd en dus weer als stapels van 2D-beelden. Plak per segment inspectie opeenvolgende 2D beelden vermindert de complexiteit, maar beperkt ook voorzien extractie en dus kwantitatieve analyse om de twee dimensies. Voor de meeste 3D-objecten, het afbeelden van 3D-volumes als uitsluitend een stapel opeenvolgende vlakken leidt tot een onvolledige eend scheef perspectief in van een bepaald systeem 3D natuur. Alternatieve wijzen van visueel onderzoek vereisen in volume rendering of oppervlak rendering, die gegeven de vaak dichte aard van een cellulair volume kan gemakkelijk leiden tot een belemmerd uitzicht geneste objecten of overweldigen gebruiker geheel, waardoor interactieve handmatige segmentatie moeilijk.

Om deze belemmeringen, een grote verscheidenheid van geautomatiseerde feature extractie verhelpen zijn (segmentatie) benaderingen ontwikkeld die typisch ofwel density- of gradiënt gebaseerde ^8-10. Echter, deze methoden vaak segment het gehele volume ongeacht welke gebieden of karakteristieken van belang voor de deskundige hoewel sommige recente methoden even specifiek belang kan richten zoals actine filamenten ^11. Bovendien kan het programma uitvoert automatische segmentatie soms resulteren in de productie van een groot aantal sub-volumes (bijvoorbeeld bij de toepassing keerpunt Immersion segmentatie) die vaak de behoefte om terug te handmatig worden samengevoegd in die de hele functie van de rente of worden onderworpen aan verdere segmentatie. Dit geldt met name voor complexe en drukke datasets, dus het meest rendering algoritmes zijn niet in staat om alleen de kenmerken van belang met trouw, en substantiële curatie-inspanningen door een deskundige zijn vaak nodig om een ​​gewenste gesegmenteerd volume produceren.

Bovendien zijn oplossingen voor een zeer specifiek probleem vaak gepubliceerd als een wetenschappelijke bijeenkomst papier, met weinig tot geen nadruk op waardoor ze een brede en uitgebreide tools toegankelijk voor onderzoekers die geen grondige kennis van het gebied van wiskunde, informatica en / of hebben computer graphics. Een aanpasbare programmeersoftware omgeving, met een bereik van beeldanalyse bibliotheken, kan een krachtige tool set zodat gebruikers efficiënt schrijven hun eigen modules voor nauwkeurige segmentatie zijn. Echter, deze aanpak vereist extensive opleiding en een achtergrond in de informatica, om te profiteren van de vele functies of mogelijkheden voor beeldanalyse. Men kan werken binnen zo'n veelzijdige software-omgeving voor bepaalde datasets waar de functies zijn nog schaars, bijvoorbeeld door gebruik te maken van krachtige vormen gebaseerde benaderingen die gebaseerd zijn op de unieke geometrie van "templates" om objecten van belang te scheiden van hun omgeving ^12,13 .

Een eerlijke verscheidenheid van computer graphics visualisatie pakketten bestaan ​​voor interactieve handmatige segmentatie en modelbouw. Sommige pakketten zijn commercieel verkrijgbaar, terwijl anderen zijn van de academische oorsprong en gratis verspreid, zoals: University of California San Francisco Chimera ^14, Universiteit van Colorado IMOD ^15, en de Universiteit van Texas in Austin VolumeRover ^16. Echter, de grote verscheidenheid en de complexiteit van de functies en mogelijkheden van deze programma's bezitten steiler de leercurve voor each. Bepaalde visualisatie programma's eenvoudige geometrische modellen, zoals ballen en sticks van verschillende afmetingen, die in de dichtheid kaarten kunnen worden geplaatst teneinde een vereenvoudigd model van de complexe 3D volume. Deze modellen laat vervolgens eenvoudige geometrische en volumetrische metingen en daarom verder gaan dan alleen het "mooi plaatje". Dergelijke handmatige traceren van objecten werkt goed voor volumes waarbij slechts een klein aantal objecten moeten worden opgespoord en geëxtraheerd. De recente ontwikkeling van grote hoeveelheden ultrastructurele 3D beeldvorming met behulp van gefocusseerde ionenbundel scanning elektronenmicroscopie (FIB-SEM) ^17-20 of serieblok gezicht scanning elektronenmicroscopie (SBF-SEM) ²¹ weer de extra complicatie dat de omvang van 3D data sets kan variëren van gigabytes tot tientallen en honderden gigabytes, en zelfs terabytes. Daarom is een dergelijke grote 3D volumes zijn vrijwel ontoegankelijk voor handmatige feature extractie, en dus efficiënte gebruiker begeleide semi-automatische prestatieure winning zal een van de knelpunten voor een efficiënte analyse van 3D-volumes in de nabije toekomst.

Hier gepresenteerd zijn vier verschillende segmentatie benaderingen die routinematig worden gebruikt op een groot scala van biologische soorten afbeeldingen. Deze methoden worden vervolgens vergeleken op hun effectiviteit voor verschillende soorten gegevens, waardoor een samengevoegd in een leidraad om biologen bepalen, wat de beste segmentatiebenadering doeltreffende kenmerkextractie eigen gegevens. Zoals gedetailleerd gebruikershandleidingen zijn beschikbaar voor de meeste van de beschreven programma's, is het de bedoeling de potentiële gebruikers die vertrouwd zijn met een van deze bijzondere pakketten niet te maken. In plaats daarvan, het doel is om de respectieve sterke punten en beperkingen van deze verschillende segmentatie strategieën tonen aan te brengen op zes voorbeeld data sets met verschillende kenmerken. Door deze vergelijking zijn een aantal criteria ontwikkeld die hetzij zijn gebaseerd op de doelstelling van de beeldkenmerken3D data sets, zoals data contrast, scherpte, drukte, en de complexiteit, of stam van subjectieve overwegingen, zoals het gewenste doel voor segmentatie, morfologie van de functies moeten worden onderverdeeld, de bevolkingsdichtheid van de kenmerken van belang, wat betekent dat de fractie van het volume ingenomen door de functie van belang zijn, en hoe gaat men optimaal met eindige hulpbronnen, zoals de tijd en de beschikbaarheid van personeel. Deze verschillende bijvoorbeeld gegevens illustreren hoe deze objectieve en subjectieve criteria kunnen achtereenvolgens worden toegepast in verschillende combinaties om een ​​koppeling van bepaalde feature extractie benaderingen bepaalde datasets leveren. De gegeven zal hopelijk beginners aanbevelingen geconfronteerd met een grote verscheidenheid aan segmenteringsopties kiezen voor de meest effectieve segmentatie aanpak voor eigen 3D volume.

Hoewel de focus van dit artikel is van kenmerken, aandacht voor het verzamelen van gegevens en de pre-processing data is cruciaal voor een efficiënte segmentation. Vaak kleuring van monsters kunnen ongelijkmatig zijn, en dus, moeten potentiële vlekken artefacten worden beschouwd in de segmentatie procedure. Echter, vlek geeft meestal hoger signaal-ruis en daardoor minder filtering en andere mathematische behandeling van cellulaire volumes, die mogelijk ook kan leiden tot artefacten. De respectievelijke ruwe beeldgegevens sets moeten worden verworven op het juiste contrast en camera-instellingen voor de resolutie, uitgelijnd, en omgebouwd tot een 3D-volume. Voor tomogrammen, uitgelijnd beelden typisch gereconstrueerd met gewogen terugprojectie, en vervolgens de dataset wordt doorgaans onderworpen aan ruisonderdrukkingtechnieken zoals niet-lineaire anisotrope diffusie ^22, bilaterale filtering ²³ of recursieve mediaanfilter ^24. FIB-SEM en SBF-SEM beeldgegevens worden uitgelijnd door de cross-correlatie van opeenvolgende plakjes in XY gebruik te maken van programma's zoals ImageJ ^25. Contrast enhancement en filtering kan worden toegepast op de kenmerken van de te verhogenbelang zijn en dus ruis Dè het beeld stack. Filtering kan worden uitgevoerd op het gehele volume voorafgaand aan selectie of de geselecteerde subvolumes subvolume, filteren benaderingen computationeel duur. Down-bemonstering van de gegevens (binning), die soms wordt gebruikt voor ruisonderdrukking en / of bestandsgrootte verminderen, wordt alleen aangeraden als de gegevens is aanzienlijk overbemonsterde vergeleken met de verwachte resolutie.

Na noise-reductie, kan de verwerkte beelden vervolgens worden gesegmenteerd op basis van verschillende methoden, en de nadruk in dit onderzoek ligt op de volgende vier: (1) manual geabstraheerde generatie van het model door middel van het creëren van een bal-en-stok model, (2) handleiding tracing van de kenmerken van belang, (3) geautomatiseerde-drempel gebaseerd dichtheid, en (4) op maat gemaakte geautomatiseerde segmentatie via een script voor het project specifieke segmentatie. Boundary segmentatie ⁸ en meeslepende waterscheiding segmentatie ¹⁰ betere alternatieven zijn om eenvoudige drempelwaarden, maar they hoort in dezelfde categorie en zijn niet expliciet opgenomen in deze discussie.

Handmatige traceren dichtheden vereist waarin de belangrijke kenmerken, slice per segment, die het behoud van de oorspronkelijke dichtheid van de respectieve sub-cellulaire gebieden toelaat. Deze aanpak maakt maximale controle van het segmentatieproces, maar is een vervelend en arbeidsintensief proces.

Geautomatiseerde-drempel gebaseerd (en aanverwante) dichtheid segmentatie benaderingen zijn semi-automatisch, waarbij een algoritme kiest pixels op basis van een set van door de gebruiker gedefinieerde parameters. Verschillende academische (gratis) visualisatie-pakketten, zoals UCSF Chimera, IMOD, Fiji ²⁶ en VolumeRover beschikbaar zijn, alsmede de commerciële (die betaalde licenties) pakketten, en beide types omvatten doorgaans een of meer van deze segmentatie benaderingen. De software die in dit werk om deze verschillende methoden te illustreren zowel commerciële programma's en academische geopend source programma's voor het handmatig genereren van een abstract model, evenals handmatige en geautomatiseerde dichtheid segmentatie. Echter, open source software bieden soms meer geavanceerde opties door de mogelijkheid van maatwerk.

Een vergelijking van deze technieken met behulp van verschillende soorten datasets heeft geleid tot de volgende presentatie van de regels en aanwijzingen over hoe de segmentatie van diverse biologische data 3D-volumes, die voor zover wij weten nog niet is gepubliceerd benaderen. Dit is dus de eerste systematische vergelijking van de verschillende benaderingen en de bruikbaarheid van gegevens met variabele kenmerken voor gebruikers met verschillende doelen.

Protocol

1 Handmatig Abstracted Model Generatie

Opmerking: De details van de beschreven methode hieronder zijn specifiek voor Chimera, maar andere softwarepakketten kunnen gebruikt worden. Gebruik deze aanpak als de enige doel is om een geometrisch model (bijvoorbeeld een bal en stick model) om geometrische metingen te verrichten, in plaats van het weergeven van het volume vorm van de objecten te creëren.

1. De omvang van de gegevens importeren in een geschikt programma voor het handmatig geabstraheerde model generatie.
   1. Kies Bestand> Open kaart te trekken van het dialoogvenster Bestand openen. Navigeer naar het bestand locatie van de gewenste kaart.
   2. Trek de Volume Viewer (Extra> Volume gegevens> Volume Viewer) en selecteer Eigenschappen> Weergave Stijl om gegevens met verschillende rendering stijlen weer te geven.
   3. Pas de drempel voor de weergave door het slepen van de verticale balk op het histogram in de Volume Viewervenster.
2. Navigeer door het 3D-volume (bijvoorbeeld, slice door slice) op een gebied van belang voor de segmentatie te selecteren en te snijden uit een kleinere sub-volume indien nodig.
   1. In het dialoogvenster Volume Viewer, klik Axis, selecteer vervolgens X, Y of Z.
   2. In het dialoogvenster Volume Viewer, selecteer Eigenschappen> Planes. Klik One to Depth ingesteld op het vliegtuig dat overeenkomt met het nummer in de linker doos weer te geven en klik op Alles om alle vliegtuigen weer te geven.
   3. In het dialoogvenster Volume Viewer, selecteer Eigenschappen> Subregion selectie.
      1. Klik en sleep om een ​​rechthoekig kader rond de regio van belang te creëren.
3. Plaats markeringen langs de functie van belang en sluit ze met linkers in voorkomend geval (vaak automatisch gedaan door het programma) tot het model is compleet.
   1. Van de Volume Viewer menubalk Extra>Volume dialoogvenster Tracer om het dialoogvenster Volume Tracer openen. In het dialoogvenster Volume Tracer, selecteert u Bestand> Nieuwe Marker Set.
   2. In het dialoogvenster Volume Tracer, controleer Mouse> Plaats markers op hoge kwaliteit, Plaats markeringen op gegevens vliegtuigen, verplaatsen en vergroten of markers, Link nieuwe markering aan geselecteerde marker, en Link achtereenvolgens geselecteerde markers.
   3. Klik op de Marker kleurstaal en selecteer een kleur. Herhaal deze stap voor Link kleur.
   4. Voer radii voor de marker en de koppeling model-bouwelementen.
   5. In de Volume Tracer Venster, selecteer Plaats markers met [right] muisknop en plaats radii voor markers en links.
   6. Klik met de rechtermuisknop op het datavolume om te beginnen tot vaststelling van markers. Markers worden automatisch verbonden.
   7. In het dialoogvenster Volume Tracer, selecteert u Bestand> Opslaan huidige marker set, vervolgens Bestand> Sluiten marker set.
4. Open een nieuwe marker set (stap 1.3.1) om te beginnen met het bouwen van een model in een tweede gewenste eigenschap van belang. Maken gebruik van contrasterende kleuren tussen marker sets van verschillen in kenmerken te benadrukken.

2 Handmatig Tracing van functies of Interest

Opmerking: De details van de beschreven methode onderstaande specifieke Amira, maar andere softwarepakketten kunnen gebruikt worden. Gebruik deze methode wanneer de bevolkingsdichtheid is relatief klein en wanneer de nauwkeurigheid van feature extractie van het grootste belang, zoals manuele tracing is een tijdrovende aanpak.

1. Gegevens over het invoervolume in een programma met handmatige tracing opties. Software met deze mogelijkheid bieden over het algemeen ten minste een basis penseel.
   1. Voor grote volumes of tomogrammen (bijvoorbeeld 16-bit 2.048 x 2.048 of groter .rec of .mrc tomogrammen gegenereerd in IMOD): Selecteer Open Data> Klik met de rechtermuisknop op filename.rec> Opmaak ...> Selecteer Raw als LargeDiskData > Ok> Laden. Selecteer de juiste Ruwe gegevens Parameters van header-informatie> Ok. Schakelen en opslaan als een nieuwe filename.am bestand voor gebruik in de volgende stappen.
   2. Voor kleinere 3D-beeld stapel dossiers (bijvoorbeeld 3D-tif of .mrc of .rec): Open Data> Selecteer filename.tif of filename.mrc. Toggle en Right Click> Opslaan als filename.am . Als er een fout wordt gegenereerd of het programma niet reageert, kan het bestand te groot zijn en kan worden geopend door het volgen van stap 2.1.1.
2. Navigeer door de plakjes om een ​​3D sub-volume voor segmentatie te selecteren, en vervolgens wilt bijsnijden om dit gebied van belang.
   1. In 3D Viewer venster, selecteer Orthoslice naar beeldbestand te openen. Gebruik schuifbalk onderaan om te navigeren door plakjes.
   2. Om grotere data geopend als LargeDiskData bijsnijden, toggle bestandsnaam in Poule venster> Klik met de rechtermuisknop> LatticeAccess. Enter de gewenste maat van de doos> Toepassen. Spaar nieuw bestand.
3. Maak segmentatie bestand.
   1. Schakelen het bestand in het venster Pool> Klik met de rechtermuisknop> Etikettering> labelField. Een nieuw bestand wordt aangemaakt en in het tabblad Segmentatie Editor automatisch geladen.
4. Volgt u de rand van de eerste functie van interesse, vul dan het trace met de hand of met behulp van een commando specifiek voor de gebruikte software. Volg de functie van belang door middel van alle segmenten en herhaal de handleiding tracing segmentatie. Gebruik de volgende commando's bij het gebruik van Amira:
   1. Om het gereedschap Penseel gebruiken, veranderen brush size zoals gewenst, gebruik dan de muisaanwijzer op de grens van de functie van belang zijn op te sporen.
   2. Vul het getraceerd met snelkoppeling "f". Voeg de selectie door te klikken op de knop met het plusteken of de snelkoppeling "a". Druk indien nodig op "u" om ongedaan te maken, en de "s" om af te trekken of te wissen.
5. Genereer een oppervlakte rendering voor visualisatie en fundamentele kwalitatieve of kwantitatieve analyse per software handleiding instructie.
   1. In het tabblad Object Pool, schakelt u de bestandsnaam-labels.am in het venster Pool> klik met de rechtermuisknop> SurfaceGen.
   2. Selecteer de gewenste oppervlakte-eigenschappen> Toepassen. Een nieuw bestand filename.surf wordt gemaakt in het zwembad.
   3. Om de gesegmenteerde volume visualiseren, toggle filename.surf in Poule venster> Klik met de rechtermuisknop> SurfaceView.
   4. Gebruik de gereedschappen in het venster 3dviewer te verplaatsen, roteren en in het 3D-volume te zoomen.
6. Pak de exacte dichtheid en bepalen metingen, zoals het volume of de oppervlakte. Export naar andere programma's voor meer geavanceerde weergave, analyse en simulatie.
   1. Op 3dviewer venster op Meten werktuig> Selecteer de juiste optie (2D lengte en 2D hoek voor metingen op een enkel 2D-vlak, 3D lengte en 3D Hoekvoor metingen op een 3D volume).
   2. Klik op mesh oppervlak om de gewenste lengte, de afstand en hoeken te meten. De waarden worden weergegeven in het venster Eigenschappen.

3 Geautomatiseerde-Density gebaseerd Segmentatie

Opmerking: De details van de beschreven methode onderstaande specifieke Amira, maar andere softwarepakketten kunnen gebruikt worden.

1. Met deze aanpak op datasets met elke verscheidenheid van contrast, scherpte, of drukte op de dichtheden van belang in te trekken.
2. Gegevens over het invoervolume in een programma met drempelwaarden, toverstaf, of andere hulpmiddelen-density basis voor de automatische segmentatie. Volg de stappen die in 2.1-2.1.2 in de aanwijzingen voor handmatige tracing.
3. Navigeer door plakjes en selecteer gebied voor segmentatie. Indien nodig, bij te snijden uit een kleinere 3D sub-volume voor segmentatie. Volg de stappen die in 2.2-2.2.2 in de aanwijzingen voor handmatige tracing.
4. Selecteer de dichtheid vaneen kenmerk van belang, meestal door te klikken of het plaatsen van een merkteken of ankerpunt op de functie. Indien toegestaan ​​in de software, voer een nummer range omvat de functie van pixelintensiteit en pas deze tolerantie zoals gewenst. Dichtheden die behoren tot de functie wordt opgehaald in overeenstemming met de intensiteit van de pixel of tolerantie waarde van het anker. Gebruik de volgende commando's bij het gebruik van Amira.
   1. Gebruik de Magic Wand Tool voor functies met onderscheiden marges.
      1. Klik op het gebied van belang en pas vervolgens schuifregelaars in Display en Masking om de juiste bereik van de waarden vast te leggen, zodat de functie volledig is gemarkeerd. Selectie toe te voegen met de snelkoppeling "a".
   2. Gebruik het gereedschap Drempel voor functies zonder duidelijk te onderscheiden marges.
   3. Selecteer het pictogram Drempel. Schuifregelaar om de dichtheid aan te passen binnen de gewenste grenzen, zodat alleen de kenmerken die van belang zijn gemaskeerd. Klik op Select knop, voeg dan de selectie met snelkoppeling220, a ".
   4. Segmenteren gehele volume, selecteert u Alle plakjes voor het toevoegen van de selectie.
   5. Om ruis, selecteer Segmentatie verwijderen> Verwijder Eilanden en / of segmentatie> Smooth labels.
5. Genereer een oppervlak voor visualisatie en kwalitatieve analyse, zoals beschreven in de handleiding tracing sectie 2.6-2.6.2. Indien gewenst, te exporteren naar andere programma's voor voldoende 3D-weergave, kwantitatieve analyse en simulaties.

4 Op maat gemaakte Automated Segmentatie

Opmerking: Met deze benadering aangepaste scripts voor automatische segmentatie, die achtergrondervaring in informatica de mogelijkheid om een ​​precieze dichtheid model Om vanaf een groot volume vereist, maar toelaat maken.

1. Gereedschap (specifiek voorbeeld van-Shape Begeleid Segmentatie in MATLAB ²⁷⁾
   1. Beeldvoorverwerking: Voer de-noising, achtergrond verwijderen en beeldverbeteringmet behulp van de volgende pijplijn:
      1. Laad de afbeelding met behulp van de imread commando.
         1. In de opdrachtregel in: >> im = imread ($ image_path), waar $ image_path is de locatie van het beeld te analyseren.
      2. Van de Beeldverwerking toolbox, bel Wiener filter met een geschatte of bekende Noise-power-to-signaal ratio (NSR).
      3. Op de eerder bewerkte beeld, bellen met de afbeelding opening functie imopen naar de achtergrond laag schatten, dan wijzen de uitkomst als een ander masker.
         1. In de opdrachtregel in te voeren:. >> Achtergrond = imopen (im, Strel ($ shape_string, $ size)), in deze methode, $ shape_string is gelijk aan 'schijf' de variabele $ size wordt gegeven door de analysator ie >> achtergrond = imopen (im, Strel ('disk', 15)).
      4. Trek de gefilterde afbeelding met de achtergrond.
         1. In de opdrachtregel in: >> im2 = im -achtergrond
      5. Afhankelijk van de kwaliteit van de resultaten, het uitvoeren normalisatie met of zonder adaptieve Otsu de methode ^28, die kan worden opgeroepen met de functie imadjust van de Image Processing Toolbox.
         1. In de opdrachtregel in: >> im3 = imadjust (im2)
      6. Bereid de kenmerken van belang voor segmentatie, het beperken van de gebieden die van belang door het bijsnijden van de genormaliseerde afbeelding.
         1. Met behulp van de imtool commando, verken de regio van belang dat moet worden bijgesneden en geven de coördinaten aan het commando: >> im3_crop = imcrop (im3, [x1 y1 x2 y2]), waarbij de vector [x1 y1 x2 y2] komt overeen met het vierkant gebied dat u wilt bijsnijden.
   2. Vorm erkenning / Bewaakte vorm classificatie: Train de algoritme door het verstrekken van specifieke voorbeelden voor elke andere categorie van objecten (lineaire sporen in een 2D-afbeelding over de kenmerken van de rente).
      1. Controleer of VLFEAT ²⁹ API is geïnstalleerd en bezoek de website VLFEAT voor meer diepgaande documentatie.
      2. In de opdrachtregel in: >> [BOOM, ASGN] = VL_HIKMEANS (im3_crop, $ K $ NLEAVES) waar $ K is het aantal cluster te worden gebruikt of het aantal klassen de waarnemer wil de gegevens in te regelen, en $ NLEAVES is het gewenste aantal bladclusters dwz >> [BOOM, ASGN] = VL_HIKMEANS (im3_crop, 4.100)
      3. Gebruik handmatig gesegmenteerd kenmerken als de input voor VLFeat.
         LET OP: Deze open source-C gebaseerde bibliotheek pixel patches, patch clustering, en cluster midden gepositioneerd voeren, afhankelijk van het type van de gekozen methode het beste te werken voor de datasets. De beschikbare opties variëren van k-gemiddelde clustering te Texton-gebaseerde benaderingen ^30, en de output is een numerieke array die beschrijft de gewenste functies op basis van de gegeven voorbeelden.
2. Segmentatie: Gebruik deze fully geautomatiseerd, maar computationeel, van gesegmenteerde meerdere klassen van objecten tegelijk, die wordt geschreven als afzonderlijke kaarten voor verdere visualisatie en analyse.
   1. Laad de eerder gegenereerde cijfer array (model).
   2. Bel de support vector machine (SVM) functie in VLFeat, met behulp van het model en het beeld moeten worden onderverdeeld als ingang.
      1. In de opdrachtregel in: >> [w, b] = vl_svmtrain (x, y, 0.1), waarbij x de oorspronkelijke bijgesneden afbeelding im2_crop en y is de doelstelling afbeelding, de afbeelding die handmatig is gesegmenteerd. Gebruik >> ISEG = VL_IMSEG (I LABELS) de resultaten kleuren volgens de door de clustering labels.
         OPMERKING: Op basis van de kenmerken van het model, zal VLFeat de afbeelding te delen op het aantal klassen (kenmerken van rente) toegewezen vanaf het begin. Afhankelijk van de graad van nauwkeurigheid gewenst is het mogelijk om deze werkwijze te combineren met andere benaderingen of schatting clustre parameters zoals de romp en cluster-centra. De uitgang van de SVM algoritme is een probabilistisch model en meerdere binaire maskers van de gewenste klassen in de nieuwe datasets.
   3. Resultaten op te slaan door het invoeren van het commando: >> imwrite (im, $ format, $ filename) waar $ format is 'tiff' en $ filename is het pad voor de output file.
   4. Voor het visualiseren van beelden en voer het commando: >> imshow (im).

Results

Figuur 1 toont een typische workflow 3D elektronenmicroscopie cellulaire beeldvorming, waaronder tomografie, FIB-SEM en SBF-SEM. De workflow omvat ruwe dataverzameling, uitlijning en de wederopbouw in een 3D-volume, ruisonderdrukking door filtering, en indien nodig, het bijsnijden van de regio van belang met het oog op de effectiviteit van de gekozen segmentatie software te maximaliseren. Dergelijke voorbewerkte data is dan klaar voor de feature extractie / segmentatie.

Figuur 2 toont de in figuur 1 genoemde vier verschillende gegevensreeksen (dat hierna verder wordt ingevoerd), waarvan twee met hars ingebedde monsters geregistreerd door tomografie (Figuren 2A, 2B) workflow, met de andere twee gevolg van FIB -SEM en SBF-SEM, respectievelijk (Figuren 2C, 2D). Afbeeldingen in figuur 2, kolom 1 zijn projectieuitzicht (figuren 2A1, 2B1) en loopwagenoppervlak afbeeldingen (figuren 2C1, 2D1), respectievelijk, die na afstemming en wederopbouw worden geassembleerd tot een 3D-volume. Kolom 2 toont plakken door middel van dergelijke 3D-volumes, die na filtering (kolom 3) tonen een significante vermindering van de geluidsoverlast en dus lijken vaak meer knapperig. Na het selecteren en bijsnijden van de grote 3D-volume naar de regio van belang (kolom 4), kunnen 3D-renderings van gesegmenteerde kenmerken van belang (kolom 5) worden verkregen en verder geïnspecteerd, kleurcodes en kwantitatief geanalyseerd.

Een totaal van zes 3D data sets, die elk een stapel van beelden verkregen door hetzij tomografie (3 datasets), FIB-SEM (2 data sets) of SBF-SEM (1 data set) worden gebruikt voor het vergelijken hoe iedere de vier segmentatiemethoden voeren (figuur 3). De datasets voort uit een verscheidenheid van verschillende onderzoeksprojecten in het laboratorium en op die manier areasonably uiteenlopende reeks typische experimentele data sets. Alle gegevens werden onderzocht door vier onafhankelijke onderzoekers, die elk het meest vertrouwd zijn met een bepaalde aanpak, en zij werden belast met het verstrekken van de best mogelijke resultaat voor elk van de zes datasets.

De datasets worden uit monsters als volgt: 1 Cijfers 3A1-3A5: hogedruk-bevroren, bevriezen gesubstitueerde en-hars ingebed chick binnenoor haarcellen stereocilia ^31, 2 Cijfers 3B1-3B5: hogedruk-bevroren, freeze vervangen en met hars ingebed plantencelwand (niet gepubliceerd), 3 Cijfers 3C1-3C5: hogedruk-bevroren, bevriezen gesubstitueerde en-hars ingebed binnenoor haarcellen kinocilium (niet gepubliceerd), 4 Figures 3D1-3D5: hoge druk- bevroren, vries-en gesubstitueerde hars ingebedde blokken mitochondria in humane borstklier epitheelcellen HMT-3522 S1 acini, die zijn gekweekt in laminine rijke Extracellular matrix ^32,33, 5 Cijfers 3E1-3E5: unstained-tafelmodel verwerkt, met hars ingebed blokken van een sulfaat verloopstuk bacteriële biofilms (manuscript in voorbereiding), en 6 Cijfers 3F1-3F5: membraan grens van aangrenzende cellen van de HMT -3522 S1 acini.

Zoals blijkt uit figuur 3, kunnen verschillende segmentatie benaderingen leiden tot overwegend vergelijkbare resultaten voor bepaalde gegevensset types, maar volledig verschillende resultaten op andere soorten data. Bijvoorbeeld, de haarcel stereocilia dataset (Figuur 3A) geeft redelijke segmentatie volumes met vier benaderingen met de handmatige onttrokken model gegenereerd door een ervaren gebruiker wordt het duidelijkst te interpreteren en te meten. In dit geval is dit model zorgt voor snelle metingen van filament-filament afstanden, het tellen van het aantal links gevonden tussen de langwerpige filamenten, als het bepalen van ontbrekende delen van de kaart dichtheid overeenkomstigenaar locaties waar het specimen werd beschadigd tijdens de voorbehandeling ^34. Dergelijke informatie is veel moeilijker te verkrijgen met de andere drie segmentatie benaderingen, hoewel het speciaal automatische segmentatie geeft betere resultaten dan louter dichtheid gebaseerde drempelwaarden.

Voor de celwand van planten (Figuur 3B), handmatige model generatie verscheen het meest efficiënt te zijn in het overbrengen van een gevoel van orde in de celwand, die geen van de andere benaderingen te bereiken. Echter, de onttrokken model niet de drukte van de objecten in de dataset vangen. Handmatig opsporen van kenmerken van belang lijkt een beter resultaat dan de dichtheid gebaseerde of vorm-toezicht benaderingen geven. Aan de andere kant, handleiding tracing is zeer arbeidsintensief en het identificeren van de grenzen van de mogelijkheden is enigszins subjectief. Daarom kan geautomatiseerde methoden de voorkeur voor het segmenteren grote volumes met een mogelijke compromis tussen nauwkeurigheid enmiddelen besteed aan handmatige segmentatie.

Voor de kinocilium dataset (Figuur 3C) versnellingsbak geabstraheerd model generatie levert de schoonste resultaat en onthult een onverwachte architectuur drie microtubuli in het midden van de kinocilium, een detail dat goed zichtbaar in de bijgesneden data, maar verloor in alle andere benaderingen , vermoedelijk als gevolg van heterogeniteit vlekken. Echter, andere potentieel belangrijke kenmerken van de kaart van de dichtheid worden gemist in de handleiding generatie van een abstract model. Dit komt door het feit dat de persoonlijke aard van de handleiding modelvorming leidt tot een idealisering en abstractie van de werkelijke soortelijke massa waargenomen, en daarom een ​​subjectieve interpretatie tijdens de modelvorming. Vandaar dat dit voorbeeld goed zien hoe handleiding geabstraheerde generatie van het model maakt het mogelijk om zich te concentreren op een specifiek aspect van het 3D-volume. Echter, de selectieve perceptie en vereenvoudiging niet in slaagt om een ​​volledig overzicht te geven van al het eiwit complexes aanwezig zijn in de dataset. Daarom, als het doel is om de complexiteit van de gegevens blijkt, dan is men beter gediend met een van de andere drie benaderingen.

Bij het ​​3D matrix gekweekt borstklier acini (figuur 3D), worden de hoge contrast mitochondria gesegmenteerd door vier benaderingen met gemak, met de handmatige traceren van kenmerken niet te verrassend waarbij de beste resultaten met de laagste hoeveelheid verontreiniging ( Figuur 3D3). Echter, handleiding tracing is zeer arbeidsintensief en is daarom van weinig nut voor grote volumes. Beide density-drempel-based en vorm toezicht geautomatiseerde segmentatie extract de mitochondriën vrij goed, en zou resulteren in een bijna perfecte segmentatie, indien verdere trucs voor opruimen in dienst zijn (bijvoorbeeld het elimineren van alle objecten onder een bepaalde drempel van voxel dichtheid) als beschikbaar in verschillende pakketten. In dit geval heeft handleiding geabstraheerde modelbouw niet toegevenveelbelovende resultaten, voor een deel omdat de mitochondriën kan niet gemakkelijk worden benaderd met de bal en stick modellen.

Wat de bacteriële bodemgemeenschap / biofilm (figuur 3E), drie van de vier benaderingen redelijke resultaten opleveren, met de handmatige model generatie niet goed presteren gezien de moeilijkheid van die biologische objecten, zoals bacteriën, met geometrische vormen. Extracellulaire aanhangsels uitgaande van de bacteriën kan worden gedetecteerd in de automatische segmentatie benaderingen maar ook in de handmatige functie tracing. Shape-toezicht-speciaal automatische segmentatie kan het extracellulaire eigenschappen van de bacterie verder scheiden ondanks hun vergelijkbare dichtheden (data niet getoond), waardoor eenvoudig kwantificering zelfs zeer grote datasets. Want dit is van oorsprong een zeer grote dataset, de op maat gemaakte geautomatiseerde segmentatie duidelijk weggeconcurreerd alle andere benaderingen, maar kan hebben geprofiteerd van de lage complexiteiten de relatief schaarse verdeling van de objecten van belang (laag drukte).

Bij het ​​onderzoek van de interface tussen twee eukaryote cellen in een weefsel-achtige context (figuur 3F), alleen de handleiding opsporen van kenmerken van belang goede resultaten opgeleverd. Geautomatiseerde dichtheid gebaseerde segmentatie stappen het membraan grens tussen aangrenzende cellen geheel detecteren, en zelfs de speciaal benadering faalt, mede doordat de vorm van een cel is niet gemakkelijk benaderd of gelijkgesteld met vormen, ondanks de duidelijke succes voor de bacteriën in de biofilm (figuur 3E5).

De waarneming van figuur 3 dat de segmentering benaderingen doen het goed op een aantal data sets, maar niet op anderen heeft geleid tot de vraag wat elk van deze datasets kenmerkt, en de vraag of het mogelijk was om de soorten gegevens kenmerken of persoonlijke doelen die leek te categoriseren goed overeenkomen met hun respectiee aanpak. Systematische studie van dit onderwerp is nog niet eerder uitgevoerd, en dus als een eerste stap in een vestiging van een empirisch overzicht van beeldkenmerken en persoonlijke doelen een beginner kunnen begeleiden in hun poging om de beste aanpak voor de feature extractie van hun respectieve data set te vinden.

Acht criteria werden geïdentificeerd als significant worden getoond in figuur 4, en kunnen worden onderverdeeld in twee hoofdcategorieën: (1) de eigenschappen die inherent zijn aan de dataset zijn, en (2) persoonlijke doelstellingen van de onderzoeker en andere overwegingen die enigszins zijn persoonlijke, hoewel even belangrijk. De getoonde zijn voornamelijk afkomstig uit de zes datasets in figuur 3, met drie extra gegevens ingevoerd voorbeelden: een (Figuur 4A1) is een cryo-tomogram van een cryo-gedeelte van celwand Arabidopsis thaliana plant, het tweede (figuren 4A2 , 4B1, 4D1 ) is een FIB / SEM dataset van het binnenoor stria vascularis, een zeer complex en ingewikkeld weefsel dat zou passen in de categorie in Figuren 3F1-3F5 maar is nog aanzienlijk complexer, en de derde (Figuren 4B2 , 4D2) is een hars-sectie tomogram van binnenoor haarcellen stereocilia in dwarsdoorsnede is, vergelijkbaar met het monster inhoud getoond in de lengterichting gezien in Figuress 2A1-2A5 en 3A1-3A5.

Voor de categorie van de objectieve criteria zoals beeld kenmerken, vier eigenschappen die inherent zijn aan de datasets worden voorgesteld van belang te zijn:

1. De data contrast kan (1) laag (figuur 4A1) als typisch voor cryo-EM tomogrammen, (2) tussenproduct (figuur 4A2) zoals in cellulaire landschappen zonder duidelijke organel of andere opvallende kenmerk status of (3) hoog (figuur 4A3), zoals het geval is voor de kinociliary tomogram of stereocilia in doorsnede, door de aanpassing van duidelijk gescheiden draadvormige elementen in de z-richting.
2. De data kan fuzzy (Figuur 4B1), zonder zichtbaar duidelijke grenzen tussen twee nauw geplaatste voorwerpen, zoals cellen in een weefsel of knapperig (Figuur 4B2), met scherp gedefinieerde grenzen. Dit is deels afhankelijk van de dataset resolutie, die inherent groter met een factor van ongeveer 2-4 voor elektronenmicroscopie tomogrammen opzichte FIB-SEM. Uiteraard scherpere grenzen zijn wenselijk voor zowel handmatige als geautomatiseerde segmentatie benaderingen, maar essentieel voor de laatste benadering.
3. De dichtheidskaarten kan zowel druk (figuur 4C1) zoals weergegeven door de dicht op elkaar plantcelwandcomponenten of dunbevolkte (figuur 4C2) zijn, evenals de bacteriën in een kolonie, die de scheiding die renders automatische beeldsegmentatie hoofdzaak eenvoudiger voorbeeld.
4. Dichtheidskaarten Ingewikkeld met zeer verschillende eigenschappen vaak onregelmatige vormen, zoals de stria vascularis weefsel rondom een bloedvat (figuur 4D1) of welomschreven organel-achtige objecten met een soortgelijke organisatie zoals de stereocilia in dwarsdoorsnede (be Figuur 4D2).

Let ook op de sterk verschillende schalen in alle verschillende voorbeelden, waardoor de vergelijking enigszins moeilijk.

Afgezien van de meer objectieve criteria, zoals het kenmerken, vier zeer subjectieve criteria die de keuze van het juiste pad zal begeleiden worden ook voorgesteld:

1. Gewenste Doel: Het doel kan zijn het haarbundel stereocilium visualiseren in zijn complexiteit en bepalen en onderzoekt de vorm van het object (figuur 4E1) of een vereenvoudigd en geabstraheerd bal en stok model dat is ingebouwd in de map dichtheid maken en maakt een snelle telling eennd het meten van de geometrische objecten (lengte filament, de afstand en het aantal verbindingen) (Figuur 4E2).
2. De functie morfologie zeer onregelmatige en complexe achtige cellen, zoals cel-cel interactie zones (figuur 4F1), wat gelijkvormige met enige variatie, zoals mitochondriën (figuur 4F2) of grotendeels identiek gevormde, zoals actine filamenten en kruis zijn schakels in een haar bundel in longitudinale richting (figuur 4F3).
3. Het aandeel van de eigenschap van belang (bevolkingsdichtheid) belangrijk, zoals men zou willen segment alle functies in een 3D data set, zoals het geval is voor planten celwanden (Figuur 4G1), of slechts een fractie van het celvolume zoals het geval van mitochondria in een heterogene cellulaire scene (Figuur 4G2). Afhankelijk van de grootte van de dataset en het percentage volume dat segmentatie vereist, kan efficiënt te gebruikenmanual benaderingen. In andere gevallen, zoals wanneer men geïnteresseerd is in een verscheidenheid aan functies, er is gewoon geen alternatief voor het gebruik van semi-automatische segmentatie benaderingen.
4. Een ander belangrijk subjectief criterium is de hoeveelheid middelen die men bereid is te investeren in de segmentatie proces en welke mate van trouw is vereist om een ​​biologische vraag te beantwoorden. Men kan willen en moeten kwantificeren volumetrische parameters van een feature (zoals grootte, volume, oppervlakte, lengte, afstand tot andere kenmerken, etc.), waarbij meer zorg nodig zijn om accurate kwantitatieve informatie (figuur 4H1) te verkrijgen, of het doel kan zijn om alleen maar een foto van haar 3D-vorm (figuur 4H2) snap. In een ideale wereld waar de middelen zijn onbeperkt, men duidelijk wil er nu niet in op compromissen, maar eerder kiezen voor de meest nauwkeurige pad van de gebruiker ondersteunde handmatige feature extractie. Hoewel dit kan werken voor veel datasets, in de nabije toekomst 3D volumes WIL l in de orde van 10k door 10k door 10k of hoger, en handmatige segmentatie niet meer kunnen een belangrijke rol spelen bij het segmenteren van zo'n grote ruimte. Afhankelijk van de complexiteit van de data en andere data kenmerken, semi-automatische segmentatie een noodzaak.

In figuur 5 zijn sterke en zwakke kort vermeld voor de vier segmentatie benaderingen. De persoonlijke doelstellingen en beeldkenmerken die in figuur 4, dat kan koppelen met elke benadering worden ook beschreven. In figuur 6, de persoonlijke doelstellingen en het imago kenmerken van de zes datasets illustreren hoe u gegevens triage en beslissen over de beste aanpak. Beide figuren 5 en 6 worden verder uitgewerkt in de discussie.

belasting / 51673 / 51673fig1highres.jpg "width =" 500px "/>
Figuur 1 Workflow voor biologische beeldvorming reconstructie en analyse. Deze grafiek geeft een overzicht van de verschillende stappen ondernomen om het verzamelen en verwerken van beelden door tomografie verzameld, focused ion beam SEM, en serieblok gezicht SEM. Raw dataverzameling resultaten in 2D tilt serie of seriële secties. Deze 2D-afbeelding sets moeten worden afgestemd en gereconstrueerd in 3D, daarna gefilterd om ruis te verminderen en verbeteren van het contrast van de kenmerken van belang. Tot slot kunnen de gegevens worden gesegmenteerd en geanalyseerd, uiteindelijk resulterend in een 3D-model. Klik hier om een grotere versie van deze afbeelding te bekijken.

Figuur 2.. Voorbeelden van workflow voor verschillende soorten gegevens van tomografie en FIB-SEM Elke stap van de workflow na het verzamelen van gegevens wordt getoond door middel van vier datasets (rijen AD): hars ingebed in lood tomografie van overlangs doorgesneden stereocilia, hars ingebed in lood tomografie van plantaardige celwand cellulose, FIB-SEM van borst-epitheelcellen mitochondria en SBF-SEM E. coli bacteriën. Een 2D-slice door de ruwe data wordt weergegeven in kolom 1, en een afbeelding van de gegevens na de aanpassing en 3D reconstructie bestaat uit kolom 2 De filtering technieken die worden toegepast in kolom 3 zijn de volgende: mediaan filter (A3), niet-anisotrope diffusie filter (B3), Gaussiaans vervagen (C3), en MATLAB imadjust filter (D3). Een voorbeeld van de beste segmentatie voor elke set van het bijgesneden gebied van belang (kolom 4) worden weergegeven als een 3D-rendering in kolom 5 Schaal bars: A1-A3 = 200 nm, A4 = 150 nm, A5 = 50 nm, B1-B3 = 200 nm, B4-B5 = 100 nm, C1-C3 = 1 mm, C4-C5 = 500 nm,D1-D3 = 2 mm, D4-D5 = 200 nm. Klik hier om een grotere versie van deze afbeelding te bekijken.

Figuur 3 Toepassing van vier segmentatie zal bijvoorbeeld datasets Zes bijvoorbeeld datasets werden gesegmenteerd door alle vier de benaderingen:. Handleiding geabstraheerd model generatie, handmatige tracing, geautomatiseerde dichtheid gebaseerde segmentatie, en op maat gemaakte geautomatiseerde segmentatie. Handmatig geabstraheerde model generatie was effectief voor de hars ingebed in lood tomografie van stereocilia (A), zoals de bedoeling was om een ​​model voor kwantitatieve doeleinden te creëren in plaats van om dichtheden te halen. Voor de hars ingebed in lood tomografie van plantaardige celwand (B), automatische dichtheid gebaseerd segmentatie was de meest effectieve methode om snel uit te pakken de cellulose door vele plakjes, waar hij als de handmatige methoden nam veel meer inspanning van slechts een paar plakjes van de gegevens. Handmatig geabstraheerde model generatie gegenereerd de microtubuli triplet in de gebrandschilderde tomografie van kinocilium (C), terwijl andere segmentatie methoden niet, maar de twee geautomatiseerde benaderingen onttrokken de dichtheden sneller en werden daarom de voorkeur. Door de vorm van mitochondria van FIB-SEM van borst-epitheelcellen (D) versnellingsbak tracing mits de schoonste resultaat en dunbevolkte gecombineerd met gebruik van interpolatie werkwijzen toegestaan ​​snelle segmentatie. Gezien de grote hoeveelheden die moeten worden gesegmenteerd, maat toegesneden automatische segmentatie bleken efficiënt segmenteren de SBF-SEM bacteriën data (E), maar zowel automatische benaderingen waren vergelijkbaar. Hoewel tijdrovend, de enige methode om de FIB-SEM van borstepitheelcellen celmembraan (F) extract is handwerk tracing Schaalbalken.:A1-A5 = 100 nm, B1-B5 = 100 nm, C1-C5 = 50 nm, D1-D5 = 500 nm, E1-E5 = 200 nm, F1-F5, bars = 500 nm. Klik hier om te bekijken een grotere versie van deze figuur.

Figuur 4 Objectieve kenmerken image en subjectieve persoonlijke doelen voor triaging van datasets. Behulp van voorbeelden van data set kenmerken, criteria worden voorgesteld om een beslissing welke segmentatie aanpak te gebruiken op de hoogte. Met betrekking tot de objectieve kenmerken, kunnen de gegevens inherent zijn contrast, dat is laag, gemiddeld of hoog (A1-A3), zijn fuzzy of (B1-B2), gespreid of druk (C1-C2), en hebben complexe of gewoon georganiseerde functies (D1-D2). Subjectieve persoonlijke doelen zijn onder meer de gewenste o OEL gericht op een vereenvoudigd model of de winning van de exacte dichtheden (E1-E2), het identificeren van een ingewikkelde blad, ingewikkelde volume, of lineaire morfologie als de functie van belang (F1-F3), het kiezen van een bevolkingsdichtheid van de functie van de rente hoog of laag (G1-G2), en de besluitvorming over de trade-off tussen de high-fidelity en high-resource-allocatie voor een afnemend rendement op beleggingen, zoals de tijd (H1-H2) Schaal Bars:. A1 = 50 nm, A2 = 1500 nm , A3 = 100 nm, 1500 nm = B1, B2 = 200 nm, C1 = 100 nm, C2 = 200 nm, D1 = 10 mm, D2 = 200 nm, 100 nm = E1, E2 = 50 nm, F1-F2 = 500 nm, F3 = 50 nm, G1 = 100 nm, G2 = 1 mm, H1-H2 = 100 nm. Klik hier om een grotere versie van deze afbeelding te bekijken.

px "/>
Figuur 5 Vergelijking tabel met gegevens kenmerken en subjectieve streeft geschikt voor verschillende segmentatie benaderingen. Deze tabel geeft een overzicht van de sterke en zwakke punten van elke segmentatie aanpak. De criteria van Figuur 4 geeft aan welke datasets geschikt voor welke segmentatie methode zijn. Deze objectieve beeldkenmerken en subjectieve persoonlijke doelen werden gekozen voor een optimaal gebruik van elke benadering, maar verschillende combinaties kunnen belemmeren of bevorderen van de efficiëntie van de segmentatie. Klik hier om een grotere versie van deze afbeelding te bekijken.

Figuur 6 Beslissingsdiagram voor efficiënt twelijk van segmentatie benaderingen voor datasets met verschillende kenmerken. Op basis van de kenmerken uit figuur 4 blijkt, dit diagram die vier criteria het meest bijgedragen aan de uiteindelijke beslissing over de beste segmentatie aanpak voor ieder samenstel van figuur 3 gegevens. Elke dataset is kleurcodering om snel volgen de gedurfde lijnen die de primaire besluitvorming, evenals de stippellijnen die een alternatief pad die al dan niet leiden tot dezelfde aanpak weerspiegelen. De kinocilium, bacteriën en planten celwand datasets zijn best gesegmenteerd met de twee geautomatiseerde methoden. In tegenstelling, de celmembraan en de mitochondriën wegen altijd leiden tot handmatige tracering als gevolg van hun moeilijke kenmerken. Klik hier om een grotere versie van deze afbeelding te bekijken.

Discussion

Effectieve strategieën voor de extractie van relevante kenmerken van 3D EM volumes zijn dringend nodig om gelijke tred te houden met de gegevens tsunami die onlangs heeft getroffen biologische beeldvorming. Terwijl de gegevens kunnen worden gegenereerd in uren of dagen, duurt het vele maanden om de 3D-volumes in de diepte te analyseren. Daarom is het duidelijk dat het beeld analyse is de bottleneck voor wetenschappelijke ontdekkingen; zonder adequate oplossingen voor deze problemen, imaging wetenschappers het slachtoffer van hun eigen succes. Dit is gedeeltelijk te wijten aan de grote complexiteit van de data en ook de macromoleculaire crowding typisch in biologische cellen waar eiwitten en eiwitcomplexen rand elkaar en in hoofdzaak worden weergegeven als een continue gradiënt van grijstinten dichtheden. Het probleem wordt bemoeilijkt door monstervoorbereiding en imaging onvolkomenheden, en in sommige gevallen het reconstructie artefacten, wat leidt tot minder dan perfect volumetrische gegevens die uitdagingen voor de volledig geautomatiseerde aanpak kan opleverenes. Belangrijkste is echter het feit dat de deskundigen in monstervoorbereiding, beeldvorming, en de biologische interpretatie worden zelden goed thuis in computational science, en dus begeleiding nodig over hoe je effectief te benaderen feature extractie en analyse. Daarom, door het gebruik van verschillende voorbeelden, het protocol uitgelegd hoe de gegevens voor segmentatie, en de stappen voor handmatige geabstraheerd model generatie geautomatiseerde dichtheid gebaseerde segmentatie versnellingsbak traceren van kenmerken plaats, en speciaal automatische segmentatie bereiden. De handmatige en automatische methoden beschreven in de procedure kan worden gevonden in een grote verscheidenheid van segmentatiesoftware, waarvan sommige hier genoemd, maar andere gelijkaardige functies en zijn even goed geschikt.

De resultaten tonen aan dat de effectiviteit van elk van de 3D segmentatie benaderingen varieert voor elke soort data sets. Hoewel de verschillende benaderingen kwalitatief geproduceerd similar 3D renderings als het eindproduct, de hoeveelheid tijd en moeite besteed aan elke tijdens het segmentatieproces aanzienlijk gevarieerd. De aanbevelingen voor passende beeldkenmerken en persoonlijke doelen per segmentatiebenadering zijn in figuur 5, die verder toegelicht in de volgende vier secties. Deze criteria werden toegepast op de zes datasets, zoals aangegeven in het besluit stroomschema van figuur 6. Hoewel de figuren 5 en 6 zijn slechts bedoeld om een set rationale voor elke gegevens en hoe elk van de criteria zijn gewogen in de besluitvorming, bieden ze niet een waterdicht begeleiding, maar een uitgangspunt. Er zijn simpelweg te veel criteria die de besluitvorming beïnvloeden: aantal objectieve criteria, zoals data set kenmerken, terwijl andere meer subjectieve criteria, zoals het gewenste doel. Het is veilig om te zeggen dat de datasets die een hoge lev tonenel contrast met scherpe scherpe grenzen, hebben eigenschappen die goed gescheiden en relatief homogene (niet te divers), en worden verwerkt met als doel het weergeven van een model densiteit voor een groot aantal voorwerpen, zullen geautomatiseerde benadering superieur, indien niet het feit dat handmatige methoden simpelweg middelen (tijd) -prohibitive is. Aan de andere kant, als contrast laag is, de data is wazig en derhalve vereist kennis van deskundigen, de objecten druk en de eigenschappen vertonen een grote diversiteit en dus heterogeen, kan men geen andere keuze dan handmatige feature extractie / segmentatie.

Handmatig Abstracted Model Generation

Manual samengevatte model tracering bijzonder effectief segmenteren lineaire elementen, waardoor zaden punten (kogels) die automatisch kunnen worden aangesloten (sticks). Zulke ballen en stokken-modellen kunnen zeer krachtig zijn om de lengte van een te metennd oriëntatie van een dergelijk model en zorgen voor een adequaat geabstraheerd model voor zowel kwalitatieve inspectie en kwantitatieve analyse. Handmatig geabstraheerde model generatie wordt vaak gebruikt wanneer het minimaliseren middelen besteed aan de analyse is belangrijker dan absolute trouw aan de vormen van de oorspronkelijke gegevens. Het is het meest succesvol met lineaire en homogene kenmerken van belang (bijvoorbeeld, filamenten, buizen). Daarentegen gegevens, knapperigheid en drukte geen belangrijke rol spelen bij het bepalen succes van deze werkwijze, zolang het menselijk oog het voorwerp plaats herkent. Soms zijn dergelijke modellen kunnen ook worden gebruikt als een skelet segment de 3D-kaart in een zone rondom het skelet. Hoewel het model is abstract in plaats van een exacte weerspiegeling van dichtheden, het vertegenwoordigt een skelet versie van de 3D-dichtheid en dus zorgt voor een overzichtelijk visualisatie en kwalitatieve analyse. Kwantitatieve metingen zoals lengte kan worden bepaald uit de geschatte model. Voor eenvoorbeeld van software met handleiding geabstraheerde generatie van het model, kunt u terecht op Chimera's uitgebreide gebruiksaanwijzing online op http://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/index.html .

Handmatige Tracing van functies of Interest

Manual penseel tracing werkt goed met vrijwel alle gegevens kenmerken, maar het is ook de meest tijdrovende werkwijze. Soms is de enige techniek voor het extraheren van een eigenschap plaats van een complex beeld set met een grote verscheidenheid aan functies, zoals de dunne en gedraaide celmembraan. Een handige tool die beschikbaar is in een aantal programma's zorgt voor een interpolatie tussen tussenpozen gesegmenteerd plakken wanneer de functie van de rente verandert soepel. Manual tracing kan het efficiëntst toegepast indien de data is helder en heeft een gemiddelde tot hoge contrast, maar kan ook worden gebruiktmeer uitdagende datasets, zolang de gebruiker bekend is met het object of interest. De complexiteit van gegevens kunnen variëren van discrete objecten om complexe en drukke datasets, waar objecten nauw verpakt. In het laatste geval kan handmatige segmentatie de enige keuze, automatische benaderingen hebben vaak moeite segment het gewenste volume en extract te veel of te weinig. Moeilijk feature morfologieën, zoals ingewikkelde vellen of volumes kunnen ook worden geëxtraheerd door deze werkwijze. Wel moet de gebruiker in het achterhoofd houden dat een dataset met een aantal moeilijke kenmerken alleen kan worden gesegmenteerd als de bevolkingsdichtheid van de kenmerken van de rente is laag, als de segmentering van de hoge bevolkingsdichtheid van de kenmerken van de lening rente gaat de tijd-onbetaalbaar. Voor een voorbeeld van software met handleiding tracing, kunt u terecht op Amira's uitgebreide gebruiksaanwijzing online bij http://www.vsg3d.com/sites/default/files/Amira_Users_GuidE.pdf.

Geautomatiseerde-Density gebaseerd Segmentatie

In tegenstelling tot de manuele technieken, de geautomatiseerde benaderingen algemeen minder tijdrovend, hetgeen een belangrijke factor om te overwegen bij het segmenteren van een grote stapel afbeeldingen. Echter, misschien eenvoudig drempelmethode niet zo nauwkeurig te zijn, en nog veel meer tijd kan worden besteed aan de verfijning en curatie van de automatisch gesegmenteerde volume. Geautomatiseerde dichtheid gebaseerde segmentatie werkt het best aan datasets die een groot aantal van dezelfde kenmerken van belang dat alle segmentatie geven. Als de gegevens is complexer, kan deze geautomatiseerde technieken nog steeds dienen als een eerste stap, maar zal waarschijnlijk een aantal handmatige interventie langs de lijn nodig hebben om een ​​subvolume met de functie van belang is. Deze strategie werkt meestal goed op lineaire morfologie of ingewikkelde volumes, maar is zelden succesvol met dunne gedraaide platen zoalscelmembranen. Minimale tussenkomst van de gebruiker met geautomatiseerde aanpak maakt segmentatie door middel van kleine of grote volumes, terwijl het besteden van enkele gebruiker hulpbronnen zoals tijd in ruil voor high fidelity. Voor een voorbeeld van software met automatische dichtheid gebaseerde segmentatie, kunt u terecht op Amira's uitgebreide gebruiksaanwijzing online op http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf .

Op maat gemaakte Automated Segmentatie

Op maat gemaakte geautomatiseerde segmentatie maakt de kracht aanpassing van algoritmen voor een bepaalde dataset, maar het is vaak specifiek voor het instellen van gegevens of data type, geschikt voor een beperkt aantal functie kenmerken, en kunnen niet gemakkelijk worden gegeneraliseerd. De procedure hier tentoongesteld afwijkt van de algemene geautomatiseerde segmentatie benaderingen, zoals waterscheiding immersie en ander niveau set methoden, die afhankelijk zijn van een geprogrammeerde bepaling van kritische zaad punten, gevolgd door snel marcheren kubus uitbreiding van deze zaad punten. Een variatie op dit thema is grens segmentatie, waar gradiëntvector informatie informeert functie grenzen. In tegenstelling, de aangepaste script hier gebruikt berust op een trainingsfase waarin de gebruiker handmatig sporen enkele voorbeelden. Via machine learning, zullen specifieke algoritmes detecteren en vervolgens leren om zelfstandig te herkennen eigenschappen en gegevens kenmerken consistent gevonden in de sporen. Een ervaren gebruiker kan de algoritmes te scholen en het verbeteren van de nauwkeurigheid van de segmentatie door meer voorbeeld wordt naar een grotere set functie criteria bieden. Samengevat kunnen drempelwaarden en aanverwante benaderingen, of zelfs op maat gemaakte aanpak niet zo handig om een ​​enkele eigenschap van belang te extraheren uit een beeld met complexe diversiteit van organellen of vormen zijn, zoals curation kan net zo arbeidsintensief als handleiding tracing.

">

Strategieën voor triaging gegevens en het kiezen van een Segmentatie Approach

Gezien de subjectieve en objectieve criteria weergegeven in figuur 4 en de samenvatting van geschikte datasets in figuur 5, kan de besluitvorming schema weergegeven in figuur 6 een deugdelijke evaluatie van feature extractie strategieën te helpen voor een grote verscheidenheid van datasets. De gegevens worden triaged in vier opeenvolgende beschikkingen die elk een van de vier respectievelijke doelstellingen en de vier persoonlijke criteria geïntroduceerd in figuur 4, omvat. Als voorbeeld, figuur 6 is het rationeel triaging elk van de zes data sets weergegeven in figuur 3. Ongetwijfeld, voor elke dataset is er geen enkele unieke pad, maar eerder verschillende paden door deze matrix volgende verschillende criteria voor de besluitvorming die kan leiden to hetzelfde of verschillend Stuur datasegmentering. Terwijl elke dataset zijn eigen set van eigenschappen, die niet kan worden verwacht zal hebben, zijn zes voorbeelden gegeven, elk gekoppeld aan een verklaring van de grondgedachte achter de gewenste feature extractie / segmentatie aanpak. De meeste ook een voorstel voor een alternatieve route beschikking die ofwel leidt tot het gebruik van dezelfde of een andere segmentatiebenadering (figuur 6).

De kinocilium is een set met duidelijk omschreven grenzen, die geautomatiseerde aanpak meer kans van slagen maakt scherpe data. Alle kenmerken van belang zijn goed van elkaar gescheiden, weer ten gunste van een geautomatiseerde aanpak. Bovendien, de belangrijke kenmerken zijn vergelijkbaar met elkaar, waardoor het een relatief homogene dataset ideaal voor speciaal segmentatie. Ten slotte was het de bedoeling om de hele functie halen, ten gunste van een semi-automatische aanpak. Als gevolg daarvan werd geconcludeerd dat een geautomatiseerde drempelen (stevige groene lijn) en een op maat ontworpen (bv vorm begeleid segmentatie) aanpak (gestippelde groene lijn) zijn beide waarschijnlijk goed doen op deze dataset.

Vergelijkbare criteria, maar in een andere volgorde in de besluitvorming netwerk toepassing bij bacteriën. Een op maat gemaakte benadering wordt aanbevolen voor een deel omdat deze dataset was zeer groot; vandaar, beperkte middelen te verbieden een arbeidsintensieve handmatige interventie / segmentatie aanpak. Terwijl drempelen aanvaardbare resultaten zou hebben opgeleverd, de op maat gemaakte aanpak was in staat om de belangrijkste doelstelling van de studie uit te voeren naar de roundish bacteriële vormen te scheiden van de extracellulaire metalen afzettingen, bevinden zich in-tussen de bacteriën of direct naast de bacteriën, en dus de op maat gemaakte aanpak de voorkeur.

Voor stereocilia datasets, de eerste overweging is om het gewenste doel: het doel kan inhouden dat de gehele dichtheid tonenof geometrische modellen te maken. Het volume van belang was een drukke omgeving, en het doel was om segment een groot aantal objecten als gescheiden objecten om kwantitatieve volumetrische analyse, met inbegrip van lengtes, aantallen, afstanden, oriëntatie, etc. Het was nuttig vervolgens uit te voeren, dat de objecten van belang waren vooral lineair, en dit maakte geometrische model opsporen van de methode van keuze. Indien in plaats daarvan het doel is geweest om een ​​volledige dichtheid dan de lineaire functie morfologie en relatief hoog contrast met scherp gedefinieerde grenzen ontstaat een geautomatiseerd protocol drempelwaarden haalbaar tonen.

De celmembranen en mitochondrieën gegevens gevallen zijn een uitdaging voor geautomatiseerde aanpak door hun categorieën functie morfologie: ingewikkelde sheets en volumes, respectievelijk. Het doel is om de cel of mitochondriën omtrek nauwkeurig traceren, maar er zijn slechts beperkte middelen kunnen. Bovendien, het gebruik van interest zijn complex en kunnen niet gemakkelijk worden automatisch gedetecteerd of vorm-gecodeerd, hoewel het voor de mitochondriën gegevens stelt de aangepaste scripting aanpak voor de bacteriën kunnen eventueel worden toegepast met verdere aanpassing. Gelukkig is het membraan en mitochondria zich slechts een klein deel van de totale volume en dus manueel tracing is een eenvoudig zij tijdrovende benadering. Manual tracering ook methode voor dergelijke datasets wanneer het contrast tamelijk laag en de grenzen nogal wazig. Dientengevolge, zelfs als ze een belangrijk deel van de gegevens vormen, moeten deze ingewikkelde vellen handmatig opgespoord kunnen eenvoudig door het gebrek aan beter.

De set installatiegegevens stelde zijn eigen uitdagingen, omdat het doel was om segment alle objecten, die zijn dicht afstand van elkaar en vormen een drukke omgeving. Het weergeven van de dichtheid als-is zou de metingen over de vorm en de organisatie van de objecten, maar b staatmdat handmatig segmenteren elke filamenteuze object wordt te duur, automatische drempelmethode werd in plaats daarvan gebruikt.

De verschillende stappen en de overeenkomstige resultaten voor het creëren van een 3D-model is hier weergegeven, maar zeker ook de gegevens alsmede persoonlijke criteria bleek doorslaggevend het beste pad segmentatie zijn ook toegelicht worden. De belangrijke kenmerken van de beeldgegevens zelf zijn wat hier beschreven als contrast, drukte, knapperigheid en het aantal verschillende vormen of eigenschappen (zoals organellen, filamenten, membranen). Subjectieve criteria te overwegen omvatten de gewenste doelstelling van segmentatie (meten / tellen, skeletonized representatie van de data / weergave delen in 3D renderings), morfologische kenmerken van de eigenschap van belang (lineaire, langwerpige, netwerk, complex, ingewikkeld), de dichtheid van kenmerken van belang met betrekking tot het gehele volume (de fractie van de objecten diebelangrijk en moeten worden gehaald), en het balanceren van de afwegingen van het besteden van de middelen om de trouw van de oorspronkelijke gegevens van de segmentatie en de afnemende rendement op de investering leidt tot incrementele verbeteringen voor aanzienlijk hogere toewijzing van middelen.

Het gebied van image segmentatie is sterk gegroeid in de afgelopen jaren, maar er is geen silver bullet, geen algoritme of programma dat het allemaal kan doen. Dataset maten zijn gegroeid van honderden megabytes aan routinematig tientallen gigabytes, en ze beginnen nu terabytes overschrijden, waardoor handmatige segmentatie bijna onmogelijk. Zo moeten meer middelen worden geïnvesteerd in de slimme en tijd-effectieve feature extractie benaderingen die het menselijke besluitvorming proces na te bootsen. Dergelijke inspanningen zullen moeten worden gecombineerd met (1) geografisch informatiesysteem (GIS) gebaseerde semantische hiërarchische databases (vergelijkbaar met Google Earth), (2) data-abstractie-technieken (dat wil zeggen, de overgangvan een voxel geometrische / volumetrische weergave) verenigbaar met computer ondersteunde ontwerp (CAD) software om de hoeveelheid gegevens aanzienlijk verminderen en waardoor de weergave van grote volumes ^35, (3) simulatietechnieken, zoals ze vaak worden gebruikt in de technische disciplines, alsmede (4) geavanceerde animatie en het maken van films mogelijkheden, waaronder fly-through animaties (vergelijkbaar met wat wordt ontwikkeld voor de gaming-industrie).

Duidelijk, efficiënt feature extractie en segmentatie ligt in het hart van deze komende revolutie in mobiele hoge-resolutie imaging, en terwijl betere aanpak altijd nodig zal zijn, de principes die hier gepresenteerd, evenals de voorbeelden van welke aanpak werd genomen voor verschillende soorten data , zal een aantal waardevolle informatie voor het maken van een beslissing over welke aanpak is te nemen.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Amira	FEI Visualization Sciences Group		http://www.vsg3d.com/amira/overview
Chimera	UCSF		http://www.cgl.ucsf.edu/chimera/
Fiji/ImageJ	National Institute of Health		http://fiji.sc/Fiji, http://rsbweb.nih.gov/ij/
IMOD	Boulder Laboratory for 3D Electron Microscopy of Cells		http://bio3d.colorado.edu/imod/
Photoshop	Adobe		http://www.adobe.com/products/ photoshopfamily.html
MATLAB	MathWorks		http://www.mathworks.com/
VLFeat	VLFeat		http://www.vlfeat.org/