Volum segmentering og analyse av biologisk materiale med SuRVoS (super regionen volum segmentering) Workbench

Summary

Segmentering av tredimensjonale data fra mange Bildeteknikker er en alvorlig flaskehals i analyse av komplekse biologiske systemer. Her beskriver vi bruk av SuRVoS Workbench halvautomatisk segmentet volumetriske data i ulike lengde ved hjelp av eksempel datasett fra cryo-elektron tomografi, cryo myk X-ray tomografi og fase kontrast X-ray tomografiske teknikker.

Abstract

Segmentering er prosessen med å isolere bestemte regioner eller objekter i et bildebasert volum, slik at videre studier kan foretas på disse områdene av interesse. Når analysen av komplekse biologiske systemer, er oppdeling av tredimensjonale bildedataene tidkrevende og arbeidskraft intensiv. Med økt tilgjengelighet av mange tenkelig modaliteter og automatisert samling ordninger utgjør dette en økt utfordring for den moderne eksperimentelle biologen flytte data til kunnskap. Denne publikasjonen beskriver bruken av SuRVoS Workbench, et program utviklet for å løse disse problemene ved å tilby metoder halvautomatisk segmentet komplekse biologiske volumetriske data. Tre datasett forskjellig forstørrelse og imaging modaliteter er presentert her hver fremhever forskjellige strategier for segmentering med SuRVoS. Fase kontrast X-ray tomografi (microCT) av frukt kroppen av en plante brukes til å vise segmentering bruker modell trening, cryo elektron tomografi (cryoET) av menneskelig blodplater brukes til å vise segmentering bruker super - og megavoxels og cryo myke X-ray tomografi (cryoSXT) av pattedyr celle linjen brukes til å vise etiketten deling verktøy. Strategier og parametere for hver datatype er også presentert. Ved å blande et utvalg av semi-automatiske prosesser i en enkelt interaktiv verktøyet, gir SuRVoS flere fordeler. Total er tid til segmentet volumetriske data redusert med en faktor på fem sammenlignet med manuell segmentering, en grunnpilar i mange bildefelt behandling. Dette er en betydelig besparelse når full manuell segmentering kan ta uker arbeid. I tillegg er subjektivitet adressert gjennom bruk av beregningsmessig identifiserte grenser, og splitting komplekse samlingen av objekter etter beregnede egenskaper i stedet for på et sak-til-sak grunnlag.

Introduction

SuRVoS Workbench er et stykke programvare designet for å tillate forskere å trekke vitenskapelig relevant informasjon fra volumetriske data fra forskjellige prøver, uavhengig av strukturen av interesse, oppløsning eller det tenkelig modality^{1, 2}. Volumetrisk data basert som dette ofte samles inn med X-ray- eller electron tomografi systemer, rutinemessig på store laboratorier eller sentralisert fasiliteter på grunn av sin kompleksitet. Begge disse metodene, og andre teknikker, produsere store, informasjon rik datasett som bevise utfordrende segmentet med enten semi-automatiske metoder eller manuelt. Spesielt krever nær-innfødt staten cryo-immobilisert datasett lavdose imaging forhold, noe som resulterer i en lav signal-til-støy-forhold og dårlig kontrast, spesielt i cryo elektron tomografi (cryoET)^3,4,5 . En tilleggsfaktor i noen 3D datasett er tilstedeværelsen av gjenstander introdusert av utfordrende eksperimentelle forhold involvert, for eksempel manglende kile gjenstander på grunn av datainnsamling over en begrenset tilt utvalg, resulterer i manglende informasjon og forlengelse i retning av bjelke^3,4,5. Når lav selv signal-til-støy eller manglende kile gjenstander er ikke problematisk (f.eks fokusert ion strålen SEM⁶ eller seriell blokk møte SEM⁷), kompleksiteten og tredimensjonale natur prøven, og den store datamengden bety analyse likevel ha nytte av en automatisk prosess for data segmentering.

Foreløpig når biologiske mengder celler, er det mange alternativer for å automatisk eller halvautomatisk identifisere svært spesifikke cellulære funksjoner, for eksempel begrepsordbok, piskehale som henger eller bestemt protein komplekser, med en mal-basert søk, eller identifisere funksjoner i bestemte typer datasett (f.eks høy kontrast, farget, harpiks-innebygd eksempler)^8,9,10,11,12. Men i disse tilfeller en priori er informasjon eller bestemte utvalg forberedelse protokoller nødvendig, begrense bred anvendelse av disse segmentering strategier. Det er også verktøy tilgjengelig som utfører modell trening på voxel nivå å lære utseendet til ulike strukturer rundt når gitt bruker input¹³. Men på dette nivået kan kompleksiteten i trening og testing modeller være utsatt for feil og beregningsmessig dyrt. Gitt den utfordrende bilde forhold, og mangel på bredt aktuelt, semi-automatisk segmentering strategier, er manuell segmentering vanlig, selv når du arbeider med komplekse biologiske materialer^{14,15, 16 , 17}. men det er generelt akseptert at prosessen med manuell segmentering ikke er bare tidkrevende, men også utsatt for feil, subjektive og variabel^{4,5,18,19 ,20}. Noen segmentering programmer tilbyr verktøy forenkle manuell segmentering prosessen (i.e. interpolering, lasso eller blåse verktøy)^21,22, men i tilfeller av støyende datasett, de er vanskelig å bruke vellykket, og selv når de brukes med hell, er prosessen fortsatt subjektiv og variabel.

Tradisjonelt segmentations har vært brukt i to forskjellige måter: kvalitativt eller kvantitativt. Bildeteknologi og segmentering strategier bedre, har det blitt mer vanlig å bruke segmentering som kvantitative verktøy å svare biologiske spørsmål og som en "bakken sannheten" i algoritmen utvikling^{8,12, 15,23,24,25}. For dette, er detaljerte sjekker og balanserer pålagt å redusere variasjon og subjektivitet i hele prosessen²⁶. Men øke disse forholdsreglene ytterligere tidkrevende natur segmentering. Derfor er det viktig å gi en raskere og mindre variabel segmentering strategi.

SuRVoS Workbench begynner å løse disse problemene ved å gi brukeren et utvalg av maskinlæring og bildebehandling verktøy som hjelper brukeren med segmentering prosessen, samtidig guiding brukeren gjennom de nødvendige trinnene. For å oppnå dette, er to viktige nyskapninger implementert sammen i SuRVoS. Først bruker et super regionen hierarki gruppe lignende, nærliggende områder av data basert på deres iboende egenskaper. Hver av regionene i hierarkiet representerer samme volum bruker færre elementer, samtidig som sterke grensen etterlevelse. Dermed super regioner redusere kompleksiteten i segmentere et volum ved flere størrelsesordener men fortsatt utgjør dataene uten betydelig tap av informasjon²⁷. Andre, SuRVoS gir en halvautomatisk segmentering strategi som bruker minimal manuell segmentering innganger for å trene klassifiserere, som deretter brukes til å segmentere de gjenværende volum^28,29. Denne strategien reduserer manuell segmentering, sterkt redusere bruker tiden brukt på segmentering, og når du bruker super regioner, fjerner manuelle avgrensning av grensene, potensielt redusere variasjon og subjektivitet.

En annen viktig funksjon av SuRVoS er etikettverktøy Splitter, der en bruker kan klassifisere en rekke allerede segmenterte objekter basert på deres iboende egenskaper. Etter segmentering av ulike objekter av interesse, denne verktøyet kan brukes til å dele settet i underklasser basert på tiltak som gjennomsnittlig objektet intensitet, varians, størrelse, plassering, etc. dette er nyttig ved klassifisering store grupper av objekter med høy kompleksitet. For eksempel en gruppe av mobilnettet organeller kan deles inn i mitokondrier, tom blemmer, lipid dråper, etc.; eller et sett med materiale Inneslutninger kan skilles basert på størrelse eller form. Når segmenterte personlige etiketter kan være delt inn i grupper bruker flere klassifiserere, redusere identifikasjon bias.

SuRVoS Workbench har blitt brukt til segmentet data fra flere Bildeteknikker. Her brukes synchrotron X-ray fase kontrast tomografi (microCT) av frukt kroppen av en plante til å vise segmentatibruke modell trening, cryo elektron tomografi (cryoET) av menneskelig blodplater brukes til å vise segmentering bruker super- og megavoxels og cryo myk X-ray tomografi (cryoSXT) av pattedyr celle linjen brukes til å vise etiketten deling verktøy

Protocol

Merk: generelt nyttig områder av parametere for hvert og de spesifikke parameterne for hver datatype som vises her er gitt i tabell 1.

1. forbereder et arbeidsområde og lasting Data

1. innlede SuRVoS Workbench, klikk Åpne datasett, og i resulterende popup, merk datafilen til segmenteres. Velg en passende retning av datasettet. Neste, velge eller opprette en mappe der arbeidsområdet og tilknyttede filer skal lagres. Det anbefales at denne mappen er tom når du starter en ny segmentering. Etter at dataene er lastet, workbench åpnes med Plugins ruten til venstre, visualiseringsruten til høyre og et sett med verktøy hurtigtaster mellom de to rutene ( figur 1).

2. Forbehandling og datarepresentasjon

1. i Velg ROI kategorien inngang z, y- og x starten og slutten koordinater for regionen interesse og klikk Legg til. For å velge riktig y og x plasser koordinater musen over et punkt på bildet. Velg z koordinatene ved hjelp av glidebryteren øverst i ruten visualisering. Når et område er lagt, må det velges ved å merke av i boksen til høyre. Alle nedstrøms beregninger utføres på den valgte regionen. Vanligvis starter med en liten, representant region av interesse (ROI), optimalisere parametre og deretter bruke disse parameterne til hele området til segmenteres anbefales.
2. i the funksjonen kanalene tab, bruk drop-down menyen øverst velger en funksjon/filter og legge den til i køen (se diskusjon for mer informasjon om funksjonen kanaler). Når en funksjon/filter er lagt og valgt ved å klikke på navnet, endre som gjelder spesielt for funksjonen/filteret og velger input datasettet som skal kjøre funksjonen/filteret. Når alle alternativene er valgt, klikker du avkrysningsruten til høyre for funksjonen/Filternavnet å beregne.
   1. For å optimalisere parametere for nye dataset, legge til flere filtre/funksjoner og Velg parameterne for dem, før beregnet for, én etter én. Vil legge til hver nye filterfunksjonen og velg riktige parameterne, Merk av i boksen til venstre for hver filterfunksjonen kjøres og klikk Beregn funksjoner-boksen øverst i ruten. Se diskusjon for tilleggsinformasjon.

3. Genererer passende super regioner

1. i the Super regioner i kategorien i delen Supervoxels Bruk rullegardinmenyen kilde for å velge den filtrerte datasettet som supervoxels opprettes. Angi form, avstand og kompakthet av supervoxels (se diskusjon og figur 2 for ytterligere detaljer). Til slutt klikker du Bruk-knappen for å generere supervoxels. Når supervoxels har opprettet de kan vises i ruten visualisering slått på eller av og gjennomsiktigheten kontrollert i visualisering kategorien og visningsvinduet snarvei.
2. i the Super regioner-kategorien, i delen Megavoxels Bruk rullegardinmenyen kilde for å velge filtrerte datasettet som megavoxels opprettes. Deretter angi lambda, numBins og Gamma parametere av megavoxels (se diskusjon for flere detaljer). Når megavoxels har opprettet de kan vises i ruten visualisering slått på eller av og gjennomsiktigheten kontrollert i visualisering kategorien og visningsvinduet snarvei.

4. Introduksjon til merknaden

1. the merknader kategorien Bruk knappen Legg til nivå til en merknad-nivå. Når et nivå er lagt, kan du bruke knappen Legg til etikett på dette nivået å legge til en etikett for merknaden. Når lagt, navnet og fargen på etiketten kan endres for enkel merknad.
2. Deretter for å begynne å kommentere, velger pennikonet vises i delen verktøy snarvei. Når dette er valgt et sett med alternativer vises øverst i ruten visualisering. Disse alternativene styrer Pennetykkelse og om voxels, supervoxels eller megavoxels skal brukes til å kommentere.
   1. For modell trening, generelt, Velg supervoxels i rullegardinlisten merknad nivå og en middels til stor Pennetykkelse bør brukes. Velg etiketten skal settes ved å merke boksen til høyre etikettinformasjon i kategorien Merknader. Deretter klikker du i ruten visualisering å kommentere en enkelt supervoxel, eller klikk og dra for å kommentere mange.
      Merk: Voxels og megavoxels kan valgt i rullegardinlisten merknad nivå og brukes til tekst på samme måte som når det gjelder megavoxels, kan mange tusen av lignende voxels til segmenteres med ett klikk på musen.

5. Segmentering bruker modell trening demonstrert med microCT dataset.

Merk: den første segmenteringen for mange datasett er å skille flere store regioner fra hverandre. For eksempel skille kjernen fra cytoplasma, eller cellen fra det ytre is og støtte strukturen. For denne typen segmentering, med klare kodedel grenser og store regioner, er modell trening nyttig. X-ray fase kontrast tomographic data av Goosegrass skal brukes for å vise dette,.

1. Laste dataene, de bruker filteret og funksjon suite, og finne riktig supervoxels og/eller megavoxels som beskrevet i delene ovenfor bruker parameterne i tabell 1 som en guide. Fortsette å bruke parameterne fra tabell 1 og instruksjonene i del 4, omtrent kommentere noen store områder av datasettet som vist i Figur 3.
   Merk: Datasettet trenger ikke å være helt segmentert foreløpig.
2. i the modell trening i kategorien angi forutse til nivået som inneholder manuell trening merknadene, og i beskrivelsen delen Angi regionen til Supervoxels. Deretter velger beskrivelsene som skal brukes til å skille områder av dataene ved å klikke rullegardinlisten velger kilder og sjekke av funksjonene og filtre valgfrihet (se tabell 1 og diskusjon).
3. Deretter klikker på knappen forutse. Når beregningen er fullført, oppdateres ruten visualisering med spådommer for alle ikke-merket voxels viser hvilke merknader klassene de er spådd for å tilhøre. Vanligvis angi parametere for hver klassifiserer metode gir et godt utgangspunkt, og brukeren bør bare trenger å bytte mellom klassifiserere å finne en god passform. Men for ekspert eller erfarne brukere alternativene for hver klassifiserer er tilgjengelig og kan bli endret.
4. Etter vurdering av effekten av metodikkene som trening og velge én, bruke mer raffinement ved å klikke på Forny rullegardinmenyen i delen raffinement. På bunnen av modell opplæringen kategorien, i den " oppdateringen merknader " seksjon, sørg for at rullegardinmenyen visualisering er satt til PredictioNS. Bruk glidebryteren tillit til å tildele mer eller mindre av den unannotated supervoxels i merkede merknaden etikettene.
5. Etter et passende nivå av tillit er valgt basert på visuell inspeksjon, bruke knappene Lagre ved etikettene på bunnen av verktøyet tillit lagre spådommer i etiketter. Ruten visualisering oppdateres for å vise endringene. Hver etikett kan lagres separat, og faktisk etiketter kan lagres fra mindre regioner ved å skrive inn verdier i fra- og z-, y- og x-boksene og klikke på knappen Lagre for hver etikett.
6. Adresse mindre mislabeling ved å gi ytterligere opplæring data som beskrevet i punkt 4. Etter passende spådommer legges til etiketter, gjenta prosessen med trening med raffinement, og legge til høy visshet spådommer før det er ingen mer umerkede supervoxels. Dette er effektiv fordi hver gang modell opplæringsprosessen kjøres det tilordnes mer supervoxels å trene med, og dermed prosessen blir mer robust som gjentakelsene øker.

6. Segmentering bruker super regioner, demonstrert med CryoET Dataset.

Merk: siden super regionen segmentering er nyttig for mindre, diskret bundet områder, her vil være på segmentering av organeller og piskehale som henger i dataset. Modell trening ble brukt til å segmentere raskt Platederivert fra bakgrunnen isen og karbon; disse parameterne diskuteres ikke lenger, men er presentert i tabell 1.

1. Laste dataene de bruker filteret og funksjonen suite og bestemme riktig supervoxels og/eller megavoxels som beskrevet i delene ovenfor bruker parameterne i tabell 1 som støttelinje.
2. Legg til riktig nivå og etiketter til kategorien Merknad, merker du en etikett og begynne kommentere bruker en middels pen bredde med supervoxels valgt. Vær oppmerksom på behovet for å velge forskjellige etiketter for objekter i umiddelbar nærhet til hverandre for å unngå merking dem som et enkeltobjekt.
3. For å rydde opp merknadene videre bruk morfologiske raffinement metoder (dilatasjon, erosjon, åpning, lukking og fylle hull). Disse alternativene finnes nederst i kategorien Merknader. For å bruke dem, velger du metoden segmentering etikett og raffinement. Angi en radius-verdi og velge hvordan bruke avgrensningen. Klikk Forny.

7. Klassifisering og analyse av Data objekter basert på iboende egenskaper, demonstrert med CryoSXT Dataset

Merk: vanligvis morgendagen steg etter segmentering er analyse av dataene. Verktøyet etiketten splitter i SuRVoS gir klassifiseringen av segmentert objekter ved hjelp av regler basert på innebygde karakteristikkene av objektene som gjennomsnittlig objektet intensitet, varians, volum eller posisjon. Etiketten statistikkverktøyet gir visualisering av relasjoner mellom disse tiltakene for hvert nytt objekt av klassen. Dette er kraftige nye verktøy for analyse av komplekse 3D datasett etter segmentering.

1. Laste dataene, de bruker filteret og funksjon suite, finne riktig supervoxels og/eller megavoxels og segment som beskrevet i delene ovenfor bruker parameterne i tabell 1 som støttelinje.
2. Etter segmentering, klikk på den andre kategorien i ruten visualisering kalt etiketten Splitter. Dette vil legge til et nytt område til høyre side av vinduet - ruten regel etableringen.
3. På toppen av dette området, Velg et passende nivå og etiketter for etiketten oppdeling. Velg datasettet spørring og klikk etikett. Alle objektene i valgte etikettene vil nå vises i blått som separate objekter i ruten visualisering og et plott viser gjennomsnittlig intensiteten av objektene vises i ruten regel etableringen. Tiltaket vises i plottet Klikk på rullegardinlisten øverst på høyre side.
4. å begynne å dele objektene i relevante klasser, klikk Legg til ny etikett nederst i ruten regel etableringen. Navnet og tilknyttet denne ny etikett kan endres som beskrevet tidligere.
   1. Klikk Legg til ny regel og bruke boksene rullegardinlisten og frihåndsform definere regelen skal brukes. Klikk Bruk for å se effekten av den nye regelen i ruten visualisering og plottet i ruten regel etableringen. Flere regler kan brukes på en enkelt etikett og flere etiketter kan opprettes i samme datasettet.
      Merk: For å samle alle umerkede objekter, opprette en ny etikett og i stedet for å legge til en regel å den, klikk Velg andre.
5. Når objektene rundt ha blitt delt i nye etiketter, lage en ny, tom nivå i kategorien Merknader. Deretter velger dette nivået i kategorien regel oppretting og klikk Lagre etiketter. Dette vil lagre de nye etikettene til denne tomme nivå.
6. På kanten av ruten visualisering, klikker du på kategorien etiketten statistikk. Dette åpner en ny visualisering rute som kan brukes til å begynne å forstå forholdet mellom objektklassene i dataene. På toppen, Velg et passende nivå og etiketter og datasettet spørringen.
   1. Velg noen av tiltak av interesse ved å merke av i boksen ved siden av seg. Klikk deretter etikett. Dette vil gi parvis sammenligning tomter for hver av de utvalgte tiltakene. For å oppdatere tomter, Velg eller fjern passende tiltak deretter oppdateringen plott.

8. Eksportere Data og Segmentations

1. eksportere tomter og rå måledataene ved å klikke på Eksporter plot og eksportere data, henholdsvis i kategorien etiketten statistikk ruten visualisering.
2. Eksportere bildedata og segmentations ved å klikke på Eksporter-kategorien i ruten Plugins. Først, klikk en mappe hvor dataene lagres. Deretter Velg utdataene (rådata, rå merknader, segmentering masker eller Maskerte Data) og format (HDF5, MRC eller TIFF). Til slutt, velger merknad nivåer eksporteres ved hjelp av avmerkingsboksene, og klikk Eksporter. Dataene kan skaleres og invertert før eksport etter behov. Når du eksporterer maskert dataene, dataset som mask(s) gjelder kan velges med en dråpe-dunmeny.

Representative Results

Tre volum datasett samlet inn fra tre ulike teknikker (microCT, cryoET og cryoSXT) ble brukt til å demonstrere tre viktige funksjoner i SuRVoS Workbench: modell opplæring, super regionen segmentering og etiketten deling. Datasett representerer en mangfoldig gruppe av eksperimentelle resultater, for hver gis full behandling parametere (tabell 1).

For å demonstrere modell trening med SuRVoS Workbench, ble en relativt høy kontrast datasett med regionen definere grensene valgt. Dataset av frukten av Galium aparineeller goosegrass, ble samlet inn ved hjelp av X-ray fase kontrast tomografi på I13-2 diamant-Manchester Imaging Beamline på Diamond lyskilde, Chilton, Oxfordshire, Storbritannia. Frisk prøven ble montert i luften på en goniometer base på rotasjon scenen, på prøve-detektor avstand på 30 mm. eksponering ganger var 0,10 s med rosa strålen spekteret som har en gjennomsnittlig energi rundt 22 keV. Anslag ble samlet gjennom 180° skritt størrelse på 0,1 °. Tomographic ombygninger bruker Savu^30,31 Paganin filteret for overføring-basert kontrast bilder³² etterfulgt av filtrerte tilbake projeksjon rekonstruksjon ASTRA toolkit^{33 , 34}. dataene ble deretter forminsket med 2 x 2 x 2 binning for å redusere filstørrelsen før blir inn SuRVoS Workbench.

Først inndataene (figur 3A) ble filtrert og festet (Hvis du vil fjerne øvre og nedre intensitetsverdiene dataene) (figur 3B). På denne måten bakgrunns- og ble gjort lettere gjenkjennelig og tekstur av den interne strukturen av frukten ble fremhevet. Deretter ble supervoxels bygget over filtrerte datasettet (Figur 3 c). For å vurdere kvaliteten på supervoxels, var de vises uten data å bekrefte at relevante detaljer om datasettet var godt representert ved supervoxels (figur 3D). Neste, manuell merknader ved hjelp av supervoxels ble gitt som treningsdata på tre skiver av volumet (figur 3E, mørke farger). Denne treningsdata var tilstrekkelig til å trene klassifisereren å forutsi (lyse farger) områdene tilsvarer bakgrunn (grønn), frukt bust (rød), frø materiale (lilla), og rundt kjøtt (blå). Morfologiske forbedringer ble brukt til å rense segmentations av fylle hull, vokser eller krymper som nødvendig (figur 3F). Den totale tiden som er brukt til å bestemme riktige parameterne og segment dataset var 2T.

For å demonstrere super regionen segmentering bruker SuRVoS Workbench, ble en støyende og komplekse datasett valgt¹⁵. Dataset ble samlet inn med cryoET ved National Center for Macromolecular Imaging ved Baylor College of Medicine, Houston, TX USA. Kort, blodplater var spranget frosset på glød utladet og gull fiducial-behandlet holey karbon TEM rutenett. Tilt-serien ble Hentet fra ±65 ° med en 2° økning. Tilt serien rekonstruert så bruker avveid tilbake projeksjon i IMOD³⁵.

Etter laster dataene i SuRVoS (figur 4A), et område av interesse ble valgt og en riktig filter sett ble brukt. I dette tilfellet ble et utjevning Gaussian filter etterfulgt av en total variant filter med kontrast festet brukt til å fremheve kantene og strukturer av data (figur 4B). Deretter ble modell trening med minimale supervoxel-baserte brukerinndata brukt til å segmentere Platederivert fra bakgrunnen isen og karbon. Deretter ble semi-manuell segmentering med megavoxels og supervoxels brukt til å segmentere organeller. Endelig, parameteren supervoxel kilde ble endret til et svakere denoising filter og supervoxel figuren består mindre (se tabell 1) for å bedre bevare piskehale som henger grensene for segmentering (figur 4C). For både organeller og de piskehale som henger, rask manuell merknader ble brukt hvert 5-10 stykker å velge supervoxels som beskriver funksjonen av interesse (Figur 4 d & 4E). Den totale tiden som er brukt til å bestemme riktige parameterne og segment regionen rundt presentert var 6 h.

For å demonstrere etiketten kløyvingen med SuRVoS Workbench, ble et dataset med mange, variert organeller valgt. Dataset ble samlet inn med cryoSXT på beamline B24 på Diamond lyskilde, Chilton, Oxfordshire, Storbritannia-³⁶. Kort, HEK293 celler ble dyrket på gull finder rutenett, riktig størrelse gull fiducials ble lagt og rutenettet var spranget frosset med en EM i ryggen-sidig blotting. Tilt-serien ble deretter samlet på et mikroskop fra ±65 ° med en 0,5 ° økning. Tilt serien rekonstruert så bruker avveid tilbake projeksjon i IMOD³⁵.

Etter laster dataene i SuRVoS (figur 5A), et område av interesse ble valgt og en aktuelle totale varianten filter ble brukt til å forbedre grensene for organeller hele volumet (figur 5B). Deretter var organeller semi manually segmentert bruker megavoxels og supervoxels og senere foredles i fylle hull, lukking og dilatasjon ujevne kanter (figur 5C). Den totale tiden å bestemme riktige parameterne og segment regionen rundt presentert var 4 h. Når segmenteringen ble fullført, ble etiketten oppdelingen brukt til å visualisere hver organelle som et objekt i datasettet (figur 5 d) og ulike egenskaper om hvert objekt i data plottet (figur 5E). Etiketten Splitter grensesnittet er interaktive, oppdatere fargen forbundet med hver ny etikett klasse både visualisering og data tomten. Dette gjør at etableringen av ulike regler basert på egenskaper i dataene som kan brukes til å skille objekter i nyttig klasser (figur 5F).

Figur 1. Oppsettet og de generelle funksjonene i SuRVoS Workbench.
Brukergrensesnittet er til venstre, mens ruten visualisering er til høyre. Disse to områdene er atskilt med en kolonne med verktøy og snarveier. GUI er ordnet for å lede brukeren gjennom de viktigste trinnene i forbehandling dataene, velge supervoxel og/eller megavoxel parametere, segmentere data, og om nødvendig bruke modell trening, før du eksporterer segmentations. Ruten visualisering kan brukes i tre moduser: enkel visualisering og segmentering vise dataeneog noen brukte filtre, og for å segmentere data etiketten splitter for å kategorisere objekter i nye etiketter basert på aspekter iboende i dataene og til slutt merke statistikk for å måle og visualisere kjennetegner segmentert objektene. For hver av disse modiene, rullegardinmenyen i øverste venstre hjørne kontroller som vises, og glidebryteren øverst styrer z-aksen. Verktøyet snarveiene gir enkel tilgangskontroll over kontrast, gjennomsiktighet av lag, zooming og panorering tilbake til "home" i visualisering, og åpne verktøy for merknaden som beskrevet i protokollen. Klikk her for å se en større versjon av dette tallet.

Figur 2. Super regionen hierarki reduserer kompleksiteten i bildesegmentering.
Et bilde fra Berkeley segmentering datasettet (BSDS500³⁷) ble brukt til å vise egenskaper og effekter av super regioner. Det opprinnelige bildet (venstre) består av voxels, som deretter samlet i tilstøtende, lignende grupperinger lage noen hundre supervoxels (midten). Supervoxels kan også samles i tilstøtende, lignende grupperinger opprette noen titalls megavoxels (høyre). Med hver gruppering, er kompleksiteten i aktiviteten segmentering redusert, for både beregningsorientert og manuell. Viktigere, et 2D eksempel er vist her, men både supervoxels og megavoxels er 3D. Klikk her for å se en større versjon av dette tallet.

Figur 3. Behandling av en microCT datasett ved hjelp av en modell opplæring segmentering strategi.
A. et enkelt 2D stykke rådataene. B. bruke filtere festet totale variasjon på rådataene forbedret grensene mellom ulike aspekter av frukt kroppen. C. riktig supervoxel parametere ble valgt. D. en region av interesse (rød boks i C) vises å demonstrere at grensene for dataene som finnes i supervoxels seg. E. tre skiver av volumet med manuell merknader i ulike områder av datasettet vises i mørke farger (grønn, rød, blå og lilla) og spådommer etter running modell trening vises i samme lyse farger. F. de samme tre skivene med den siste segmenteringen når modellen trening spådommer er godtatt. Skala barer er 1 mm. Klikk her for å se en større versjon av dette tallet.

Figur 4. Behandling av en cryoET datasett ved hjelp av en super regionen segmentering strategi.
A. et enkelt 2D stykke rådataene. B. et område av interesse (rød boks i A) med en lagdelt filteret sett brukes til å fremheve grensene for organeller. C. eksempel kommentere en organelle bruker super regioner. En enkelt organelle vises med supervoxels kledde med manuell bruker merknaden vises i svart (venstre) og supervoxels valgt med at merknader vises i blått (høyre). D. eksempel kommentere en microtubule med super regioner. En enkelt region microtubule vises med manuell bruker merknaden vises i svart (venstre) og supervoxels valgt med at merknader vises i grønt (høyre). E. den siste segmenteringen med Platederivert segmentert fra bakgrunnen med modell trening (se tabell 1 for detaljer), og ulike organeller og piskehale som henger segmentert bruker en super regionen segmentering strategi. Fargene angir ikke bestemt organelle typer som de er vist her før klassifisering. Skalere barer i A, B og E er 1 μm og i C og D er 0,5 μm. Klikk her for å se en større versjon av dette tallet.

Figur 5. Analyse av en cryoSXT datasett ved hjelp av verktøyet etiketten Splitter.
A. et enkelt 2D stykke rådataene. B. et område av interesse (rød boks i A) med totalt variant filtrert for å fremheve organeller. C. den siste segmenteringen med supervoxels kledde. D. Visualisering andel av etiketten splitter med organeller klassifisert ved hjelp av reglene i F. E. tomten andel splitterens etiketten viser gjennomsnittlig intensiteten innenfor hvert objekt, med reglene i F brukes. Hver loddrett linje langs x-aksen representerer et enkeltobjekt og er fargekodet for å matche klassen den er tilordnet. F. eksempel klassifikasjonssystemet regler å skille ulike objekter basert på deres iboende egenskaper. Skala barer er 1 μm. Klikk her for å se en større versjon av dette tallet.

Navn / datasett	Kilde	P1	P2	P3	P4
Gaussian Filter		Sigma
Rekkevidde / Default	-	[0,5, 10] / 1
(G1) cryoET	Rå data	1
(G2) cryoET	Rå data	2
Totalt variasjon		Lambda	Avstand	# Iter	Klemme
Rekkevidde / Default	-	[0.1, 30] / 10	[0.1, 10] / 1	[50, 500] / 100	-
(TV1) microCT	Rå data	10	1	100	(1-)
(TV2) cryoET	G1	7	1	200	-
(TV3) cryoET	G2	10	1	100	-
(TV4) cryoSXR	Rå data	7	1	100	-
Terskelverdi		Vmin	Vmax
Rekkevidde / Default

(TH1) cryoET TV3 0 - Gaussian sentrering Sigma Rekkevidde / Default - [0,5, 10] / 2 (GC1) microCT TV1 2 Gaussian normalisering Sigma Rekkevidde / Default - [0,5, 10] / 2 (GN1) microCT TV1 2 Laplacian av Gaussian Sigma Pløie Svar Rekkevidde / Default - [0,5, 10] / 2 [Ja/Nei] / nei [Bright/mørke] / lys (LG1) microCT TV1 2 nei Lyse Forskjellen på bruk Sigma Init Sigma forholdet Rekkevidde / Default - [0,5, 10] / 2 [1.1, 3] / 1.6 (DG1) microCT TV1 2 1.6 (DG2) cryoET TV3 2 1.6 Det. strukturen tensoren Sigma1 Sigma området Rekkevidde / Default - [0,5, 10] / 2 [0,5, 10] / 2 (ST1) cryoET TV3 2 2 Supervoxels Figur Avstand Kompakthet Rekkevidde / Default - [1, 10] / 10 [0.1, 5] / 1 [1, 200] / 20 (SV1) microCT TV1 (10, 10, 10) (1, 1, 1) 30 (SV2) cryoET TV3 (10, 10, 10) (1, 1, 1) 50 (SV3) cryoET TV2 (3, 5, 5) (1, 1, 1) 50 (SV4) cryoSXT TV4 (10, 10, 10) (1, 1, 1) 30 Megavoxels Lambda # Hyller Gamma Rekkevidde / Default - [0,01, 1] / 0,1 [10, 200] / 20 Ingen automatisk eller [0, 1] / ingen (MV1) cryoET SV2 0,1 50 automatisk TV1 (MV2) cryoSXT SV4 0,4 50 Ingen TV4 Modell trening Regionen Klassifiserer Avgrensning Tilgjengelige / Default [voxel / supervoxel] [Ensembler, SVM, Online lineære modeller] / [Ingen, Potts, utseende] / utseende Ensemble - RF microCT TV3 SV1 Tilfeldig Forest: Utseende TH1 GC1 -# Treet: -Lambda: GN1 [10, 100] / 100 [1, 500] / 10 LG1 100 50 DG1 cryoET TV2 DG2 ST1 SV2 Tilfeldig Forest: Utseende -# Treet: -Lambda: [10, 100] / 100 [1, 500] / 10 100 50 Merknad raffinement RADIUS Rekkevidde / Default [1, 20] / 1 microCT Åpning 5 Fyll-hull 1 Dilatasjon 2 cryoET Åpning 3 Fyll-hull 1 Dilatasjon 2 cryoSXT Åpning 3 Fyll-hull 1 Dilatasjon 2

Tabell 1. Optimalisert parametere brukes til å behandle hver av tre datasett (microCT, cryoET og cryoSXT).>
For hver parameter gis det et generelt område og standard. I mange tilfeller brukes filtrerte data som kilde for nedstrøms behandling. I disse tilfellene brukes en forkortelse å betegne den nye kilde datasettet. For eksempel G1 (Gaussian filtrerte cryoET rådata) ble brukt som inndata under filtere totale variant opprette TV2. Informasjonen vises bare for sider av Workbench som ble brukt til å behandle hvert datasett. For eksempel modell trening ble ikke brukt under behandling av cryoSXT datasettet presenteres her, derfor ingen parametere er angitt for dette.

Discussion

SuRVoS arbeidsbenk skiller seg fra andre segmentering programmer ved at optimalisering av parametere er en nødvendig og viktig steg før begynnelsen av faktiske segmentering. I noen manuell eller semi-manuell segmentering programmer starter brukeren segmentering i øyeblikk av åpne et nytt prosjekt. Med SuRVoS, fordi store mengder volumet blir segmentert med lite brukerinndata og grensene er avgrenset av programmet, er optimalisere parametrene avgjørende for en vellykket segmentering. Spesielt er funksjonen kanaler og super regionen bygningen to områder der oppmerksomheten skal betales.

Funksjonen kanaler og modell trening

I tillegg til rådata lar SuRVoS brukeren opprette ekstra datasett eller kanaler fra et eksisterende datasett. Disse kanalene kan lages med et utvalg av beregningsorientert metoder eller funksjonen ekstraktorer. Hver av data representasjoner finnes i parallell, og individuelt kan vises for å vurdere utfallet av funksjonen eller filter. På grunn av disse egenskapene er de referert til som funksjonen i SuRVoS. Det er mange funksjonen kanalvalg leveres innen SuRVoS. For informasjon om alternativene og parameterne som brukes her, se tabell 1, en liste og beskrivelse av har kanaler besøk https://diamondlightsource.github.io/SuRVoS/ ². Første, støyende datasett nytte denoising med Gaussian eller totalt variant filter. Det anbefales at ytterligere funksjonen kanal og supervoxel/megavoxel beregninger utføres ved hjelp av en av disse denoised datasett som datakilde. Vanligvis brukes den totale variasjon denoised datasettet som kildedata for funksjonen kanal og supervoxel/megavoxel beregninger. Det anbefales å kjøre med standardverdiene først, vurdere resultatet i 3D og endelig iterativt optimalisere parametrene for dataset. I tillegg funksjonen kanaler kan bygges i "filter sett" for å spesifikt isolere aspekter av datasettet, og disse kan deretter brukes som datakilder til å opprette supervoxels og megavoxels. Selv om denne strategien er svært dataset avhengige, kan det være nyttig.

Funksjonen kanaler brukes også som kilder for å trene klassifisereren i modell trening. Når du bestemmer på hvilke funksjonen kanalene å bruk, anbefales det at noen robust funksjonen kanaler (f.eksfra blob gjenkjenning, tekstur og struktur eller robuste funksjoner kategorier) brukes når du arbeider med en liten mengde merknader for å trene den klassifisereren. Når du arbeider med en stor mengde treningsdata, anbefales det å bruke mer funksjon kanaler samlet, fra noen av kategoriene som de gir variert informasjon i klassifisereren (f.ekslegge til ovennevnte liste funksjonen kanaler fra lokal funksjoner og Gaussian har kategorier).

Det er tre hoveddeler modell trening: gir inndataene kilder som beskriver dataene, bruke disse inndataene for å trene en klassifiserer og endelig raffinering utgang spådommer. Vanligvis krever mindre regioner dataene flere bruker merknader nøyaktig tog klassifisereren, mens større deler av dataene vil kreve færre bruker merknader. Modell trening kan først uten å velge en avgrensning brukes til å finne den beste spådommer. Deretter inkluderer avgrensningen og optimalisere parameteren lambda som trengs for å løse problemer med spådommer som hull eller ujevne kanter.

Supervoxels og megavoxels

Supervoxels er klynger av flere nærliggende, lignende voxels^38,39. Supervoxels begynner som en standard 3D rutenettet over dataene er deretter iteratively deformert for å overholde underliggende grensene, og dermed bedre representerer dataene. Supervoxel etablering og deformasjon styres av fire bruker innganger: datakilde, superpixel form, avstand og kompakthet. Datakilden gir data innganger som blir spurt under oppretting av supervoxel. Noen kilde kan brukes inkludert filtrerte datakilder. Superpixel figur parameterne bestemmer 3D startfeltet og omtrentlig ønsket form av den resulterende supervoxels. Endre disse parametrene kan øke eller redusere størrelsen på supervoxels før deformasjon. Parameterne avstand definere viktigheten av grenser i hver retning. Endre disse parametrene kan understreke grenser i en eller to retninger på bekostning av den andre (s), betyr det resulterende supervoxels vil deformeres å bedre følge data grenser i angitt retning (er). Den siste parameteren kompakthet, kontrollerer hvor mye supervoxels kan deformere. Noen lav kompakthet lar supervoxels å deformeres mer. Parameterne skal være optimalisert for å gi supervoxels som representerer grensene for dataene av interesse. Merk: For tiden supervoxel figur parametere må være 1024 eller mindre når multiplisert sammen.

På noen måter, supervoxel parametere kan kompensere for hverandre, betyr det ingen er "riktige svaret" når du bestemmer på parametere. For eksempel en stor startstreken rutenettet (f.eks superpixel figur: 10 x 10 x 10) og lav kompakthet flere (for eksempel 20) kan gi supervoxels med lignende grensen etterlevelse i forhold til en liten startstreken rutenettet (f.eks superpixel figur 5 x 5 x 5) og en høyere kompakthet nummer (f.eks 50). Fordi det er flere, mindre supervoxels i det andre scenariet, de trenger ikke å deformeres så mye å representere grenser. Begge parametersett kan være passende for segmentering av datasettet.

Det største hensynet når du velger supervoxel parametere er hvor godt supervoxels representerer dataene. Vise supervoxels alene, uten data under dem, som i figur 2D, er en god måte å vurdere supervoxel parametere. Når vises på denne måten, skal kanter og konturene av figurer i dataene fortsatt være synlig i supervoxels.

Megavoxels er konglomerater av flere supervoxels^38,39-med nærliggende, lignende. De styres igjen av fire bruker innganger: datakilde, lambda, numbins og gamma. Som med supervoxels, inneholder datakilden data innganger som blir spurt under oppretting av megavoxel. Både lambda og numbins påvirke størrelse og rammen overholdelse av megavoxels. Som megavoxels vokse større (høy lambda, lav numbins), reduserer deres overholdelse av grensen. Snakke er også sant, overholdelse av grensen vil øke med mindre megavoxels (lav lambda, høy numbins), men som megavoxel størrelsen reduseres, så gjør nytten i segmentering av store mengder voxels raskt. Denne valgfrie gamma-parameteren styrer glatthet faktoren versus kostnaden for sammenslåing to supervoxels sammen. Små verdier i gamma kan forbedre likheten mellom to supervoxels, på bekostning av å ha færre megavoxels generelt.

Som med supervoxels, er den største vurderingen ved valg og optimalisere megavoxel parametere hvor godt megavoxels representerer dataene. Vise megavoxels alene som supervoxels kan igjen brukes til å vurdere parametere. Men fordi megavoxels vil vanligvis være mye større og tredimensjonale, ved hjelp av merknader verktøy to velger enkelt megavoxels å sikre grensen mellom regioner av interesse er stramt anbefales også.

Merknad strategi

To generelle merknader strategier har blitt beskrevet: en modell trening tilnærming er nyttig for å skille store regioner av datasett, mens en super regionen segmentering tilnærming er nyttig for mindre, mer variert funksjoner som individuelle organeller. Merknader kan organiseres hierarkisk slik at det er mulig å kommentere store regioner først, deretter dele dem i mer spesifikke områder ved å bruke et overordnet-underordnet forhold. Overordnede etiketten for en etikett kan tilordnes ved å klikke på området til høyre for etiketten fargevalg og velge en passende overordnet etikett fra et tidligere nivå. I praksis bruker de fleste datasett både modell trening og super regionen segmentering strategier segmentere bestemte regioner/funksjoner av interesse.

I modellen trening eksemplet her ble noen opplæring innganger (i form av manuell bruker supervoxel-baserte merknader) brukt på tre med jevne mellomrom skiver av dataene. På denne måten øker modellen trening aspekt av SuRVoS vesentlig hastigheten som segmentering er mulig spesielt når du arbeider med store differensiert regioner som skillet mellom regionene i goosegrass frukt kroppen idet fremhevet inne Figur 3.

Når modell kan trening, hvis spådommer ikke kan sees, det være nødvendig å gå til kategorien visualisering og kontroller at spådommer laget er slått og satt til en passende mengde gjennomsiktighet. Også tilordner en tillit 0 hver umerket supervoxel til en etikett, basert på hva det nærmeste treffet er. Tillit på 100 vil bare tilordne en etikett hvis bare én kategori etiketten har noen proporsjonal passer. Alt i mellom er kompromisset mellom disse to ytterpunktene. Når du velger et sikkerhetsnivå er det foreslått for å sjekke et par skiver å visuelt inspisere at det er ingen feil anslått voxels før lagring tips til en etikett.

En god strategi for kommentering bruker super regioner er å bruke verktøyet forstørrelse til å zoome inn på dataene, kommentere noen organeller samtidig på én sektor, med en "rask, rotete" tilnærming først (figur 4C). Deretter flytte opp eller ned et par skiver i Z og gjenta prosessen. Fordi supervoxels er tredimensjonale, repareres mange av feil "rotete" tilnærmingen av merknader som gjøres i ovennevnte eller under skiver. På denne måten segmentering er sped opp og grensene tilbys av supervoxels snarere enn manuelt.

For å rydde opp en etikett, er standard segmentering raffinement alternativene gitt. Dilatasjon forårsaker valgte segmentering etiketten å vokse med gitt radius, erosjon forårsaker det å krympe. Åpne og lukke er anvendelse av første erosjon og dilatasjon, eller omvendt, henholdsvis. Og fylle hull gjør akkurat. Rekkefølgen på operasjonene materie. Vanligvis utfører fylle hull, så åpningen og dilatasjon fungerer godt. Hver raffinement metode kan brukes på en enkelt SKIVE ("denne del"), på alle sektorer i 2D ("alle stykker (2D)") eller 3D ("hele volum (3D)"). Alle skiver (2D) er anbefalt.

Betydning og fremtidige retninger

Effektiv og nøyaktig segmentering er neste flaskehalsen i behandling av 3D datasett, spesielt med rutinemessig automatisert samling av terabyte bildedata under langsiktig økter. SuRVoS arbeidsbenk kan øke segmentering prosessen med en faktor på 5 sammenlignet med manuell segmentering. Også, fordi grensene er avgrenset av supervoxels, variasjon av resulterende segmentations bør forbedre. I fremtiden håper vi å utforske måter å bruke oppdeling av en representant 3D områder av interesse som treningsdata gjelder for resten av volumet, eller enda et eget volum, med høy visshet. Dette forhånd vil ytterligere redusere mengden brukermodustid og innspill nødvendig å segmentet selv komplekse biologiske volumer, bidrar til å lindre bilde prosessering og segmentering flaskehalsen. Dette, i sin tur gir kvantitative sammenligning av biologiske data i ulike statene (f.eks ikke-sykdom, sykdom, behandlet) med robust eksperimentelle tall.

Materials

Name	Company	Catalog Number	Comments
computer	n/a	n/a	Must be running Linux operating system and have an NVidia GPU with at least 4 GB of memory