Fra voxel til Kunnskap: En praktisk guide til Segmentering av Complex Elektronmikros 3D-Data

Summary

Flaskehals for mobilnettet 3D elektronmikroskopi er funksjonen utvinning (segmentering) i svært komplekse 3D tetthetskart. Vi har utviklet et sett av kriterier, som gir veiledning om hvilke segmentering tilnærming (manuell, semi-automatisert, eller automatisert) er best egnet for ulike datatyper, og dermed gi et utgangspunkt for effektiv segmentering.

Abstract

Moderne 3D elektronmikros tilnærminger har nylig tillates enestående innsikt i 3D ultrastructural organisering av celler og vev, slik at visualisering av store makromolekylære maskiner, slik som adhesjons komplekser, så vel som høyere-ordens strukturer, slik som cytoskjelettet og cellulære organeller i sitt respektive celler og vev sammenheng. Gitt den iboende kompleksitet cellulære volumer, er det nødvendig først å trekke ut de funksjoner av interesse for å tillate visualisering, kvantifisering, og derfor forståelse av deres 3D organisasjon. Hvert datasett er definert av forskjellige egenskaper, for eksempel, signal-til-støy-forhold, skarphet (skarphet) av data, heterogenitet av sine funksjoner, crowded av funksjoner, nærvær eller fravær av karakteristiske figurer som gir mulighet for enkel identifisering, og den prosent av hele volumet at en bestemt region av interesse okkuperer. Alle disse karakteristika må vurderesnår de bestemmer seg for hvilken tilnærming å ta for segmentering.

De seks forskjellige 3D ultrastructural datasett presenteres ble innhentet av tre forskjellige bilde tilnærminger: harpiks innebygd farget electron tomography, fokusert ion Sprede- og serie blokk ansikt-scanning elektronmikroskopi (FIB-SEM, SBF-SEM) av mildt farget og sterkt farget prøver , henholdsvis. For disse datasettene, har fire forskjellige segmenterings tilnærminger lagt til grunn: (1) fullt manuell modellbygging fulgt utelukkende av visualisering av modellen, (2) manuell sporing segmentering av dataene etterfulgt av overflaten rendering, (3) semi-automatisert tilnærminger fulgt ved overflaten rendering, eller (4) automatiserte spesialdesignede segmenteringsalgoritmer fulgt av overflategjengivelse og kvantitativ analyse. Avhengig av den kombinasjon av data satte karakteristikker, ble det funnet at vanligvis en av disse fire kategoriske tilnærminger gir bedre resultater enn de andre, men avhengig av den nøyaktige sekvens av kriterier, more enn en tilnærming kan være vellykket. Basert på disse dataene, foreslår vi en triage ordning som kategoriserer både objektive data sett egenskaper og subjektive personlige kriterier for analyse av de ulike datasett.

Introduction

Tradisjonelt elektronmikroskopi (EM)-feltet har blitt delt inn i 1) strukturbiologi gren ved hjelp av høy og super-høy oppløsning TEM, vanligvis kombinert med implisitte eller eksplisitte data i snitt for å undersøke den tredimensjonale (3D) struktur av makromolekylære komplekser med en definert sammensetning og vanligvis en relativt liten størrelse ^{på 1-4,} og 2) cellebilde gren i hvilken hele cellulære natur er visualisert ^1,5,6. Mens den strukturelle biologi grenen har gjennomgått en spektakulær utvikling i løpet av de siste fire tiårene, ble cellebiologi gren stort sett begrenset til to dimensjoner, ofte på mindre enn optimalt bevarte prøver. Bare med bruk av elektron tomografi i det siste tiåret har celle biologiske ultrastructural bildebehandling ekspandert inn i den tredje dimensjonen ^5,7, hvor typisk snitt kan ikke utføres som den cellulære natur, og dermed de funksjoner av interesse, er vanligvis unik.

Selv visualisert cellulære scener er ofte imponerende for øyet, effektiv utvinning av funksjonene i interesse og påfølgende kvantitativ analyse av slike svært komplekse cellulære volumer sakker akterut, delvis fordi den presise proteinsammensetningen er vanligvis ukjent, derfor gjør det utfordrende å tolke disse mobil 3D-volumer. Til denne datoen, er omfattende biologisk kompetanse ofte nødvendig for å tolke komplekse tomograms, eller til og med å identifisere viktige områder og viktige komponenter i 3D-volumet. Som en ytterligere komplikasjon, er visualisering av 3D-volumer bemerkelsesverdig ikke-triviell. 3D-volumer kan bli tenkt på og dermed visualiseres som stabler av 2D-bilder. Slice-by-slice inspeksjon av sekvensielle 2D-bilder reduserer kompleksiteten, men det er også grenser har utvinning og dermed kvantitativ analyse til de to dimensjonene. Men for de fleste 3D-objekter, skildringen av 3D volumer som bare en bunke med påfølgende fly fører til en ufullstendig end skjevt perspektiv i et bestemt system 3D natur. Alternative moduser av visuell inspeksjon krever enten volumgjengivelse eller overflaterendering, som-gitt ofte tett natur av en mobil volum kan lett føre til en hindret visning av nestede gjenstander eller overmanne en bruker helt, og dermed gjør interaktiv manuell segmentering vanskelig.

For å bøte på disse barrierene, et stort utvalg av automatisert funksjon utvinning (segmentering) tilnærminger har blitt utviklet som er typisk enten tetthets eller gradient-basert ^8-10. Men disse metodene har en tendens til å segmentere hele volumet uavhengig av hvilke områder eller funksjoner er av interesse for den sakkyndige, selv om noen nyere metoder kan målrette en bestemt funksjon av interesse som actinfilamenter ^11. I tillegg kan de programmer som utfører automatisert segmentering noen ganger resultere i produksjon av et stort antall undermengder (for eksempel ved anvendelse av vannskillet immersion segmentering) som ofte trenger å bli slått sammen manuelt tilbake inn innbefattende hele funksjonen av interesse eller underkastes ytterligere segmentering. Dette gjelder særlig for kompliserte og fylt datasett, og dermed mest gjengivelsesdatamaskinalgoritmer er ute av stand til å trekke ut bare de funksjoner av interesse med nøyaktighet, og betydelig innsats for konservering av en ekspert er ofte nødvendig for å produsere en ønsket segmentert volum.

Videre er tilpassede løsninger til en svært spesifikk problem ofte publisert som en vitenskapelig møte papir, med liten eller ingen vekt på å gjøre dem bred og omfattende verktøy tilgjengelig for forskere som ikke har inngående kjennskap til fagområdene matematikk, informatikk og / eller datagrafikk. En passelig programmering programvare-miljøet, som inneholder en rekke bildeanalyse biblioteker, kan være et kraftig verktøysett som tillater brukere å effektivt skrive sine egne moduler for nøyaktig segmentering. Men denne tilnærmingen krever extensive trening og en bakgrunn i informatikk for å dra nytte av sine mange funksjoner eller muligheter for bildeanalyse. Man kan arbeide innenfor en så allsidig programvaremiljø for enkelte datasett der funksjonene er mer sparsom, for eksempel, ved å utnytte kraftige form baserte tilnærminger som er avhengige av den unike geometrien "maler" for å skille objekter av interesse fra sine omgivelser ^12,13 .

En rettferdig rekke datagrafikk visualiserings pakker finnes for interaktiv manuell segmentering og modellbygging. Noen pakker er kommersielt tilgjengelig, mens andre er av akademisk opprinnelse og distribueres gratis, for eksempel: University of California San Francisco Chimera ^14, University of Colorado imod ^15, og University of Texas Austin VolumeRover ^16. Men det store omfanget og kompleksiteten av funksjoner og muligheter disse programmene besitter brattere læringskurve for each. Enkelte visualiseringsprogrammer gir enkle geometriske modeller, for eksempel baller og pinner i ulike størrelser, som kan plasseres inn i tetthetskart for å skape en forenklet modell av komplekse 3D-volumet. Disse modellene da tillate enkle geometriske og volumetriske målinger og derfor gå utover bare "pent bilde". En slik manuell sporing av objekter fungerer godt for volumer hvor bare et lite antall objekter må spores og ekstrahert. Men den siste utviklingen av store volum 3D ultrastructural avbildning ved hjelp av enten fokusert ion stråle scanning elektronmikroskopi (FIB-SEM) ^17-20 eller serie blokk ansiktet scanning elektronmikroskopi (SBF-SEM) ²¹ presenterer den ekstra komplikasjon at størrelsen på 3D-data sett kan variere fra gigabyte til titalls og hundrevis av gigabyte, og selv de terabyte. Derfor så store 3D-volumer er nærmest utilgjengelige til manuell funksjon utvinning, og dermed effektiv brukerstyrt semi-automatisert feature utvinning vil være en av flaskehalsene for effektiv analyse av 3D-volumer i overskuelig fremtid.

Presenteres her er fire forskjellige segmenterings tilnærminger som rutinemessig brukes på et stort spekter av biologiske bildetyper. Disse metodene blir så sammenlignet for deres effektivitet for ulike typer datasett, slik at en samling til en guide for å hjelpe biologer bestemme hva som kan være den beste segmentering tilnærming for effektiv funksjon utvinning av egne data. Som beskrevet brukermanualer er tilgjengelig for de fleste av programmene som er beskrevet, er målet ikke å gjøre potensielle brukere kjent med noen av disse spesielle pakker. I stedet er målet å demonstrere de respektive styrker og begrensninger av disse ulike segmentering strategier ved å bruke dem til seks eksempel datasett med ulike egenskaper. Gjennom denne sammenligningen, har et sett av kriterier blitt utviklet som enten er basert på de objektive bilde kjennetegn ved3D datasett, for eksempel data kontrast, sprøhet, crowded og kompleksitet, eller stammer fra subjektive betraktninger, slik som den ønskede mål for segmentering, morfologi av de funksjoner å være segmentert, befolkningstetthet av funksjonene av interesse, noe som betyr at den brøkdel av volumet okkupert av funksjon av interesse, og hvordan en går optimalt med begrensede ressurser som tid og tilgjengelighet av ansatte. Disse forskjellige datasett eksempel illustrerer hvordan disse objektive og subjektive kriterier kan påføres etter hverandre i en rekke kombinasjoner, hvorved en sammenkobling av visse egenskapsuttrekking tilnærminger med visse typer datasett. De oppgitte vil forhåpentligvis hjelpe nybegynnere anbefalinger møtt med et stort utvalg av segmenteringsalternativer å velge den mest effektive segmentering tilnærming for sin egen 3D-volumet.

Mens fokuset i denne artikkelen er funksjonen utvinning, oppmerksomhet til datainnsamling og pre-prosessering av data er avgjørende for effektive segmentation. Ofte farging av prøver kan være ujevn, og derfor bør potensielle fargings gjenstander bli vurdert i segmenter prosedyren. Imidlertid flekken gir vanligvis høyere signal-til-støy, og derfor krever mindre filtrering og matematisk behandling av cellevolum, noe som potensielt kan også resultere i gjenstander. De respektive rå bilde datasett må erverves til de riktige innstillingene for kontrast og kamera pixel, justert, og bygd om til et 3D-volum. For tomograms, er innrettet bilder rekonstrueres ved bruk av typisk vektet tilbake-projeksjon, og deretter datasettet blir vanligvis utsatt for denoising algoritmer slik som ikke-lineær anisotrop diffusjon ^22, bilateral filtrering ²³ eller rekursiv medianfiltrering ^24. FIB-SEM og SBF-SEM bildebehandling data er justert ved kryss samkjøre sammenhengende skiver i XY utnytte programmer som ImageJ ^25. Kontrastforsterkning og filtrering kan brukes for å øke funksjoneneinteresse og dermed til de-støy bildestabelen. Filtrering kan utføres enten på hele volumet før subvolume valg eller på de valgte subvolumes, som filtrering tilnærminger kan være beregningsmessig kostbart. Ned-sampling av dataene (binning), som noen ganger benyttes for støyreduksjon og / eller fil størrelsesreduksjon, anbefales bare hvis data har blitt betydelig oversampled sammenlignet med den forventede oppløsning.

Etter støyreduksjon, kan de behandlede bilder da bli segmentert etter ulike metoder, og fokus i denne studien er på følgende fire: (1) manuell abstrahert modell generasjon gjennom å skape en ball-og-stick modell, (2) manuell sporing av funksjoner av interesse, (3) automatisert terskel-baserte tetthet, og (4) skreddersydd automatisert segmentering via et skript for prosjektspesifikke segmentering. Boundary segmentering ⁸ og oppslukende vannskille segmentering ¹⁰ er bedre alternativer til enkel terskling, men thei hører hjemme i samme kategori, og er ikke tatt med eksplisitt i denne diskusjonen.

Manuell sporing av tettheter krever skisserte funksjoner av interesse, skjære-by-slice, som tillater oppbevaring av den opprinnelige tetthet av respektive sub-mobilnettet områder. Denne fremgangsmåten tillater maksimal kontroll av segmenteringsprosessen, men det er en omstendelig og arbeidskrevende prosess.

Automatiserte terskel-baserte (og relatert) tetthet segmentering tilnærminger er halvautomatisk, der en algoritme velger piksler basert på et sett av brukerdefinerte parametere. Flere akademiske (gratis) visualiserings pakker, slik som UCSF Chimera, imod, Fiji ^26, og VolumeRover er tilgjengelige, så vel som kommersielle (krever betalingslisenser) pakker, og begge typer typisk omfatte en eller flere av disse segmenterings tilnærminger. Programvarepakker som brukes i dette arbeidet for å illustrere disse ulike metodene omfatter både kommersielle programmer og akademiske åpne sOurce programmer for manuelt generere en abstrakt modell, så vel som manuelle og automatiserte tetthet segmentering. Imidlertid kan åpen kildekode noen ganger tilby mer avanserte alternativer gjennom muligheten for tilpasning.

En sammenligning av disse teknikkene ved hjelp av ulike typer datasett førte til følgende presentasjon av regler og veiledning om hvordan å nærme segmentering av ulike biologiske data 3D-volumer, noe som så vidt vi vet ennå ikke er publisert. Dermed er dette den første systematisk sammenligning av de ulike tilnærminger og deres nytte på datasett med varierende egenskaper for brukere med forskjellige mål.

Protocol

1. Manuell Abstracted Model Generation

Merk: Detaljene i metoden beskrevet nedenfor er spesifikke for Chimera, men andre programvarepakker kan brukes i stedet. Bruk denne tilnærming når det eneste målet er å skape en geometrisk modell (for eksempel en kule, og pinne-modell) for å foreta geometriske målinger, i stedet for å vise volumet formen av gjenstandene.

1. Importer volumet data i et egnet program for manuell abstrahert modell generasjon.
   1. Velg Fil> Åpne kart for å trekke opp dialogboksen Åpne fil. Gå til filen plasseringen av ønsket kartet.
   2. Trekk opp volumet Viewer (Verktøy> Volumdata> Volume Viewer) og velg Egenskaper> Visningsstil til å vise data med ulike rende stiler.
   3. Justere terskelen for skjermen ved å dra den vertikale linjen på histogrammet i Volume Viewervinduet.
2. Navigere gjennom 3D-volumet (f.eks skive etter skive) for å velge et område av interesse for segmentering og beskjære ut et mindre sub-volumet om nødvendig.
   1. I Volume dialogboksen Viewer, klikk Axis, velg deretter X, Y eller Z.
   2. I Volume dialogboksen Viewer, velg Egenskaper> Planes. Klikk på en for å sette Dybde å vise flyet tilsvarende antall i boksen til venstre, og klikk Alle for å vise alle plan.
   3. I Volume dialogen Viewer, velg Funksjoner> Øst-Timor utvalg.
      1. Klikk og dra for å lage en rektangulær boks rundt i regionen av interesse.
3. Plasser markører langs funksjonen av interesse og koble dem med linkerne der det er hensiktsmessig (ofte gjort automatisk av programmet) før modellen er ferdig.
   1. Fra Volume Viewer menylinjen, velg Verktøy>Volume dialog Tracer å åpne dialogboksen Volume Tracer. I Volume dialogboksen Tracer, velg Fil> Ny tusj.
   2. I Volume dialogen Tracer, sjekk Mus> Plasser markører på høy kvalitet, plasserer markører på data fly, flytte og endre størrelse markører, Link nytt merke til markerte markøren, og Link fortløpende valgt markører.
   3. Klikk på Marker Color fargeprøve, og velg en farge. Gjenta dette trinnet for Link farge.
   4. Skriv inn radier for markøren og link modell skapende elementer.
   5. I Volume Tracer vinduet velger Plasser markører med [right] museknapp, og sett radier for markører og lenker.
   6. Høyreklikk på volumdata for å begynne å legge ned markører. Markører vil bli koblet automatisk.
   7. I Volume dialogboksen Tracer, velger du Fil> Lagre gjeldende markør sett, deretter Fil> Lukk tusj.
   Åpne en ny tusj (Trinn 1.3.1) for å begynne å bygge en modell til en annen ønsket funksjon av interesse. Utnytte kontrastfarger mellom Marker sett for å understreke forskjeller i funksjoner.

2. Manuell Sporing av funksjoner av interesse

Merk: Detaljene i metoden beskrevet nedenfor er spesifikke for Amira, men andre programvarepakker kan brukes i stedet. Bruk denne tilnærmingen når befolkningstettheten er relativt liten, og når nøyaktigheten av funksjonen utvinning er viktig, som manuell sporing er en tidkrevende tilnærming.

1. Import volumdata inn i et program med manuelle sporingsmuligheter. Programvare med denne evnen generelt tilby minst en grunnleggende pensel verktøyet.
   1. For store volumer eller tomograms (f.eks 16-bit 2,048 x 2,048 eller større .rec eller .mrc tomograms generert på imod): Velg Åpne data> Høyreklikk på filename.rec> Format ...> Velg Raw som LargeDiskData Ok> Load. Velg riktig Rådata Parametere fra header informasjon> Ok. Veksle og Lagre Som ny filename.am fil for bruk i de neste trinnene.
   2. For mindre 3D bildestakk filer (for eksempel 3D TIF eller .mrc eller .rec): Åpne data> Velg filename.tif eller filename.mrc. Veksle og høyreklikk> Lagre som filename.am . Dersom en feil oppstår eller programmet ikke svarer, kan filen være for stor og kan åpnes ved å følge trinn 2.1.1.
2. Navigere gjennom skivene for å velge en 3D sub-volum for segmentering, og deretter beskjære til dette området av interesse.
   1. , Velger i 3D Viewer vinduet Orthoslice å åpne bildefilen. Bruk glidebryteren nederst for å navigere gjennom skiver.
   2. Hvis du vil beskjære større data åpnet som LargeDiskData, toggle filnavn i Pool vinduet> Høyreklikk> LatticeAccess. Enter ønsket boks størrelse> Bruk. Lagre ny fil.
3. Lag segmentering fil.
   1. Veksle filen i Pool vinduet> høyreklikk> Merking> LabelField. En ny fil vil bli opprettet og lastet automatisk i kategorien Segmentering Editor.
4. Trace grensen til den første funksjonen av interesse, deretter fylle sporet for hånd eller ved hjelp av en kommando som er spesifikk for programvaren som brukes. Følg funksjonen av interesse gjennom alle skiver og gjenta manuell sporing segmentering. Bruk følgende kommandoer ved bruk av Amira:
   1. For å bruke Paintbrush verktøyet, endre pensel størrelse som ønsket, og deretter bruke musepekeren til å spore grensen av funksjonen av interesse.
   2. Fyll spores område med snarvei "f". Legg til valget ved å klikke på knappen med plusstegnet, eller snarveien "a". Om nødvendig, trykk på "u" for å angre, og "s" for å trekke fra eller slette.
   3. Generere en overflate gjengivelse for visualisering og grunnleggende kvalitativ eller kvantitativ analyse per software brukerveiledning instruksjon.
      1. I objektet Pool kategorien veksle filnavnet-labels.am i Pool vinduet> Høyreklikk> SurfaceGen.
      2. Velg ønskede overflateegenskaper> Bruk. En ny fil filename.surf vil bli opprettet i bassenget.
      3. For å visualisere det segmenterte volumet, veksle filename.surf i Pool vinduet> Høyreklikk> SurfaceView.
      4. Bruk verktøyene i 3dviewer vinduet for å flytte, rotere og zoome inn 3D-volumet.
   4. Pakk de nøyaktige tettheter og bestemme målinger som volum eller areal. Eksport til andre programmer for mer avansert visning, analyse og simulering.
      1. På 3dviewer vinduet klikker Mål verktøy> Velg riktig alternativ (2D lengde og 2D vinkel for målinger på en enkelt 2D-plan, 3D lengde og 3D Anglefor måling på et 3D-volum).
      2. Klikk på mesh overflaten for å måle ønsket lengde, avstand og vinkler. Verdiene vil bli oppført i vinduet Egenskaper.

   3. Automatisert Density-basert segmentering

   Merk: Detaljene i metoden beskrevet nedenfor er spesifikke for Amira, men andre programvarepakker kan brukes i stedet.

   1. Bruk denne tilnærmingen på datasett med noen form for kontrast, skarphet, eller crowded å trekke tettheter av interesse.
   2. Import volumdata inn i et program utstyrt med terskelverdier, tryllestav, eller andre tetthet-baserte verktøy for automatisk segmentering. Følg fremgangsmåten under 2.1-2.1.2 i instruksjonene for manuell sporing.
   3. Navigere gjennom skiver og velg område for segmentering. Om nødvendig, beskjære ut en mindre 3D sub-volum for segmentering. Følg fremgangsmåten under 2.2-2.2.2 i instruksjonene for manuell sporing.
   4. Velg tettheten aven funksjon av interesse, vanligvis ved å klikke eller plassere et merke eller forankringspunkt på funksjonen. Hvis det er tillatt i programvaren, angir du et nummerområde omfatter funksjonens pixel intensitet og justere denne toleransen som ønsket. Tettheter tilhørende funksjon vil bli plukket opp i henhold til intensiteten av ankerets piksel eller toleranseverdien. Bruk følgende kommandoer ved bruk av Amira.
      1. Bruk Magic Wand Tool for funksjoner med skjelnes marginer.
         1. Klikk på det området av interesse, deretter justere sliderne i Display og Maske å fange riktig rekke verdier, slik at funksjonen er fullt uthevet. Legg til utvalget med snarvei "a".
      2. Bruk terskelverktøyet for funksjoner uten klart skjelnes marginer.
      3. Velg Threshold ikonet. Juster glidebryteren for å justere tettheten innenfor ønskelig rekkevidde, slik at bare de funksjonene av interesse er maskert. Klikk Velg-knappen, og deretter legge utvalg med snarvei220, en ".
      4. Å segmentere hele volumet, velger du Alle skiver før du legger utvalget.
      5. For å fjerne støy, velger Segmentering> Fjern øyene og / eller Segmentering> Smooth etiketter.
   5. Generere en overflate for visualisering og kvalitativ analyse som beskrevet i manualen tracing delen 2.6-2.6.2. Dersom det er ønskelig, eksport til andre programmer for tilstrekkelig 3D-visning, kvantitativ analyse og simuleringer.

   4. Skreddersydd Automated Segmentering

   Merk: Bruk denne tilnærmingen til å lage tilpassede skript for automatisk segmentering, som krever erfaringsbakgrunn i informatikk, men lar muligheten til å lage en nøyaktig tetthet modell fra et stort volum.

   1. Verktøy (konkret eksempel på Shape-Overvåket Segmentering i MATLAB ²⁷⁾
      1. Bilde pre-prosessering: Utfør de-noising, fjerning av bakgrunn og bildeforbedringved hjelp av følgende rør:
         1. Laste bildet ved hjelp av imread kommandoen.
            1. I kommandolinjen, skriv: >> im = imread ($ image_path), der $ image_path er plasseringen av bildet som skal analyseres.
         2. Fra Bildebehandling verktøykasse, ring Wiener Filtrer med en estimert eller kjent Noise-power-til-signal ratio (NSR).
         3. På tidligere behandlet bildet, kaller bildeåpningsfunksjon imopen å anslå bakgrunnslaget, og deretter fordele utfallet som en annen maske.
            1. I kommandolinjen, skriv:. >> Bakgrunn = imopen (im, Strel ($ shape_string, $ størrelse)), i denne metoden, er $ shape_string lik "disk" variabelen $ størrelse er gitt av instrument dvs. >> bakgrunn = imopen (im, Strel ('disk', 15)).
         4. Trekk fra det filtrerte bilde med bakgrunnen.
            1. I kommandolinjen, skriv: >> IM2 = im -bakgrunn
         5. Avhengig av kvaliteten av resultatene, utføre image normalisering med eller uten adaptive Otsu metode ^28, som kan kalles ved hjelp av funksjonen imadjust fra Image Processing Toolbox.
            1. I kommandolinjen, skriv: >> Im3 = imadjust (IM2)
         6. Forbered funksjoner av interesse for segmentering, begrense regioner av interesse ved å beskjære normalisert bilde.
            1. Bruke imtool kommandoen, utforske regionen av interesse som skal beskjæres og gi koordinatene til kommandoen: >> im3_crop = imcrop (Im3, [x1 y1 x2 y2]), der vektoren [x1 y1 x2 y2] tilsvarer torget regionen som skal beskjæres.
      2. Shape anerkjennelse / Overvåket form klassifisering: Tren algoritmen ved å gi konkrete eksempler for hver annen kategori av objekter (lineære spor i et 2D-bilde på tvers av funksjoner av interesse).
         1. Sjekk at VLFEAT ²⁹ API er installert og besøke VLFEAT hjemmeside for mer inngående dokumentasjon.
         2. I kommandolinjen, skriv: >> [TREE, ASGN] = VL_HIKMEANS (im3_crop, $ K, $ NLEAVES) der $ K er antall klyngen som skal brukes eller antall klasser observatøren ønsker å arrangere dataene inn, og $ NLEAVES er ønsket antall blad klynger dvs. >> [TREE, ASGN] = VL_HIKMEANS (im3_crop, 4100)
         3. Bruke manuelt segmentert funksjoner som input for VLFeat.
            MERK: Dette åpen kildekode-C-basert bibliotek vil utføre pixel patching, patch clustering, og cluster center posisjonering avhengig av metode valgt å fungere best for datasettene. De tilgjengelige alternativene varierer fra k-middel clustering å texton baserte tilnærminger ^30, og resultatet er en numerisk array som beskriver funksjonene ønsket basert på gitte forbilder.
   2. Segmentering: Bruk denne fully automatisert, men beregningsmessig kostbar, tilnærming til segment flere klasser av gjenstander samtidig, noe som vil bli skrevet ut som separate baner for videre visualisering og analyse.
      1. Legg den tidligere genererte tall array (modell).
      2. Ring support vektor maskin (SVM) funksjon i VLFeat, ved hjelp av modellen og bildet som skal segmenteres som en inngang.
         1. I kommandolinjen, skriv: >> [w, b] = vl_svmtrain (x, y, 0.1), hvor x er den originale beskjæres bildet im2_crop og y er målet bilde, vil bildet som er manuelt segmentert. Bruk >> ISEG = VL_IMSEG (I, ETIKETTER) å farge resultatene i henhold til etikettene som genereres av clustering.
            MERK: Basert på egenskapene til modellen, vil VLFeat klassifisere bildet på antall klasser (funksjoner av interesse) tildelt fra begynnelsen. Avhengig av den grad av nøyaktighet er ønskelig, er det mulig å kombinere denne fremgangsmåte med andre tilnærminger eller anslaget clusteh parametere som skrog og klasesentre. Utgangen av SVM algoritmen er en sannsynlighetsmodell og flere binære masker av de ønskede klasser i de nye datasett.
      3. Lagre resultater ved å skrive inn kommandoen: >> imwrite (im, $ format, $ filnavn) der $ format er "tiff" og $ filnavn er banen for utdatafilen.
      4. For å visualisere bilder, skriver du inn kommandoen: >> imshow (im).

Representative Results

Figur 1 viser en typisk arbeidsflyt for 3D elektronmikros cellulær imaging, inklusive elektron tomografi, FIB-SEM, og SBF-SEM. Den arbeidsflyt omfatter rå datainnsamling, innretting og rekonstruksjon i et 3D-volum, støyreduksjon ved filtrering, og om nødvendig beskjære den regionen av interesse for å maksimere effektiviteten av det valgte segmentering programvare. Slike forhåndsbehandlet data er deretter klar for funksjonen utvinning / segmentering.

Figur 2 illustrerer arbeidsflyten lagt ut i figur 1 med fire forskjellige datasettene (som vil bli introdusert nærmere nedenfor), hvorav to er harpiks-innebygde prøver tatt opp ved elektron tomografi (figurene 2A, 2B), med de andre to stammer fra FIB -SEM og SBF-SEM, henholdsvis (Tall 2C, 2D). Bilder i Figur 2 kolonne 1 er projeksjonutsikt (Tall 2A1, 2B1) og blokk overflate bilder (Tall 2C1, 2D1), henholdsvis, som ved justering og gjenoppbygging er satt sammen til et 3D-volum. Kolonne 2 viser skiver gjennom slike 3D volum, som ved filtrering (kolonne 3) viser en betydelig reduksjon i støy og dermed ofte vises mer skarp. Når du har valgt og beskjæring den store 3D-volumet til regionen av interesse (kolonne 4), kan 3D-gjengivelser av segmenterte funksjoner av interesse (kolonne 5) fås og videre inspisert, fargekoder og kvantitativt analysert.

Totalt seks 3D-datasett, som hver inneholder en stabel av bildene innhentet gjennom enten elektron tomografi (3 datasett), FIB-SEM (2 datasett), eller SBF-SEM (1 datasett) blir brukt til å sammenligne hvor hver av de fire segmentering metoder utføre (figur 3). Datasettene stamme fra en rekke ulike forskningsprosjekter i laboratoriet og dermed gi areasonably mangfoldig sett av typiske eksperimentelle datasett. Alle datasettene ble undersøkt av fire uavhengige forskere, hver av dem er mest kjent med en bestemt tilnærming, og de ble belastet med å gi et best mulig resultat for hver av de seks datasett.

Datasettene er fra prøver som følger: 1. Tall 3A1-3A5: høytrykk frosset, fryse-substituert og harpiks-embedded chick indre øret hårcelle stereocilia ^31, 2. Tall 3B1-3B5: høytrykk-frossen, Frysere byttet ut og harpiks-embedded plantecellevegg (upublisert), 3. Tallene 3C1-3C5: høytrykk frosset, fryse-substituerte og harpiks-embedded indre øret hårcelle kinocilium (upublisert), 4. Tall 3D1-3D5: høy trykk frosset, fryse-substituert og harpiks-embedded blokker av mitokondrier som ligger i menneske brystkjerteltumorer epitelceller HMT-3522 S1 acini, som har blitt dyrket i laminin rik extracellular matrise ^32,33, 5. Tall 3E1-3E5: unstained benkeplate Bøk-behandlet, harpiks-embedded Blokker av sulfat redusering bakterielle biofilmer (manuskript under forberedelse), og 6. Figurene 3F1-3F5: membran grensen av nabocellene i HMT -3522 S1 acini.

Som det kan ses fra figur 3, kan forskjellige segmenterings tilnærminger føre til stort sett tilsvarende resultater for noen data sett typer, men helt forskjellige resultater for andre datatyper. For eksempel hårcelle stereocilia datasett (figur 3A) gir rimesegmenterings volumer med alle fire tilnærminger, med den manuelle abstrahert modell generert av en ekspert bruker å være den klareste å tolke og måle. I dette tilfelle, tillater en slik modell for raske målinger av filament-filament avstander, telling av antall koblinger som finnes mellom de langstrakte filamenter, samt bestemmelse av manglende deler av kartet tettheten svarendetil steder der prøven ble skadet under prøveopparbeidelse ^34. Slik informasjon er mye vanskeligere å skaffe seg ved hjelp av de andre tre segmenterings nærmer seg, selv om den skreddersydde automatisert segmentering gir bedre resultater enn rent tetthet basert terskelverdier.

For plantecelleveggen (figur 3B), først på manuell modellgenereringen til å være den mest effektive i å formidle en følelse av orden i celleveggen, hvilken ingen av de andre tilnærminger oppnå. Imidlertid ikke abstrahert modellen ikke fanger folkemengden av objektene i datasettet. Manuelt sporing funksjoner av interesse ser ut til å gi et bedre resultat enn tettheten baserte eller form-overvåket tilnærminger. På den annen side, er manuell tracing meget arbeidskrevende og identifisering av grensene av funksjonene er noe subjektive. Derfor kan automatiserte metoder være å foretrekke for å segmentere store volumer med et potensial avveining mellom presisjon ogressurser brukt på manuell segmentering.

For kinocilium datasettet (figur 3C), gir manuell abstrahert modellgenerer det reneste produktet og viser en uventet arkitektur av tre mikrotubuli ved midten av kinocilium, en detalj som er lett synlig på de avkuttede data, men tapt i alle andre tilnærminger , antagelig på grunn av flekken heterogenitet. Men andre potensielt viktige funksjoner i kartet tettheten savnet i den manuelle generasjon av en abstrakt modell. Dette skyldes det faktum at den subjektive naturen av manuell modelldannelsen fører til en idealisering og uttak av den faktiske tetthet observert, og derfor til en subjektiv tolkning under modelldannelse. Derfor viser eksempelet pent hvordan manuell abstrahert modell generasjon gjør det mulig å konsentrere seg om et bestemt aspekt av 3D-volumet. Imidlertid, den selektive persepsjon og forenkling ikke klarer å gi en fullt ut hensyn til alle protein complexes stede i datasettet. Derfor, hvis målet er å vise kompleksiteten i dataene, så man er bedre tjent med noen av de tre andre tilnærminger.

Når det gjelder 3D-matrix-kultivert melkekjertlene acini (Figur 3D), er de høye mitokondrier kontrast segmentert etter alle fire tilnærminger med letthet, med manuell sporing av funksjonene ikke så overraskende noe som ga best resultater med det laveste beløpet av forurensning ( Figur 3D3). Imidlertid er manuell tracing meget arbeidskrevende, og er derfor av begrenset bruk for store volumer. Både tetthet terskel-basert og form-overvåket automatisert segmentering trekke mitokondriene ganske godt, og ville resultere i en nesten perfekt segmentering, dersom ytterligere triks for opprydding er ansatt (f.eks eliminere alle objekter under en bestemt terskel for voxel tetthet) som er tilgjengelig i forskjellige pakker. I dette tilfellet gjorde manuell abstrahert modellbygging ikke gilovende resultater, blant annet fordi mitokondriene ikke lett kan tilnærmes med ball og pinne-modeller.

Med hensyn til bakterie jord community / biofilm (Figur 3E), tre av de fire tilnærmingene gi rimelige resultater, med manuell modell generasjon ikke presterer godt på grunn av utfordringen om å representere biologiske objekter, for eksempel bakterier, etter geometriske figurer. Ekstracellulære vedheng som stammer fra bakterier kan påvises i de automatiserte segmenterings tilnærminger, men ikke så godt i den manuelle funksjonen sporing. Shape-overvåket skreddersydd automatisert segmentering kan videre skille ekstracellulære funksjoner fra bakterier til tross for sine tilsvarende tettheter (data ikke vist), noe som gir enkel kvantifisering selv av svært store datasett. Fordi dette er opprinnelig et veldig stort datasett, den skreddersydd automatisert segmentering klart utkonkurrert alle andre tilnærminger, men kan ha dratt nytte av den lave kompleksitetog den relativt sparsomme fordeling av gjenstander av interesse (lav crowded).

Ved undersøkelse av grensesnittet mellom to eukaryote celler i et vev-lignende sammenheng (Figur 3F), kun manuell sporing av funksjoner av interesse gitt gode resultater. Automatiserte tetthet-basert segmentering tilnærminger klarer å oppdage membranen grensen mellom tilstøtende celler helt, og selv de kundetilpassede tilnærminger mislykkes, delvis fordi formen av en celle ikke er lett rundet eller likestilt med figurer, til tross for sin klare suksess for bakterier i biofilm (figur 3E5).

Observasjonen fra figur 3 at segmenterings tilnærminger gjøre det bra på noen datasett, men ikke på andre førte til spørsmålet om hva som kjennetegner hver av disse datasettene, og om det var mulig å kategorisere typer data egenskaper eller personlige mål som syntes å samsvarer godt med deres respective tilnærming. Systematisk studie av dette temaet har ikke tidligere blitt gjennomført, og dermed som et første skritt en etablering av en empirisk listen over bildeegenskaper og personlige mål kan veilede en nybegynner i deres forsøk på å finne den beste tilnærmingen for funksjonen utvinning av deres respektive datasett.

Åtte kriteriene ble identifisert som viktige er vist i figur 4, og de ​​kan deles inn i to hovedkategorier: (1) de funksjonene som er iboende i datasettet, og (2) forskerens personlige mål og andre hensyn som er noe mer subjektive, om enn like viktig. Tidspunktene er hovedsakelig hentet fra de seks datasettene på figur 3, med tre ekstra datasett blir innført eksempler: en (figur 4A1) er et kryo-tomogram av en kryo-delen av Arabidopsis thaliana plantecelleveggen, den andre (figurene 4A2 , 4B1, 4D1 figurene 3F1-3F5 men er enda mer vesentlig komplekse, og den tredje (Tall 4B2 , 4D2) er en harpiks-seksjonen tomogram av indre øret hårcelle stereocilia i tverrsnitt, lik den prøven innhold vist i lengderiss i Figuress 2A1-2A5 og 3A1-3A5.

For kategorien av de objektive kriterier som bildeegenskaper, fire egenskaper som ligger i datasettene er foreslått å være av betydning:

1. Dataene kontrast kan være (1) lav (figur 4A1) som er typisk for kryo-em tomograms, (2) mellomprodukt (figur 4A2) slik som i cellulære natur uten noen klar organeller, eller annet fremtredende trekk stående, eller (3) høy (figur 4A3), slik tilfellet er for kinocitil hjelpe tomogram eller stereocilia i tverrsnitt, på grunn av innrettingen av klart adskilte trådformede elementer i z-retningen.
2. Dataene kan være uklar (figur 4B1), uten synlig klare grenser mellom to tett plasserte objekter, for eksempel celler i et vev, eller skarpe (Figur 4B2), med skarpt definerte grenser. Dette er delvis en funksjon av datasettet oppløsning, noe som i seg selv er høyere med en faktor på omtrent 2-4 for elektron tomograms forhold til FIB-SEM. Naturligvis skarpere grenser er ønskelig for både manuell og automatisert segmentering tilnærminger, men avgjørende for sistnevnte tilnærming.
3. Tettheten kartene kan enten være overfylt (figur 4C1) som reflekteres av tett linjeavstand plantecellevegg komponenter, eller tynt befolket (figur 4C2), som er bakterier i en koloni, som eksemplifiserer separasjonen som gjengir automatisert bildesegmentering vesentlig enklere.
4. Tetthetskart kan være svært kompleks med vesentlig forskjellige egenskaper ofte med uregelmessige former, som for eksempel stria vascularis vevet rundt et blodkar (figur 4D1) eller veldefinerte organelleliknende gjenstander med en tilsvarende organisasjon, for eksempel stereocilia i tverrsnitt ( Figur 4D2).

Legg også merke til de svært forskjellige skalaer i alle de forskjellige eksemplene, noe som gjør sammenligningen noe vanskelig.

Bortsett fra de mer objektive kriterier som bildeegenskaper, fire svært subjektive kriterier som vil veilede valg av riktig bane er også foreslått:

1. Ønsket Formål: Formålet kan være å visual håret bunt stereocilium i sin kompleksitet og å bestemme og undersøke formen på objektet (figur 4E1), eller for å skape en forenklet og utskilt pasning og pinne modell som er bygget inn i kartet tettheten og muligheten til en rask telling ennd måling av geometriske objekter (filament lengde, avstand og antall tilkoblinger) (figur 4E2).
2. Funksjonen morfologi kan være meget uregelmessige og kompleks lignende celler, slik som celle-celleinteraksjonssoner (figur 4F1), noe lignende form med en viss variasjon, slik som mitokondrier (figur 4F2), eller hovedsakelig identisk formet, slik som aktin filamenter og kryss koblinger i et hår bunt i lengderetning (Figur 4F3).
3. Andelen av funksjonen av interesse (befolkningstetthet) er viktig, som man kanskje ønsker å segmentere alle funksjoner i et 3D datasett, slik tilfellet er for plantecellevegger (Figur 4G1), eller bare en liten brøkdel av den cellulære volum som er tilfellet for mitokondrier i en heterogen celle scene (figur 4G2). Avhengig av størrelsen på datasettet, og andelen av volum som krever oppdeling, kan det være mest effektivt å brukemanuelle metoder. I andre tilfeller, for eksempel når man er interessert i en rekke funksjoner, er det rett og slett ikke noe alternativ til å bruke semi-automatisert segmentering tilnærminger.
4. En annen sentral subjektive kriteriet er hvor mye ressurser man er villig til å investere i segmenteringsprosessen og hvilket nivå av troskap er nødvendig for å svare på et biologisk spørsmål. Man kan ønske og behov for å kvantifisere en har sin volumetriske parametere (for eksempel størrelse, volum, areal, lengde, avstand til andre funksjoner, etc.), i så fall mer omsorg kan være nødvendig for å få nøyaktig kvantitativ informasjon (figur 4H1), eller hensikten kan være å bare ta et bilde av den 3D-form (figur 4H2). I en ideell verden der ressursene er ubegrenset, man åpenbart ikke ønsker å gjøre noen kompromisser, men heller velge den mest nøyaktige banen bruker assistert manuell funksjon utvinning. Selv om dette kan fungere for mange datasett, i nær fremtid 3D volumer wil l være i størrelsesorden 10k av 10k av 10k eller høyere, og manuell segmentering vil ikke lenger være i stand til å spille en fremtredende rolle i å segmentere en slik enorm plass. Avhengig av kompleksiteten av data og andre dataegenskaper, kan semi-automatisert segmentering blitt en nødvendighet.

På figur 5, er sterke og begrensninger kort angis for de fire segmenterings tilnærminger. De personlige mål og bildeegenskaper identifisert i figur 4 som kan pare med hver tilnærming er skissert i tillegg. I figur 6, personlige mål og bilde karakteristikker av de seks datasett eksemplifisere hvordan triage data og bestemme den beste tilnærmingen. Begge figurer 5 og 6 er videre på i diskusjonen.

belastning / 51673 / 51673fig1highres.jpg "width =" 500px "/>
Figur 1. Arbeidsflyt for biologisk avbildning rekonstruksjon og analyse. Denne tabellen gir en oversikt over de ulike tiltakene for å samle inn og behandle bilder er samlet inn av tomografi, fokusert ion stråle SEM, og serie blokk ansiktet SEM. Rå datainnsamling resulterer i 2D tilt serien eller seriesnitt. Disse 2D bildesett må være justert og bygd om til 3D, så filtrert for å redusere støy og øke kontrasten av funksjoner av interesse. Endelig kan dataene segmentert og analysert, til slutt resulterer i en 3D-modell. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 2.. Eksempler på arbeidsflyt for ulike datatyper fra tomografi og FIB-SEM Hvert trinn i arbeidsflyten etter datainnsamlingen er vist gjennom fire datasett (rader AD): harpiks innebygde farget tomografi av langsgående seksjonert stereocilia, harpiks innebygd farget tomografi av plantecellevegg cellulose, FIB-SEM av bryst epitelceller mitokondrier, og SBF-SEM av E. coli bakterier. En 2D snitt gjennom rådata er vist i kolonne 1, og et bilde fra de data etter justering og 3D rekonstruksjon omfatter kolonne 2. De filtreringsteknikker anvendt i kolonne 3 er følgende: medianfilter (A3), ikke-anisotrop diffusjon filter (B3), Gaussian blur (C3), og MATLAB er imadjust filter (D3). Et eksempel på det beste segmentering for hvert datasett fra det beskårede området av interesse (kolonne 4) vises som en 3D-rendering i kolonne 5. Skala barer: A1-A3 = 200 nm, A4 = 150 nm, A5 = 50 nm, B1-B3 = 200 nm, B4-B5 = 100 nm, C1-C3 = 1 mm, C4-C5 = 500 nm,D1-D3 = 2 mm, D4-D5 = 200 nm. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 3. Bruk av fire segmentering tilnærminger til eksempel datasett Seks eksempel datasettene ble segmentert etter alle fire tilnærminger:. Manuell abstrahert modell generasjon, manuell sporing, automatisert tetthet basert segmentering, og skreddersydd automatisert segmentering. Manuell abstrahert modell generasjon var effektive for harpiks innebygd farget tomografi av stereocilia (A), som hensikten var å lage en modell for kvantitative formål i stedet for å trekke ut tettheter. For at harpiksen innebygde farget tomografi av plantecellevegg (B), automatisert tetthet basert Segmentsjon var den mest effektive metoden for å raskt trekke ut cellulose gjennom mange skiver, der som de manuelle metoder tok mye mer innsats på bare et par skiver av data. Manuell abstrahert modell generasjon genererte microtubuli triplet i farget tomografi av kinocilium (C), mens andre segmenteringsmetoder gjorde det ikke, men de to automatiserte tilnærminger hentet tettheter raskere og ble derfor foretrukket. På grunn av formen på mitokondrier fra FIB-SEM av bryst epitelceller (D), manuell tracing gitt den reneste produktet, og den lave befolkningstetthet kombinert med bruk av interpoleringsmetoder som er tillatt for rask segmentering. Gitt det store volumet som trengs for å bli segmentert, viste skreddersydd automatisert segmentering å være mest effektivt å segmentere SBF-SEM bakterier data (E), men begge automatiske tilnærminger var sammenlignbare. Selv tidkrevende, den eneste metoden for å trekke ut FIB-SEM av bryst epitelial cellemembran (F) var manuell sporing skala barer.:A1-A5 = 100 nm, B1-B5 = 100 nm, C1-C5 = 50 nm, D1-D5 = 500 nm, E1-E5 = 200 Nm, F1-F5, barer = 500 nm. Vennligst klikk her for å vise en større versjon av dette tallet.

Figur 4. Objektive bildeegenskaper og subjektive personlige mål for triaging av datasett. Bruke eksempler på datasett egenskaper, kriterier er foreslått å informere en beslutning om hvilke segmentering tilnærming å bruke. Med hensyn til objektive kjennetegn, kan data iboende ha kontrast som er lav, middels eller høy (A1-A3), være uklar eller skarpe (B1-B2), fordelt ut eller overfylt (C1-C2), og har komplekse eller rett og slett organiserte funksjoner (D1-D2). Subjektive personlige mål inkluderer ønsket o bjective rettet mot en forenklet modell eller trekke den eksakte tettheter (E1-E2), identifisere en convoluted ark, convoluted volum, eller lineær morfologi som funksjon av interesse (F1-F3), velger en høy eller lav befolkningstetthet på funksjonen av interesse (G1-G2), og bestemmer på avveiningen mellom high-fidelity og høy ressursallokering for en avtagende avkastning på investeringer som tid (H1-H2) Scale Barer:. A1 = 50 nm, A2 = 1500 nm , A3 = 100 nm, B1 = 1500 nm, B2 = 200 nm, C1 = 100 nm, C2 = 200 nm, D1 = 10 mm, D2 = 200 nm, E1 = 100 nm, E2 = 50 nm, F1-F2 = 500 nm, F3 = 50 nm, G1 = 100 nm, G2 = 1 mm, H1-H2 = 100 nm. Vennligst klikk her for å se en større versjon av dette tallet.

px "/>
Figur 5. Sammenligning tabell med dataegenskaper og subjektive mål passer for ulike segmenterings tilnærminger. Denne tabellen oppsummerer styrker og begrensninger av hver segmentering tilnærming. Kriteriene fra figur 4 kan bidra til å identifisere hvilke datasett er egnet for hvilken segmentering metode. Disse objektive bildeegenskaper og subjektive personlige mål ble valgt for optimal bruk av hver tilnærming, men ulike kombinasjoner kan hindre eller hjelpe effektiviteten av segmentering. Vennligst klikk her for å se en større versjon av dette tallet.

Figur 6. Avgjørelse flytskjema for effektiv tekteskap av segmentering tilnærminger for datasett med varierende egenskaper. Basert på egenskapene uthevet i figur 4, illustrerer dette diagrammet som fire kriterier som bidro mest til den endelige beslutningen om den beste segmentering tilnærming for hvert datasett fra figur 3. Hvert datasett er fargekodet for å raskt følge de dristige linjer som representerer den primære beslutningsprosessen, samt de stiplede linjene som gjenspeiler en alternativ bane som kan eller ikke kan føre til samme tilnærming. De kinocilium, bakterier og plantecellevegg-datasett ble beste segmentert med de to automatiserte metoder. I kontrast til cellemembranen og mitokondrier stier alltid føre til manuell sporing på grunn av deres vanskelige egenskaper. Vennligst klikk her for å se en større versjon av dette tallet.

Discussion

Effektive strategier for utvinning av relevante funksjoner fra 3D EM volumene er sterkt behov for å holde tritt med data tsunamien som nylig har rammet biologisk avbildning. Mens data kan genereres på flere timer eller dager, det tar mange måneder å analysere 3D-volumer i dybden. Derfor er det klart at den bildeanalyse har blitt flaskehalsen for vitenskapelige oppdagelser; uten tilstrekkelige løsninger for disse problemene, bildebehandling forskere blitt ofre for sin egen suksess. Dette er delvis på grunn av den høye kompleksiteten av dataene og også makromolekylært trengsel som vanligvis finnes i biologiske celler, der proteiner og proteinkomplekser tangere hverandre og i hovedsak fremstår som en kontinuerlig gradient av gråtoner tettheter. Problemet kompliseres av prøveopparbeidelse og bilde småfeil, og i noen tilfeller image gjenoppbygging gjenstander, som fører til mindre enn perfekt volumetriske data som kan utgjøre utfordringer for fullt automatisert tilnærminges. Mest betydningsfulle, er imidlertid det faktum at ekspertene i prøveopparbeidelse, bildebehandling, og den biologiske tolkningen er sjelden godt bevandret i beregningsvitenskap, og dermed krever veiledning om hvordan du effektivt nærmer funksjonen utvinning og analyse. Derfor, gjennom bruk av ulike eksempler, forklarer protokollen hvordan å forberede data for segmentering, samt fremgangsmåten for manuell abstrahert modell generasjon, automatisert tetthet basert segmentering, manuell sporing av funksjoner av interesse, og skreddersydd automatisert segmentering. De manuelle og automatiske metoder som er beskrevet i fremgangsmåten kan bli funnet i et stort utvalg av segmenterings programvare, hvorav noen er nevnt her, men andre utføre lignende funksjoner og er like godt egnet.

Resultatene viser at effektiviteten av hver av de 3D segmenterings tilnærminger varierer for hver forskjellig type datasett. Selv om de ulike tilnærminger produsert kvalitativt similar 3D-gjengivelser som sluttproduktet, hvor mye tid og krefter brukt på hver under segmentering prosessen variert betydelig. Anbefalingene for riktig bildeegenskaper og personlige mål per segmentering tilnærming er oppsummert i figur 5, som er nærmere forklart i de følgende fire deler. Disse kriterier ble anvendt på de seks datasett, som vist i beslutningsflytdiagram på figur 6.. Selv om figurene 5 og 6 er bare ment å gi en begrunnelse for hver datapost, og hvor hvert av kriteriene ble veiet i beslutningsprosessen, de gir ikke en idiotsikker veiledning, men snarere et utgangspunkt. Det er rett og slett for mange kriterier som påvirker beslutningsprosessen: noen er objektive kriterier, for eksempel data sett egenskaper, mens andre er mer subjektive kriterier, som for eksempel ønsket mål. Det er trygt å si at datasett som viser en høy level av kontrast med skarpe skarpe grenser, har funksjoner som er godt atskilt og relativt homogen (ikke altfor variert), og er behandlet med sikte på å vise en tetthet modell for et stort antall gjenstander, vil automatiserte tilnærminger være overlegen, om ikke for det faktum at manuelle metoder ville bare være ressurs (tid) -prohibitive. På den annen side, dersom kontrasten er lav, er den data uklar og således krever en ekspert kjenner til objektene er overfylt, og funksjonene viser en høy mangfold og er således heterogen, kan man ikke har noe annet valg enn manuell egenskapsuttrekking / segmentering.

Manuell Abstracted Model Generation

Manuell abstrahert modell tracing er spesielt effektiv i å segmentere lineære elementer, som gir frø poeng (baller) som kan bli automatisk koblet (pinner). Slike baller og pinner-modeller kan være svært kraftig for å måle lengden ennd orientering av en slik modell, og tilveiebringe en tilstrekkelig abstrahert modell for både kvalitativ undersøkelse og kvantitativ analyse. Manuell abstrahert modell generasjon er ofte brukt når minimere ressurser brukt på analyse er viktigere enn absolutt troskap til figurer av de opprinnelige dataene. Det er mest vellykket med lineære og homogene funksjoner av interesse (f.eks filamenter, rør). Kontrast data, skarphet, og folkemengden ikke spille en viktig rolle i å bestemme denne metoden suksess, så lenge det menneskelige øyet kan gjenkjenne objektet av interesse. Noen ganger kan slike modeller kan også bli brukt som et skjelett for å segmentere 3D-kartet i en sone rundt skjelettet. Selv om modellen er abstrakt snarere enn en refleksjon av eksakte tettheter, representerer den en skeletonized versjon av 3D-tetthet og dermed tillater ryddig visualisering og kvalitativ analyse. Kvantitative målinger som lengde kan også bestemmes fra det omtrentlige modell. For eneksempel på programvare med manuell abstrahert modell generasjon, kan du gå Chimera detaljerte bruksanvisningen online på http://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/index.html .

Manuell Sporing av funksjoner av interesse

Manuell pensel tracing fungerer godt med nesten alle dataegenskaper, men det er også den mest tidkrevende metode. Til tider er det eneste teknikk for å ekstrahere en funksjon av interesse fra et komplekst bilde sett inneholdende et stort utvalg av funksjoner, for eksempel den tynne og uoversiktlig cellemembranen. Et nyttig verktøy tilgjengelig i enkelte programmer gir mulighet for interpolering mellom midlertidig segmentert skiver når funksjonen av renteendringer jevnt. Manuell tracing kan brukes mest effektivt hvis dataene er skarp og har middels til høy kontrast, men det kan også benyttesfor mer utfordrende datasett, så lenge brukeren er kjent med gjenstand for interesse. Dataene kompleksitet kan variere fra diskrete objekter til komplekse og overfylte datasett, hvor objekter er tett pakket. I sistnevnte tilfelle, kan manuell segmentering være det eneste valget, som automatiske tilnærminger ofte sliter med å segmentere ønsket volum og trekke for mye eller for lite. Vanskelige har morfologi, slik som convoluted ark eller volumer, også kan ekstraheres ved denne metoden. Imidlertid bør brukeren huske på at et datasett med flere vanskelige egenskaper kan bare segmentert hvis befolkningstettheten av funksjonene i interessen er lav, da segmentering av høye befolkningstettheten i de funksjoner av interesse blir tids uoverkommelige. For et eksempel på programvare med manuell sporing, kan du gå Amira detaljert bruksanvisning online på http://www.vsg3d.com/sites/default/files/Amira_Users_GuidE.pdf.

Automatisert Density-basert segmentering

I motsetning til den manuelle teknikker, automatiserte metoder er generelt mindre tidkrevende, noe som er en viktig faktor å vurdere når segmentere en stor stabel av bilder. Imidlertid kan enkle terskelverdier ikke være så nøyaktig, og mye mer tid kan bli brukt på raffinering og konservering av automatisk segmentert volum. Automatisert tetthet-basert segmentering fungerer best på datasett som viser et stort antall lignende funksjoner av interesse som alle krever segmentering. Hvis dataene er mer komplekse, kan disse automatiserte teknikker fortsatt tjene som et første skritt, men vil trolig kreve noe manuell inngripen ned linjen for å angi en subvolume inneholder funksjonen av interesse. Denne strategien fungerer vanligvis godt på lineære morfologi eller convoluted volumer, men det er sjelden vellykket med tynne convoluted ark somcellemembraner. Minimal brukerinngripen med automatiserte tilnærminger muliggjør segmentering gjennom store eller små volumer, mens expending noen bruker ressurser som tid i retur for high fidelity. For et eksempel på programvare med automatiserte tetthet basert segmentering, kan du gå Amira detaljert bruksanvisning online på http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf .

Skreddersydd Automated Segmentering

Skreddersydd automatisert segmentering gjør at strøm tilpasning av algoritmer for et bestemt datasett, men det er ofte spesifikke for datasettet eller datatype, passende for et begrenset antall har egenskaper, og kan ikke generaliseres enkelt. Prosedyren vist frem her skiller seg fra de generelle automatiserte segmenterings tilnærminger, for eksempel vannskille nedsenking og andre nivå sett metoder, som er avhengige av en programmert fastsettelse av kritiske frø poeng, etterfulgt av rask marsj kube ekspansjon fra disse frø poeng. En variant av dette temaet er grensen segmentering, hvor gradient vektor informasjon informerer har grenser. I kontrast til den tilpassede skriptet som er brukt her er basert på en opplærings stadium hvor brukeren spor noen eksempler manuelt. Gjennom maskinlæring, vil spesifikke algoritmer oppdage og deretter lære å selvstendig gjenkjenne egenskaper og dataegenskaper konsekvent funnet i spor. En ekspert bruker kan omskolere algoritmer og forbedre nøyaktigheten av segmentering ved å inkludere mer eksempel spor å gi et større sett over funksjonskriterier. Samlet sett kan Terskelverdier og relaterte tilnærminger, eller til og med kundetilpassede tilnærminger ikke være så nyttig å trekke ut en enkelt funksjon av interesse fra et bilde med komplekse mangfoldet av organeller eller figurer, som curation kan være like arbeidskrevende som manuell sporing.

">

Strategier for Triaging data og velge en Segmentering Approach

Gitt de subjektive og objektive kriterier som er presentert i figur 4, og oppsummering av egnede datasett i figur 5, kan beslutnings ordningen vist i figur 6 bistå en effektiv vurdering av funksjon ekstraksjon strategier for et stort utvalg av datasettene. Datasettene blir triaged i fire påfølgende beslutninger, som hver kan omfatte hvilket som helst av de fire respektive mål, så vel som de fire utvalgte kriterier introdusert i figur 4. Som et eksempel, er det rasjonelt for triaging hver av de seks data Figur 6 sett vist i figur 3. Utvilsomt, for hvert datasett er det ikke en eneste unik bane, men snarere ulike veier gjennom denne matrisen følgende ulike kriterier for beslutninger som kan føre to den samme eller forskjellig innstilling for data segmentering. Mens hver datasett vil ha sitt eget sett av egenskaper, som ikke kan forutses, er seks eksempler gitt, hver forbundet med en forklaring av begrunnelsen bak den foretrukne funksjonen utvinning / segmentering tilnærming. De fleste har også et forslag til en alternativ beslutningsrute som enten resulterer i bruk av den samme eller en annen tilnærming segmentering (figur 6).

Den kinocilium er en skarp datasett med klart definerte grenser, noe som gjør automatiserte tilnærminger mer sannsynlig å lykkes. Alle funksjoner av interesse er godt atskilt, igjen favoriserer en automatisert tilnærming. I tillegg er funksjoner av interesse er lik hverandre, noe som gjør det til en relativt homogen datasett ideelt for skreddersydd segmentering. Til slutt, var målet å trekke ut hele funksjonen, favoriserer en semi-automatisert tilnærming. Som en konsekvens av dette, ble det konkludert at en automatisert terskling (solid grønn linje), samt en spesialdesignet (f.eks forme overvåket segmentering) tilnærming (stiplet grønn linje) er både sannsynlig å gjøre det bra på dette datasettet.

Lignende kriterier, selv om det er lagt inn i en annen rekkefølge i beslutnings nettverk, gjelder for tilfelle av bakterier. En skreddersydd tilnærming anbefales blant annet fordi dette datasettet var veldig stort; dermed begrensede ressurser forby en arbeidskrevende manuell inngripen / segmentering tilnærming. Mens thresholding ville gitt akseptable resultater, den spesialdesignede tilnærming var i stand til å utføre studiens hovedmål å skille roundish bakterielle figurer fra de ekstracellulære metallforekomster, som ligger enten i mellom bakterier eller rett ved siden av bakterier, og derfor skreddersydd tilnærming ble foretrukket.

For stereocilia datasett, var det første hensynet ønsket mål: målet kan enten være å vise hele tettheteller for å lage geometriske modeller. Volumet av interesse var en overfylt område, og målet var å segmentere et stort antall gjenstander som separerte objekter for å deretter utføre kvantitativ volumetrisk analyse, inkludert lengder, tall, avstander, orientering, etc. Det var nyttig at objekter av interesse var hovedsakelig lineær, og dette gjorde geometrisk modell tracing metoden for valg. Men hvis i stedet målet har vært å vise fullstendig tetthet, og den lineære funksjonen morfologi, så vel som relativt høye kontrast med skarpt definerte grenser ville gjøre en automatisert terskling protokoll bart.

Cellemembranene og mitokondrier data tilfeller er utfordrende for automatiserte tilnærminger på grunn av sine kategorier av funksjonen morfologi: convoluted ark og volumer, henholdsvis. Målet er å spore cellen eller mitokondriene disposisjon nøyaktig, men det er kun begrensede ressurser til å gjøre det. I tillegg funksjonene i interest er komplekse og kan ikke være lett oppdages automatisk eller form-kodet, selv for mitokondriene datasett tilpasset scripting tilnærming tatt for bakterier kan muligens brukes med ytterligere tilpasning. Heldigvis membranen og mitokondrier seg selv bare utgjør en liten brøkdel av hele volumet, og følgelig er en grei riktignok tidkrevende metode manuell tracing. Manuell tracing er også den foretrukne metode for slike datasett når kontrasten er heller lav, og grensene er ganske uklar. Som et resultat, selv om de utgjør en vesentlig del av datasettene, må slike innviklede plater være manuelt spores, ganske enkelt på grunn av mangel av et bedre alternativ.

Anlegget datasett stilt sine egne utfordringer fordi målet var å segmentere alle objekter, som er tett plassert og utgjør en overfylt natur. Viser tettheten som-er ville muliggjøre målinger om form og organisering av objekter, men because manuelt segmentere hvert trådformede objektet er for kostbart, automatisk thresholding ble ansatt i stedet.

De ulike trinn og tilsvarende resultater i å skape en 3D-modell har blitt vist her, men enda viktigere, til dataegenskaper og personlige kriterier funnet å være avgjørende for den beste veien for segmentering har også blitt belyst. De viktigste egenskapene til bildet selve dataene inkluderer det som er beskrevet her som kontrast, folkemengden, skarphet, og antall ulike former eller funksjoner (for eksempel organeller, filamenter, membraner). Subjektive kriterier for å vurdere omfatter det ønskede målet for segmentering (måle / telling, skeletonized representasjon av dataene / viser volumer i 3D-gjengivelser), morfologiske egenskaper av funksjonen av interesse (lineær, langstrakt, i et nettverk, kompleks, korrugert), tettheten funksjoner av interesse i forhold til hele volumet (brøkdel av de objektene som erviktig og må pakkes ut), og balansere avveininger av å bruke ressurser til segmentering troskap av de opprinnelige dataene og den synkende avkastning på investeringen resulterer i inkrementelle forbedringer for vesentlig høyere allokering av ressurser.

Feltet av bildesegmentering har betydelig modnet de siste årene, men det er ingen sølvkule, ingen algoritme eller program som kan gjøre alt. Datasett størrelser har vokst fra hundrevis av megabyte til rutinemessig titalls gigabyte, og de er nå i ferd med å overgå terabyte, noe som gjør manuell segmentering nær umulig. Dermed mer ressurser må være investert i de smarte og tidsbesparende funksjon utvinning tilnærminger som etterligner den menneskelige beslutningsprosessen. Slike forsøk må kombineres med (1) geografisk informasjonssystem (GIS) baserte semantiske hierarkiske databaser (ligner på Google Earth), (2) data abstraksjon teknikker (dvs. overgangenfra en voksel til geometrisk / volumetrisk representasjon) kompatibelt med dataassistert konstruksjon (DAK) programvare for å redusere mengden av data, og dermed muliggjør visning av større volum ^35, (3) simuleringsteknikker, slik de ofte anvendes i ingeniørdisipliner, samt (4) avansert animasjon og lage film evner, inkludert fly-through animasjoner (tilsvarende det som er utviklet for spillindustrien).

Åpenbart effektiv egenskapsuttrekking og segmentering ligger til grunn for denne kommende revolusjon innen cellulær høy oppløsning avbildning, og samtidig bedre metoder vil alltid være behov for, de prinsipper som er presentert her, så vel som eksempler på hva tilnærming ble tatt for forskjellige datatyper , vil gi noen verdifull informasjon for å gjøre en beslutning om hvilken tilnærming å ta.

Materials

Name	Company	Catalog Number	Comments
Amira	FEI Visualization Sciences Group		http://www.vsg3d.com/amira/overview
Chimera	UCSF		http://www.cgl.ucsf.edu/chimera/
Fiji/ImageJ	National Institute of Health		http://fiji.sc/Fiji, http://rsbweb.nih.gov/ij/
IMOD	Boulder Laboratory for 3D Electron Microscopy of Cells		http://bio3d.colorado.edu/imod/
Photoshop	Adobe		http://www.adobe.com/products/ photoshopfamily.html
MATLAB	MathWorks		http://www.mathworks.com/
VLFeat	VLFeat		http://www.vlfeat.org/