Från voxel till kunskap: En praktisk guide till segmentering av komplexa elektronmikroskopi 3D-Data

Summary

Flaskhalsen för cellulära 3D elektronmikroskopi är feature extraction (segmentering) i mycket komplexa 3D densitetskartor. Vi har utvecklat ett antal kriterier, som ger vägledning om vilka segmente strategi (manuell, halvautomatisk eller automatisk) lämpar sig bäst för olika datatyper, vilket ger en utgångspunkt för effektiv segmentering.

Abstract

Moderna 3D elektronmikroskopiska metoder har nyligen tillåtet motstycke inblick i 3D ultrastrukturell organisation av celler och vävnader, vilket möjliggör visualisering av stora makromolekylära maskiner, såsom vidhäftningskomplex, såväl som högre ordningens strukturer, såsom cytoskelettet och cellulära organeller i deras respektive cell och vävnad sammanhang. Med tanke på den inneboende komplexiteten av cellulära volymer, är det viktigt att först extrahera egenskaper av intresse för att möjliggöra visualisering, kvantifiering, och därmed förstå deras 3D-organisation. Varje datauppsättning definieras av olika egenskaper, till exempel, signal-brusförhållande, skärpa (skärpa) av uppgifterna, heterogenitet av dess funktioner, trängsel funktioner, närvaro eller frånvaro av karakteristiska former som möjliggör enkel identifiering, och procent av hela den volym som en viss region av intresse upptar. Alla dessa egenskaper måste beaktasnär beslut fattas om vilka närmar ta för segmentering.

De sex olika 3D-apparater ultra uppgifter som presenteras erhölls genom tre olika bild närmar: harts inbäddade målat elektron tomografi, fokuserad jon BEAM och serieblock ansikte-svepelektronmikroskop (FIB-SEM, SBF-SEM) av milt färgade och starkt färgade prover , respektive. För dessa datamängder, har fyra olika segmenteringsmetoder använts: (1) helt manuell modellbygge följt enbart av visualisering av modellen, (2) manuell spårning segmentering av data följt av ytan rendering, (3) halvautomatiska metoder följs genom ytan rendering, eller (4) automatiserade skräddarsydda segmente algoritmer följt av ytan rendering och kvantitativ analys. Beroende på kombinationen av data set egenskaper, visade det sig att oftast en av dessa fyra kategoriska synsätt utklassar de andra, men beroende på den exakta sekvensen av kriterier, more än en strategi kan vara framgångsrik. Baserat på dessa data, föreslår vi ett triage system som kategoriserar både objektiva data set egenskaper och subjektiva personliga kriterier för analys av de olika datamängder.

Introduction

Traditionellt elektronmikroskopi (EM) fält har delats upp i 1) i strukturbiologi grenen använder hög och super-hög upplösning TEM, oftast i kombination med implicita eller explicita uppgifter genomsnitt att undersöka tredimensionella (3D) struktur makromolekylära komplex med en definierad sammansättning och vanligen en relativt liten storlek ^1-4, och 2) den cellulära avbildning grenen där hela cellulära scenerier visualiseras ^1,5,6. Medan strukturbiologi filialen har genomgått en spektakulär utveckling under de senaste fyra decennierna, var cellbiologi grenen oftast begränsad till två dimensioner, ofta på mindre än optimalt bevarade prover. Endast med tillkomsten av elektron tomografi under det senaste decenniet har cellbiologiska ultra imaging expanderat till den tredje dimensionen ^5,7, där typiska genomsnitt kan inte utföras eftersom de cellulära scenerier, och därmed de egenskaper av intresse, är vanligtvis unika.

Även visualiseras cellulära scener är ofta fantastisk för ögat, effektiv extrahering av funktionerna i intresse och efterföljande kvantitativ analys av sådana extremt komplexa cellulära volymer släpar efter, delvis på grund av att exakta proteinsammansättningen är oftast okänd, vilket gjorde det svårt att tolka dessa cellulära 3D-volymer. Till detta datum, krävs ofta omfattande biologisk expertis för att tolka komplexa tomogram, eller till och med att identifiera viktiga områden och väsentliga komponenter i 3D-volymen. Som en ytterligare komplikation är visualisering av 3D-volymer anmärkningsvärt icke-trivial. 3D-volymer kan ses och på så sätt visualiseras som travar av 2D-bilder. Slice-för-bit inspektion av sekventiella 2D-bilder minskar komplexiteten, men också gränser har utvinning och därmed kvantitativ analys till de två dimensionerna. Men för de flesta 3D-objekt, som enbart en stapel av på varandra följande plan leder skildringen av 3D-volymer till ett ofullständigt end skeva perspektiv i ett visst system 3D natur. Alternativa former av visuell inspektion kräver antingen volymrendering eller yta rendering, som-med tanke på den ofta täta karaktären av en cellulär volym kan lätt leda till en snedvriden bild av kapslade objekt eller överväldiga en användare helt och hållet, vilket gör interaktiv manuell segmente svårt.

För att åtgärda dessa hinder, ett stort utbud av automatiserade feature extraction har (segmente) metoder utvecklats som är typiskt antingen densitets eller gradient-baserade ^8-10. Men dessa metoder tenderar att segment hela volymen oavsett vilka områden eller funktioner är av intresse för den sakkunnige, även om vissa nya metoder kan rikta en viss funktion av intresse såsom aktinfilament ^11. Dessutom kan de program som utför automatisk segmentering ibland resultera i produktion av ett stort antal under volymer (t ex vid tillämpningen vattendelare immersion segmente) som ofta måste slås samman för hand tillbaka in omfattar hela funktionen av intresse eller underkastas ytterligare segmentering. Detta gäller framför allt för komplexa och trångt datamängder, vilket mest rendering datoralgoritmer inte kan extrahera endast de funktioner av intresse med trohet och betydande curation insatser av en expert behövs ofta för att producera en önskad segmenterad volym.

Dessutom är anpassade lösningar till ett mycket specifikt problem ofta publiceras som ett vetenskapligt möte papper, med liten eller ingen vikt vid att göra dem brett och omfattande verktyg tillgängliga för forskare som inte har ingående kunskap om områdena matematik, datavetenskap och / eller datorgrafik. En anpassningsbar programmeringsmiljö, som innehåller en rad bibliotek bildanalys, kan vara ett kraftfullt verktyg som tillåter användare att effektivt skriva egna moduler för noggrann segmentering. Detta kräver dock tillvägagångssätt extensive utbildning och en bakgrund inom datavetenskap för att dra nytta av dess många funktioner eller funktioner för bildanalys. Man kan arbeta inom ett så mångsidigt programvarumiljö för vissa datamängder där funktionerna är mer gles, t.ex. genom att utnyttja kraftfulla formbaserade strategier som förlitar sig på den unika geometri "mallar" för att åtskilja föremål av intresse från omgivningen ^12,13 .

En rättvis mängd datorgrafik visualiseringspaket finns för interaktiv manuell segmentering och modellbygge. Vissa paket är kommersiellt tillgängliga, medan andra är av akademiskt ursprung och distribueras gratis, till exempel: University of California San Francisco Chimera ^14, University of Colorado IMOD ^15, och University of Texas i Austin VolumeRover ^16. Men de många och komplexa funktioner och möjligheter dessa program besitter brantare inlärningskurva för each. Vissa program visualisering ger enkla geometriska modeller, såsom bollar och pinnar i olika storlekar, som kan placeras in i densitetskartor för att skapa en förenklad modell av den komplexa 3D-volymen. Dessa modeller kan sedan enkla geometriska och volymmätningar och därmed gå längre än bara "vacker bild". Sådan manuell spårning av objekt fungerar bra för volymer där endast ett litet antal objekt måste spåras och extraheras. Men den senaste tidens utveckling av stor volym 3D ultra avbildning med antingen fokuserad jonstråle svepelektronmikroskop (FIB-SEM) ^17-20 eller serieblock ansikte svepelektronmikroskop (SBF-SEM) ²¹ presenterar ytterligare komplikation att storleken på 3D-data uppsättningar kan vara allt från gigabyte till tiotals och hundratals gigabyte, och även terabyte. Därför så stora 3D-volymer är praktiskt taget oåtkomlig för manuell funktion utvinning och därmed effektiv användar guidad halvautomatiskt bedrifture utvinning blir en av flaskhalsarna för effektiv analys av 3D-volymer inom överskådlig framtid.

Här presenteras fyra olika segmenteringsmetoder som rutinmässigt används på ett stort utbud av biologiska bildtyper. Dessa metoder jämförs sedan för sin effektivitet för olika typer av datamängder, vilket gör en sammanställning i en guide för att hjälpa biologer avgöra vad som kan vara den bästa segmente metod för effektiv funktion utvinning av sina egna uppgifter. Som detaljerade användarmanualer finns för de flesta av de program som beskrivs, är syftet inte att göra potentiella användare känner till någon av dessa speciella förpackningar. Istället är målet att demonstrera respektive styrkor och begränsningar hos dessa olika segmenteringsstrategier genom att tillämpa dem på sex exempel datamängder med olika egenskaper. Genom denna jämförelse, har en uppsättning kriterier utvecklats som antingen bygger på de objektiva bildegenskaper3D-data, såsom uppgifter kontrast, skärpa, trängsel, och komplexitet, eller härstammar från subjektiva överväganden, såsom det önskade målet för segmentering, morfologier av funktionerna ska fördelas, befolkningstäthet av funktionerna i ränta, vilket innebär att den del av volymen upptas av funktionen av intresse, och hur en vinning optimalt med ändliga resurser som tid och tillgång på personal. Dessa olika exempeldatauppsättningar illustrerar hur dessa objektiva och subjektiva kriterier kan appliceras sekventiellt i en mängd olika kombinationer för att ge en ihopkoppling av vissa feature extraction metoder med vissa typer av datauppsättningar. Rekommendationerna kommer förhoppningsvis hjälpa nybörjare inför en mängd olika segmenteringsalternativ att välja den mest effektiva segmente strategi för sin egen 3D-volym.

Medan fokus i denna uppsats är feature extraction, uppmärksamhet på datainsamling och förbehandling uppgifter är avgörande för effektiva segmentation. Ofta färgning av prover kan vara ojämn, och därför bör potentiella färgningsartefakter beaktas i segmenteförfarandet. Emellertid fläck ger vanligtvis högre signal-till-brus, och kräver därför mindre filtrering och annan matematisk behandling av cellulära volymer, vilket potentiellt också kan resultera i artefakter. Respektive Raw datamängder måste förvärvas på rätt kontrast och kamera pixelinställningar, linje, och rekonstrueras i en 3D-volym. För tomogram, är i linje bilderna rekonstrueras vanligtvis använder viktade back-projektion, och sedan datauppsättningen brukar genomgå denoising algoritmer såsom icke-linjära anisotropa diffusion ^22, bilateral filtrering ²³ eller rekursiv medianfiltrering ^24. FIB-SEM och SBF-SEM bilddata är i linje med korskorrelera varandra följande skivor i XY utnyttjar program som ImageJ ^25. Kontrastförstärkning och filtrering kan appliceras för att öka funktionerna iintresse och på så sätt att de-brus bildstacken. Filtrering kan utföras antingen på hela volymen före delvolymen val eller på de valda subvolymer, eftersom filtreringsmetoder kan vara resurskrävande. Down-sampling av data (Binning), som ibland används för brusreducering och / eller fil storleksminskning, rekommenderas endast om uppgifterna har betydligt översamplade jämfört med den förväntade upplösningen.

Efter brusreducering, kan de bearbetade bilderna sedan segmenteras genom olika metoder, och fokus i denna studie ligger på följande fyra: (1) manuell abstraherade modell generation genom att skapa en boll och piska modell (2) manuell spårning funktioner av intresse, (3) automatisk tröskelbaserad densitet och (4) skräddarsydda automatiserade segmente via ett manus till projektspecifik segmentering. Boundary segmente ⁸ och uppslukande vattendelare segmente ¹⁰ finns bättre alternativ till enkla tröskel, men thej tillhör samma kategori och har inte uttryckligen tagits med i denna diskussion.

Manuell spårning av tätheter kräver beskriver de funktioner av intresse, skiva-för-skiva, vilket gör det möjligt att behålla den ursprungliga densiteten för respektive undercellulära områden. Detta tillvägagångssätt gör maximal kontroll över segmenteringsprocessen, men är en mödosam och arbetsintensiv process.

Automatiserade tröskelbaserade (och relaterade) densitet segmente metoder är halvautomatisk, där en algoritm väljer bildpunkter bygger på en uppsättning användardefinierade parametrar. Flera akademiska (gratis) visualiseringspaket, till exempel UCSF Chimera, IMOD, Fiji ^26, och VolumeRover finns tillgängliga, samt kommersiella (kräver betalda licenser) paket, och båda typer är vanligtvis en eller flera av dessa segmente metoder. Mjukvaruprogram som används i detta arbete för att illustrera dessa olika metoder inkluderar både kommersiella program och akademiska öppna sOurce program för manuellt generera en abstrakt modell, samt manuella och automatiserade densitet segmente. Däremot kan öppen källkod ibland erbjuda mer avancerade alternativ genom möjligheten till anpassning.

En jämförelse av dessa tekniker som använder olika typer av datamängder ledde till följande presentation av regler och vägledning om hur man skall närma segmentering av olika biologiska data 3D volymer, vilket enligt vår kännedom har ännu inte publicerats. Således är detta den första systematiska jämförelsen av de olika metoder och deras användbarhet på datamängder med olika egenskaper för användare med olika syften.

Protocol

1. Manuell Abstracted Model Generation

Anm: Detaljerna i de metoder som beskrivs nedan är specifika för Chimera, men andra programvarupaket kan användas i stället. Använd denna metod när det enda syftet är att skapa en geometrisk modell (t.ex. en boll och stick modell) för att göra geometriska mätningar, i stället för att visa volym formen på föremålen.

1. Importera datavolymen i ett lämpligt program för manuell abstraherade modellgenerering.
   1. Välj Arkiv> Öppna Karta för att dra upp dialogrutan Öppna fil. Navigera till filen platsen för den önskade kartan.
   2. Dra upp Volume Viewer (Verktyg> Volym data> Volume Viewer) och välj Egenskaper> Display Style att visa data med olika renderingsstilar.
   3. Justera tröskelvärdet för skärmen genom att dra det lodräta strecket på histogrammet i Volume Viewerfönster.
2. Navigera i 3D-volymen (t.ex. skiva för skiva) för att välja ett område av intresse för segmentering och beskära ut en mindre sub-volymen vid behov.
   1. I Volume dialogrutan Viewer klickar Axis, välj sedan X, Y eller Z.
   2. I Volume dialogrutan Viewer, välja Egenskaper> Planes. Klicka One för att ange djup för att visa det plan som motsvarar numret i den vänstra rutan och klicka på Alla för att visa alla plan.
   3. I Volume dialogrutan Viewer, välj Egenskaper> Subregion val.
      1. Klicka och dra för att skapa en rektangulär ruta runt det intressanta området.
3. Placera markörer längs inslag av intresse och anslut dem med linkers vid behov (ofta görs automatiskt av programmet) tills modellen är klar.
   1. Från Volume Viewer menyraden, välj Verktyg>Dialogrutan Volume Tracer att öppna dialogrutan volym Tracer. I volym dialogrutan Tracer väljer Arkiv> Ny tusch.
   2. I volym dialogrutan Tracer, kolla Mus> Placera markörer på hög kvalitet, Placera markörer på data plan, flytta och ändra storlek markörer, Länk ny markör till vald markör och Link i följd utvalda markörer.
   3. Klicka på Marker färgrutan och välj en färg. Upprepa detta steg för Link färg.
   4. Ange radier för markör och länka modellbyggelement.
   5. I volym Tracer fönstret väljer Placera markörer med [right] musknappen och för in radier för markörer och länkar.
   6. Högerklicka på datavolym för att börja om markörer. Markörer kommer att anslutas automatiskt.
   7. I volym dialogrutan Tracer väljer du Arkiv> Spara aktuell markör set, sedan Arkiv> Stäng markör set.
   Öppna en ny markör set (steg 1.3.1) för att börja bygga en modell i en andra önskad funktion av intresse. Utnyttja kontrasterande färger mellan marköruppsättningar att betona skillnader i funktioner.

2 Manuell spårning av funktioner av intresse

OBS: Detaljerna i den metod som beskrivs nedan är specifika för Amira, men andra mjukvarupaket kan användas istället. Använd denna metod när befolkningstätheten är relativt liten och när noggrannhet feature extraction är av största vikt, eftersom manuell spårning är en tidskrävande metod.

1. Importera volymdata till ett program med manuell spårning alternativ. Programvara med denna förmåga att erbjuda åtminstone en grundläggande pensel verktyg.
   1. För stora volymer eller tomogram (t.ex. 16-bitars 2,048 x 2,048 eller större .REC eller .mrc tomogram genereras i IMOD): Välj Öppna data> Högerklicka på filename.rec> Format ...> Välj Raw som LargeDiskData Ok> Load. Välj lämplig Raw Data parametrar från huvudinformation> Ok. Växla och Spara som en ny filename.am fil för användning i följande steg.
   2. För mindre 3D-bild stack filer (t.ex. 3D .tif eller .mrc eller .REC): Open Data> Välj filename.tif eller filename.mrc. Växla och högerklicka> Spara som filename.am . Om genereras ett fel eller programmet inte svarar, kan filen bli för stor och kan öppnas genom att följa steg 2.1.1.
2. Navigera genom skivorna för att välja en 3D-sub-volym för segmentering, och sedan beskära till detta område av intresse.
   1. I 3D Viewer fönstret väljer Orthoslice att öppna bildfilen. Använd reglaget längst ner för att navigera genom skivor.
   2. Om du vill beskära större uppgifter öppnade som LargeDiskData, toggle filnamn i Pool fönstret> Högerklicka> LatticeAccess. Enter önskad box storlek> Verkställ. Spara ny fil.
3. Skapa segmente fil.
   1. Växla filen i Pool fönstret> Högerklicka> Märkning> labelfield. En ny fil kommer att skapas och laddas automatiskt på fliken Segmente Editor.
4. Trace gränsen till den första funktionen av intresse, sedan fylla spåret för hand eller med hjälp av ett kommando som är specifik för den programvara som används. Följ inslag i intresse genom alla skivor och upprepa den manuella spårning segmente. Använd följande kommandon när du använder Amira:
   1. För att använda penselverktyget, ändra penselstorlek som önskas och använd muspekaren för att spåra gränsen funktionen av intresse.
   2. Fyll spårade område med genväg "f". Lägg valet genom att klicka på knappen med plustecknet eller genvägen "a". Om det behövs, tryck på "u" för att ångra, och "s" för att dra ifrån eller radera.
   3. Generera en yta rendering för visualisering och grundläggande kvalitativ eller kvantitativ analys per program bruksanvisning instruktion.
      1. På fliken Objekt Pool, växla filnamnet-labels.am i Pool fönstret> Högerklicka> SurfaceGen.
      2. Välj önskad yta egenskaper> Verkställ. En ny fil filename.surf skapas i Pool.
      3. För att visualisera den segmenterade volymen, växla filename.surf i Pool fönstret> Högerklicka> SurfaceView.
      4. Använd verktygen i 3DViewer fönstret för att flytta, rotera och zooma in 3D-volymen.
   4. Extrahera de exakta densiteter och avgöra mätningar som volym eller yta. Export till andra program för mer avancerad display, analys och simulering.
      1. På 3DViewer fönster klickar Mäta verktyg> Välj lämpligt alternativ (2D längd och 2D vinkel för mätningar på ett enda 2D-plan, 3D-längd och 3D Angleför mätningar på en 3D-volym).
      2. Klicka på maskytan för att mäta önskad längd, avstånd och vinklar. Värdena kommer att listas i fönstret Egenskaper.

   3 Automatiserad Densitet baserad segmentering

   OBS: Detaljerna i den metod som beskrivs nedan är specifika för Amira, men andra mjukvarupaket kan användas istället.

   1. Använd denna metod på datamängder med någon variation av kontrast, skärpa, eller trängsel att återkalla tätheter av intresse.
   2. Importera volymdata till ett program utrustad med tröskel, trollspö eller andra densitetsbaserade verktyg för automatisk segmentering. Följ stegen i 2.1-2.1.2 i anvisningarna för manuell spårning.
   3. Navigera genom skivor och väljer område för segmentering. Om det behövs, beskära ut en mindre 3D-sub-volym för segmentering. Följ stegen i 2.2-2.2.2 i anvisningarna för manuell spårning.
   4. Välj densitet aven funktion av intresse, oftast genom att klicka på eller placera ett märke eller ankarpunkt på funktionen. Om tillåtet i mjukvaran, ange ett nummerområde som omfattar funktionens pixelintensitet och justera denna tolerans enligt önskemål. Densiteter tillhör funktionen kommer att plockas upp i enlighet med intensiteten av ankaret s pixel eller toleransvärde. Använd följande kommandon när du använder Amira.
      1. Använd Magic Wand Tool för funktioner med urskiljbara marginaler.
         1. Klicka på det område av intresse, sedan justerar reglagen i Display och Maskering att fånga rätt intervall av värden, så att funktionen är helt markerad. Lägg urval med genväg "a".
      2. Använd Threshold Verktyg för funktioner utan klart urskiljbara marginaler.
      3. Välj ikonen Threshold. Justera reglaget för att justera densiteten inom önskvärt intervall, så att endast de funktioner av intresse är maskerade. Klicka på knappen Välj, lägg sedan till val med genväg220; a ".
      4. För segmentet hela volymen, välj Alla skivor innan du lägger val.
      5. För att ta bort brus, väljer segmente> Ta bort öarna och / eller Segmente> Smooth etiketter.
   5. Generera en yta för visualisering och kvalitativ analys som beskrivs i handboken spårning avsnitt 2.6-2.6.2. Om så önskas kan exportera till andra program för adekvat 3D, kvantitativ analys och simuleringar.

   4 skräddarsydda automatiserade segmente

   Obs: Använd denna inställning för att skapa anpassade skript för automatisk segmentering, vilket kräver bakgrunds erfarenhet i datavetenskap, men tillåter möjligheten att skapa en exakt densitet modell från en stor volym.

   1. Verktyg (specifikt exempel på Shape-Övervakad Segmente i MATLAB ²⁷⁾
      1. Bild förbehandling: Utför de-brusreducering, bakgrundsborttagning och bildförbättringmed hjälp av följande pipeline:
         1. Fyll bilden med imread kommandot.
            1. På kommandoraden skriver du: >> im = imread ($ image_path), där $ image_path är platsen för den bild som ska analyseras.
         2. Från bildbehandling verktygslåda, ring Wiener filter med hjälp av en beräknad eller känd Noise-effekt-signalförhållande (NSR).
         3. På tidigare behandlade bilden, ring bildöppningsfunktionen imopen att uppskatta bakgrundslagret och sedan fördela resultatet som en annan mask.
            1. På kommandoraden, skriv:. >> Bakgrund = imopen (im, Strel ($ shape_string, $ storlek)), i denna metod är $ shape_string lika med "disk" variabeln $ storlek ges av analysatorn dvs >> bakgrund = imopen (im, Strel ("disk", 15)).
         4. Subtrahera den filtrerade bilden med bakgrunden.
            1. På kommandoraden skriver du: >> IM2 = im -bakgrund
         5. Beroende på kvaliteten på resultaten, utför bild normalisering med eller utan adaptiv Otsu metod ^28, som kan kallas med funktionen imadjust från Image Processing Toolbox.
            1. På kommandoraden skriver du: >> im3 = imadjust (IM2)
         6. Förbered funktioner av intresse för segmentering, begränsa områden av intresse genom att beskära den normaliserade bilden.
            1. Med kommandot imtool, utforska regionen av intresse som ska beskäras och ge koordinaterna till kommandot: >> im3_crop = imcrop (im3, [x1 y1 x2 y2]), där vektorn [x1 y1 x2 y2] motsvarar torget området som ska beskäras.
      2. Formigenkänning / Övervakad form klassificering: träna algoritmen genom att ge konkreta exempel för varje annan kategori av objekt (linjära spår i en 2D-bild över de funktioner av intresse).
         1. Kontrollera att VLFEAT ²⁹ API har installerats och besök VLFEAT hemsida för mer djupgående dokumentation.
         2. På kommandoraden anger du: >> [TREE, ASGN] = VL_HIKMEANS (im3_crop, $ K, $ NLEAVES) där $ K är antalet kluster som ska användas eller antalet klasser observatören vill ordna data till, och $ NLEAVES är det önskade antalet blad kluster dvs >> [TREE, ASGN] = VL_HIKMEANS (im3_crop, 4100)
         3. Använd manuellt segmente funktioner som ingång för VLFeat.
            OBS: Denna öppen källkod C-baserat bibliotek utför pixelpatchning, patch klustring och klustercenter placering beroende på vilken typ av metod som valts för att fungera bäst för de datamängder. De tillgängliga alternativen varierar från k-mean klustring att texton baserade metoder ^30, och utgången är en numerisk matris som beskriver funktionerna önskade utifrån givna förebilder.
   2. Segmentering: Använd det här fully automatiserad, men beräkningsmässigt dyrt, inställning till segmentet flera klasser av objekt samtidigt, vilket kommer att skrivas ut som separata kartor för vidare visualisering och analys.
      1. Fyll på tidigare genererade siffran array (modell).
      2. Ring stödvektormaskin (SVM) funktion i VLFeat, med hjälp av modellen och bilden ska fördelas som en ingång.
         1. På kommandoraden anger du: >> [w, b] = vl_svmtrain (x, y, 0,1), där x är den ursprungliga beskurna bilden im2_crop och y är målet bilden, den bild som har manuell segmente. Använd >> ISEG = VL_IMSEG (I, ETIKETTER) att färga resultaten enligt etiketterna som genereras av klustring.
            OBS: Baserat på egenskaperna hos modellen, kommer VLFeat klassificera bilden på antalet klasser (funktioner av intresse) tilldelade från början. Beroende på graden av noggrannhet önskas är det möjligt att kombinera denna metod med andra metoder eller uppskattning clustER parametrar såsom skrov och klustercentra. Utsignalen från SVM algoritm är en probabilistisk modell och multipla binära masker av de önskade klasserna i de nya datauppsättningar.
      3. Spara resultatet genom att skriva kommandot: >> imwrite (im, $ format, $ filename) där $ formatet är "tiff" och $ filnamn är sökvägen för utdatafilen.
      4. För att visualisera bilder, skriv kommandot: >> imshow (im).

Representative Results

Figur 1 visar ett typiskt arbetsflöde för 3D elektronmikroskopi cellulär imaging, inklusive elektron tomografi, FIB-SEM, och SBF-SEM. Arbetsflödet innefattar insamling av rådata, data som inriktning och återuppbyggnad i en 3D-volym, brusreducering genom filtrering, och vid behov, beskärning till det intressanta området för att maximera effektiviteten hos den valda segmente programvaran. Sådan förbehandlade uppgifter är sedan klar för feature extraction / segmentering.

Figur 2 visar arbetsflödet som anges i figur 1 med fyra olika datamängder (som kommer att införas vidare nedan), varav två är hartsinbäddade prover som registrerats av elektron tomografi (figurerna 2A, 2B), med de andra två som härrör från FIB -SEM och SBF-SEM, respektive (figur 2C, 2D). Bilder i figur 2 kolumn 1 är projektionvisningar (Figurerna 2A1, 2B1) och blockera yta bilder (Siffror 2C1, 2D1), respektive, som vid anpassning och återuppbyggnad är monterade i en 3D-volym. Kolumn 2 visar skär genom sådana 3D-volymer, som vid filtrering (kolumn 3) visar en signifikant minskning av buller och därför ofta verkar mer skarpa. När du har valt och beskära den stora 3D-volymen till regionen av intresse (kolumn 4), kan 3D-renderingar av segmenterade funktioner av intresse (kolumn 5) erhållas och ytterligare inspekteras, färgkodade och kvantitativt analyseras.

Totalt sex 3D-datamängder, var och en innehållande en bunt bilder som erhålls antingen genom elektron tomografi (3 dataset), FIB-SEM (2 dataset) eller SBF-SEM (1 dataset) används för att jämföra hur var och en av de fyra segmenteringsmetoder utför (Figur 3). De datamängder stammar från en rad olika forskningsprojekt i laboratoriet och ger därmed areasonably mångfald av typiska experimentella data. Samtliga dataset undersöktes av fyra oberoende forskare, som alla är mest bekant med en viss metod, och de åtalades ge bästa möjliga resultat för var och en av de sex datamängder.

De datamängder är från prover enligt följande: 1. Figurer 3A1-3A5: högtryck frysta, frys substituerade och harts inbäddade chick innerörat hårceller stereocilier ³¹ 2. Figurer 3B1-3B5: högtryck frysta, fryst substituerade och harts inbäddade växtcellvägg (opublicerad), 3. Siffror 3C1-3C5: högtrycksfrysta, fryst substituerade och harts inbäddade innerörat hårceller kinocilium (opublicerad), 4. Siffror 3D1-3D5: hög tryck fryst, fryst substituerad och hartsinbäddade block av mitokondrier belägna i humana bröstkörtelepitelceller HMT-3522 S1 acini, som har odlats i laminin rik extracellular matrix ^32,33, 5. Figurer 3E1-3E5: ofärgade bänkskiva bearbetas, hartsinbäddade block av en sulfat Reducer bakteriella biofilmer (manuskript under utarbetande), och 6 Figurer 3F1-3F5: membran gränsen för angränsande celler i HMT -3522 S1 acini.

Som framgår av Figur 3, kan olika segmenteringsmetoder leda till mestadels liknande resultat för en del data set typer, men helt olika resultat för andra datatyper. Till exempel hårceller sinneshår dataset (Figur 3A) ger rimliga segmente volymer med alla fyra metoder, med manuell abstraherade modellen genereras av en van användare är den tydligaste att tolka och mäta. I detta fall gör en sådan modell för snabba mätningar av filafilament avstånd, räkna om antalet länkar som finns mellan de långsträckta trådar, samt fastställande av saknade delarna av densitetskartan motsvarandetill platser där exemplaret skadats under beredningen av proverna ^34. Sådan information är mycket svårare att få med de övriga tre segmenteringsmetoder, även om skräddarsydda automatiserade segmente ger bättre resultat än rent densitetsbaserad tröskling.

För växtcellväggen (Figur 3B), verkade manuell modell generation att vara den mest effektiva i att förmedla en känsla av ordning i cellväggen, som ingen av de andra metoder uppnå. Men den abstraherade modellen inte fånga crowdedness av objekten i datamängden. Manuellt spåra drag av intresse verkar ge ett bättre resultat än de densitetsbaserad eller form-övervakade metoder. Å andra sidan är manuell spårning mycket arbetskrävande och identifierings gränser funktionerna är något subjektiva. Därför får automatiserade metoder vara att föredra för att segmentera stora volymer med en potentiell avvägning mellan precision ochresurser satsas på manuell segmentering.

För kinocilium datauppsättningen (figur 3C), manuell abstraherade modellgenerering ger den renaste resultat och avslöjar en oväntad arkitektur av tre mikrotubuli vid centrum av den kinocilium, en detalj som är lätt synliga i de beskurna data, men förlorade i alla andra lösningar , förmodligen beroende på att fläcka heterogenitet. Men andra potentiellt viktiga funktioner i densitetskartan missat i den manuella generationen av en abstrakt modell. Detta beror på det faktum att den subjektiva naturen av manuell modell bildning leder till en idealisering och abstraktion av den verkliga tätheten observerats, och därför till en subjektiv tolkning under modellbildning. Därför detta exempel fint visar hur manuell abstraherade modell generation gör att man kan koncentrera sig på en särskild aspekt av 3D-volymen. Men den selektiva perception och förenkling inte ge en fullständig redogörelse för alla de protein complexes som finns i datamängden. Därför, om syftet är att visa komplexiteten i data, då en är bättre serveras med någon av de andra tre metoder.

När det gäller 3D-matris-odlade bröstkörtel acini (Figur 3D), är hög kontrast mitokondrier segmenterad av alla fyra strategier med lätthet, med manuell spårning av funktioner som inte alltför överraskande som ger bästa resultat med det lägsta beloppet för kontaminering ( Figur 3D3). Dock är manuell spårning mycket arbetskrävande och är därför av begränsad nytta för stora volymer. Både tröskelbaserad täthet och form-övervakad automatisk segmente extrahera mitokondrierna ganska bra, och skulle leda till en nästan perfekt segmente, om ytterligare tricks för rensning används (t.ex. eliminera alla objekt under en viss tröskel för voxel täthet) som finns i olika paket. I det här fallet gjorde manuell abstraherade modellbygge inte gelovande resultat, delvis eftersom mitokondrierna inte lätt approximeras med bollen och stick-modeller.

När det gäller den bakteriella jord community / biofilm (Figur 3E), tre av de fyra metoder ger rimliga resultat, med den manuella modellen generationen inte fungerar bra på grund av utmaningen att representera biologiska objekt, till exempel bakterier, genom geometriska former. Cellulära bihang som kommer från bakterien kan påvisas i de automatiserade segmente metoder, men inte lika bra i den manuella funktionen spårning. Shape-övervakad skräddarsydda automatiserade segmente kan ytterligare separera de extracellulära funktioner från bakterierna trots deras liknande densiteter (data visas ej), vilket möjliggör enkel kvantifiering även om extremt stora datamängder. Eftersom detta är ursprungligen en mycket stor datamängd, det skräddarsydda automatiserade segmente klart konkurreras alla andra lösningar, men kan ha gynnats av låg komplexitetoch den relativt gles fördelning av objekt av intresse (låg crowdedness).

Vid prövningen gränssnittet mellan två eukaryota celler i en vävnadsliknande sammanhang (Figur 3F), endast manuell spårning av funktioner av intresse gett goda resultat. Automatiserade densitetsbaserad segmente metoder inte upptäcker membran gränsen mellan intilliggande celler helt och hållet, och till och med skräddarsydda strategier misslyckas, delvis på grund av formen på en cell inte är lätt approximeras eller jämställas med former, trots dess tydliga framgångar för bakterierna i biofilmen (Figur 3E5).

Observationen av figur 3 att segmente metoder gör bra på vissa datamängder, men inte på andra ledde till frågan om vad som kännetecknar var och en av dessa datamängder, och om det var möjligt att kategorisera typer av dataegenskaper eller personliga syften som föreföll stämmer väl med deras respektive tillvägagångssätt. Systematisk studie av detta ämne har inte tidigare genomförts, och därmed som ett första steg en etablering av en empirisk förteckning över bildegenskaper och personliga målsättningar kan guida en novis i sina försök att hitta den bästa metoden för feature extraction av deras respektive datamängd.

Åtta kriterier identifierades som betydande visas i figur 4, och de kan delas in i två huvudkategorier: (1) de funktioner som är inneboende i datamängden, och (2) forskarens personliga mål och andra överväganden som är något mer subjektiva, om än lika viktiga. Exemplen är främst hämtade från de sex dataset i figur 3, med ytterligare tre datamängder införs: en (Figur 4A1) är en kryo-tomogram av Cryo-sektion av Arabidopsis thaliana växtcellvägg, den andra (figur 4A2 , 4B1, 4D1 fig 3F1-3F5 men är ännu mer väsentligt komplicerad, och den tredje (figur 4B2 , 4D2) är ett harts sektion tomogram av innerörat hårceller sinneshår i snitt, liknande den exempelinnehåll som visas i längsgående vy i Figuress 2A1-2A5 och 3A1-3A5.

För den kategori av de objektiva kriterier som bildegenskaper, föreslås fyra drag som ingår i datamängderna vara av betydelse:

1. Data kontrast kan vara (1) låg (figur 4A1) som är typiskt för Cryo-EM tomogram, (2) mellan (figur 4A2), såsom i cellulära scenerier utan tydlig organell eller annan framträdande ställning eller (3) högt (figur 4A3), vilket är fallet för kinociliary tomogram eller sinneshår i tvärsnitt, på grund av anpassningen av tydligt åtskilda trådformiga element inom z-riktningen.
2. Uppgifterna kan vara suddig (Figur 4B1), utan synligt tydliga gränser mellan två tätt placerade objekt, t.ex. celler i en vävnad eller skarpa (figur 4B2), med skarpt definierade gränser. Detta är delvis en funktion av datamängden resolution, som i sig är högre med en faktor på cirka 2-4 för elektron tomogram jämfört med FIB-SEM. Naturligtvis skarpare gränser är önskvärda för både manuell och automatisk segmente metoder, men avgörande för det senare.
3. De densitetskartor kan vara antingen trångt (Figur 4C1) som reflekteras av de tätt placerade växtcellväggskomponenter, eller glest befolkade (Figur 4C2), liksom bakterierna i en koloni, som exemplifierar separationen som gör automatisk bildsegmente betydligt lättare.
4. Densitet kartor kan vara mycket komplex med vitt skilda egenskaper ofta med oregelbundna former, såsom stria vascularis vävnad runt ett blodkärl (Figur 4D1) eller väldefinierade organell liknande föremål med en liknande organisation, till exempel sinneshår i tvärsnitt ( Figur 4D2).

Notera även de väldigt olika skalor i alla olika exempel, vilket gör jämförelsen lite svårt.

Bortsett från de mer objektiva kriterier såsom bildegenskaper, fyra mycket subjektiva kriterier som kommer att styra valet av lämplig bana föreslås också:

1. Önskad Syfte: Syftet kan vara att visualisera håret bunt stereocilium i sin komplexitet och att fastställa och undersöka formen på objektet (Figur 4E1), eller för att skapa en förenklad och abstraherade boll och stick modell som är inbyggd i densitetskartan och medger en snabb räkning av ettnd mätning av geometriska objekt (trådlängd, avstånd och antal anslutningar) (Figur 4E2).
2. Funktionen morfologi kan vara mycket oregelbunden och komplex liknande celler, exempelvis interaktions cell-cellzoner (Figur 4F1), något liknande sätt formade med viss variation, såsom mitokondrier (Figur 4F2) eller mestadels identiskt formade, såsom aktinfilament och kors länkar i ett hår bunt i longitudinell riktning (figur 4F3).
3. Andelen funktionen av intresse (befolkningstäthet) är viktigt, eftersom man kanske vill segment alla funktioner i en 3D-datauppsättning, vilket är fallet för växtcellväggar (Figur 4G1), eller bara en liten bråkdel av den cellulära volymen såsom är fallet i mitokondrierna i en heterogen cellplats (Figur 4G2). Beroende på storleken av datauppsättningen och den procentandel av volymen som kräver segmentering, kan det vara mest effektivt att användamanuella metoder. I andra fall, till exempel när man är intresserad av en mängd funktioner, det finns helt enkelt inget alternativ till att använda halvautomatiska segmente metoder.
4. En annan viktig subjektiva kriteriet är mängden resurser man är villig att investera i segmenteringsprocessen och vilken nivå av trohet är skyldig att svara på en biologisk fråga. Man kanske vill och behöver kvantifiera en funktion s volymparametrar (såsom storlek, volym, yta, längd, avstånd från andra funktioner, etc.), i vilket fall mer vård kan behövas för att få exakt kvantitativ information (Figur 4H1), eller syftet kan vara att bara knäppa en bild av sin 3D-form (Figur 4H2). I en idealisk värld där resurserna är obegränsade, en uppenbarligen inte vill göra några kompromisser, utan snarare välja den mest exakta väg användar assisterad manuell feature extraction. Även om detta kan fungera för många datamängder, inom en snar framtid 3D volymer wil l vara i storleksordningen 10k med 10k med 10k eller högre, och manuell segmentering kommer inte längre att kunna spela en framträdande roll i segmente sådan enorm utrymme. Beroende på komplexiteten i de uppgifter och andra datastandard, kan halvautomatisk segmente blivit en nödvändighet.

I figur 5, är styrkor och begränsningar kort som anges för de fyra segmente metoder. De personliga mål och bildegenskaper som visas i figur 4 som kan koppla ihop med respektive metod beskrivs också. I figur 6, personliga mål och bildegenskaper sex dataset exemplifiera hur triage uppgifter och besluta om den bästa metoden. Båda figurerna 5 och 6 har kompletterats i diskussionen.

belastning / 51673 / 51673fig1highres.jpg "width =" 500px "/>
Figur 1 Arbetsflöde för biologisk avbildning rekonstruktion och analys. Detta diagram ger en översikt över de olika åtgärder som vidtagits för att samla in och bearbeta bilder som samlats in av tomografi, fokuserad jonstråle SEM, och serieblock ansikte SEM. Raw datainsamlings resultat i 2D tilt-serien eller seriesektioner. Dessa 2D-bilduppsättningar måste anpassas och rekonstrueras i 3D, sedan filtreras för att minska buller och öka kontrasten funktioner av intresse. Slutligen kan data segmenteras och analyseras, i slutändan resulterar i en 3D-modell. Klicka här för att se en större version av denna siffra.

Figur 2.. Exempel på arbetsflöde för olika datatyper från tomografi och FIB-SEM Varje steg i arbetsflödet efter datainsamlingen visas genom fyra datamängder (rader AD): harts inbäddade målat tomografi av längdsnitt sinneshår harts inbäddade målat tomografi av växtcellvägg cellulosa, FIB-SEM av bröstcancer epitelceller mitokondrier och SBF-SEM av E. coli-bakterier. En 2D-skiva genom rådata visas i kolumn 1, och en bild från data efter anpassning och 3D-rekonstruktion omfattar kolumn 2. filtreringstekniker som tillämpas i kolumn 3 är följande: medianfilter (A3), icke-anisotropisk diffusion filter (B3), Gaussisk oskärpa (C3) och MATLAB: s imadjust filter (D3). Ett exempel på den bästa segmentering för varje datauppsättning från den odlade arealen av intresse (kolumn 4) visas som en 3D-rendering i kolumn 5. Skala barer: A1-A3 = 200 nm, A4 = 150 nm, A5 = 50 nm, B1-B3 = 200 nm, B4-B5 = 100 nm, C1-C3 = 1 mm, C4-C5 = 500 nm,D1-D3 = 2 mm, D4-D5 = 200 nm. Klicka här för att se en större version av denna siffra.

Figur 3 Tillämpning av fyra segmente metoder för exempelvis datamängder Sex exempel dataset var segmente av alla fyra strategier:. Manuell abstraherade modell generation, manuell spårning, automatiserad täthetsbaserad segmente och skräddarsydd automatisk segmentering. Manuell abstraherade modell generation var effektivt för hartset inbäddade färgade tomografi av sinneshår (A), eftersom syftet var att skapa en modell för kvantitativa ändamål i stället för att extrahera densiteter. För hartset inbäddade målat tomografi av växtcellväggen (B), automatiserad densitet baserade Segmentation var den mest effektiva metoden för att snabbt utvinna cellulosan genom många skivor, där som de manuella metoder tog mycket mer ansträngning på bara några skivor av data. Manuell abstraherade modell generation genererat mikrotubuli tripletten i färgade tomografi av kinocilium (C), medan andra segmenteringsmetoder inte, men de två automatiserade metoder extraherade densitet snabbare och därför att föredra. På grund av formen på mitokondrier från FIB-SEM av bröst epitelceller (D), manuell spårning förutsatt den renaste resultat, och den låga befolkningstätheten i kombination med användning av interpoleringsmetoder som tillåts för snabb segmentering. Med tanke på den stora volym som behövs för att vara segmenterade, skräddarsydda automatiserade segmente visat sig vara mest effektivt att segmentera SBF-SEM bakterier data (E), men både automatiska metoder var jämförbara. Även tidskrävande, den enda metoden för att extrahera FIB-SEM för bröst epitelial cellmembranet (F) var manuell spårning Scale Bar.:A1-A5 = 100 nm, B1-B5 = 100 nm, C1-C5 = 50 nm, D1-D5 = 500 nm, E1-E5 = 200 nm, F1-F5, barer = 500 nm. Klicka här för att se en större version av denna siffra.

Figur 4. mål bildegenskaper och subjektiva personliga mål för triaging av datamängder. Använda exempel på datauppsättning egenskaper, föreslås kriterier för att informera ett beslut om vilken segmente metod att använda. När det gäller objektiva egenskaper, kan uppgifterna i sig ha kontrast som är låg, medel eller hög (A1-A3), vara suddig eller skarp (B1-B2), placerade eller trångt (C1-C2), och har komplexa eller helt enkelt organiserade funktioner (D1-D2). Subjektiva personliga mål inkluderar den önskade o ÅL rikta en förenklad modell eller utvinna de exakta densiteter (E1-E2), som identifierar en veckad plåt, invecklad volym, eller linjär morfologi som funktion av intresse (F1-F3), välja en hög eller låg befolkningstäthet i egenskap av ränta (G1-G2), och besluta om avvägningen mellan hifi-och hög-resursallokering för en minskande avkastning på investeringar såsom tid (H1-H2) Skala Bars:. A1 = 50 nm, A2 = 1500 nm , A3 = 100 nm, B1 = 1500 nm, B2 = 200 nm, C1 = 100 nm, C2 = 200 nm, D1 = 10 mm, D2 = 200 nm, E1 = 100 nm, E2 = 50 nm, F1-F2 = 500 nm, F3 = 50 nm, G1 = 100 nm, G2 = 1 mm, H1-H2 = 100 nm. Klicka här för att se en större version av denna siffra.

px "/>
Figur 5 Jämförelse tabell över uppgifter och subjektiva syftar lämpliga för olika segmente metoder. I tabellen sammanfattas de styrkor och begränsningar för varje segmente strategi. Kriterierna från figur 4 kan hjälpa till att identifiera vilka datamängder är lämpliga för vilka segmentemetod. Dessa objektiva bildegenskaper och subjektiva personliga mål valdes för optimalt utnyttjande av varje metod, men olika kombinationer kan hindra eller hjälpa effektiviteten i segmente. Klicka här för att se en större version av denna siffra.

Figur 6 Beslut flödesschema för effektiv tskap av segmente metoder för datamängder med olika egenskaper. Baserat på de egenskaper som anges i figur 4, illustrerar detta diagram som fyra kriterier bidrog mest till det slutliga beslutet om den bästa segmente strategi för varje datauppsättning från figur 3. Varje datauppsättning är färgkodade för att snabbt följa de djärva linjerna representerar det primära beslutsprocessen samt de streckade linjerna som speglar en alternativ väg som kan eller inte kan leda till att samma strategi. De kinocilium, bakterier och växtcellväggs dataset var bäst segmenterad med de två automatiserade metoder. Däremot cellmembranet och mitokondrier stigar leder alltid till manuell spårning på grund av sina svåra egenskaper. Klicka här för att se en större version av denna siffra.

Discussion

Effektiva strategier för utvinning av relevanta funktioner från 3D EM volymer akut behov för att hålla jämna steg med de data tsunami som nyligen har drabbat biologisk avbildning. Även data kan genereras i timmar eller dagar, tar det flera månader att analysera 3D-volymerna på djupet. Därför är det klart att bildanalysen har blivit en flaskhals för vetenskapliga upptäckter; utan tillräckliga lösningar på dessa problem, imaging forskarna blir offer för sin egen framgång. Detta beror delvis på grund av den höga komplexiteten av data och även makromolekylära trängsel normalt återfinns i biologiska celler, där proteiner och proteinkomplex angränsar varandra och i huvudsak uppträder som en kontinuerlig gradient av gråskala densiteter. Problemet kompliceras av beredning och bildprovet brister, och i vissa fall bildrekonstruktions artefakter, vilket leder till mindre än perfekt volymuppgifter som kan innebära utmaningar för helautomatisk metodes. Mest betydande är dock det faktum att experter i provberedning, bildbehandling och den biologiska tolkningen sällan väl bevandrad i beräkningsvetenskap, och därmed kräver vägledning om hur man effektivt närma funktion extraktion och analys. Därför hjälp av olika exempel, förklarar protokollet hur man förbereder data för segmentering samt stegen för manuell abstraherade modell generation, automatiserad täthetsbaserad segmentering, manuell spårning av funktioner i intresse och skräddarsydd automatisk segmentering. De manuella och automatiska metoder som beskrivs i förfarandet finns i en mängd olika segmente mjukvara, varav några nämns här, men andra utför liknande funktioner och är lika väl lämpade.

Resultaten visar att effekten av var och en av 3D-segmenteringsmetoder varierar för varje typ av datamängder. Även om de olika metoder som produceras kvalitativt similar 3D renderingar som slutprodukten, den tid och ansträngning läggs på var och under segmenteringsprocessen varierade kraftigt. Rekommendationerna för lämpliga bildegenskaper och personliga mål per segmente synsätt sammanfattas i Figur 5, vilket ytterligare förklaras i de följande fyra avsnitten. Dessa kriterier tillämpas på de sex dataset, vilket framgår av beslutet flödesschemat i figur 6. Även om figurerna 5 och 6 är enbart tänkt att ge en logisk grund för varje datamängd och hur var och en av kriterierna viktas i beslutsprocessen, de ger inte ett idiotsäkert vägledning, utan snarare en utgångspunkt. Det finns helt enkelt för många kriterier som påverkar beslutsfattandet: en del är objektiva kriterier, till exempel uppgifter set egenskaper, medan andra är mer subjektiva kriterier, såsom det önskade målet. Det är säkert att säga att datauppsättningar som visar en hög nivåel kontrast med skarpa skarpa gränser, har funktioner som är väl åtskilda och relativt homogen (inte alltför varierande) och bearbetas i syfte att visa en modell täthet för ett stort antal objekt, kommer automatiserade metoder vara överlägsen, om inte för att manuella metoder helt enkelt skulle vara resurs (tid) -prohibitive. Å andra sidan, om kontrasten är låg, är den data som otydlig och därför kräver en expert kunskap, objekten är trångt, och de funktioner visar en hög mångfald och därmed heterogena, kanske man inte har något annat val än manuell feature extraction / segmentering.

Manuell Abstracted Model Generation

Manuell abstraherade modell spårning är särskilt effektiv i segmentera linjära element, ger frön punkter (bollar) som automatiskt kan anslutas (pinnar). Sådana bollar och pinnar-modeller kan vara mycket kraftfullt för att mäta längd and orienteringen av modellen och ger en tillräckligt abstraherade modell för både kvalitativa inspektion och kvantitativ analys. Manuell abstraherade modellgenerering används ofta när minimera resurser spenderas på analysen är viktigare än absolut trohet till formerna på de ursprungliga uppgifterna. Det är mest framgångsrika med linjära och homogena funktioner av intresse (t.ex. fibrer, rör). Data kontrast, skärpa och trängsel inte spelar en viktig roll för hur den här metoden framgång, så länge som det mänskliga ögat kan känna igen föremål för intresse. Ibland sådana modeller kan också användas som ett skelett att segmentera 3D-karta i en zon runt skelettet. Även om modellen är abstrakt och inte en återspegling av exakta densiteter, innebär det en skeletonized version av 3D-täthet och därmed möjliggör plotter visualisering och kvalitativ analys. Kvantitativa mätningar såsom längd kan även bestämmas från den ungefärliga modellen. För enexempel på program med manuell abstraherade modell generation, besök Chimera detaljerade användarhandboken online på http://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/index.html .

Manuell spårning av funktioner av intresse

Manuell pensel spårning fungerar bra med nästan alla datastandard, men det är också den mest tidskrävande metod. Ibland är det den enda teknik för att extrahera en del av intresse från en komplex bildserien som innehåller en stor mängd funktioner, som till exempel den tunna och invecklad cellmembran. Ett användbart verktyg som finns i vissa program gör det möjligt för interpolering mellan intermittent segmente skivor när funktionen av ränta ändras smidigt. Manuell spårning kan användas mest effektivt om uppgifterna är skarp och har medelhög till hög kontrast, men den kan också användasför mer krävande datamängder, så länge användaren är bekant med objekt av intresse. Data komplexitet kan variera från diskreta objekt till komplexa och trångt datamängder, där föremål är tätt packade. I det senare fallet kan manuell segmente vara det enda valet, som automatiska metoder kämpar ofta för att segmentet önskad volym och extrahera för mycket eller för lite. Svåra har morfologier, såsom invecklade ark eller volymer, kan också extraheras genom detta förfarande. Dock bör användaren ha i åtanke att en datamängd med flera svåra egenskaper endast kan segmenteras om befolkningstäthet av funktionerna i intresse är lågt, eftersom segmentering av hög befolkningstäthet på aspekter av intresse blir tids oöverkomliga. För ett exempel på program med manuell spårning, besök Amira detaljerade användarhandboken online på http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf.

Automatiserad Densitet baserad segmentering

I motsats till de manuella tekniker, de automatiserade metoder är i allmänhet mindre tidskrävande, vilket är en viktig faktor att beakta när man segmentera en stor bunt med bilder. Dock kan enkelt tröskel inte lika precis, och mycket mer tid kan läggas på förfining och säkring av automatiskt segmente volymen. Automatiserad densitetsbaserad segmentering fungerar bäst på datamängder som visar ett stort antal liknande funktioner av intresse att alla kräver segmentering. Om data är mer komplex, kan dessa automatiserade tekniker fortfarande fungera som ett första steg, men kommer sannolikt att kräva någon manuell inblandning ner linjen för att ange en delvolymen innehåller inslag av intresse. Denna strategi fungerar oftast väl på linjära morfologier eller vindlingar volymer, men det är sällan framgångsrika med tunna veckade ark såsomcellmembran. Färre användaringripanden med automatiserade metoder möjliggör segmentering genom stora eller små volymer, samtidigt som spilla några användar resurser såsom tid i utbyte mot high fidelity. För ett exempel på program med automatisk densitetsbaserad segmentering, besök Amira detaljerade användarhandboken online på http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf .

Skräddarsydda automatiserade segmente

Skräddarsydd automatisk segmentering gör att effekt anpassning av algoritmer för en viss datamängd, men det är ofta specifika för datamängden eller datatypen, som är lämpliga för ett begränsat antal spelegenskaper, och kan inte generaliseras lätt. Förfarandet utställningsmonter här skiljer sig från de allmänna automatiserade segmente angreppssätt som vattendelare nedsänkning och annan nivå set-metoder, som förlitar sig på en programmerad bestämning av kritiska punkter utsäde, följt av snabbt marschera kub expansion från dessa utsädes poäng. En variant på detta tema är gränssegmentering, där gradientvektorn informationen informerar funktionsgränser. Däremot anpassade skript som används här bygger på en tränings stadium där användaren spårar några exempel manuellt. Genom maskininlärning kommer särskilda algoritmer upptäcka och sedan lära sig att självständigt identifiera fastigheter och dataegenskaper gående finns i spåren. En van användare kan omskola de algoritmer och förbättra noggrannheten i segmente genom att inkludera fler exempel skrivs för att ge en större uppsättning med funktionskriterier. Sammantaget kan tröskel och relaterade strategier, eller till och med skräddarsydda strategier inte vara lika användbar för att extrahera en enstaka inslag av intresse från en bild med komplex mångfald av organeller eller former, som säkring kan vara lika arbetskrävande som manuell spårning.

">

Strategier för Triaging Data och välja ett Segmente Approach

Med tanke på de subjektiva och objektiva kriterier som presenteras i Figur 4 och sammanfattning av lämpliga datamängder i figur 5, kan beslutsprocessen systemet visas i Figur 6 hjälpa en effektiv bedömning av funktion extraktion strategier för ett stort antal olika datamängder. De datamängder är gallrad i fyra på varandra följande beslut, som var och en kan innefatta någon av de fyra respektive mål samt de fyra subjektiva kriterier som införts i Figur 4. Som ett exempel, är det rationellt för triaging vardera av de sex uppgifterna Figur 6 uppsättningar visas i figur 3. Utan tvekan, för varje datamängd finns det inte en enda unik bana, utan snarare olika vägar genom denna matris efter olika kriterier för beslutsfattande som kan leda to samma eller olika rekommendationer för datasegmentering. Även om varje uppsättning data kommer att ha sin egen uppsättning egenskaper, som inte kan förutses, är sex exempel ges, varje parad med en förklaring av logiken bakom föredragna feature extraction / segmente strategi. Mest också innehålla ett förslag till en alternativ beslutsvägen som antingen leder till att använda samma eller en annan segmentering strategi (Figur 6).

Den kinocilium är en skarp datamängd med klart definierade gränser, vilket gör automatiserade metoder större chans att lyckas. Alla funktioner av intresse är väl separerade, återigen gynnar en automatiserad metod. Dessutom funktionerna i intresse är lika varandra, vilket gör det till en relativt homogen datamängd idealisk för skräddarsydd segmentering. Slutligen var målet att utvinna hela funktionen, gynnar ett halvautomatiskt strategi. Följaktligen drogs slutsatsen att en automatiserad tröskel (fast grön linje) samt ett skräddarsytt (t.ex. forma övervakad segmentering) metod (prickad grön linje) är båda benägna att göra bra på denna datamängd.

Liknande kriterier, trots att placeras i en annan ordning i beslutsfattandet nätet, gäller för fallet med bakterier. En skräddarsydd metod rekommenderas delvis eftersom denna datamängd var mycket stor; därmed begränsade resurser förbjuder en arbetsintensiv manuella ingrepp / segmente strategi. Medan tröskel skulle ha gett acceptabla resultat, den skräddarsydda tillvägagångssätt kunde verkställa studiens huvudmål att separera de rundade bakteriella former från de extracellulära metallfyndigheter, som ligger antingen i-mellan bakterierna eller intill bakterierna, och därför skräddarsydda tillvägagångssätt föredrogs.

För sinneshår datamängder, det första överväg var det önskade målet: Målet kan antingen vara att visa hela densiteteneller för att skapa geometriska modeller. Volymen av intresse var ett trångt område, och målet var att segmentera ett stort antal objekt som separerade objekt i syfte att därefter genomföra kvantitativa volymetriska analyser, inklusive längder, siffror, avstånd, riktning, etc. Det var bra att ändamålen med intresset var huvudsakligen linjära, och detta gjorde geometriska modellen spåra metod. Men om i stället syftet har varit att visa hela densitet, då den linjära funktionen morfologi samt relativt hög kontrast med skarpt definierade gränser skulle göra en automatisk tröskelprotokoll genomförbart.

De cellmembran och mitokondrier Datafall är utmanande för automatiserade metoder på grund av deras kategorier av funktionen morfologi: invecklade lakan och volymer, respektive. Målet är att spåra cellen eller mitokondrier kontur korrekt, men det finns bara ändliga resurser att göra det. Dessutom funktionerna i interest är komplexa och kan inte vara lätt upptäcks automatiskt eller form-kodad, men för mitokondrierna dataset den anpassade skript tillvägagångssätt som för bakterierna kan eventuellt appliceras med ytterligare anpassning. Lyckligtvis membranet och mitokondrierna själva bara utgör en liten del av hela volymen och därmed är en enkel om än tidskrävande metod manuell spårning. Manuell spårning är också den metoden för sådana datamängder när kontrasten är ganska låg och gränserna är ganska luddiga. Som ett resultat, även om de utgör en väsentlig del av datamängder måste sådana invecklade ark manuellt spåras, helt enkelt på grund av brist på bättre alternativ.

Anläggningen dataset ställde sina egna utmaningar eftersom målet var att segmentera alla objekt, som är tätt placerade och utgör en myllrande landskap. Visning av densitet som det är skulle möjliggöra mätningar om form och organisation av föremålen, men because manuellt segmentera varje trådformiga objekt för dyrt, automatisk tröskel användes istället.

De olika stegen och motsvarande resultat i att skapa en 3D-modell har visats här, men ännu viktigare, de egenskaper data och personliga kriterier som finns vara avgörande för att bestämma den bästa vägen för segmentering har också klarlagts. De viktigaste egenskaperna hos bilddata i sig innefattar det som beskrivs här som kontrast, trängsel, sprödhet, och antalet olika former eller funktioner (t.ex. organeller, fibrer, membran). Subjektiva kriterier att överväga att inkludera det eftersträvade målet om segmentering (mätning / räkning, skeletonized representation av data / visning volymer i 3D-renderingar), morfologiska egenskaper inslag av intresse (linjär, avlång, nätverk, komplex, invecklad), densitet funktioner av intresse i förhållande till hela volymen (den del av de objekt som ärviktigt och behöver extraheras), och balansera avvägningar för spilla resurser till segmente trohet av den ursprungliga uppgifter och den minskande avkastning på investeringen resulterar i inkrementella förbättringar för väsentligt högre resursfördelning.

Området för bildsegmentering har betydligt mognat under de senaste åren, men det finns inga patentlösningar, utan algoritm eller ett program som kan göra allt. Data set storlekar har vuxit från hundratals megabyte för att rutinmässigt tiotals gigabyte, och de börjar nu att överträffa terabyte, vilket gör manuell segmente nära omöjligt. Således mer resurser måste satsas på de smarta och tidseffektiv funktion utvinning metoder som efterliknar det mänskliga beslutsfattandet. Dessa ansträngningar kommer att behöva kombineras med (1) geografiskt informationssystem (GIS) baserade semantiska hierarkiska databaser (liknande Google Earth), (2) uppgifter abstraktion tekniker (dvs övergårfrån en voxel till geometrisk / volymerepresentation) kompatibel med datorstödd konstruktion (CAD) program för att kraftigt minska mängden data och därmed möjliggör visning av större volymer ^35, (3) simuleringstekniker, eftersom de ofta används i tekniska discipliner, samt (4) avancerad animation och filmskapande funktioner, inklusive fly-through animeringar (liknande det som utvecklats för spelindustrin).

Tydligt, effektiv funktion utvinning och segmentering ligger i hjärtat av den kommande revolutionen i cellulär högupplösta bildbehandling, och samtidigt bättre metoder alltid kommer att behövas, de principer som presenteras här, liksom exempel på vad strategi togs för olika datatyper , kommer att ge en del värdefull information för att fatta ett beslut om vilken lösning som är lämpligast.

Materials

Name	Company	Catalog Number	Comments
Amira	FEI Visualization Sciences Group		http://www.vsg3d.com/amira/overview
Chimera	UCSF		http://www.cgl.ucsf.edu/chimera/
Fiji/ImageJ	National Institute of Health		http://fiji.sc/Fiji, http://rsbweb.nih.gov/ij/
IMOD	Boulder Laboratory for 3D Electron Microscopy of Cells		http://bio3d.colorado.edu/imod/
Photoshop	Adobe		http://www.adobe.com/products/ photoshopfamily.html
MATLAB	MathWorks		http://www.mathworks.com/
VLFeat	VLFeat		http://www.vlfeat.org/