Summary
Dette er en metode til træning af et multi-slice U-Net til multi-class segmentering af kryo-elektrontomogrammer ved hjælp af en del af et tomogram som træningsinput. Vi beskriver, hvordan man udleder dette netværk til andre tomogrammer, og hvordan man udtrækker segmenteringer til yderligere analyser, såsom subtomogramgennemsnit og filamentsporing.
Abstract
Kryo-elektrontomografi (cryo-ET) giver forskere mulighed for at afbilde celler i deres oprindelige, hydrerede tilstand med den højeste opløsning, der i øjeblikket er mulig. Teknikken har dog flere begrænsninger, der gør analysen af de data, den genererer, tidskrævende og vanskelig. Håndsegmentering af et enkelt tomogram kan tage fra timer til dage, men et mikroskop kan nemt generere 50 eller flere tomogrammer om dagen. Nuværende deep learning-segmenteringsprogrammer for cryo-ET findes, men er begrænset til segmentering af en struktur ad gangen. Her trænes og anvendes multi-slice U-Net convolutional neurale netværk til automatisk at segmentere flere strukturer samtidigt inden for kryo-tomogrammer. Med korrekt forbehandling kan disse netværk udledes robust til mange tomogrammer uden behov for at træne individuelle netværk for hvert tomogram. Denne arbejdsgang forbedrer dramatisk den hastighed, hvormed kryo-elektrontomogrammer kan analyseres ved at reducere segmenteringstiden ned til under 30 minutter i de fleste tilfælde. Desuden kan segmenteringer bruges til at forbedre nøjagtigheden af filamentsporing inden for en cellulær kontekst og til hurtigt at udtrække koordinater til subtomogramgennemsnit.
Introduction
Udviklingen af hardware og software i det seneste årti har resulteret i en "opløsningsrevolution" for kryo-elektronmikroskopi (cryo-EM)1,2. Med bedre og hurtigere detektorer3, software til automatisering af dataindsamling 4,5 og signalforstærkende fremskridt såsom faseplader6 er indsamling af store mængder kryo-EM-data i høj opløsning relativt ligetil.
Cryo-ET leverer hidtil uset indsigt i cellulær ultrastruktur i en oprindelig, hydreret tilstand 7,8,9,10. Den primære begrænsning er prøvetykkelse, men med vedtagelsen af metoder som fokuseret ionstrålefræsning (FIB), hvor tykke cellulære og vævsprøver tyndes til tomografi11, udvides horisonten for, hvad der kan afbildes med cryo-ET, konstant. De nyeste mikroskoper er i stand til at producere langt over 50 tomogrammer om dagen, og denne hastighed forventes kun at stige på grund af udviklingen af hurtige dataindsamlingsordninger12,13. Analyse af de enorme mængder data, der produceres af cryo-ET, forbliver en flaskehals for denne billeddannelsesmodalitet.
Kvantitativ analyse af tomografisk information kræver, at den først kommenteres. Traditionelt kræver dette håndsegmentering af en ekspert, hvilket er tidskrævende; Afhængigt af den molekylære kompleksitet indeholdt i kryo-tomogrammet kan det tage timer til dage med dedikeret opmærksomhed. Kunstige neurale netværk er en tiltalende løsning på dette problem, da de kan trænes til at udføre størstedelen af segmenteringsarbejdet på en brøkdel af tiden. Convolutional neurale netværk (CNN'er) er specielt velegnede til computer vision opgaver14 og er for nylig blevet tilpasset til analyse af kryo-elektron tomogrammer15,16,17.
Traditionelle CNN'er kræver mange tusinde kommenterede træningsprøver, hvilket ofte ikke er muligt for biologiske billedanalyseopgaver. Derfor har U-Net-arkitekturen udmærket sig i dette rum18 , fordi den er afhængig af dataforøgelse for at træne netværket med succes, hvilket minimerer afhængigheden af store træningssæt. For eksempel kan en U-Net-arkitektur trænes med kun nogle få udsnit af et enkelt tomogram (fire eller fem skiver) og robust udledes til andre tomogrammer uden omskoling. Denne protokol giver en trinvis vejledning til træning af U-Net neurale netværksarkitekturer til segmentering af elektronkryo-tomogrammer i Dragonfly 2022.119.
Dragonfly er kommercielt udviklet software, der bruges til 3D-billedsegmentering og analyse af deep learning-modeller, og den er frit tilgængelig til akademisk brug (nogle geografiske begrænsninger gælder). Det har en avanceret grafisk grænseflade, der gør det muligt for en ikke-ekspert at drage fuld fordel af kræfterne i dyb læring til både semantisk segmentering og billeddenoising. Denne protokol demonstrerer, hvordan man forbehandler og kommenterer kryo-elektrontomogrammer i Dragonfly til træning af kunstige neurale netværk, som derefter kan udledes til hurtigt at segmentere store datasæt. Det diskuterer yderligere og demonstrerer kort, hvordan man bruger segmenterede data til yderligere analyse, såsom filamentsporing og koordinatekstraktion til subtomogramgennemsnit.
Protocol
BEMÆRK: Dragonfly 2022.1 kræver en højtydende arbejdsstation. Systemanbefalinger er inkluderet i materialetabellen sammen med hardwaren på den arbejdsstation, der bruges til denne protokol. Alle tomogrammer, der bruges i denne protokol, er binned 4x fra en pixelstørrelse på 3.3 til 13.2 ang / pix. Prøver, der blev brugt i de repræsentative resultater, blev opnået fra et firma (se materialetabellen), der følger retningslinjer for dyrepleje, der er i overensstemmelse med denne institutions etiske standarder. Det tomogramme, der bruges i denne protokol, og det multi-ROI, der blev genereret som træningsinput, er inkluderet som et samlet datasæt i supplerende fil 1 (som kan findes på https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct), så brugeren kan følge med med de samme data, hvis de ønsker det. Dragonfly er også vært for en open access-database kaldet Infinite Toolbox, hvor brugerne kan dele trænede netværk.
1. Opsætning
- Ændring af standardarbejdsområde:
- Hvis du vil ændre arbejdsområdet, så det afspejler det, der bruges i denne protokol, skal du rulle ned til sektionen Vis egenskaber for scene i venstre side i hovedpanelet og fravælge Vis forklaringer. Rul ned til sektionen Layout, og vælg visningen Enkelt scene og Fire lige visninger.
- Hvis du vil opdatere standardenheden, skal du gå til Filer | Præferencer. I vinduet, der åbnes, skal du ændre standardenheden fra millimeter til nanometer.
- Nyttige standard keybinds:
- Tryk på Esc for at få vist trådkorset i 2D-visningerne og tillade 3D-volumenrotation i 3D-visning. Tryk på X for at skjule trådkorset i 2D-visningerne og tillade 2D-oversættelse og 3D-volumenoversættelse i 3D-visning.
- Hold markøren over trådkorset for at se små pile , der kan klikkes og trækkes for at ændre vinklen på visningsplanet i de andre 2D-visninger.
- Tryk på Z for at indtaste zoomtilstanden i begge visninger, så brugerne kan klikke og trække hvor som helst for at zoome ind og ud.
- Dobbeltklik på en visning i scenen med fire visninger for kun at fokusere på den visning. Dobbeltklik igen for at vende tilbage til alle fire visninger.
- Gem regelmæssigt fremskridt ved at eksportere alt under fanen Egenskaber som et ORS-objekt for nem import. Vælg alle objekterne på listen, og højreklik på Eksporter | Som ORS-objekt. Navngiv filen, og gem. Alternativt kan du gå til Filer | Gem session. For at bruge autosave-funktionen i softwaren skal du aktivere den via File | Indstillinger | Gem automatisk.
2. Import af billeder
- For billedimport, gå til Filer | Importer billedfiler. Klik på Tilføj, naviger til billedfilen, og klik på Åbn | Næste | Afslut.
BEMÆRK: Softwaren genkender ikke .rec-filer. Alle tomogrammer skal have suffikset .mrc. Hvis du bruger de angivne data, skal du i stedet gå til Filer | Importer objekt(er). Gå til filen Training.ORSObject, klik på Åbn, og klik derefter på OK.
3. Forbehandling (figur 1.1)
- Opret en brugerdefineret intensitetsskala (bruges til at kalibrere billedintensiteter på tværs af datasæt). Gå til Hjælpeprogrammer | Dimensionsenhedschef. Klik på + nederst til venstre for at oprette en ny dimensionsenhed.
- Vælg en høj intensitet (lys) og lav intensitet (mørk) funktion, der er i alle tomogrammer af interesse. Giv enheden et navn og en forkortelse (f.eks. for denne skala skal du indstille fiducialperler til 0,0 Standardintensitet og baggrunden til 100,0). Gem den tilpassede dimensionsenhed.
BEMÆRK: En brugerdefineret intensitetsskala er en vilkårlig skala, der oprettes og anvendes på dataene for at sikre, at alle data er på samme intensitetsskala, selvom de indsamles på forskellige tidspunkter eller på forskelligt udstyr. Vælg lyse og mørke funktioner, der bedst repræsenterer det område, som signalet falder inden for. Hvis der ikke er nogen fiducials i dataene, skal du blot vælge den mørkeste funktion, der skal segmenteres (f.eks. Det mørkeste område af protein). - Hvis du vil kalibrere billeder til den brugerdefinerede intensitetsskala, skal du højreklikke på datasættet i kolonnen Egenskaber i højre side af skærmen og vælge Kalibrer intensitetsskala. På fanen Hoved i venstre side af skærmen skal du rulle ned til sektionen Sonde . Brug det cirkulære sondeværktøj med en passende diameter til at klikke et par steder i tomogrammets baggrundsområde og registrere det gennemsnitlige tal i kolonnen Rå intensitet ; Gentag for fiduciale markører, og klik derefter på Kalibrer. Juster om nødvendigt kontrasten for at gøre strukturer synlige igen med områdeværktøjet i afsnittet Vinduesudjævning på hovedfanen.
- Filtrering af billeder:
BEMÆRK: Billedfiltrering kan reducere støj og øge signalet. Denne protokol bruger tre filtre, der er indbygget i softwaren, da de fungerer bedst for disse data, men der er mange tilgængelige filtre. Når du har afgjort en billedfiltreringsprotokol for data af interesse, vil det være nødvendigt at anvende nøjagtig den samme protokol på alle tomogrammer inden segmentering.- I hovedfanen i venstre side skal du rulle ned til billedbehandlingspanelet. Klik på Avanceret, og vent på, at et nyt vindue åbnes. Vælg det datasæt, der skal filtreres, i panelet Egenskaber , og gør det synligt ved at klikke på øjeikonet til venstre for datasættet.
- Brug rullemenuen i panelet Handlinger til at vælge Histogramudligning (under afsnittet Kontrast ) for den første handling. Vælg Tilføj handling | Gaussisk (under afsnittet Udjævning ). Skift kernedimensionen til 3D.
- Tilføj en tredje operation; og vælg derefter Uskarp (under afsnittet Skarphed ). Forlad output til denne. Anvend på alle skiver, og lad filtreringen køre, og luk derefter vinduet Billedbehandling for at vende tilbage til hovedgrænsefladen.
4. Opret træningsdata (figur 1.2)
- Identificer træningsområdet ved først at skjule det ufiltrerede datasæt ved at klikke på øjeikonet til venstre for det i panelet Dataegenskaber . Vis derefter det nyligt filtrerede datasæt (som automatisk får navnet DataSet-HistEq-Gauss-Unsharp). Brug det filtrerede datasæt til at identificere et underområde af tomogrammet, der indeholder alle de funktioner, der er af interesse.
- Hvis du vil oprette en boks omkring interesseområdet, skal du rulle ned til kategorien Figurer i venstre side på hovedfanen og vælge Opret en boks. Mens du er i panelet Fire visninger, skal du bruge de forskellige 2D-planer til at hjælpe med at styre/trække kanterne af boksen for kun at omslutte det område, der er af interesse, i alle dimensioner. Vælg området Boks på datalisten, og skift farven på kanten, så det er nemmere at få vist, ved at klikke på den grå firkant ud for øjesymbolet.
BEMÆRK: Den mindste patchstørrelse for et 2D U-Net er 32 x 32 pixels; 400 x 400 x 50 pixels er en rimelig boksstørrelse at starte. - Hvis du vil oprette et multiinvesteringsafkast, skal du i venstre side vælge fanen Segmentering | Ny og marker Opret som Multi-ROI. Sørg for, at antallet af klasser svarer til antallet af funktioner af interesse + en baggrundsklasse. Navngiv træningsdataene med flere investeringsafkast, og sørg for, at geometrien svarer til datasættet, før du klikker på OK.
- Segmentering af træningsdata
- Rul gennem dataene, indtil de er inden for grænserne af det indrammede område. Vælg Multi-ROI i egenskabsmenuen til højre. Dobbeltklik på det første tomme klassenavn i multi-ROI for at navngive det.
- Mal med 2D-penslen. På segmenteringsfanen til venstre skal du rulle ned til 2D-værktøjer og vælge en cirkulær pensel. Vælg derefter Adaptiv Gaussisk eller Lokal OTSU i rullemenuen. For at male skal du holde venstre ctrl nede og klikke. For at slette skal du holde venstre skift nede og klikke.
BEMÆRK: Penselen afspejler farven på den aktuelt valgte klasse. - Gentag det forrige trin for hver objektklasse i multi-ROI. Sørg for, at alle strukturer inden for det indrammede område er fuldt segmenteret, ellers betragtes de som baggrund af netværket.
- Når alle strukturer er blevet mærket, skal du højreklikke på baggrundsklassen i Multi-ROI og vælge Føj alle umærkede voxels til klassen.
- Opret et nyt investeringsafkast i en klasse med navnet Mask. Sørg for, at geometrien er indstillet til det filtrerede datasæt, og klik derefter på Anvend. På fanen egenskaber til højre skal du højreklikke på feltet og vælge Føj til investeringsafkast. Føj det til maskens ROI.
- Hvis du vil trimme træningsdataene ved hjælp af masken, skal du på fanen Egenskaber vælge både multi-ROI for træningsdata og mål-ROI for maske ved at holde Ctrl nede og klikke på hver enkelt. Klik derefter på Skær under listen over dataegenskaber i afsnittet med navnet Booleske handlinger. Navngiv det nye datasæt Trimmet træningsinput, og sørg for, at geometrien svarer til det filtrerede datasæt, før du klikker på OK.
5. Brug af segmenteringsguiden til iterativ træning (figur 1.3)
- Importér træningsdataene til segmenteringsguiden ved først at højreklikke på det filtrerede datasæt under fanen Egenskaber og derefter vælge indstillingen Guiden Segmentering . Når et nyt vindue åbnes, skal du kigge efter inputfanen i højre side. Klik på Importer rammer fra et multi-ROI , og vælg Trimmet træningsinput.
- (Valgfrit) Opret en visuel feedbackramme for at overvåge træningsfremskridt i realtid.
- Vælg en ramme blandt de data, der ikke er segmenteret, og klik på + for at tilføje den som en ny ramme. Dobbeltklik på den blandede etiket til højre for rammen, og skift den til Overvågning.
- Hvis du vil generere en ny neural netværksmodel, skal du klikke på knappen + i højre side under fanen Modeller for at generere en ny model. Vælg U-Net på listen, vælg derefter 2,5D og 5 udsnit for inputdimension, og klik derefter på Generer.
- For at træne netværket skal du klikke på Træn nederst til højre i SegWiz-vinduet .
BEMÆRK: Træning kan stoppes tidligt uden at miste fremskridt. - Hvis du vil bruge det trænede netværk til at segmentere nye rammer, når U-Net-træningen er fuldført, skal du oprette en ny ramme og klikke på Forudsig (nederst til højre). Klik derefter på pil op øverst til højre i den forudsagte ramme for at overføre segmenteringen til den reelle ramme.
- For at korrigere forudsigelsen skal du ctrl-klikke på to klasser for at ændre de segmenterede pixel fra den ene til den anden. Vælg begge klasser, og mal med penslen for kun at male pixel, der tilhører en af klasserne. Ret segmenteringen i mindst fem nye rammer.
BEMÆRK: Maling med penselværktøjet, mens begge klasser er valgt, betyder, at i stedet for sletning af skift-klik, som det normalt gør, konverterer det pixels fra den første klasse til den anden. Ctrl-klik vil opnå det modsatte. - For iterativ træning skal du klikke på knappen Træn igen og lade netværket træne videre i yderligere 30-40 epoker, hvorefter du stopper træningen og gentager trin 4.5 og 4.6 for endnu en træningsrunde.
BEMÆRK: På denne måde kan en model trænes og forbedres iterativt ved hjælp af et enkelt datasæt. - Hvis du vil publicere netværket, skal du afslutte guiden Segmentering, når du er tilfreds med dets ydeevne. I dialogboksen, der automatisk vises, og spørger, hvilke modeller der skal publiceres (gemmes), skal du vælge det vellykkede netværk, navngive det og derefter publicere det for at gøre netværket tilgængeligt til brug uden for segmenteringsguiden.
6. Anvend netværket (figur 1.4)
- Hvis du først vil anvende på træningstomogrammet, skal du vælge det filtrerede datasæt i panelet Egenskaber . I panelet Segmentering til venstre skal du rulle ned til afsnittet Segment med AI . Sørg for, at det korrekte datasæt er valgt, vælg den model, der lige er publiceret, i rullemenuen, og klik derefter på Segmenter | Alle skiver. Du kan også vælge Eksempel for at få vist et eksempel på et enkelt udsnit af segmenteringen.
- Hvis du vil anvende på et udledningsdatasæt, skal du importere det nye tomogram. Forbehandling i henhold til trin 3 (figur 1.1). I panelet Segmentering skal du gå til afsnittet Segmenter med AI. Sørg for, at det nyligt filtrerede tomogrammer er det valgte datasæt, vælg den tidligere trænede model, og klik på Segmentér | Alle skiver.
7. Segmentering, manipulation og oprydning
- Ryd hurtigt op støj ved først at vælge en af de klasser, der har segmenteret støj og funktionen af interesse. Højreklik | Procesøer | Fjern af Voxel Count | Vælg en voxelstørrelse. Start i det små (~200), og øg gradvist antallet for at fjerne det meste af støjen.
- For segmenteringskorrektion skal du holde Ctrl nede og klikke på to klasser for kun at male pixel, der tilhører disse klasser. Ctrl-klik + træk med segmenteringsværktøjerne for at ændre pixels i anden klasse til den første og Skift-klik + træk for at opnå det modsatte. Fortsæt med at gøre dette for hurtigt at rette forkert mærkede pixels.
- Adskil tilsluttede komponenter.
- Vælg et hold. Højreklik på et hold i Multi-ROI | Adskil tilsluttede komponenter for at oprette en ny klasse for hver komponent, der ikke er forbundet med en anden komponent i samme klasse. Brug knapperne under Multi-ROI til nemt at flette klasserne.
- Eksportér investeringsafkastet som binært/TIFF.
- Vælg en klasse i Multi-ROI, højreklik derefter og udtræk klasse som et ROI. I egenskabspanelet ovenfor skal du vælge det nye investeringsafkast, højreklikke på | Eksport | ROI som binær (sørg for, at muligheden for at eksportere alle billeder til én fil er valgt).
BEMÆRK: Brugere kan nemt konvertere fra tiff til mrc format ved hjælp af IMOD-programmet tif2mrc20. Dette er nyttigt til filamentsporing.
- Vælg en klasse i Multi-ROI, højreklik derefter og udtræk klasse som et ROI. I egenskabspanelet ovenfor skal du vælge det nye investeringsafkast, højreklikke på | Eksport | ROI som binær (sørg for, at muligheden for at eksportere alle billeder til én fil er valgt).
8. Generering af koordinater for sub-tomogram gennemsnit fra ROI
- Uddrag en klasse.
- Højreklik på Klasse, der skal bruges til gennemsnitsberegning | Uddrag klasse som ROI. Højreklik på klassens investeringsafkast | Tilsluttede komponenter | Ny Multi-ROI (26 tilsluttet).
- Generer koordinater.
- Højreklik på det nye Multi-ROI | Skalar generator. Udvid grundlæggende målinger med datasæt | tjek vægtet center for masse X, Y og Z. Vælg datasættet, og beregn. Højreklik på Multi-ROI | Eksportere skalarværdier. Markér Vælg alle skalarpladser og derefter OK for at generere centroide verdenskoordinater for hver klasse i multi-ROI som en CSV-fil.
BEMÆRK: Hvis partikler er tæt på hinanden, og segmenteringerne rører hinanden, kan det være nødvendigt at udføre en vandskelstransformation for at adskille komponenterne i en multi-ROI.
- Højreklik på det nye Multi-ROI | Skalar generator. Udvid grundlæggende målinger med datasæt | tjek vægtet center for masse X, Y og Z. Vælg datasættet, og beregn. Højreklik på Multi-ROI | Eksportere skalarværdier. Markér Vælg alle skalarpladser og derefter OK for at generere centroide verdenskoordinater for hver klasse i multi-ROI som en CSV-fil.
9. Omdannelse af vandskel
- Udtræk klassen ved at højreklikke på klassen i Multi-ROI, der skal bruges til gennemsnit | Uddrag klasse som ROI. Navngiv denne ROI Watershed Mask.
- (Valgfrit) Luk huller.
- Hvis de segmenterede partikler har huller eller åbninger, skal du lukke disse for vandskellet. Klik på investeringsafkastet i Dataegenskaber. På fanen Segmentering (til venstre) skal du gå til Morfologiske operationer og bruge den kombination af Dilate, Erode og Close , der er nødvendig for at opnå solide segmenteringer uden huller.
- Inverter investeringsafkastet ved at klikke på investeringsafkastet | Kopier markeret objekt (under Dataegenskaber). Vælg det kopierede investeringsafkast, og klik på Inverter i venstre side under fanen Segmentering.
- Opret et afstandskort ved at højreklikke på det inverterede investeringsafkast | Opret kortlægning af | Afstand kort. Til senere brug skal du lave en kopi af afstandskortet og invertere det (højreklik | Rediger og transformer | Inverter værdier | Anvend). Navngiv dette omvendte kort Landskab.
- Opret frøpunkter.
- Skjul investeringsafkastet, og vis afstandskortet. Klik på Definer område under fanen Segmentering, og formindsk området, indtil kun nogle få pixel i midten af hvert punkt er fremhævet, og ingen er forbundet til et andet punkt. Nederst i afsnittet Område skal du klikke på Føj til ny. Navngiv dette nye ROI Seedpoints.
- Udfør vandskelstransformation.
- Højreklik på Seedpoints ROI | Tilsluttede komponenter | Ny Multi-ROI (26 tilsluttet). Højreklik på det nyligt genererede Multi-ROI | Vandskel transformere. Vælg afstandskortet med navnet Landskab , og klik på OK; vælg ROI med navnet Watershed Mask , og klik på OK for at beregne en vandskelstransformation fra hvert frøpunkt og adskille individuelle partikler i separate klasser i multi-ROI. Opret koordinater som i trin 8.2.
Figur 1: Arbejdsproces. 1) Forbehandl træningstomogrammet ved at kalibrere intensitetsskalaen og filtrere datasættet. 2) Opret træningsdataene ved at håndsegmentere en lille del af et tomogram med alle passende etiketter, som brugeren ønsker at identificere. 3) Ved hjælp af det filtrerede tomogrammer som input og håndsegmenteringen som træningsoutput trænes et U-Net i fem lag, flere skiver i segmenteringsguiden. 4) Det trænede netværk kan anvendes på det fulde tomogrammer for at kommentere det, og der kan genereres en 3D-gengivelse fra hver segmenteret klasse. Klik her for at se en større version af denne figur.
Representative Results
Efter protokollen blev et fem-skive U-Net trænet på et enkelt tomogram (figur 2A) for at identificere fem klasser: membran, mikrotubuli, actin, fiduciale markører og baggrund. Netværket blev iterativt trænet i alt tre gange og derefter anvendt på tomogrammet for fuldt ud at segmentere og kommentere det (figur 2B, C). Minimal oprydning blev udført ved hjælp af trin 7.1 og 7.2. De næste tre tomogram af interesse (figur 2D, G, J) blev indlæst i softwaren til forbehandling. Før billedimport krævede et af tomogrammerne (figur 2J) pixelstørrelsesjustering fra 17,22 Å/px til 13,3 Å/px, da det blev samlet på et andet mikroskop ved en lidt anden forstørrelse. IMOD-programmet squeezevol blev brugt til at ændre størrelse med følgende kommando:
'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'
I denne kommando henviser -f til den faktor, hvormed pixelstørrelsen skal ændres (i dette tilfælde: 13.3/17.22). Efter importen blev alle tre følgeslutningsmål forbehandlet i henhold til trin 3.2 og 3.3, og derefter blev U-nettet med fem skiver anvendt. Minimal oprydning blev igen udført. De endelige segmenteringer vises i figur 2.
Mikrotubulussegmenteringer fra hvert tomogram blev eksporteret som binære (trin 7.4) TIF-filer, konverteret til MRC (IMOD tif2mrc-program ) og derefter brugt til cylinderkorrelation og filamentsporing. Binære segmenteringer af filamenter resulterer i meget mere robust filamentsporing end sporing over tomogrammer. Koordinatkort fra filamentsporing (figur 3) vil blive brugt til yderligere analyse, såsom nærmeste nabomålinger (filamentpakning) og spiralformet subtomogram i gennemsnit langs enkelte filamenter for at bestemme mikrotubulusorientering.
Mislykkede eller utilstrækkeligt uddannede netværk er lette at bestemme. Et mislykket netværk vil slet ikke være i stand til at segmentere nogen strukturer, mens et utilstrækkeligt trænet netværk typisk vil segmentere nogle strukturer korrekt og have et betydeligt antal falske positive og falske negativer. Disse netværk kan korrigeres og iterativt trænes for at forbedre deres ydeevne. Segmenteringsguiden beregner automatisk en models terninglighedskoefficient (kaldet score i SegWiz), når den er trænet. Denne statistik giver et skøn over ligheden mellem træningsdataene og U-Net-segmenteringen. Dragonfly 2022.1 har også et indbygget værktøj til at evaluere en models ydeevne, der kan tilgås under fanen Kunstig intelligens øverst i grænsefladen (se dokumentation for brug).
Figur 2: Slutning. (A-C) Originalt træningstomogram af et DIV 5 hippocampus rotteneuron, indsamlet i 2019 på en Titan Krios. Dette er en tilbageprojiceret rekonstruktion med CTF-korrektion i IMOD. (A) Den gule boks repræsenterer det område, hvor håndsegmentering blev udført for træningsinput. (B) 2D-segmentering fra U-Net efter træningens afslutning. (C) 3D-gengivelse af de segmenterede områder, der viser membran (blå), mikrotubuli (grøn) og actin (rød). (D-F) DIV 5 hippocampus rotteneuron fra samme session som træningstomogrammet. (E) 2D-segmentering fra U-Net uden yderligere træning og hurtig oprydning. Membran (blå), mikrotubuli (grøn), actin (rød), fiducials (pink). F) 3D-gengivelse af segmenterede regioner. (G-I) DIV 5 hippocampus rotteneuron fra 2019-sessionen. (H) 2D-segmentering fra U-Net med hurtig oprydning og (I) 3D-gengivelse. (J-L) DIV 5 hippocampus rotteneuron, indsamlet i 2021 på en anden Titan Krios ved en anden forstørrelse. Pixelstørrelsen er blevet ændret med IMOD-programmet squeezevol for at matche træningstomogrammet. (K) 2D-segmentering fra U-Net med hurtig oprydning, der demonstrerer robust inferens på tværs af datasæt med korrekt forbehandling og (L) 3D-gengivelse af segmentering. Skalastænger = 100 nm. Forkortelser: DIV = dage in vitro; CTF = kontrastoverførselsfunktion. Klik her for at se en større version af denne figur.
Figur 3: Forbedring af filamentsporing . (A) Tomogram af en DIV 4 rotte hippocampus neuron, indsamlet på en Titan Krios. (B) Korrelationskort genereret fra cylinderkorrelation over actinfilamenter. C) Filamentsporing af actin ved hjælp af intensiteten af actinfilamenterne i korrelationskortet til at definere parametre. Sporing fanger membranen og mikrotubuli samt støj, mens man forsøger at spore bare actin. D) U-Net-segmentering af tomogram. Membran fremhævet i blåt, mikrotubuli i rødt, ribosomer i orange, triC i lilla og actin i grønt. (E) Actinsegmentering ekstraheret som en binær maske til filamentsporing. (F) Korrelationskort genereret fra cylinderkorrelation med de samme parametre fra (B). (G) Signifikant forbedret filamentsporing af netop actinfilamenter fra tomogrammet. Forkortelse: DIV = dage in vitro. Klik her for at se en større version af dette tal.
Supplerende fil 1: Det tomogramme, der bruges i denne protokol, og det multi-ROI, der blev genereret som træningsinput, er inkluderet som et samlet datasæt (Training.ORSObject). Se https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.
Discussion
Denne protokol fastlægger en procedure for brug af Dragonfly 2022.1-software til at træne et U-Net i flere klasser fra et enkelt tomogram, og hvordan man udleder dette netværk til andre tomogrammer, der ikke behøver at være fra det samme datasæt. Træningen er relativt hurtig (kan være så hurtig som 3-5 min pr. epoke eller så langsom som et par timer, afhængigt helt af det netværk, der trænes, og den anvendte hardware), og omskoling af et netværk for at forbedre dets læring er intuitivt. Så længe forbehandlingstrinnene udføres for hvert tomogram, er inferensen typisk robust.
Konsekvent forbehandling er det mest kritiske trin for dyb læringsslutning. Der er mange billedbehandlingsfiltre i softwaren, og brugeren kan eksperimentere for at bestemme, hvilke filtre der fungerer bedst for bestemte datasæt; Bemærk, at uanset hvilken filtrering der bruges på træningstomogrammet, skal det anvendes på samme måde på inferensetogrammerne. Der skal også sørges for at give netværket nøjagtige og tilstrækkelige uddannelsesoplysninger. Det er vigtigt, at alle funktioner, der er segmenteret i træningsskiverne, segmenteres så omhyggeligt og præcist som muligt.
Billedsegmentering lettes af en sofistikeret brugergrænseflade af kommerciel kvalitet. Det giver alle de nødvendige værktøjer til håndsegmentering og giver mulighed for enkel omfordeling af voxels fra en klasse til en anden inden træning og omskoling. Brugeren har lov til at håndsegmentere voxels inden for hele tomogrammets kontekst, og de får flere visninger og evnen til at rotere lydstyrken frit. Derudover giver softwaren mulighed for at bruge netværk i flere klasser, som har tendens til at fungere bedre16 og er hurtigere end segmentering med flere enkeltklassenetværk.
Der er selvfølgelig begrænsninger for et neuralt netværks muligheder. Cryo-ET-data er i sagens natur meget støjende og begrænsede i vinkelprøvetagning, hvilket fører til orienteringsspecifikke forvrængninger i identiske objekter21. Træning er afhængig af en ekspert til at håndsegmentere strukturer nøjagtigt, og et vellykket netværk er kun så godt (eller så dårligt) som de træningsdata, det får. Billedfiltrering for at øge signalet er nyttigt for træneren, men der er stadig mange tilfælde, hvor det er vanskeligt nøjagtigt at identificere alle pixels i en given struktur. Det er derfor vigtigt, at der udvises stor omhu, når du opretter træningssegmenteringen, så netværket har den bedst mulige information at lære under træningen.
Denne arbejdsgang kan let ændres efter hver brugers præference. Selvom det er vigtigt, at alle tomogrammer forbehandles på nøjagtig samme måde, er det ikke nødvendigt at bruge de nøjagtige filtre, der bruges i protokollen. Softwaren har adskillige billedfiltreringsmuligheder, og det anbefales at optimere disse til brugerens særlige data, før du går i gang med et stort segmenteringsprojekt, der spænder over mange tomogrammer. Der er også en hel del netværksarkitekturer tilgængelige til brug: et multi-slice U-Net har vist sig at fungere bedst for dataene fra dette laboratorium, men en anden bruger kan opleve, at en anden arkitektur (såsom et 3D U-Net eller en Sensor 3D) fungerer bedre. Segmenteringsguiden giver en praktisk grænseflade til sammenligning af ydeevnen for flere netværk ved hjælp af de samme træningsdata.
Værktøjer som dem, der præsenteres her, vil gøre håndsegmentering af fulde tomogrammer til en opgave fra fortiden. Med veltrænede neurale netværk, der er robust inferable, er det fuldt ud muligt at skabe en arbejdsgang, hvor tomografiske data rekonstrueres, behandles og fuldt segmenteres så hurtigt som mikroskopet kan indsamle dem.
Disclosures
Open access-licensen til denne protokol blev betalt af Object Research Systems.
Acknowledgments
Denne undersøgelse blev støttet af Penn State College of Medicine og Institut for Biokemi og Molekylærbiologi samt Tobacco Settlement Fund (TSF) tilskud 4100079742-EXT. CryoEM og CryoET Core (RRID: SCR_021178) tjenester og instrumenter, der blev brugt i dette projekt, blev delvist finansieret af Pennsylvania State University College of Medicine via Office of the Vice Dean of Research and Graduate Students og Pennsylvania Department of Health ved hjælp af Tobacco Settlement Funds (CURE). Indholdet er udelukkende forfatternes ansvar og repræsenterer ikke nødvendigvis universitetets eller College of Medicine's officielle synspunkter. Pennsylvania Department of Health fraskriver sig specifikt ansvaret for analyser, fortolkninger eller konklusioner.
Materials
| Name | Company | Catalog Number | Comments |
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022).
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Dragonfly 2021.3 (Computer Software). , Available from: http://www.theobjects.com/dragonfly (2021).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
