Summary
Dette er en metode for å trene et flerskive U-Net for multi-klasse segmentering av kryo-elektrontomogrammer ved å bruke en del av ett tomogram som treningsinngang. Vi beskriver hvordan man utleder dette nettverket til andre tomogrammer og hvordan man trekker ut segmenteringer for videre analyser, for eksempel subtomogramgjennomsnitt og filamentsporing.
Abstract
Kryo-elektrontomografi (kryo-ET) tillater forskere å avbilde celler i sin opprinnelige, hydrerte tilstand med den høyeste oppløsningen som er mulig. Teknikken har imidlertid flere begrensninger som gjør det tidkrevende og vanskelig å analysere dataene den genererer. Håndsegmentering av et enkelt tomografi kan ta fra timer til dager, men et mikroskop kan enkelt generere 50 eller flere tomogrammer om dagen. Nåværende segmenteringsprogrammer for dyp læring for kryo-ET eksisterer, men er begrenset til å segmentere en struktur om gangen. Her trenes og brukes flerskive U-Net konvolusjonelle nevrale nettverk for automatisk å segmentere flere strukturer samtidig i kryo-tomogrammer. Med riktig forbehandling kan disse nettverkene utledes robust til mange tomogrammer uten behov for å trene individuelle nettverk for hvert tomogram. Denne arbeidsflyten forbedrer dramatisk hastigheten som kryo-elektrontomogrammer kan analyseres med ved å kutte segmenteringstiden ned til under 30 minutter i de fleste tilfeller. Videre kan segmenteringer brukes til å forbedre nøyaktigheten av filamentsporing i en cellulær kontekst og for raskt å trekke ut koordinater for subtomogramgjennomsnitt.
Introduction
Maskinvare- og programvareutviklingen det siste tiåret har resultert i en "oppløsningsrevolusjon" for kryo-elektronmikroskopi (cryo-EM)1,2. Med bedre og raskere detektorer3, programvare for å automatisere datainnsamling4,5 og signalforsterkende fremskritt som faseplater6, er det relativt enkelt å samle store mengder høyoppløselige kryo-EM-data.
Cryo-ET gir enestående innsikt i cellulær ultrastruktur i en naturlig, hydrert tilstand 7,8,9,10. Den primære begrensningen er prøvetykkelse, men med bruk av metoder som fokusert ionstråle (FIB) fresing, hvor tykke celle- og vevsprøver tynnes for tomografi11, utvides horisonten for hva som kan avbildes med kryo-ET stadig. De nyeste mikroskopene er i stand til å produsere godt over 50 tomogrammer om dagen, og denne frekvensen forventes bare å øke på grunn av utviklingen av raske datainnsamlingsordninger12,13. Analyse av de enorme datamengdene produsert av cryo-ET er fortsatt en flaskehals for denne avbildningsmodaliteten.
Kvantitativ analyse av tomografisk informasjon krever at den først blir kommentert. Tradisjonelt krever dette håndsegmentering av en ekspert, noe som er tidkrevende; Avhengig av den molekylære kompleksiteten som finnes i kryo-tomogrammet, kan det ta timer til dager med dedikert oppmerksomhet. Kunstige nevrale nettverk er en tiltalende løsning på dette problemet, siden de kan trenes til å gjøre mesteparten av segmenteringsarbeidet på en brøkdel av tiden. Konvolusjonelle nevrale nettverk (CNN) er spesielt egnet for datasynsoppgaver14 og har nylig blitt tilpasset for analyse av kryo-elektrontomogrammer15,16,17.
Tradisjonelle CNN-er krever mange tusen kommenterte treningsprøver, noe som ofte ikke er mulig for biologiske bildeanalyseoppgaver. Derfor har U-Net-arkitekturen utmerket seg i dette rommet18 fordi den er avhengig av dataforsterkning for å kunne trene nettverket, og minimere avhengigheten av store treningssett. For eksempel kan en U-Net-arkitektur trenes med bare noen få skiver av et enkelt tomografi (fire eller fem skiver) og utledes robust til andre tomogrammer uten omskolering. Denne protokollen gir en trinnvis veiledning for trening av U-Net nevrale nettverksarkitekturer for å segmentere elektronkryo-tomogrammer i Dragonfly 2022.119.
Dragonfly er kommersielt utviklet programvare som brukes til 3D-bildesegmentering og analyse av dyplæringsmodeller, og den er fritt tilgjengelig for akademisk bruk (noen geografiske begrensninger gjelder). Den har et avansert grafisk grensesnitt som gjør det mulig for en ikke-ekspert å dra full nytte av kraften til dyp læring for både semantisk segmentering og støyfjerning av bilder. Denne protokollen demonstrerer hvordan man forhåndsbehandler og kommenterer kryo-elektrontomogrammer i Dragonfly for trening av kunstige nevrale nettverk, som deretter kan utledes til raskt å segmentere store datasett. Den diskuterer videre og demonstrerer kort hvordan du bruker segmenterte data for videre analyse, for eksempel filamentsporing og koordinatekstraksjon for gjennomsnitt av sub-tomogram.
Protocol
MERK: Dragonfly 2022.1 krever en arbeidsstasjon med høy ytelse. Systemanbefalinger er inkludert i materialfortegnelsen sammen med maskinvaren til arbeidsstasjonen som brukes til denne protokollen. Alle tomogrammer som brukes i denne protokollen er binned 4x fra en pikselstørrelse på 3.3 til 13.2 ang / pix. Prøver brukt i de representative resultatene ble hentet fra et selskap (se materialfortegnelsen) som følger retningslinjer for dyrepleie som samsvarer med denne institusjonens etiske standarder. Togrammet som brukes i denne protokollen og multi-ROI som ble generert som treningsinngang, er inkludert som et samlet datasett i tilleggsfil 1 (som du finner på https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct), slik at brukeren kan følge med på de samme dataene hvis de ønsker det. Dragonfly er også vert for en åpen tilgangsdatabase kalt Infinite Toolbox hvor brukere kan dele trente nettverk.
1. Oppsett
- Endre standard arbeidsområde:
- Hvis du vil endre arbeidsområdet til å speile det som brukes i denne protokollen, blar du ned til delen Egenskaper for scenevisning på venstre side i hovedpanelet og fjerner merket for Vis forklaringer. Rull ned til Layout-delen, og velg visningene Enkeltscene og Fire like visninger.
- For å oppdatere standardenheten, gå til File | Preferanser. I vinduet som åpnes, endre standardenheten fra millimeter til nanometer.
- Nyttige standard tastebindinger:
- Trykk ESC for å vise trådkorset i 2D-visningene og tillate 3D-volumrotasjon i 3D-visning. Trykk X for å skjule trådkorset i 2D-visningene og tillate 2D-oversettelse og 3D-volumoversettelse i 3D-visning.
- Hold pekeren over trådkorset for å se små piler som kan klikkes og dras for å endre vinkelen på visningsplanet i de andre 2D-visningene.
- Trykk Z for å angi zoomstatus i begge visningene, slik at brukerne kan klikke og dra hvor som helst for å zoome inn og ut.
- Dobbeltklikk på en visning i Four View-scenen for å fokusere bare den visningen; Dobbeltklikk på nytt for å gå tilbake til alle fire visningene.
- Lagre fremdrift regelmessig ved å eksportere alt i kategorien Egenskaper som et ORS-objekt for enkel import. Merk alle objektene i listen og høyreklikk Eksporter | Som ORS protesterer. Navngi filen og lagre. Alternativt kan du gå til Fil | Lagre økten. For å bruke autolagringsfunksjonen i programvaren, aktiver den gjennom File | Preferanser | Automatisk lagring.
2. Import av bilder
- For bildeimport, gå til Fil | Importer bildefiler. Klikk Legg til, naviger til bildefilen, og klikk Åpne | Neste | Ferdig.
MERK: Programvaren gjenkjenner ikke .rec filer. Alle tomogrammer må ha .mrc-suffikset. Hvis du bruker de oppgitte dataene, går du i stedet til Fil | Importer objekt(er). Naviger til filen Training.ORSObject, klikk på Åpne, og klikk deretter på OK.
3. Forbehandling (figur 1.1)
- Opprett en egendefinert intensitetsskala (brukes til å kalibrere bildeintensiteter på tvers av datasett). Gå til Verktøy | Enhetsleder for Dimension. Klikk på + nederst til venstre for å opprette en ny dimensjonsenhet.
- Velg en høy intensitet (lys) og lav intensitet (mørk) funksjon som er i alle tomogrammer av interesse. Gi enheten et navn og en forkortelse (for eksempel for denne skalaen, sett fiducial perler til 0,0 Standard intensitet og bakgrunnen til 100,0). Lagre den egendefinerte dimensjonsenheten.
MERK: En egendefinert intensitetsskala er en vilkårlig skala som opprettes og brukes på dataene for å sikre at alle data er på samme intensitetsskala til tross for at de samles inn på forskjellige tidspunkter eller på forskjellig utstyr. Velg lyse og mørke funksjoner som best representerer rekkevidden som signalet faller innenfor. Hvis det ikke er noen fiducials i dataene, velger du bare den mørkeste funksjonen som skal segmenteres (den mørkeste regionen av protein, for eksempel). - Hvis du vil kalibrere bilder til den egendefinerte intensitetsskalaen, høyreklikker du datasettet i kolonnen Egenskaper til høyre på skjermen og velger Kalibrer intensitetskalering. På hovedfanen på venstre side av skjermen, bla ned til Sonde-delen . Bruk sirkelsondeverktøyet med passende diameter til å klikke noen få steder i bakgrunnsområdet i tomogrammet og registrere gjennomsnittstallet i kolonnen Rå intensitet . Gjenta for fiducial markører, og klikk deretter Kalibrer. Juster om nødvendig kontrasten for å gjøre strukturene synlige igjen med områdeverktøyet under Vindusutjevning i hovedkategorien.
- Filtrering av bilder:
MERK: Bildefiltrering kan redusere støy og øke signalet. Denne protokollen bruker tre filtre som er innebygd i programvaren, da de fungerer best for disse dataene, men det er mange filtre tilgjengelig. Når det er avgjort på en bildefiltreringsprotokoll for dataene av interesse, vil det være nødvendig å bruke nøyaktig samme protokoll på alle tomogrammer før segmentering.- I hovedfanen på venstre side blar du ned til Image Processing Panel. Klikk på Avansert og vent til et nytt vindu åpnes. Velg datasettet som skal filtreres, fra Egenskaper-panelet , og gjør det synlig ved å klikke øyeikonet til venstre for datasettet.
- Fra Operations-panelet bruker du rullegardinmenyen til å velge Histogramutjevning (under Contrast-delen ) for den første operasjonen. Velg Legg til operasjon | Gaussisk (under Utjevning-delen ). Endre kjernedimensjonen til 3D.
- Legg til en tredje operasjon; velg deretter Uskarp (under Skarphet-delen ). La utdataene stå for denne. Bruk på alle stykker og la filtreringen kjøre, og lukk deretter vinduet Image Processing for å gå tilbake til hovedgrensesnittet.
4. Opprett treningsdata (figur 1.2)
- Identifiser treningsområdet ved først å skjule det ufiltrerte datasettet ved å klikke øyeikonet til venstre for det i Dataegenskaper-panelet . Deretter viser du det nylig filtrerte datasettet (som automatisk får navnet DataSet-HistEq-Gauss-Unsharp). Bruk det filtrerte datasettet til å identifisere et underområde av tomogrammet som inneholder alle funksjonene av interesse.
- Hvis du vil opprette en boks rundt interesseområdet, blar du ned til kategorien Figurer i hovedfanen til venstre og velger Opprett en boks. Mens du er i panelet med fire visninger, kan du bruke de forskjellige 2D-planene til å veilede/dra kantene på boksen for å omslutte bare interesseområdet i alle dimensjoner. I datalisten velger du Box-området og endrer fargen på kantlinjen for enklere visning ved å klikke på den grå firkanten ved siden av øyesymbolet.
MERK: Den minste patchstørrelsen for et 2D U-Net er 32 x 32 piksler; 400 x 400 x 50 piksler er en rimelig boksstørrelse å starte. - For å opprette en multi-ROI, velg kategorien Segmentering | Ny og merk av for Opprett som Multi-ROI. Sørg for at antall klasser tilsvarer antall funksjoner av interesse + en bakgrunnsklasse. Gi treningsdataene et navn på flere avkastninger, og kontroller at geometrien samsvarer med datasettet før du klikker OK.
- Segmentering av treningsdata
- Bla gjennom dataene til du er innenfor grensene for det boksede området. Velg Multi-ROI i egenskapsmenyen til høyre. Dobbeltklikk på det første tomme klassenavnet i multiavkastningen for å gi det et navn.
- Mal med 2D-penselen. I segmenteringsfanen til venstre blar du ned til 2D-verktøy og velger en sirkulær pensel. Velg deretter Adaptive Gaussian eller Local OTSU fra rullegardinmenyen. For å male, hold venstre ctrl og klikk. For å slette, hold venstre skift og klikk.
MERK: Penselen vil gjenspeile fargen på den valgte klassen. - Gjenta forrige trinn for hver objektklasse i multi-ROI. Forsikre deg om at alle strukturer i boksområdet er fullstendig segmentert, ellers vil de bli vurdert som bakgrunn av nettverket.
- Når alle strukturer er merket, høyreklikker du på bakgrunnsklassen i Multi-ROI og velger Legg til alle umerkede Voxels til klasse.
- Opprett en ny avkastning på én klasse kalt Mask. Kontroller at geometrien er satt til det filtrerte datasettet, og klikk deretter bruk. I egenskapsfanen til høyre høyreklikker du på boksen og velger Legg til avkastning. Legg den til maskeavkastningen.
- Hvis du vil trimme treningsdataene ved hjelp av masken, velger du både multiavkastningen for treningsdata og maskeavkastningen i kategorien Egenskaper ved å holde Ctrl nede og klikke på hver av dem. Deretter klikker du Skjæringspunkt under dataegenskapslisten i delen Boolske operasjoner. Gi det nye datasettet navnet Trimmet opplæringsinndata, og kontroller at geometrien samsvarer med det filtrerte datasettet før du klikker OK.
5. Bruke segmenteringsveiviseren for iterativ trening (figur 1.3)
- Importer treningsdataene til segmenteringsveiviseren ved først å høyreklikke det filtrerte datasettet i kategorien Egenskaper , og deretter velge alternativet Segmenteringsveiviser . Når et nytt vindu åpnes, se etter inntastingsfanen på høyre side. Klikk på Importer delbilder fra en Multi-ROI, og velg Trimmet treningsinndata.
- (Valgfritt) Opprett en visuell tilbakemeldingsramme for å overvåke opplæringsfremgang i sanntid.
- Velg en ramme fra dataene som ikke er segmentert, og klikk + for å legge den til som en ny ramme. Dobbeltklikk på den blandede etiketten til høyre for rammen, og endre den til Overvåking.
- Hvis du vil generere en ny nevral nettverksmodell, klikker du på + på høyre side i kategorien Modeller for å generere en ny modell. Velg U-Net fra listen, og velg deretter 2.5D- og 5-stykker for inndatadimensjon, og klikk deretter på Generer.
- For å trene nettverket, klikk på Tren nederst til høyre i SegWiz-vinduet .
MERK: Treningen kan stoppes tidlig uten å miste fremgang. - Hvis du vil bruke det opplærte nettverket til å segmentere nye rammer, oppretter du en ny ramme når U-Net-opplæringen er fullført, og klikker på Forutsi (nederst til høyre). Klikk deretter på pil opp øverst til høyre i den forutsagte rammen for å overføre segmenteringen til den virkelige rammen.
- Hvis du vil korrigere prognosen, Ctrl-klikker du to klasser for å endre segmenterte bildepunkter fra den ene til den andre. Velg begge klassene og mal med penselen for å male bare piksler som tilhører en av klassene. Korriger segmenteringen i minst fem nye delbilder.
MERK: Hvis du maler med penselverktøyet mens begge klassene er valgt, betyr det at i stedet for å slette skift-klikk, som det vanligvis gjør, vil det konvertere piksler fra første klasse til den andre. Ctrl-klikk vil oppnå det motsatte. - For iterativ trening, klikk på Tren-knappen igjen og la nettverket trene videre i ytterligere 30-40 epoker, hvorpå du stopper treningen og gjentar trinn 4.5 og 4.6 for en ny runde med trening.
MERK: På denne måten kan en modell iterativt trenes og forbedres ved hjelp av ett enkelt datasett. - Hvis du vil publisere nettverket, avslutter du segmenteringsveiviseren når du er fornøyd med ytelsen. I dialogboksen som automatisk dukker opp og spør hvilke modeller som skal publiseres (lagres), velger du det vellykkede nettverket, gir det et navn, og publiserer det for å gjøre nettverket tilgjengelig for bruk utenfor segmenteringsveiviseren.
6. Bruk nettverket (figur 1.4)
- Hvis du vil bruke treningstogrammet først, velger du det filtrerte datasettet i Egenskaper-panelet . I segmenteringspanelet til venstre blar du ned til delen Segmenter med kunstig intelligens . Forsikre deg om at riktig datasett er valgt, velg modellen som nettopp ble publisert i rullegardinmenyen, og klikk deretter Segment | Alle skiver. Du kan også velge Forhåndsvisning for å vise en forhåndsvisning av segmenteringen på én stykke.
- Hvis du vil bruke det på et slutningsdatasett, importerer du det nye tomogrammet. Forprosess i henhold til trinn 3 (figur 1.1). I segmenteringspanelet går du til delen Segmenter med AI. Kontroller at det nylig filtrerte tomogrammet er datasettet som er valgt, velg den tidligere opplærte modellen og klikk Segment | Alle skiver.
7. Segmentering, manipulering og opprydding
- Rengjør raskt støy ved først å velge en av klassene som har segmentert støy og funksjonen av interesse. Høyreklikk | Prosess Øyer | Fjern av Voxel Count | Velg en voxelstørrelse. Start i det små (~ 200) og øk tellingen gradvis for å fjerne det meste av støyen.
- For segmenteringskorrigering Ctrl-klikker du to klasser for å male bare bildepunkter som tilhører disse klassene. Ctrl-klikk + dra med segmenteringsverktøyene for å endre piksler fra den andre klassen til den første og Skift-klikk + dra for å oppnå det motsatte. Fortsett å gjøre dette for raskt å korrigere feilmerkede piksler.
- Separate tilkoblede komponenter.
- Velg en klasse. Høyreklikk en klasse i Multi-ROI | Separate tilkoblede komponenter for å opprette en ny klasse for hver komponent som ikke er koblet til en annen komponent i samme klasse. Bruk knappene under Multi-ROI for enkelt å slå sammen klassene.
- Eksporter avkastningen som binær/TIFF.
- Velg en klasse i Multi-ROI, høyreklikk og trekk ut klasse som en avkastning. I egenskapspanelet ovenfor velger du den nye avkastningen, høyreklikk | Eksport | ROI som binær (sørg for at alternativet for å eksportere alle bilder til en fil er valgt).
MERK: Brukere kan enkelt konvertere fra tiff til mrc-format ved hjelp av IMOD-programmet tif2mrc20. Dette er nyttig for filamentsporing.
- Velg en klasse i Multi-ROI, høyreklikk og trekk ut klasse som en avkastning. I egenskapspanelet ovenfor velger du den nye avkastningen, høyreklikk | Eksport | ROI som binær (sørg for at alternativet for å eksportere alle bilder til en fil er valgt).
8. Generere koordinater for sub-tomogram gjennomsnitt fra avkastningen
- Pakk ut en klasse.
- Høyreklikk Klasse som skal brukes til gjennomsnitt | Utdrag klasse som avkastning. Høyreklikk klassens avkastning | Tilkoblede komponenter | Ny Multi-ROI (26 tilkoblet).
- Generere koordinater.
- Høyreklikk på den nye Multi-ROI | Skalar generator. Utvid grunnleggende målinger med datasett | sjekk Vektet massesenter X, Y og Z. Velg datasettet og beregn. Høyreklikk Multi-ROI | Eksportere skalarverdier. Merk av for Velg alle skalarspor og deretter OK for å generere sentroide verdenskoordinater for hver klasse i multi-ROI som en CSV-fil.
MERK: Hvis partiklene er tett sammen og segmenteringene berører, kan det være nødvendig å utføre en vannskilletransformasjon for å skille komponentene til en multiavkastning.
- Høyreklikk på den nye Multi-ROI | Skalar generator. Utvid grunnleggende målinger med datasett | sjekk Vektet massesenter X, Y og Z. Velg datasettet og beregn. Høyreklikk Multi-ROI | Eksportere skalarverdier. Merk av for Velg alle skalarspor og deretter OK for å generere sentroide verdenskoordinater for hver klasse i multi-ROI som en CSV-fil.
9. Vannskille transformere
- Pakk ut klassen ved å høyreklikke klassen i Multi-ROI som skal brukes til gjennomsnitt | Utdrag klasse som avkastning. Navngi denne ROI Watershed Mask.
- (Valgfritt) Lukk hull.
- Hvis de segmenterte partiklene har hull eller åpninger, lukk disse for vannskillet. Klikk avkastningen i Dataegenskaper. I kategorien Segmentering (til venstre) går du til Morfologiske operasjoner og bruker den kombinasjonen av Dilate, Erode og Close som er nødvendig for å oppnå solide segmenteringer uten hull.
- Inverter avkastningen ved å klikke på ROI | Kopier merket objekt (under Dataegenskaper). Velg den kopierte avkastningen, og klikk Inverter på venstre side i kategorien Segmentering.
- Lag et avstandskart ved å høyreklikke på den inverterte avkastningen | Lag Kartlegging av | Avstand kart. For senere bruk, lag en kopi av avstandskartet og inverter det (høyreklikk | Endre og transformere | Inverter verdier | Gjelder). Gi dette omvendte kartet navnet Landskap.
- Lag frøpunkter.
- Skjul avkastningen og vis avstandskartet. Klikk Definer område i kategorien Segmentering, og reduser området til bare noen få piksler i midten av hvert punkt er uthevet og ingen er koblet til et annet punkt. Nederst i Område-delen klikker du Legg til ny. Gi dette navnet nye ROI-frøpunkter.
- Utfør vannskilletransformasjon.
- Høyreklikk Seedpoints ROI | Tilkoblede komponenter | Ny Multi-ROI (26 tilkoblet). Høyreklikk på den nylig genererte Multi-ROI | Vannskille Transform. Velg avstandskartet som heter Landskap , og klikk OK; velg avkastningen som heter Watershed Mask og klikk OK for å beregne en vannskilletransformasjon fra hvert frøpunkt og skille individuelle partikler i separate klasser i multi-ROI. Generer koordinater som i trinn 8.2.
Figur 1: Arbeidsflyt. 1) Forbehandle treningstogrammet ved å kalibrere intensitetsskalaen og filtrere datasettet. 2) Opprett treningsdataene ved å segmentere en liten del av et tomografi for hånd med alle passende etiketter brukeren ønsker å identifisere. 3) Ved å bruke det filtrerte tomogrammet som inngang og håndsegmenteringen som treningsutgang, trenes et femlags U-Net med flere skiver i segmenteringsveiviseren. 4) Det trente nettverket kan brukes på hele tomogrammet for å kommentere det, og en 3D-gjengivelse kan genereres fra hver segmenterte klasse. Klikk her for å se en større versjon av denne figuren.
Representative Results
Etter protokollen ble et fem-skive U-Net trent på et enkelt tomografi (figur 2A) for å identifisere fem klasser: membran, mikrotubuli, aktin, fiducial markører og bakgrunn. Nettverket ble iterativt trent totalt tre ganger, og deretter påført tomogrammet for å fullstendig segmentere og kommentere det (figur 2B,C). Minimal opprydding ble utført ved hjelp av trinn 7.1 og 7.2. De neste tre tomogrammene av interesse (figur 2D, G, J) ble lastet inn i programvaren for forbehandling. Før bildeimport krevde et av tomogrammene (figur 2J) pikselstørrelsesjustering fra 17,22 Å/px til 13,3 Å/px, ettersom det ble samlet inn på et annet mikroskop ved en litt annen forstørrelse. IMOD-programmet squeezevol ble brukt til å endre størrelse med følgende kommando:
'squeezevol-f 0.772 inputfile.mrc outputfile.mrc'
I denne kommandoen refererer -f til faktoren for å endre pikselstørrelsen (i dette tilfellet: 13.3/17.22). Etter import ble alle tre slutningsmålene forhåndsbehandlet i henhold til trinn 3.2 og 3.3, og deretter ble U-Net med fem skiver brukt. Minimal opprydding ble igjen utført. De endelige segmenteringene er vist i figur 2.
Mikrotubulisegmenteringer fra hvert tomografi ble eksportert som binære (trinn 7.4) TIF-filer, konvertert til MRC (IMOD tif2mrc-program ), og deretter brukt til sylinderkorrelasjon og filamentsporing. Binære segmenteringer av filamenter resulterer i mye mer robust filamentsporing enn sporing over tomogrammer. Koordinatkart fra filamentsporing (figur 3) vil bli brukt til videre analyse, for eksempel nærmeste nabomålinger (filamentpakking) og spiralformet sub-tomogram gjennomsnitt langs enkeltfilamenter for å bestemme mikrotubuliorientering.
Mislykkede eller utilstrekkelig trente nettverk er enkle å fastslå. Et mislykket nettverk vil ikke være i stand til å segmentere noen strukturer i det hele tatt, mens et utilstrekkelig trent nettverk vanligvis vil segmentere noen strukturer riktig og ha et betydelig antall falske positiver og falske negativer. Disse nettverkene kan korrigeres og iterativt trenes for å forbedre ytelsen. Segmenteringsveiviseren beregner automatisk en modells Dice-likhetskoeffisient (kalt poengsum i SegWiz) etter at den er opplært. Denne statistikken gir et estimat av likheten mellom treningsdataene og U-Net-segmenteringen. Dragonfly 2022.1 har også et innebygd verktøy for å evaluere en modells ytelse som kan nås i fanen Kunstig intelligens øverst i grensesnittet (se dokumentasjon for bruk).
Figur 2: Slutning. (A-C) Originalt treningstomografi av et DIV 5 hippocampal rottenevron, samlet i 2019 på en Titan Krios. Dette er en tilbakeprojisert rekonstruksjon med CTF-korreksjon i IMOD. (A) Den gule boksen representerer regionen der håndsegmenteringen ble utført for treningsinndata. (B) 2D-segmentering fra U-Net etter at opplæringen er fullført. (C) 3D-gjengivelse av de segmenterte områdene som viser membran (blå), mikrotubuli (grønn) og aktin (rød). (VG Nett) DIV 5 hippocampus rottenevron fra samme økt som treningstogrammet. (E) 2D-segmentering fra U-nettet uten ekstra opplæring og rask opprydding. Membran (blå), mikrotubuli (grønn), aktin (rød), fiducials (rosa). (F) 3D-gjengivelse av de segmenterte regionene. (VG Nett) DIV 5 hippocampus rottenevron fra 2019-økten. (H) 2D-segmentering fra U-Net med rask opprydding og (I) 3D-gjengivelse. (J-L) DIV 5 hippocampal rottenevron, samlet i 2021 på en annen Titan Krios ved en annen forstørrelse. Pikselstørrelsen er endret med IMOD-programmet squeezevol for å matche treningstogrammet. (K) 2D-segmentering fra U-nettet med rask opprydding, som demonstrerer robust inferens på tvers av datasett med riktig forhåndsbehandling og (L) 3D-gjengivelse av segmentering. Skalastenger = 100 nm. Forkortelser: DIV = dager in vitro; CTF = kontrastoverføringsfunksjon. Klikk her for å se en større versjon av denne figuren.
Figur 3: Forbedring av filamentsporing . (A) Tomogram av et DIV 4 rotte hippocampus nevron, samlet på en Titan Krios. (B) Korrelasjonskart generert fra sylinderkorrelasjon over aktinfilamenter. (C) Filamentsporing av aktin ved bruk av intensiteten av aktinfilamenter i korrelasjonskartet for å definere parametere. Sporing fanger membranen og mikrotubuli, samt støy, mens du prøver å spore bare aktin. (D) U-Net-segmentering av tomogram. Membran uthevet i blått, mikrotubuli i rødt, ribosomer i oransje, triC i lilla og aktin i grønt. (E) Aktinsegmentering ekstrahert som en binær maske for filamentsporing. (F) Korrelasjonskart generert fra sylinderkorrelasjon med de samme parametrene fra (B). (G) Betydelig forbedret filamentsporing av bare aktinfilamenter fra tomogrammet. Forkortelse: DIV = dager in vitro. Klikk her for å se en større versjon av denne figuren.
Tilleggsfil 1: Tomogrammet som brukes i denne protokollen og multiavkastningen som ble generert som treningsinndata, er inkludert som et samlet datasett (Training.ORSObject). Se https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.
Discussion
Denne protokollen beskriver en prosedyre for bruk av Dragonfly 2022.1-programvare for å trene et U-Net i flere klasser fra et enkelt tomogram, og hvordan du kan utlede det nettverket til andre tomogrammer som ikke trenger å være fra samme datasett. Treningen er relativt rask (kan være så rask som 3-5 min per epoke eller så sakte som noen få timer, helt avhengig av nettverket som blir trent og maskinvaren som brukes), og omskolering av et nettverk for å forbedre læringen er intuitivt. Så lenge forbehandlingstrinnene utføres for hvert tomogram, er slutningen vanligvis robust.
Konsekvent forhåndsbehandling er det mest kritiske trinnet for dyp læringsslutning. Det er mange bildefiltre i programvaren, og brukeren kan eksperimentere for å finne ut hvilke filtre som fungerer best for bestemte datasett; Vær oppmerksom på at hvilken filtrering som brukes på treningstogrammet, må brukes på samme måte som slutningstomogrammene. Det må også utvises forsiktighet for å gi nettverket nøyaktig og tilstrekkelig opplæringsinformasjon. Det er viktig at alle funksjoner som er segmentert i treningsstykkene er segmentert så nøye og nøyaktig som mulig.
Bildesegmentering forenkles av et sofistikert kommersielt brukergrensesnitt. Det gir alle nødvendige verktøy for håndsegmentering og muliggjør enkel omplassering av voxels fra en klasse til en annen før trening og omskoling. Brukeren har lov til å håndsegmentere voxels innenfor hele konteksten av tomogrammet, og de får flere visninger og muligheten til å rotere volumet fritt. I tillegg gir programvaren muligheten til å bruke flere klassenettverk, som har en tendens til å utføre bedre16 og er raskere enn segmentering med flere enkeltklassenettverk.
Det er selvfølgelig begrensninger for et nevralt nettverks evner. Kryo-ET-data er av natur svært støyende og begrenset i vinkelprøvetaking, noe som fører til orienteringsspesifikke forvrengninger i identiske objekter21. Opplæring er avhengig av at en ekspert segmenterer strukturer nøyaktig, og et vellykket nettverk er bare så bra (eller så dårlig) som treningsdataene det er gitt. Bildefiltrering for å øke signalet er nyttig for treneren, men det er fortsatt mange tilfeller der nøyaktig identifisering av alle piksler i en gitt struktur er vanskelig. Det er derfor viktig at det utvises stor forsiktighet når du oppretter treningssegmenteringen, slik at nettverket har best mulig informasjon å lære under trening.
Denne arbeidsflyten kan enkelt endres etter hver brukers preferanser. Selv om det er viktig at alle tomogrammer forhåndsbehandles på nøyaktig samme måte, er det ikke nødvendig å bruke de nøyaktige filtrene som brukes i protokollen. Programvaren har mange bildefiltreringsalternativer, og det anbefales å optimalisere disse for brukerens spesielle data før du legger ut på et stort segmenteringsprosjekt som spenner over mange tomogrammer. Det er også ganske mange nettverksarkitekturer tilgjengelig for bruk: et flerstykke U-Net har vist seg å fungere best for dataene fra dette laboratoriet, men en annen bruker kan oppleve at en annen arkitektur (for eksempel et 3D U-Net eller en Sensor 3D) fungerer bedre. Segmenteringsveiviseren gir et praktisk grensesnitt for å sammenligne ytelsen til flere nettverk ved hjelp av de samme treningsdataene.
Verktøy som de som presenteres her, vil gjøre håndsegmentering av fulle tomogrammer til en oppgave fra fortiden. Med godt trente nevrale nettverk som er robust inferable, er det fullt mulig å lage en arbeidsflyt der tomografiske data rekonstrueres, behandles og fullt segmenteres så raskt som mikroskopet kan samle det.
Disclosures
Open Access-lisensen for denne protokollen ble betalt av Object Research Systems.
Acknowledgments
Denne studien ble støttet av Penn State College of Medicine og Institutt for biokjemi og molekylærbiologi, samt Tobacco Settlement Fund (TSF) tilskudd 4100079742-EXT. Tjenestene og instrumentene CryoEM og CryoET Core (RRID:SCR_021178) som ble brukt i dette prosjektet ble delvis finansiert av Pennsylvania State University College of Medicine via Office of the Vice Dean of Research and Graduate Students og Pennsylvania Department of Health using Tobacco Settlement Funds (CURE). Innholdet er utelukkende forfatternes ansvar og representerer ikke nødvendigvis de offisielle synspunktene til universitetet eller College of Medicine. Pennsylvania Department of Health fraskriver seg spesifikt ansvar for eventuelle analyser, tolkninger eller konklusjoner.
Materials
| Name | Company | Catalog Number | Comments |
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022).
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Dragonfly 2021.3 (Computer Software). , Available from: http://www.theobjects.com/dragonfly (2021).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
