Summary
Detta är en metod för att träna ett U-Net med flera skivor för segmentering av kryoelektrontomogram med flera klasser med hjälp av en del av ett tomogram som träningsingång. Vi beskriver hur man härleder detta nätverk till andra tomogram och hur man extraherar segmenteringar för vidare analyser, såsom subtomogrammedelvärde och filamentspårning.
Abstract
Kryoelektrontomografi (kryo-ET) gör det möjligt för forskare att avbilda celler i sitt infödda, hydratiserade tillstånd med högsta möjliga upplösning. Tekniken har dock flera begränsningar som gör det tidskrävande och svårt att analysera data som den genererar. Handsegmentering av ett enda tomogram kan ta från timmar till dagar, men ett mikroskop kan enkelt generera 50 eller fler tomogram om dagen. Nuvarande djupinlärningssegmenteringsprogram för kryo-ET finns, men är begränsade till att segmentera en struktur i taget. Här tränas U-Net konvolutionella neurala nätverk med flera skivor och tillämpas för att automatiskt segmentera flera strukturer samtidigt inom kryo-tomogram. Med korrekt förbehandling kan dessa nätverk härledas till många tomogram utan att behöva träna enskilda nätverk för varje tomogram. Detta arbetsflöde förbättrar dramatiskt hastigheten med vilken kryoelektrontomogram kan analyseras genom att minska segmenteringstiden till under 30 minuter i de flesta fall. Vidare kan segmenteringar användas för att förbättra noggrannheten i filamentspårning inom ett cellulärt sammanhang och för att snabbt extrahera koordinater för subtomogrammedelvärde.
Introduction
Hårdvaru- och mjukvaruutvecklingen under det senaste decenniet har resulterat i en "upplösningsrevolution" för kryoelektronmikroskopi (kryo-EM)1,2. Med bättre och snabbare detektorer3, programvara för att automatisera datainsamling 4,5 och signalförstärkande framsteg som fasplattor6 är det relativt enkelt att samla in stora mängder högupplösta kryo-EM-data.
Cryo-ET ger oöverträffad inblick i cellulär ultrastruktur i ett inhemskt, hydratiserat tillstånd 7,8,9,10. Den primära begränsningen är provtjocklek, men med antagandet av metoder som fokuserad jonstråle (FIB) fräsning, där tjocka cell- och vävnadsprover tunnas ut för tomografi11, expanderar horisonten för vad som kan avbildas med kryo-ET ständigt. De nyaste mikroskopen kan producera långt över 50 tomogram om dagen, och denna hastighet beräknas bara öka på grund av utvecklingen av snabba datainsamlingssystem12,13. Att analysera de stora mängder data som produceras av kryo-ET är fortfarande en flaskhals för denna bildbehandling.
Kvantitativ analys av tomografiska data kräver att den först kommenteras. Traditionellt kräver detta handsegmentering av en expert, vilket är tidskrävande; Beroende på den molekylära komplexiteten i kryo-tomogrammet kan det ta timmar till dagar av dedikerad uppmärksamhet. Artificiella neurala nätverk är en tilltalande lösning på detta problem eftersom de kan utbildas för att göra huvuddelen av segmenteringsarbetet på en bråkdel av tiden. Konvolutionella neurala nätverk (CNN) är särskilt lämpade för datorseende14 och har nyligen anpassats för analys av kryoelektrontomogram15,16,17.
Traditionella CNN kräver tusentals kommenterade träningsprover, vilket inte ofta är möjligt för biologiska bildanalysuppgifter. Därför har U-Net-arkitekturen utmärkt sig i detta utrymme18 eftersom den förlitar sig på dataförstärkning för att framgångsrikt träna nätverket, vilket minimerar beroendet av stora träningsuppsättningar. Till exempel kan en U-Net-arkitektur tränas med bara några segment av ett enda tomogram (fyra eller fem segment) och härledas till andra tomogram utan omträning. Detta protokoll tillhandahåller en steg-för-steg-guide för träning av U-Net-neurala nätverksarkitekturer för att segmentera elektronkryo-tomogram inom Dragonfly 2022.119.
Dragonfly är kommersiellt utvecklad programvara som används för 3D-bildsegmentering och analys av djupinlärningsmodeller, och den är fritt tillgänglig för akademisk användning (vissa geografiska begränsningar gäller). Den har ett avancerat grafiskt gränssnitt som gör det möjligt för en icke-expert att dra full nytta av djupinlärningens krafter för både semantisk segmentering och bildförstöring. Detta protokoll visar hur man förbehandlar och kommenterar kryoelektrontomogram inom Dragonfly för träning av artificiella neurala nätverk, som sedan kan härledas för att snabbt segmentera stora dataset. Den diskuterar vidare och visar kortfattat hur man använder segmenterade data för vidare analys såsom filamentspårning och koordinatextraktion för sub-tomogrammedelvärde.
Protocol
OBS: Dragonfly 2022.1 kräver en högpresterande arbetsstation. Systemrekommendationer ingår i materialförteckningen tillsammans med hårdvaran på arbetsstationen som används för detta protokoll. Alla tomogram som används i detta protokoll är binned 4x från en pixelstorlek på 3,3 till 13,2 ang / pix. Prover som används i de representativa resultaten erhölls från ett företag (se materialförteckningen) som följer riktlinjer för djurvård som överensstämmer med denna institutions etiska standarder. Tomogrammet som används i det här protokollet och multi-ROI som genererades som träningsindata har inkluderats som en paketerad datauppsättning i kompletterande fil 1 (som finns på https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct) så att användaren kan följa med samma data om de vill. Dragonfly är också värd för en öppen åtkomstdatabas som heter Infinite Toolbox där användare kan dela tränade nätverk.
1. Inställning
- Ändra standardarbetsyta:
- Om du vill ändra arbetsytan så att den speglar den som används i det här protokollet bläddrar du ned till avsnittet Egenskaper för scenvy till vänster i huvudpanelen och avmarkerar Visa förklaringar. Bläddra ner till avsnittet Layout och välj vyn Enkel scen och vyn Fyra lika vyer.
- För att uppdatera standardenheten, gå till Arkiv | Inställningar. I fönstret som öppnas ändrar du standardenheten från millimeter till nanometer.
- Användbara standardnyckelbindningar:
- Tryck på Esc för att visa hårkorset i 2D-vyerna och tillåta 3D-volymrotation i 3D-vyn. Tryck på X för att dölja hårkorset i 2D-vyerna och tillåta 2D-översättning och 3D-volymöversättning i 3D-vy.
- Håll muspekaren över hårkorset för att se små pilar som du kan klicka på och dra för att ändra vinkeln på visningsplanet i de andra 2D-vyerna.
- Tryck på Z för att ange zoomläget i båda vyerna, så att användarna kan klicka och dra var som helst för att zooma in och ut.
- Dubbelklicka på en vy i scenen med fyra vyer för att bara fokusera den vyn . Dubbelklicka igen för att återgå till alla fyra vyerna.
- Spara förloppet regelbundet genom att exportera allt på fliken Egenskaper som ett ORS-objekt för enkel import. Markera alla objekt i listan och högerklicka på Exportera | Som ORS invänder. Namnge filen och spara. Alternativt kan du gå till Arkiv | Spara session. För att använda autosave-funktionen i programvaran, aktivera den via File | Inställningar | Spara automatiskt.
2. Import av bilder
- För bildimport, gå till Arkiv | Importera bildfiler. Klicka på Lägg till, navigera till bildfilen och klicka på Öppna | Nästa | Avsluta.
OBS: Programvaran känner inte igen .rec-filer. Alla tomogram måste ha suffixet .mrc. Om du använder de angivna uppgifterna går du istället till Arkiv | Importera objekt. Navigera till filen Training.ORSObject och klicka på Öppna och sedan på OK.
3. Förbehandling (figur 1.1)
- Skapa en anpassad intensitetsskala (används för att kalibrera bildintensiteter mellan datauppsättningar). Gå till Verktyg | Enhetschef för Dimension. Längst ned till vänster klickar du på + för att skapa en ny dimensionsenhet.
- Välj en högintensiv (ljus) och låg intensitet (mörk) funktion som finns i alla tomogram av intresse. Ge enheten ett namn och en förkortning (t.ex. för denna skala, ställ in fiduciella pärlor till 0,0 standardintensitet och bakgrunden till 100,0). Spara den anpassade dimensionsenheten.
OBS: En anpassad intensitetsskala är en godtycklig skala som skapas och tillämpas på data för att säkerställa att alla data är på samma intensitetsskala trots att de samlas in vid olika tidpunkter eller på olika utrustning. Välj ljusa och mörka funktioner som bäst representerar det intervall som signalen faller inom. Om det inte finns några fiducials i data, välj helt enkelt den mörkaste funktionen som kommer att segmenteras (till exempel den mörkaste regionen av protein). - Om du vill kalibrera bilder till den anpassade intensitetsskalan högerklickar du på datauppsättningen i kolumnen Egenskaper till höger på skärmen och väljer Kalibrera intensitetsskala. På fliken Huvudsida till vänster på skärmen bläddrar du ned till avsnittet Avsökning . Använd det cirkulära sondverktyget med lämplig diameter och klicka på några platser i tomogrammets bakgrundsregion och registrera det genomsnittliga antalet i kolumnen Råintensitet . upprepa för fiduciella markörer och klicka sedan på Kalibrera. Om det behövs justerar du kontrasten så att strukturerna blir synliga igen med områdesverktyget i avsnittet Fönsterutjämning på fliken Huvudsida.
- Bildfiltrering:
Bildfiltrering kan minska brus och öka signalen. Detta protokoll använder tre filter som är inbyggda i programvaran eftersom de fungerar bäst för dessa data, men det finns många filter tillgängliga. När du väl har bestämt dig för ett bildfiltreringsprotokoll för data av intresse kommer det att vara nödvändigt att tillämpa exakt samma protokoll på alla tomogram före segmentering.- På huvudfliken till vänster bläddrar du ner till bildbehandlingspanelen. Klicka på Avancerat och vänta tills ett nytt fönster öppnas. På panelen Egenskaper väljer du den datauppsättning som ska filtreras och gör den synlig genom att klicka på ögonikonen till vänster om datauppsättningen.
- På manöverpanelen använder du listrutan för att välja Histogramutjämning (under avsnittet Kontrast ) för den första åtgärden. Välj Lägg till åtgärd | Gaussiska (under avsnittet Utjämning ). Ändra kärndimensionen till 3D.
- Lägg till en tredje operation; välj sedan Oskarp (under avsnittet Skärpa ). Lämna utdata för den här. Applicera på alla segment och låt filtreringen köras och stäng sedan fönstret Bildbehandling för att återgå till huvudgränssnittet.
4. Skapa träningsdata (figur 1.2)
- Identifiera träningsområdet genom att först dölja den ofiltrerade datauppsättningen genom att klicka på ögonikonen till vänster om den i panelen Dataegenskaper . Visa sedan den nyligen filtrerade datauppsättningen (som automatiskt får namnet DataSet-HistEq-Gauss-Unsharp). Använd den filtrerade datauppsättningen och identifiera en delregion i tomogrammet som innehåller alla funktioner av intresse.
- Om du vill skapa en ruta runt intresseområdet bläddrar du ned till kategorin Former på huvudfliken till vänster och väljer Skapa en ruta. På panelen Fyra vyer kan du använda de olika 2D-planen för att vägleda/dra kanterna på rutan så att endast det intressanta området omsluts i alla dimensioner. Markera området Ruta i datalistan och ändra färgen på kantlinjen för enklare visning genom att klicka på den grå fyrkanten bredvid ögonsymbolen.
OBS: Den minsta patchstorleken för en 2D U-Net är 32 x 32 pixlar; 400 x 400 x 50 pixlar är en rimlig boxstorlek att börja. - Om du vill skapa en multi-ROI väljer du fliken Segmentering till vänster | Ny och markera Skapa som Multi-ROI. Se till att antalet klasser motsvarar antalet intressanta funktioner + en bakgrundsklass. Namnge träningsdata med flera ROI och se till att geometrin motsvarar datauppsättningen innan du klickar på OK.
- Segmentera träningsdata
- Bläddra igenom data tills du befinner dig inom gränserna för det inramade området. Välj Multi-ROI i egenskapsmenyn till höger. Dubbelklicka på det första tomma klassnamnet i multi-ROI för att namnge det.
- Måla med 2D-borsten. På segmenteringsfliken till vänster bläddrar du ner till 2D-verktyg och väljer en cirkulär pensel. Välj sedan Adaptiv Gaussisk eller Lokal OTSU i listrutan. För att måla, håll vänster ctrl och klicka. För att radera, håll vänster skift och klicka.
Penseln återspeglar färgen på den valda klassen. - Upprepa föregående steg för varje objektklass i multi-ROI. Se till att alla strukturer inom den boxade regionen är helt segmenterade, annars kommer de att betraktas som bakgrund av nätverket.
- När alla strukturer har märkts högerklickar du på klassen Background i Multi-ROI och väljer Lägg till alla omärkta Voxels i klassen.
- Skapa en ny ROI för en klass med namnet Mask. Kontrollera att geometrin är inställd på den filtrerade datauppsättningen och klicka sedan på Använd. På egenskapsfliken till höger högerklickar du på rutan och väljer Lägg till i ROI. Lägg till den i maskens ROI.
- Om du vill trimma träningsdata med masken går du till fliken Egenskaper och väljer både Multi-ROI för träningsdata och ROI för Mask genom att hålla ned Ctrl och klicka på var och en. Klicka sedan på Överlappa under listan över dataegenskaper i avsnittet Booleska åtgärder. Ge den nya datauppsättningen namnet Trimmade träningsindata och se till att geometrin motsvarar den filtrerade datauppsättningen innan du klickar på OK.
5. Använda segmenteringsguiden för iterativ träning (figur 1.3)
- Importera träningsdata till segmenteringsguiden genom att först högerklicka på den filtrerade datauppsättningen på fliken Egenskaper och sedan välja alternativet Segmenteringsguiden . När ett nytt fönster öppnas letar du efter inmatningsfliken på höger sida. Klicka på Importera ramar från en Multi-ROI och välj Trimmad träningsingång.
- (Valfritt) Skapa en visuell feedbackram för att övervaka träningsförloppet i realtid.
- Markera en ram från data som inte är segmenterad och klicka på + för att lägga till den som en ny ram. Dubbelklicka på den blandade etiketten till höger om ramen och ändra den till Övervakning.
- Om du vill generera en ny neural nätverksmodell klickar du på knappen + till höger på fliken Modeller för att generera en ny modell. Välj U-Net i listan och välj sedan 2,5D och 5 segment för indatadimension och klicka sedan på Generera.
- Om du vill träna nätverket klickar du på Träna längst ned till höger i SegWiz-fönstret .
OBS: Träningen kan stoppas tidigt utan att förlora framsteg. - Om du vill använda det tränade nätverket för att segmentera nya bildrutor skapar du en ny ram när U-Net-utbildningen är klar och klickar på Förutsäg (längst ned till höger). Klicka sedan på uppåtpilen längst upp till höger i den föreslagna bildrutan för att överföra segmenteringen till den verkliga bildrutan.
- Om du vill korrigera förutsägelsen Ctrl-klickar du på två klasser om du vill ändra segmenterade pixlar från den ena till den andra. Markera båda klasserna och måla med penseln om du bara vill måla pixlar som tillhör någon av klasserna. Korrigera segmenteringen i minst fem nya bildrutor.
Om du målar med penselverktyget när båda klasserna är markerade innebär det att pixlar från den första klassen konverteras till den andra klassen i stället för att skift-klicka. Ctrl-klicka gör det omvända. - För iterativ träning, klicka på knappen Träna igen och låt nätverket träna ytterligare för ytterligare 30-40 epoker, vid vilken tidpunkt stoppa träningen och upprepa steg 4.5 och 4.6 för ytterligare en träningsomgång.
På så sätt kan en modell tränas iterativt och förbättras med hjälp av en enda datauppsättning. - Om du vill publicera nätverket avslutar du segmenteringsguiden när du är nöjd med dess prestanda. I dialogrutan som automatiskt dyker upp och frågar vilka modeller som ska publiceras (sparas), välj det lyckade nätverket, namnge det och publicera det sedan för att göra nätverket tillgängligt för användning utanför segmenteringsguiden.
6. Använd nätverket (figur 1.4)
- Om du vill tillämpa på träningstomogrammet först väljer du den filtrerade datauppsättningen i panelen Egenskaper . I panelen Segmentering till vänster rullar du ned till avsnittet Segment med AI . Kontrollera att rätt datauppsättning är markerad, välj den modell som just publicerades i listrutan och klicka sedan på Segment | Alla skivor. Du kan också välja Förhandsgranska om du vill visa en förhandsgranskning av segmenteringen med ett segment.
- Om du vill tillämpa på en inferensdatauppsättning importerar du det nya tomogrammet. Förbehandling enligt steg 3 (figur 1.1). I panelen Segmentering går du till avsnittet Segment med AI. Kontrollera att det nyligen filtrerade tomogrammet är den valda datauppsättningen, välj den tidigare tränade modellen och klicka på Segment | Alla skivor.
7. Segmenteringsmanipulation och rensning
- Rengör snabbt brus genom att först välja en av klasserna som har segmenterat brus och funktionen av intresse. Högerklicka | Process öar | Ta bort av Voxel Count | Välj en voxelstorlek. Börja smått (~ 200) och öka gradvis räkningen för att ta bort det mesta av bruset.
- För segmenteringskorrigering Ctrl-klickar du på två klasser om du bara vill måla pixlar som tillhör dessa klasser. Ctrl-klicka + dra med segmenteringsverktygen för att ändra pixlar från den andra klassen till den första och Skift-klicka + dra för att åstadkomma motsatsen. Fortsätt att göra detta för att snabbt korrigera felaktigt märkta pixlar.
- Separata anslutna komponenter.
- Välj en klass. Högerklicka på en klass i Multi-ROI | Separata anslutna komponenter om du vill skapa en ny klass för varje komponent som inte är ansluten till en annan komponent i samma klass. Använd knapparna under Multi-ROI för att enkelt slå samman klasserna.
- Exportera ROI som Binary/TIFF.
- Välj en klass i Multi-ROI, högerklicka sedan och extrahera klass som ROI. I egenskapspanelen ovan väljer du den nya ROI, högerklickar på | Exportera | ROI som binär (se till att alternativet att exportera alla bilder till en fil är markerat).
OBS: Användare kan enkelt konvertera från tiff till mrc-format med IMOD-programmet tif2mrc20. Detta är användbart för filamentspårning.
- Välj en klass i Multi-ROI, högerklicka sedan och extrahera klass som ROI. I egenskapspanelen ovan väljer du den nya ROI, högerklickar på | Exportera | ROI som binär (se till att alternativet att exportera alla bilder till en fil är markerat).
8. Generera koordinater för sub-tomogram medelvärde från ROI
- Extrahera en klass.
- Högerklicka på Klass som ska användas för medelvärde | Extrahera klass som ROI. Högerklicka på klassens ROI | Anslutna komponenter | Ny Multi-ROI (26 anslutna).
- Generera koordinater.
- Högerklicka på den nya Multi-ROI | Skalär generator. Expandera grundläggande mätningar med datauppsättning | kontrollera Viktat centrum för massa X, Y och Z. Välj datauppsättning och beräkna. Högerklicka på Multi-ROI | Exportera skalära värden. Markera Markera Välj alla skalära kortplatser och sedan OK för att generera centroidvärldskoordinater för varje klass i multi-ROI som en CSV-fil.
OBS: Om partiklar är nära varandra och segmenteringarna berör, kan det vara nödvändigt att utföra en vattendelare omvandla för att separera komponenterna till en multi-ROI.
- Högerklicka på den nya Multi-ROI | Skalär generator. Expandera grundläggande mätningar med datauppsättning | kontrollera Viktat centrum för massa X, Y och Z. Välj datauppsättning och beräkna. Högerklicka på Multi-ROI | Exportera skalära värden. Markera Markera Välj alla skalära kortplatser och sedan OK för att generera centroidvärldskoordinater för varje klass i multi-ROI som en CSV-fil.
9. Vattendelare förvandlas
- Extrahera klassen genom att högerklicka på klassen i Multi-ROI som ska användas för medelvärde | Extrahera klass som ROI. Namnge denna ROI Watershed Mask.
- (Valfritt) Stäng hål.
- Om de segmenterade partiklarna har hål eller öppningar, stäng dessa för vattendomen. Klicka på ROI i Dataegenskaper. På fliken Segmentering (till vänster) går du till Morfologiska operationer och använder den kombination av Dilat, Erode och Close som krävs för att uppnå solida segmenteringar utan hål.
- Invertera ROI genom att klicka på ROI | Kopiera markerat objekt (under Dataegenskaper). Välj den kopierade avkastningen och klicka på Invertera på fliken Segmentering till vänster.
- Skapa en avståndskarta genom att högerklicka på den inverterade ROI | Skapa mappning av | Avstånd karta. För senare användning, gör en kopia av avståndskartan och invertera den (högerklicka | Ändra och omvandla | Invertera värden | Tillämpa). Ge den här inverterade kartan namnet Landskap.
- Skapa startpunkter.
- Dölj ROI och visa avståndskartan. Klicka på Definiera intervall på fliken Segmentering och minska intervallet tills bara några pixlar i mitten av varje punkt markeras och ingen är kopplad till en annan punkt. Längst ned i avsnittet Intervall klickar du på Lägg till i nytt. Namnge denna nya ROI Seedpoints.
- Utför vattendragsomvandling.
- Högerklicka på ROI för seedpoints | Anslutna komponenter | Ny Multi-ROI (26 anslutna). Högerklicka på den nyligen genererade Multi-ROI | Vattendelare förvandlas. Välj avståndskartan med namnet Landskap och klicka på OK; välj ROI med namnet Watershed Mask och klicka på OK för att beräkna en vattendelartransformering från varje startpunkt och separera enskilda partiklar i separata klasser i multi-ROI. Generera koordinater som i steg 8.2.
Bild 1: Arbetsflöde. 1) Förbehandla träningstomogrammet genom att kalibrera intensitetsskalan och filtrera datauppsättningen. 2) Skapa träningsdata genom att segmentera en liten del av ett tomogram för hand med alla lämpliga etiketter som användaren vill identifiera. 3) Med hjälp av det filtrerade tomogrammet som ingång och handsegmentering som träningsutgång tränas ett U-Net med fem lager och flera segment i segmenteringsguiden. 4) Det tränade nätverket kan appliceras på hela tomogrammet för att kommentera det och en 3D-rendering kan genereras från varje segmenterad klass. Klicka här för att se en större version av denna figur.
Representative Results
Efter protokollet tränades ett U-Net med fem skivor på ett enda tomogram (figur 2A) för att identifiera fem klasser: membran, mikrotubuli, aktin, fiduciella markörer och bakgrund. Nätverket tränades iterativt totalt tre gånger och applicerades sedan på tomogrammet för att helt segmentera och kommentera det (figur 2B, C). Minimal rensning utfördes med steg 7.1 och 7.2. De följande tre tomogrammen av intresse (figur 2D, G, J) laddades in i programvaran för förbehandling. Före bildimporten krävde ett av tomogrammen (figur 2J) pixelstorleksjustering från 17,22 Å/px till 13,3 Å/px eftersom det samlades in i ett annat mikroskop med en något annorlunda förstoring. IMOD-programmet squeezevol användes för att ändra storlek med följande kommando:
"squeezevol -f 0.772 inputfile.mrc outputfile.mrc"
I det här kommandot hänvisar -f till den faktor med vilken pixelstorleken ska ändras (i det här fallet: 13,3/17,22). Efter importen förbehandlades alla tre inferensmålen enligt steg 3.2 och 3.3, och sedan tillämpades U-Net med fem segment. Minimal sanering utfördes igen. De slutliga segmenteringarna visas i figur 2.
Mikrotubulisegmenteringar från varje tomogram exporterades som binära (steg 7.4) TIF-filer, konverterades till MRC (IMOD tif2mrc-program ) och användes sedan för cylinderkorrelation och filamentspårning. Binära segmenteringar av filament resulterar i mycket mer robust filamentspårning än spårning över tomogram. Koordinatkartor från filamentspårning (figur 3) kommer att användas för vidare analys, såsom mätningar av närmaste granne (filamentpackning) och spiralformat subtomogram i genomsnitt längs enskilda filament för att bestämma mikrotubulis orientering.
Misslyckade eller otillräckligt utbildade nätverk är lätta att fastställa. Ett misslyckat nätverk kan inte segmentera några strukturer alls, medan ett otillräckligt tränat nätverk vanligtvis segmenterar vissa strukturer korrekt och har ett betydande antal falska positiva och falska negativa resultat. Dessa nätverk kan korrigeras och iterativt tränas för att förbättra deras prestanda. Segmenteringsguiden beräknar automatiskt en modells tärningslikhetskoefficient (kallas poäng i SegWiz) efter att den har tränats. Denna statistik ger en uppskattning av likheten mellan träningsdata och U-Net-segmenteringen. Dragonfly 2022.1 har också ett inbyggt verktyg för att utvärdera en modells prestanda som kan nås under fliken Artificiell intelligens högst upp i gränssnittet (se dokumentation för användning).
Figur 2: Slutledning. (A-C) Original träningstomogram av en DIV 5 hippocampus råtta neuron, samlad 2019 på en Titan Krios. Detta är en bakåtprojicerad rekonstruktion med CTF-korrigering i IMOD. (A) Den gula rutan representerar det område där handsegmentering utfördes för träningsinmatning. (B) 2D-segmentering från U-Net efter avslutad utbildning. (C) 3D-rendering av de segmenterade regionerna som visar membran (blått), mikrotubuli (grönt) och aktin (rött). (D-F) DIV 5 hippocampus råtta neuron från samma session som träningstomogrammet. (E) 2D-segmentering från U-Net utan ytterligare utbildning och snabb rengöring. Membran (blå), mikrotubuli (grön), aktin (röd), fiducials (rosa). (F) 3D-rendering av de segmenterade regionerna. (G–I) DIV 5 hippocampus råtta neuron från 2019-sessionen. (H) 2D-segmentering från U-Net med snabb rensning och (I) 3D-rendering. (J–L) DIV 5 hippocampus råtta neuron, samlad 2021 på en annan Titan Krios vid en annan förstoring. Pixelstorleken har ändrats med IMOD-programmet squeezevol för att matcha träningstomogrammet. (K) 2D-segmentering från U-Net med snabb rensning, som visar robust inferens över datauppsättningar med korrekt förbehandling och (L) 3D-rendering av segmentering. Skalstänger = 100 nm. Förkortningar: DIV = dagar in vitro; CTF = kontrastöverföringsfunktion. Klicka här för att se en större version av denna figur.
Figur 3: Förbättring av filamentspårning . (A) Tomogram av en DIV 4 råtta hippocampus neuron, samlad på en Titan Krios. (B) Korrelationskarta genererad från cylinderkorrelation över aktinfilament. (C) Filamentspårning av aktin med hjälp av intensiteterna hos aktinfilamenten i korrelationskartan för att definiera parametrar. Spårning fångar membranet och mikrotubuli, såväl som buller, medan man försöker spåra bara aktin. (D) U-Net segmentering av tomogram. Membran markerat i blått, mikrotubuli i rött, ribosomer i orange, triC i lila och aktin i grönt. (E) Actinsegmentering extraherad som en binär mask för filamentspårning. (F) Korrelationskarta genererad från cylinderkorrelation med samma parametrar från (B). (G) Avsevärt förbättrad filamentspårning av bara aktinfilament från tomogrammet. Förkortning: DIV = dagar in vitro. Klicka här för att se en större version av denna figur.
Kompletterande fil 1: Tomogrammet som används i det här protokollet och multi-ROI som genererades som träningsindata ingår som en paketerad datauppsättning (Training.ORSObject). Se https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.
Discussion
Detta protokoll beskriver en procedur för att använda Dragonfly 2022.1-programvara för att träna ett U-Net med flera klasser från ett enda tomogram och hur man härleder det nätverket till andra tomogram som inte behöver vara från samma dataset. Träningen är relativt snabb (kan vara så snabb som 3-5 minuter per epok eller så långsam som några timmar, helt beroende på nätverket som tränas och hårdvaran som används), och omskolning av ett nätverk för att förbättra dess inlärning är intuitivt. Så länge förbehandlingsstegen utförs för varje tomogram är inferensen vanligtvis robust.
Konsekvent förbearbetning är det viktigaste steget för djupinlärningsinferens. Det finns många bildfilter i programvaran och användaren kan experimentera för att avgöra vilka filter som fungerar bäst för vissa datauppsättningar. Observera att all filtrering som används på träningstomogrammet måste tillämpas på samma sätt på inferenstomogrammen. Man måste också se till att förse nätverket med korrekt och tillräcklig utbildningsinformation. Det är viktigt att alla funktioner som segmenteras inom träningssegmenten segmenteras så noggrant och exakt som möjligt.
Bildsegmentering underlättas av ett sofistikerat användargränssnitt av kommersiell kvalitet. Det ger alla nödvändiga verktyg för handsegmentering och möjliggör enkel omfördelning av voxels från en klass till en annan före träning och omskolning. Användaren får handsegmentera voxlar inom hela tomogrammets sammanhang, och de får flera vyer och möjligheten att rotera volymen fritt. Dessutom ger programvaran möjlighet att använda nätverk med flera klasser, som tenderar att prestera bättre16 och är snabbare än segmentering med flera enklassiga nätverk.
Det finns naturligtvis begränsningar för ett neuralt nätverks kapacitet. Kryo-ET-data är till sin natur mycket bullriga och begränsade i vinkelprovtagning, vilket leder till orienteringsspecifika snedvridningar i identiska objekt21. Utbildning förlitar sig på en expert för att handsegmentera strukturer exakt, och ett framgångsrikt nätverk är bara så bra (eller så dåligt) som träningsdata det ges. Bildfiltrering för att öka signalen är till hjälp för tränaren, men det finns fortfarande många fall där det är svårt att exakt identifiera alla pixlar i en given struktur. Det är därför viktigt att stor försiktighet iakttas när man skapar träningssegmenteringen så att nätverket har bästa möjliga information att lära sig under träningen.
Det här arbetsflödet kan enkelt ändras efter varje användares önskemål. Även om det är viktigt att alla tomogram förbehandlas på exakt samma sätt, är det inte nödvändigt att använda de exakta filtren som används i protokollet. Programvaran har många bildfiltreringsalternativ, och det rekommenderas att optimera dessa för användarens specifika data innan du ger dig ut på ett stort segmenteringsprojekt som spänner över många tomogram. Det finns också en hel del nätverksarkitekturer tillgängliga att använda: ett U-Net med flera segment har visat sig fungera bäst för data från det här labbet, men en annan användare kanske tycker att en annan arkitektur (till exempel ett 3D U-Net eller en Sensor 3D) fungerar bättre. Segmenteringsguiden är ett praktiskt gränssnitt för att jämföra prestanda för flera nätverk med samma träningsdata.
Verktyg som de som presenteras här kommer att göra handsegmentering av hela tomogram till en uppgift från det förflutna. Med vältränade neurala nätverk som är robust härledda är det fullt möjligt att skapa ett arbetsflöde där tomografiska data rekonstrueras, bearbetas och segmenteras helt så snabbt som mikroskopet kan samla in det.
Disclosures
Open-access-licensen för detta protokoll betalades av Object Research Systems.
Acknowledgments
Denna studie stöddes av Penn State College of Medicine och Institutionen för biokemi och molekylärbiologi, samt Tobacco Settlement Fund (TSF) bidrag 4100079742-EXT. CryoEM- och CryoET Core-tjänsterna (RRID: SCR_021178) och instrumenten som används i detta projekt finansierades delvis av Pennsylvania State University College of Medicine via Office of the Vice Dean of Research and Graduate Students och Pennsylvania Department of Health using Tobacco Settlement Funds (CURE). Innehållet är enbart författarnas ansvar och representerar inte nödvändigtvis universitetets eller högskolans officiella åsikter. Pennsylvania Department of Health frånsäger sig specifikt ansvar för analyser, tolkningar eller slutsatser.
Materials
| Name | Company | Catalog Number | Comments |
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022).
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Dragonfly 2021.3 (Computer Software). , Available from: http://www.theobjects.com/dragonfly (2021).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
