Deep learning-gebaseerde segmentatie van cryo-elektronentomogrammen

Het meest opwindende aan ons protocol is dat het elk laboratorium in staat stelt om aan de slag te gaan met behulp van deze deep learning-protocollen voor het segmenteren van grote hoeveelheden cryo-ET-gegevens. Het belangrijkste voordeel van onze workflow is dat Dragonfly een professionele computationele omgeving biedt voor het trainen van multi-class neurale netwerken voor segmentatie, en dat kan uw segmentatieproces echt dramatisch versnellen. Beeldsegmentatie kost tijd om te leren, dus zorg ervoor dat u de tools test en de belangrijkste bindingen leert om uw workflow in de loop van de tijd echt te stroomlijnen.

Nadat u de software hebt ingesteld, gaat u verder met het importeren van afbeeldingen door naar Bestand te gaan en Afbeeldingsbestanden importeren te selecteren. Klik vervolgens op Toevoegen, navigeer naar het afbeeldingsbestand, klik op Openen en selecteer Volgende, gevolgd door Voltooien. Maak een aangepaste intensiteitsschaal door naar Hulpprogramma's te gaan en Dimension Unit Manager te selecteren.

Klik linksonder op plus om een nieuwe dimensie-eenheid te maken. Kies een functie met hoge en lage intensiteit in alle tomogrammen van belang. Geef de eenheid een naam en een afkorting en sla de aangepaste dimensie-eenheid op.

Als u afbeeldingen wilt kalibreren op de aangepaste intensiteitsschaal, klikt u met de rechtermuisknop op de gegevensset in de kolom Eigenschappen aan de rechterkant van het scherm en selecteert u Intensiteitsschaal kalibreren. Ga vervolgens naar het hoofdtabblad aan de linkerkant van het scherm en scrol omlaag naar het gedeelte met de sonde. Klik met het cirkelvormige sondegereedschap met de juiste diameter op een paar plaatsen in het achtergrondgebied van het tomogram en noteer het gemiddelde aantal in de kolom ruwe intensiteit.

Herhaal dit voor fiduciale markeringen en klik op Kalibreren. Pas indien nodig het contrast aan om structuren weer zichtbaar te maken met het gereedschap gebied in het gedeelte voor het nivelleren van het venster van het hoofdtabblad. Scrol aan de linkerkant van het hoofdtabblad omlaag naar het deelvenster voor beeldverwerking.

Klik op Geavanceerd en wacht tot er een nieuw venster wordt geopend. Selecteer in het deelvenster Eigenschappen de gegevensset die u wilt filteren en maak deze zichtbaar door op het oogpictogram links van de gegevensset te klikken. Gebruik vervolgens het vervolgkeuzemenu van het bedieningspaneel om histogram-egalisatie te selecteren voor de eerste bewerking.

Selecteer Bewerkingen toevoegen, klik op Gaussisch en wijzig de kerneldimensie in 3D. Voeg de derde bewerking toe, selecteer vervolgens Onscherp en laat de uitvoer voor deze staan. Pas de egalisatie toe op alle segmenten en laat het filteren worden uitgevoerd en sluit vervolgens het beeldverwerkingsvenster om terug te keren naar de hoofdinterface.

Als u het trainingsgebied wilt identificeren, gaat u naar het deelvenster met gegevenseigenschappen door eerst de ongefilterde gegevensset te verbergen door op het oogpictogram links ervan te klikken. Toon vervolgens de nieuw gefilterde gegevensset. Identificeer met behulp van de gefilterde gegevensset een subregio van het tomogram die alle interessante kenmerken bevat.

Maak nu een vak rond het interessegebied door omlaag te scrollen naar de categorie Vormen en Een vak maken aan de linkerkant van het hoofdtabblad te selecteren. Gebruik in het deelvenster met vier weergaven de verschillende 2D-vlakken om de randen van het vak te begeleiden of te slepen om alleen het interessegebied in alle dimensies te omsluiten. Selecteer in de gegevenslijst het vakgebied en wijzig de randkleur voor een eenvoudigere weergave door op het grijze vierkant naast het oogsymbool te klikken.

Als u een multi-ROI wilt maken, selecteert u het tabblad Segmentatie, klikt u op Nieuw aan de linkerkant en schakelt u Maken als multi-ROI in. Zorg ervoor dat het aantal klassen overeenkomt met het aantal interessante kenmerken plus een achtergrondklasse. Geef de multi-ROI-trainingsgegevens een naam en zorg ervoor dat de geometrie overeenkomt met de gegevensset voordat u op OK klikt. Blader vervolgens door de gegevens totdat u zich binnen de grenzen van het kadergebied bevindt.

Selecteer de Multi-ROI in het menu Eigenschappen aan de rechterkant. Dubbelklik op de eerste lege klassenaam in de multi-ROI om deze een naam te geven. Als u met het 2D-penseel wilt tekenen, scrolt u omlaag naar 2D-gereedschappen op het tabblad Segmentatie aan de linkerkant en selecteert u een cirkelvormig penseel.

Selecteer vervolgens Adaptief Gaussisch of Lokale OTSU in het vervolgkeuzemenu, schilder door de linkercontrole plus klik ingedrukt te houden en wis door de linker-shift plus klik ingedrukt te houden. Zodra alle structuren zijn gelabeld, klikt u met de rechtermuisknop op de achtergrondklasse in de multi-ROI en selecteert u Alle niet-gelabelde voxels toevoegen aan klasse. Maak vervolgens een nieuwe ROI met één klasse met de naam Mask.

Zorg ervoor dat de geometrie is ingesteld op de gefilterde gegevensset en klik vervolgens op Toepassen. Klik op het tabblad Eigenschappen aan de rechterkant met de rechtermuisknop op het vak, selecteer Toevoegen aan ROI en voeg het toe aan de ROI van het masker. Als u de trainingsgegevens wilt bijsnijden met behulp van het masker, gaat u naar het tabblad Eigenschappen en selecteert u zowel de trainingsgegevens, multi-ROI als de ROI van het masker door de controle ingedrukt te houden en op elk masker te klikken.

Klik vervolgens op Doorsnijden onder de lijst met gegevenseigenschappen in de sectie Booleaanse bewerkingen. Geef de nieuwe gegevensset een naam als bijgesneden trainingsinvoer en zorg ervoor dat de geometrie overeenkomt met de gefilterde gegevensset voordat u op OK klikt. Importeer de trainingsgegevens in de wizard Segmentatie door met de rechtermuisknop op de gefilterde gegevensset op het tabblad Eigenschappen te klikken en de optie Wizard Segmentatie te selecteren. Zodra een nieuw venster wordt geopend, zoekt u naar het tabblad Invoer aan de rechterkant.

Klik op Frames importeren uit een multi-ROI en selecteer de invoer Bijgesneden training. Als u een nieuw neuraal netwerkmodel wilt genereren, klikt u op de plusknop aan de rechterkant op het tabblad van het model. Selecteer U Net in de lijst, selecteer 2,5 D en vijf segmenten voor invoerdimensie en klik vervolgens op Genereren.

Om het netwerk te trainen, klikt u op Trainen rechtsonder in het Seg Wiz-venster. Zodra de eenheidstraining is voltooid, gebruikt u het getrainde netwerk om nieuwe frames te segmenteren, een nieuw frame te maken en op Voorspellen te klikken. Klik vervolgens op de pijl-omhoog in de rechterbovenhoek van het voorspelde frame om de segmentatie over te brengen naar het echte frame.

Als u de voorspelling wilt corrigeren, houdt u Control ingedrukt en klikt u op twee klassen om de gesegmenteerde pixels van de ene in de andere te wijzigen. Selecteer beide klassen en teken met het penseel om alleen pixels te schilderen die tot een van beide klassen behoren. Corrigeer de segmentatie in ten minste vijf nieuwe frames.

Voor iteratieve training klikt u nogmaals op de knop Trein en laat u het netwerk verder trainen voor nog eens 30 tot 40 epics. Stop op dit punt met de training en begin aan een nieuwe trainingsronde. Als u tevreden bent met de prestaties van het netwerk, publiceert u het netwerk door de wizard Segmentatie af te sluiten.

Er verschijnt een dialoogvenster met de vraag welke modellen moeten worden gepubliceerd. Selecteer het succesvolle netwerk, geef het een naam en publiceer het vervolgens om het netwerk beschikbaar te maken voor gebruik buiten de wizard Segmentatie. Selecteer eerst de gefilterde gegevensset in het deelvenster Eigenschappen die u wilt toepassen op het trainingstomogram.

Blader in het deelvenster Segmentatie aan de linkerkant omlaag naar het gedeelte Segment met AI. Zorg ervoor dat de juiste gegevensset is geselecteerd. Kies het model dat onlangs is gepubliceerd in het vervolgkeuzemenu en klik vervolgens op Segmenteren, gevolgd door Alle segmenten.

Als u een inferentiegegevensset wilt toepassen, importeert u het nieuwe tomogram en verwerkt u het voor, zoals eerder is aangegeven. Ga in het segmentatievenster naar het gedeelte Segment met AI. Zorg ervoor dat het nieuw gefilterde tomogram de geselecteerde gegevensset is, kies het eerder getrainde model, klik op het segment en selecteer Alle segmenten.

Ruim ruis snel op door eerst een van de klassen te kiezen die ruis en de interessante functie hebben gesegmenteerd. Klik vervolgens met de rechtermuisknop op Eilanden verwerken, selecteer Verwijderd door Voxel-telling en klik vervolgens op Een voxelgrootte selecteren. Begin met kleine tellingen en verhoog geleidelijk de telling om het grootste deel van de ruis te verwijderen.

Voor segmentatiecorrectie houdt u Control ingedrukt en klikt u op twee klassen om pixels te schilderen die alleen tot die klassen behoren. Houd Control ingedrukt en klik plus sleep met de segmentatiegereedschappen om pixels van de tweede klasse te wijzigen in de eerste en houd Shift ingedrukt en klik plus sleep om het tegenovergestelde te bereiken. Een eenheid met vijf segmenten werd getraind op een enkel tomogram en handsegmentatie werd uitgevoerd voor trainingsinvoer.

2D-segmentatie van de eenheid na volledige training wordt weergegeven. 3D-weergave van de gesegmenteerde gebieden toont membraan, microtubuli en actinefilamenten. DIV 5 hippocampale rattenneuronen uit dezelfde sessie als het trainingstomogram worden getoond.

2D-segmentatie van het apparaat zonder extra training in snelle reiniging weergegeven membraan, microtubuli, actine en fiducicals. 3D-weergave van de gesegmenteerde gebieden werd ook gevisualiseerd. DIV 5 hippocampale ratneuron uit een eerdere sessie werd ook waargenomen.

2D-segmentatie van het apparaat met snelle opschoning en 3D-rendering werd ook uitgevoerd. DIV 5 hippocampale ratneuron werd ook waargenomen op een andere Titan Krios bij een andere vergroting. De pixelgrootte is gewijzigd met het IMOD-programma knijpkluis om overeen te komen met het trainingstomogram.

2D-segmentatie van het apparaat met snelle opschoning toont robuuste gevolgtrekking tussen datasets met de juiste voorbewerking en 3D-rendering van segmentatie werd uitgevoerd. Het identiek voorbewerken van de gegevens en het kalibreren van de histogrammen zijn absoluut de belangrijkste stappen voor een goede netwerkinferentie. Zodra de locatie van moleculen bekend is binnen het tomogram, is het binnen Dragonfly echt triviaal om kwantitatieve metingen te berekenen of om coördinaten te berekenen en die in een sub-tomogram middelingspijplijn te voeren.

We beginnen pas de effecten van deep learning op cryo-ET-beeldanalyse te zien, maar dit is nog maar een gebied waar het echt een enorme belofte laat zien.