Deep learning-gebaseerde segmentatie van cryo-elektronentomogrammen

Samenvatting

Dit is een methode voor het trainen van een multi-slice U-Net voor multi-class segmentatie van cryo-elektronentomogrammen met behulp van een deel van één tomogram als trainingsinput. We beschrijven hoe we dit netwerk kunnen afleiden naar andere tomogrammen en hoe we segmentaties kunnen extraheren voor verdere analyses, zoals subtomogramgemiddelden en filamenttracering.

Samenvatting

Cryo-elektronentomografie (cryo-ET) stelt onderzoekers in staat om cellen in hun oorspronkelijke, gehydrateerde toestand af te beelden met de hoogst mogelijke resolutie. De techniek heeft echter verschillende beperkingen die het analyseren van de gegevens die het genereert tijdsintensief en moeilijk maken. Het met de hand segmenteren van een enkel tomogram kan uren tot dagen duren, maar een microscoop kan gemakkelijk 50 of meer tomogrammen per dag genereren. De huidige deep learning segmentatieprogramma's voor cryo-ET bestaan wel, maar zijn beperkt tot het segmenteren van één structuur tegelijk. Hier worden multi-slice U-Net convolutionele neurale netwerken getraind en toegepast om automatisch meerdere structuren tegelijkertijd te segmenteren binnen cryo-tomogrammen. Met de juiste voorbewerking kunnen deze netwerken robuust worden afgeleid naar vele tomogrammen zonder de noodzaak om individuele netwerken voor elk tomogram te trainen. Deze workflow verbetert de snelheid waarmee cryo-elektronentomogrammen kunnen worden geanalyseerd drastisch door de segmentatietijd in de meeste gevallen te verkorten tot minder dan 30 minuten. Verder kunnen segmentaties worden gebruikt om de nauwkeurigheid van filamenttracering binnen een cellulaire context te verbeteren en om snel coördinaten te extraheren voor subtomogrammiddeling.

Inleiding

Hardware- en softwareontwikkelingen in het afgelopen decennium hebben geresulteerd in een "resolutierevolutie" voor cryo-elektronenmicroscopie (cryo-EM)^1,2. Met betere en snellere detectoren³, software om gegevensverzameling te automatiseren^4,5 en signaalversterkende vooruitgang zoals faseplaten^6, is het verzamelen van grote hoeveelheden cryo-EM-gegevens met hoge resolutie relatief eenvoudig.

Cryo-ET levert ongekend inzicht in cellulaire ultrastructuur in een native, gehydrateerde toestand 7,8,9,10. De primaire beperking is de dikte van het monster, maar met de toepassing van methoden zoals gefocusseerde ionenbundel (FIB) frezen, waarbij dikke cellulaire en weefselmonsters worden verdund voor tomografie¹¹, breidt de horizon voor wat kan worden afgebeeld met cryo-ET zich voortdurend uit. De nieuwste microscopen zijn in staat om meer dan 50 tomogrammen per dag te produceren, en deze snelheid zal naar verwachting alleen maar toenemen als gevolg van de ontwikkeling van snelle gegevensverzamelingsschema's^12,13. Het analyseren van de enorme hoeveelheden gegevens die door cryo-ET worden geproduceerd, blijft een knelpunt voor deze beeldvormingsmodaliteit.

Kwantitatieve analyse van tomografische informatie vereist dat deze eerst wordt geannoteerd. Traditioneel vereist dit handsegmentatie door een expert, wat tijdrovend is; Afhankelijk van de moleculaire complexiteit in het cryo-tomogram, kan het uren tot dagen van toegewijde aandacht duren. Kunstmatige neurale netwerken zijn een aantrekkelijke oplossing voor dit probleem, omdat ze kunnen worden getraind om het grootste deel van het segmentatiewerk in een fractie van de tijd te doen. Convolutionele neurale netwerken (CNN's) zijn vooral geschikt voor computervisietaken¹⁴ en zijn onlangs aangepast voor de analyse van cryo-elektronentomografieën^15,16,17.

Traditionele CNN's vereisen vele duizenden geannoteerde trainingsmonsters, wat vaak niet mogelijk is voor biologische beeldanalysetaken. Vandaar dat de U-Net-architectuur uitblonk in deze ruimte¹⁸ omdat het afhankelijk is van gegevensvergroting om het netwerk met succes te trainen, waardoor de afhankelijkheid van grote trainingssets wordt geminimaliseerd. Een U-Net-architectuur kan bijvoorbeeld worden getraind met slechts een paar plakjes van een enkel tomogram (vier of vijf plakjes) en robuust worden afgeleid naar andere tomogrammen zonder opnieuw te trainen. Dit protocol biedt een stapsgewijze handleiding voor het trainen van U-Net neurale netwerkarchitecturen om cryo-tomogrammen van elektronen te segmenteren binnen Dragonfly 2022.1¹⁹.

Dragonfly is commercieel ontwikkelde software die wordt gebruikt voor 3D-beeldsegmentatie en -analyse door deep learning-modellen en is vrij beschikbaar voor academisch gebruik (sommige geografische beperkingen zijn van toepassing). Het heeft een geavanceerde grafische interface waarmee een niet-expert ten volle kan profiteren van de kracht van deep learning voor zowel semantische segmentatie als beelddenoising. Dit protocol laat zien hoe cryo-elektronentomogrammen in Dragonfly kunnen worden voorbewerkt en geannoteerd voor het trainen van kunstmatige neurale netwerken, die vervolgens kunnen worden afgeleid om snel grote datasets te segmenteren. Het bespreekt en demonstreert verder kort hoe gesegmenteerde gegevens kunnen worden gebruikt voor verdere analyse, zoals filamenttracering en coördinatenextractie voor subtomogramgemiddelden.

Protocol

OPMERKING: Dragonfly 2022.1 vereist een krachtig werkstation. Systeemaanbevelingen zijn opgenomen in de materiaalopgave, samen met de hardware van het werkstation dat voor dit protocol wordt gebruikt. Alle tomogrammen die in dit protocol worden gebruikt, worden 4x weggegooid van een pixelgrootte van 3,3 tot 13,2 ang / pix. Monsters die in de representatieve resultaten zijn gebruikt, zijn verkregen van een bedrijf (zie de materiaaltabel) dat richtlijnen voor dierverzorging volgt die zijn afgestemd op de ethische normen van deze instelling. Het tomogram dat in dit protocol wordt gebruikt en de multi-ROI die werd gegenereerd als trainingsinvoer zijn opgenomen als een gebundelde dataset in Supplemental File 1 (die te vinden is op https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct), zodat de gebruiker dezelfde gegevens kan volgen als hij dat wil. Dragonfly host ook een open access database genaamd de Infinite Toolbox waar gebruikers getrainde netwerken kunnen delen.

1. Instellen

1. Standaardwerkruimte wijzigen:
   1. Als u de werkruimte wilt wijzigen zodat deze in dit protocol wordt gebruikt, scrolt u aan de linkerkant in het deelvenster Hoofd omlaag naar de sectie Weergave-eigenschappen van scène en schakelt u Legenda's weergeven uit. Scrol omlaag naar het gedeelte Indeling en selecteer de weergave Eén scène en vier gelijke weergaven .
   2. Als u de standaardeenheid wilt bijwerken, gaat u naar Bestand | Voorkeuren. Wijzig in het venster dat wordt geopend de standaardeenheid van millimeters in nanometers.
2. Handige standaard keybinds:
   1. Druk op Esc om het vizier in de 2D-weergaven weer te geven en 3D-volumerotatie in de 3D-weergave toe te staan. Druk op X om het vizier in de 2D-weergaven te verbergen en 2D-vertaling en 3D-volumevertaling in 3D-weergave toe te staan.
   2. Plaats de muisaanwijzer op het vizier om kleine pijlen te zien waarop kan worden geklikt en gesleept om de hoek van het kijkvlak in de andere 2D-weergaven te wijzigen.
   3. Druk op Z om de zoomstatus in beide weergaven in te voeren, zodat gebruikers overal kunnen klikken en slepen om in en uit te zoomen .
   4. Dubbelklik op een weergave in de scène met vier weergaven om alleen die weergave scherp te stellen; Dubbelklik nogmaals om terug te keren naar alle vier de weergaven.
3. Sla de voortgang regelmatig op door alles op het tabblad Eigenschappen te exporteren als een ORS-object voor eenvoudige import. Selecteer alle objecten in de lijst en klik met de rechtermuisknop op Exporteren | Als ORS-object. Geef het bestand een naam en sla het op. U kunt ook naar Bestand | Sessie opslaan. Als u de functie voor automatisch opslaan in de software wilt gebruiken, schakelt u deze in via Bestand | Voorkeuren | Automatisch opslaan.

2. Afbeelding importeren

1. Ga voor het importeren van afbeeldingen naar Bestand | Afbeeldingsbestanden importeren. Klik op Toevoegen, navigeer naar het afbeeldingsbestand en klik op Openen | Volgende | Afmaken.
   OPMERKING: De software herkent geen .rec-bestanden. Alle tomogrammen moeten het achtervoegsel .mrc hebben. Als u de verstrekte gegevens gebruikt, gaat u in plaats daarvan naar Bestand | Object(en) importeren. Navigeer naar het bestand Training.ORSObject , klik op Openen en klik vervolgens op OK.

3. Voorbewerking (figuur 1.1)

1. Maak een aangepaste intensiteitsschaal (wordt gebruikt om afbeeldingsintensiteiten in gegevenssets te kalibreren). Ga naar Hulpprogramma's | Dimension Unit Manager. Klik linksonder op + om een nieuwe dimensie-eenheid te maken.
2. Kies een functie met hoge intensiteit (helder) en lage intensiteit (donker) die in alle tomogrammen van belang is. Geef de eenheid een naam en een afkorting (stel bijvoorbeeld voor deze schaal fiduciale kralen in op 0,0 standaardintensiteit en de achtergrond op 100,0). Sla de aangepaste dimensie-eenheid op.
   OPMERKING: Een aangepaste intensiteitsschaal is een willekeurige schaal die wordt gemaakt en toegepast op de gegevens om ervoor te zorgen dat alle gegevens zich op dezelfde intensiteitsschaal bevinden, ondanks dat ze op verschillende tijdstippen of op verschillende apparatuur zijn verzameld. Kies lichte en donkere functies die het beste het bereik weergeven waarbinnen het signaal valt. Als er geen fiduciëringen in de gegevens zijn, kiest u eenvoudig de donkerste functie die wordt gesegmenteerd (bijvoorbeeld het donkerste eiwitgebied).
3. Als u afbeeldingen wilt kalibreren op de aangepaste intensiteitsschaal, klikt u met de rechtermuisknop op de gegevensset in de kolom Eigenschappen aan de rechterkant van het scherm en selecteert u Intensiteitsschaal kalibreren. Scrol op het tabblad Hoofd aan de linkerkant van het scherm omlaag naar het gedeelte Probe . Klik met het cirkelvormige sondegereedschap met de juiste diameter op een paar plaatsen in het achtergrondgebied van het tomogram en noteer het gemiddelde aantal in de kolom Ruwe intensiteit ; herhaal dit voor fiduciale markeringen en klik vervolgens op Kalibreren. Pas indien nodig het contrast aan om structuren weer zichtbaar te maken met het gereedschap Gebied in de sectie Vensternivellering van het tabblad Hoofd.
4. Beeldfiltering:
   OPMERKING: Beeldfiltering kan ruis verminderen en het signaal versterken. Dit protocol maakt gebruik van drie filters die in de software zijn ingebouwd omdat ze het beste werken voor deze gegevens, maar er zijn veel filters beschikbaar. Eenmaal vastgesteld op een beeldfilterprotocol voor de gegevens van belang, zal het nodig zijn om precies hetzelfde protocol toe te passen op alle tomogrammen voorafgaand aan segmentatie.
   1. Scrol in het hoofdtabblad aan de linkerkant omlaag naar het deelvenster Beeldverwerking. Klik op Geavanceerd en wacht tot er een nieuw venster wordt geopend. Selecteer in het deelvenster Eigenschappen de gegevensset die u wilt filteren en maak deze zichtbaar door op het oogpictogram links van de gegevensset te klikken.
   2. Gebruik in het deelvenster Bewerkingen het vervolgkeuzemenu om Histogramvereffening (onder de sectie Contrast ) te selecteren voor de eerste bewerking. Selecteer Bewerking toevoegen | Gauss (onder het gedeelte Afvlakken ). Wijzig de kerneldimensie in 3D.
   3. Voeg een derde bewerking toe; selecteer vervolgens Onscherp (onder het gedeelte Verscherpen ). Laat de uitvoer voor deze. Pas toe op alle segmenten en laat het filteren uitvoeren en sluit vervolgens het venster Beeldverwerking om terug te keren naar de hoofdinterface.

4. Trainingsgegevens maken (figuur 1.2)

1. Identificeer het trainingsgebied door eerst de ongefilterde gegevensset te verbergen door op het oogpictogram links ervan in het deelvenster Gegevenseigenschappen te klikken. Toon vervolgens de nieuw gefilterde gegevensset (die automatisch de naam DataSet-HistEq-Gauss-Unsharp krijgt). Identificeer met behulp van de gefilterde gegevensset een subregio van het tomogram die alle interessante kenmerken bevat.
2. Als u een vak wilt maken rond het gewenste gebied, scrolt u aan de linkerkant op het hoofdtabblad omlaag naar de categorie Vormen en selecteert u Een vak maken. Gebruik in het deelvenster Vier weergaven de verschillende 2D-vlakken om de randen van het vak te begeleiden/slepen om alleen het gewenste gebied in alle dimensies te omsluiten. Selecteer in de gegevenslijst het gebied Vak en wijzig de kleur van de rand voor een eenvoudigere weergave door op het grijze vierkant naast het oogsymbool te klikken.
   OPMERKING: De kleinste patchgrootte voor een 2D U-Net is 32 x 32 pixels; 400 x 400 x 50 pixels is een redelijke doosgrootte om te beginnen.
3. Als u een multi-ROI wilt maken, selecteert u aan de linkerkant het tabblad Segmentatie | Nieuw en vink Maken als Multi-ROI aan. Zorg ervoor dat het aantal klassen overeenkomt met het aantal interessante kenmerken + een achtergrondklasse. Geef de multi-ROI-trainingsgegevens een naam en zorg ervoor dat de geometrie overeenkomt met de gegevensset voordat u op OK klikt.
4. Segmenteren van de trainingsgegevens
   1. Blader door de gegevens totdat u zich binnen de grenzen van het kadergebied bevindt. Selecteer de Multi-ROI in het eigenschappenmenu aan de rechterkant. Dubbelklik op de eerste lege klassenaam in de multi-ROI om deze een naam te geven.
   2. Schilder met het 2D-penseel. Scrol op het tabblad Segmentatie aan de linkerkant omlaag naar 2D-gereedschappen en selecteer een cirkelvormig penseel. Selecteer vervolgens Adaptief Gaussisch of Lokaal OTSU in het vervolgkeuzemenu. Als u wilt tekenen, houdt u de linker Ctrl ingedrukt en klikt u. Als u wilt wissen, houdt u shift links ingedrukt en klikt u.
      OPMERKING: Het penseel geeft de kleur van de momenteel geselecteerde klasse weer.
   3. Herhaal de vorige stap voor elke objectklasse in de multi-ROI. Zorg ervoor dat alle structuren binnen het boxed gebied volledig gesegmenteerd zijn, anders worden ze door het netwerk als achtergrond beschouwd.
   4. Wanneer alle structuren zijn gelabeld, klikt u met de rechtermuisknop op de klasse Background in de Multi-ROI en selecteert u Alle niet-gelabelde voxels toevoegen aan klasse.
5. Maak een nieuwe ROI met één klasse met de naam Mask. Zorg ervoor dat de geometrie is ingesteld op de gefilterde gegevensset en klik vervolgens op Toepassen. Klik op het tabblad Eigenschappen aan de rechterkant met de rechtermuisknop op het vak en selecteer Toevoegen aan ROI. Voeg het toe aan de ROI van het masker.
6. Als u de trainingsgegevens wilt bijsnijden met behulp van het masker, selecteert u op het tabblad Eigenschappen zowel de multi-ROI voor trainingsgegevens als de roi van het masker door Ctrl ingedrukt te houden en op elk ervan te klikken. Klik vervolgens op Doorsnijden onder de lijst met gegevenseigenschappen in de sectie Booleaanse bewerkingen. Geef de nieuwe gegevensset de naam Bijgesneden trainingsinvoer en zorg ervoor dat de geometrie overeenkomt met de gefilterde gegevensset voordat u op OK klikt.

5. De segmentatiewizard gebruiken voor iteratieve training (figuur 1.3)

1. Importeer de trainingsgegevens in de segmentatiewizard door eerst met de rechtermuisknop op de gefilterde gegevensset op het tabblad Eigenschappen te klikken en vervolgens de optie Wizard Segmentatie te selecteren. Wanneer een nieuw venster wordt geopend, zoekt u naar het invoertabblad aan de rechterkant. Klik op Frames importeren uit een multi-ROI en selecteer de bijgesneden trainingsinvoer.
2. (Optioneel) Maak een visueel feedbackframe om de voortgang van de training in realtime te volgen.
   1. Selecteer een frame uit de gegevens dat niet is gesegmenteerd en klik op + om het als een nieuw frame toe te voegen. Dubbelklik op het gemengde label rechts van het frame en wijzig dit in Bewaking.
3. Als u een nieuw neuraal netwerkmodel wilt genereren, klikt u aan de rechterkant op het tabblad Modellen op de knop + om een nieuw model te genereren. Selecteer U-Net in de lijst, selecteer vervolgens 2,5D - en 5-segmenten voor invoerdimensie en klik vervolgens op Genereren.
4. Om het netwerk te trainen, klikt u op Trein rechtsonder in het SegWiz-venster .
   OPMERKING: De training kan vroegtijdig worden gestopt zonder vooruitgang te verliezen.
5. Als u het getrainde netwerk wilt gebruiken om nieuwe frames te segmenteren, maakt u een nieuw frame wanneer de U-Net-training is voltooid en klikt u op Voorspellen (rechtsonder). Klik vervolgens op de pijl-omhoog in de rechterbovenhoek van het voorspelde frame om de segmentatie over te brengen naar het echte frame.
6. Als u de voorspelling wilt corrigeren, houdt u Ctrl ingedrukt en klikt u op twee klassen om de gesegmenteerde pixels van de ene in de andere te wijzigen. Selecteer beide klassen en teken met het penseel om alleen pixels te schilderen die tot een van beide klassen behoren. Corrigeer de segmentatie in ten minste vijf nieuwe frames.
   OPMERKING: Tekenen met het penseel terwijl beide klassen zijn geselecteerd, betekent dat in plaats van shift ingedrukt te klikken en te wissen, zoals normaal gesproken het geval is, pixels van de eerste klasse naar de tweede worden geconverteerd. Ctrl-klikken zal het omgekeerde bereiken.
7. Voor iteratieve training klikt u nogmaals op de knop Trein en laat u het netwerk verder trainen voor nog eens 30-40 tijdperken, waarna u de training stopt en stap 4.5 en 4.6 herhaalt voor een nieuwe trainingsronde.
   OPMERKING: Op deze manier kan een model iteratief worden getraind en verbeterd met behulp van een enkele gegevensset.
8. Als u het netwerk wilt publiceren en tevreden bent met de prestaties, sluit u de wizard Segmentatie af. In het dialoogvenster dat automatisch verschijnt met de vraag welke modellen u wilt publiceren (opslaan), selecteert u het succesvolle netwerk, geeft u het een naam en publiceert u het vervolgens om het netwerk beschikbaar te maken voor gebruik buiten de segmentatiewizard.

6. Pas het netwerk toe (figuur 1.4)

1. Als u eerst het trainingstomogram wilt toepassen, selecteert u de gefilterde gegevensset in het deelvenster Eigenschappen . Blader in het deelvenster Segmentatie aan de linkerkant omlaag naar het gedeelte Segmenteren met AI . Zorg ervoor dat de juiste gegevensset is geselecteerd, kies het model dat zojuist is gepubliceerd in het vervolgkeuzemenu en klik vervolgens op Segmenteren | Alle plakjes. U kunt ook Voorvertoning selecteren om een voorvertoning van de segmentatie in één segment weer te geven.
2. Als u een inferentiegegevensset wilt toepassen, importeert u het nieuwe tomogram. Voorproces volgens stap 3 (figuur 1.1). Ga in het deelvenster Segmentatie naar de sectie Segmenteren met AI. Zorg ervoor dat het nieuw gefilterde tomogram de geselecteerde gegevensset is, kies het eerder getrainde model en klik op Segmenteren | Alle plakjes.

7. Segmentatie manipulatie en opschoning

1. Ruim ruis snel op door eerst een van de klassen te kiezen met gesegmenteerd geluid en de functie van interesse. Klik met de rechtermuisknop | Proceseilanden | Verwijderen door Voxel Count | Selecteer een voxelgrootte. Begin klein (~ 200) en verhoog geleidelijk het aantal om het grootste deel van de ruis te verwijderen.
2. Voor segmentatiecorrectie houdt u Ctrl ingedrukt en klikt u op twee klassen om alleen pixels te schilderen die tot die klassen behoren. Houd Ctrl ingedrukt en klik + sleep met de segmentatiegereedschappen om pixels van de tweede klasse te wijzigen in de eerste en houd Shift ingedrukt en klik + sleep om het tegenovergestelde te bereiken. Blijf dit doen om onjuist gelabelde pixels snel te corrigeren.
3. Afzonderlijke aangesloten componenten.
   1. Kies een klasse. Klik met de rechtermuisknop op een klasse in Multi-ROI | Afzonderlijke verbonden componenten om een nieuwe klasse te maken voor elk onderdeel dat niet is verbonden met een ander onderdeel van dezelfde klasse. Gebruik de knoppen onder de Multi-ROI om de klassen eenvoudig samen te voegen.
4. Exporteer de ROI als binair/TIFF.
   1. Kies een klasse in de Multi-ROI, klik met de rechtermuisknop en extraheer klasse als een ROI. Selecteer in het eigenschappenvenster hierboven de nieuwe ROI, klik met de rechtermuisknop op | Exporteren | ROI als binair (zorg ervoor dat de optie om alle afbeeldingen naar één bestand te exporteren is geselecteerd).
      OPMERKING: Gebruikers kunnen eenvoudig converteren van tiff naar mrc formaat met behulp van het IMOD programma tif2mrc²⁰. Dit is handig voor filamenttracering.

8. Coördinaten genereren voor sub-tomogram gemiddelden van de ROI

1. Pak een klasse uit.
   1. Klik met de rechtermuisknop op Klasse die moet worden gebruikt voor gemiddelden | Extraheer klasse als ROI. Klik met de rechtermuisknop op klasse ROI | Connected Components Nieuwe Multi-ROI (26 verbonden).
2. Coördinaten genereren.
   1. Klik met de rechtermuisknop op de nieuwe Multi-ROI | Scalaire generator. Basismetingen uitbreiden met gegevensset | controleer gewogen centrum van massa X, Y en Z. Selecteer de gegevensset en bereken. Klik met de rechtermuisknop op Multi-ROI | Scalaire waarden exporteren. Schakel Alle scalaire sleuven selecteren in en vervolgens OK om centroïde wereldcoördinaten voor elke klasse in de multi-ROI als CSV-bestand te genereren.
      OPMERKING: Als deeltjes dicht bij elkaar liggen en de segmentaties elkaar raken, kan het nodig zijn om een waterscheidingstransformatie uit te voeren om de componenten te scheiden in een multi-ROI.

9. Transformatie van stroomgebieden

1. Extraheer de klasse door met de rechtermuisknop op klasse te klikken in Multi-ROI om te worden gebruikt voor gemiddeldheid | Extraheer klasse als ROI. Noem dit ROI Watershed Mask.
2. (Optioneel) Gaten dichten.
   1. Als de gesegmenteerde deeltjes gaten of openingen hebben, sluit deze dan voor het stroomgebied. Klik op de ROI in Gegevenseigenschappen. Ga op het tabblad Segmentatie (aan de linkerkant) naar Morfologische bewerkingen en gebruik elke combinatie van verwijden, eroderen en sluiten die nodig is om solide segmentaties zonder gaten te bereiken.
3. Keer de ROI om door op de ROI | Geselecteerd object kopiëren (onder Gegevenseigenschappen). Selecteer de gekopieerde ROI en klik aan de linkerkant op het tabblad Segmentatie op Omkeren.
4. Maak een afstandskaart door met de rechtermuisknop op de omgekeerde ROI te klikken | Toewijzing maken van | Afstandskaart. Voor later gebruik maakt u een kopie van de afstandskaart en keert u deze om (klik met de rechtermuisknop | Wijzigen en transformeren | Waarden omkeren | Solliciteren). Noem deze omgekeerde kaart Landschap.
5. Maak seed-punten.
   1. Verberg de ROI en geef de afstandskaart weer. Klik op het tabblad Segmentatie op Bereik definiëren en verklein het bereik totdat slechts enkele pixels in het midden van elk punt zijn gemarkeerd en geen enkele is verbonden met een ander punt. Klik onder aan het gedeelte Bereik op Toevoegen aan nieuw. Geef deze nieuwe ROI Seedpoints een naam.
6. Voer waterscheidingstransformatie uit.
   1. Klik met de rechtermuisknop op Seedpoints ROI | Connected Components Nieuwe Multi-ROI (26 verbonden). Klik met de rechtermuisknop op de nieuw gegenereerde Multi-ROI | Waterscheiding Transformeren. Selecteer de afstandskaart met de naam Liggend en klik op OK; selecteer de ROI met de naam Watershed Mask en klik op OK om een waterscheidingstransformatie van elk seedpunt te berekenen en afzonderlijke deeltjes in afzonderlijke klassen in de multi-ROI te scheiden. Genereer coördinaten zoals in stap 8.2.

Figuur 1: Workflow. 1) Voorbewerk het trainingstomogram door de intensiteitsschaal te kalibreren en de dataset te filteren. 2) Maak de trainingsgegevens door een klein deel van een tomogram met de hand te segmenteren met alle juiste labels die de gebruiker wil identificeren. 3) Met behulp van het gefilterde tomogram als invoer en de handsegmentatie als trainingsuitvoer, wordt een vijflaags, multi-slice U-Net getraind in de segmentatiewizard. 4) Het getrainde netwerk kan worden toegepast op het volledige tomogram om het te annoteren en een 3D-rendering kan worden gegenereerd uit elke gesegmenteerde klasse. Klik hier om een grotere versie van deze figuur te bekijken.

Resultaten

Volgens het protocol werd een U-Net van vijf plakken getraind op een enkel tomogram (figuur 2A) om vijf klassen te identificeren: membraan, microtubuli, actine, fiduciale markers en achtergrond. Het netwerk werd in totaal drie keer iteratief getraind en vervolgens toegepast op het tomogram om het volledig te segmenteren en te annoteren (figuur 2B, C). Er is minimale opschoning uitgevoerd met behulp van stap 7.1 en 7.2. De volgende drie tomogrammen van belang (figuur 2D, G, J) werden in de software geladen voor voorbewerking. Voorafgaand aan het importeren van afbeeldingen vereiste een van de tomogrammen (figuur 2J) aanpassing van de pixelgrootte van 17,22 Å / px naar 13,3 Å / px omdat deze werd verzameld op een andere microscoop met een iets andere vergroting. Het IMOD-programma squeezevol werd gebruikt voor het wijzigen van het formaat met de volgende opdracht:

'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'

In deze opdracht verwijst -f naar de factor waarmee de pixelgrootte moet worden gewijzigd (in dit geval: 13,3/17,22). Na het importeren werden alle drie de inferentiedoelen voorbewerkt volgens stap 3.2 en 3.3, waarna het U-Net met vijf segmenten werd toegepast. Er werd weer minimaal opgeruimd. De laatste segmentaties zijn weergegeven in figuur 2.

Microtubulesegmentaties van elk tomogram werden geëxporteerd als binaire (stap 7.4) TIF-bestanden, geconverteerd naar MRC (IMOD tif2mrc-programma ) en vervolgens gebruikt voor cilindercorrelatie en filamenttracering. Binaire segmentaties van filamenten resulteren in veel robuustere filamenttracering dan tracering over tomogrammen. Coördinatenkaarten van filamenttracering (figuur 3) zullen worden gebruikt voor verdere analyse, zoals metingen van de dichtstbijzijnde buren (filamentverpakking) en spiraalvormige subtomogramgemiddelden langs enkele filamenten om de oriëntatie van de microtubuli te bepalen.

Mislukte of onvoldoende getrainde netwerken zijn eenvoudig vast te stellen. Een falend netwerk zal helemaal geen structuren kunnen segmenteren, terwijl een onvoldoende getraind netwerk sommige structuren meestal correct zal segmenteren en een aanzienlijk aantal valse positieven en vals-negatieven zal hebben. Deze netwerken kunnen worden gecorrigeerd en iteratief worden getraind om hun prestaties te verbeteren. De segmentatiewizard berekent automatisch de dobbelsteengelijkeniscoëfficiënt van een model ( score genoemd in de SegWiz) nadat het is getraind. Deze statistiek geeft een schatting van de gelijkenis tussen de trainingsgegevens en de U-Net segmentatie. Dragonfly 2022.1 heeft ook een ingebouwde tool om de prestaties van een model te evalueren die toegankelijk is op het tabblad Kunstmatige intelligentie bovenaan de interface (zie documentatie voor gebruik).

Figuur 2: Inferentie. (A-C) Origineel trainingstomogram van een DIV 5 hippocampus ratneuron, verzameld in 2019 op een Titan Krios. Dit is een geprojecteerde reconstructie met CTF-correctie in IMOD. (A) Het gele vak vertegenwoordigt het gebied waar handsegmentatie werd uitgevoerd voor trainingsinvoer. (B) 2D-segmentatie van het U-net nadat de training is voltooid. (C) 3D-weergave van de gesegmenteerde gebieden met membraan (blauw), microtubuli (groen) en actine (rood). (D-F) DIV 5 hippocampale rat neuron uit dezelfde sessie als het trainingstomogram. (E) 2D-segmentatie van het U-Net zonder extra training en snelle opschoning. Membraan (blauw), microtubuli (groen), actine (rood), fiducialen (roze). F) 3D-weergave van de gesegmenteerde gebieden. (G-I) DIV 5 hippocampale rat neuron uit de sessie van 2019. (H) 2D-segmentatie vanaf het U-Net met snelle opschoning en (I) 3D-rendering. (J-L) DIV 5 hippocampale ratneuron, verzameld in 2021 op een andere Titan Krios bij een andere vergroting. De pixelgrootte is gewijzigd met het IMOD-programma squeezevol om overeen te komen met het trainingstomogram. (K) 2D-segmentatie vanaf het U-net met snelle opschoning, waarbij robuuste gevolgtrekking tussen datasets met de juiste voorbewerking en (L) 3D-weergave van segmentatie wordt aangetoond. Schaalbalken = 100 nm. Afkortingen: DIV = days in vitro; CTF = contrastoverdrachtsfunctie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Verbetering van het traceren van filamenten . (A) Tomogram van een DIV 4 rat hippocampus neuron, verzameld op een Titan Krios. (B) Correlatiekaart gegenereerd uit cilindercorrelatie over actinefilamenten. (C) Filamenttracering van actine met behulp van de intensiteiten van de actinefilamenten in de correlatiekaart om parameters te definiëren. Tracing vangt het membraan en de microtubuli op, evenals ruis, terwijl het probeert alleen actine te traceren. (D) U-Net segmentatie van tomogrammen. Membraan gemarkeerd in blauw, microtubuli in rood, ribosomen in oranje, triC in paars en actine in groen. (E) Actinesegmentatie geëxtraheerd als een binair masker voor filamenttracering. (F) Correlatiekaart gegenereerd uit cilindercorrelatie met dezelfde parameters uit (B). (G) Aanzienlijk verbeterde filamenttracering van alleen actinefilamenten van het tomogram. Afkorting: DIV = dagen in vitro. Klik hier om een grotere versie van deze figuur te bekijken.

Aanvullend bestand 1: Het tomogram dat in dit protocol wordt gebruikt en de multi-ROI die is gegenereerd als trainingsinvoer zijn opgenomen als een gebundelde gegevensset (Training.ORSObject). Zie https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct.

Discussie

Dit protocol beschrijft een procedure voor het gebruik van Dragonfly 2022.1-software om een U-Net met meerdere klassen te trainen van een enkel tomogram en hoe dat netwerk kan worden afgeleid naar andere tomogrammen die niet uit dezelfde gegevensset hoeven te komen. Training is relatief snel (kan zo snel zijn als 3-5 minuten per tijdperk of zo langzaam als een paar uur, volledig afhankelijk van het netwerk dat wordt getraind en de gebruikte hardware), en het opnieuw trainen van een netwerk om het leren te verbeteren is intuïtief. Zolang de voorbewerkingsstappen voor elk tomogram worden uitgevoerd, is de inferentie meestal robuust.

Consistente voorbewerking is de meest kritieke stap voor deep learning-inferentie. Er zijn veel beeldfilters in de software en de gebruiker kan experimenteren om te bepalen welke filters het beste werken voor bepaalde datasets; Merk op dat elke filtering die op het trainingstomogram wordt gebruikt, op dezelfde manier moet worden toegepast op de inferentietomogrammen. Er moet ook voor worden gezorgd dat het netwerk wordt voorzien van nauwkeurige en voldoende opleidingsinformatie. Het is van vitaal belang dat alle functies die binnen de trainingssegmenten zijn gesegmenteerd, zo zorgvuldig en nauwkeurig mogelijk worden gesegmenteerd.

Beeldsegmentatie wordt vergemakkelijkt door een geavanceerde gebruikersinterface van commerciële kwaliteit. Het biedt alle benodigde hulpmiddelen voor handsegmentatie en maakt het mogelijk om voxels eenvoudig opnieuw toe te wijzen van de ene klasse naar de andere voorafgaand aan training en omscholing. De gebruiker mag voxels met de hand segmenteren binnen de hele context van het tomogram en ze krijgen meerdere weergaven en de mogelijkheid om het volume vrij te roteren. Bovendien biedt de software de mogelijkheid om netwerken van meerdere klassen te gebruiken, die meestal beter presteren¹⁶ en sneller zijn dan segmenteren met meerdere netwerken van één klasse.

Er zijn natuurlijk beperkingen aan de mogelijkheden van een neuraal netwerk. Cryo-ET-gegevens zijn van nature zeer luidruchtig en beperkt in hoekbemonstering, wat leidt tot oriëntatiespecifieke vervormingen in identieke objecten²¹. Training is afhankelijk van een expert om structuren nauwkeurig te segmenteren, en een succesvol netwerk is slechts zo goed (of zo slecht) als de trainingsgegevens die het krijgt. Beeldfiltering om het signaal te versterken is nuttig voor de trainer, maar er zijn nog steeds veel gevallen waarin het nauwkeurig identificeren van alle pixels van een bepaalde structuur moeilijk is. Het is daarom belangrijk dat er grote zorgvuldigheid wordt betracht bij het maken van de trainingssegmentatie, zodat het netwerk de best mogelijke informatie heeft om tijdens de training te leren.

Deze workflow kan eenvoudig worden aangepast aan de voorkeur van elke gebruiker. Hoewel het essentieel is dat alle tomogrammen op precies dezelfde manier worden voorbewerkt, is het niet nodig om de exacte filters te gebruiken die in het protocol worden gebruikt. De software heeft tal van opties voor het filteren van afbeeldingen en het wordt aanbevolen om deze te optimaliseren voor de specifieke gegevens van de gebruiker voordat u begint aan een groot segmentatieproject dat veel tomogrammen omvat. Er zijn ook nogal wat netwerkarchitecturen beschikbaar om te gebruiken: een multi-slice U-Net blijkt het beste te werken voor de gegevens uit dit lab, maar een andere gebruiker kan merken dat een andere architectuur (zoals een 3D U-Net of een Sensor 3D) beter werkt. De segmentatiewizard biedt een handige interface voor het vergelijken van de prestaties van meerdere netwerken met dezelfde trainingsgegevens.

Hulpmiddelen zoals die hier worden gepresenteerd, maken handsegmentatie van volledige tomogrammen tot een taak van het verleden. Met goed getrainde neurale netwerken die robuust afleidbaar zijn, is het heel goed mogelijk om een workflow te creëren waarin tomografische gegevens worden gereconstrueerd, verwerkt en volledig gesegmenteerd zo snel als de microscoop ze kan verzamelen.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Dragonfly 2022.1	Object Research Systems		https://www.theobjects.com/dragonfly/index.html
E18 Rat Dissociated Hippocampus	Transnetyx Tissue	KTSDEDHP	https://tissue.transnetyx.com/faqs
IMOD	University of Colorado		https://bio3d.colorado.edu/imod/
Intel® Xeon® Gold 6124 CPU 3.2GHz	Intel		https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html
NVIDIA Quadro P4000	NVIDIA		https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf
Windows 10 Enterprise 2016	Microsoft		https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise
Workstation Minimum Requirements			https://theobjects.com/dragonfly/system-requirements.html