Dette er en metode til træning af et multi-slice U-Net til multi-class segmentering af kryo-elektrontomogrammer ved hjælp af en del af et tomogram som træningsinput. Vi beskriver, hvordan man udleder dette netværk til andre tomogrammer, og hvordan man udtrækker segmenteringer til yderligere analyser, såsom subtomogramgennemsnit og filamentsporing.
Kryo-elektrontomografi (cryo-ET) giver forskere mulighed for at afbilde celler i deres oprindelige, hydrerede tilstand med den højeste opløsning, der i øjeblikket er mulig. Teknikken har dog flere begrænsninger, der gør analysen af de data, den genererer, tidskrævende og vanskelig. Håndsegmentering af et enkelt tomogram kan tage fra timer til dage, men et mikroskop kan nemt generere 50 eller flere tomogrammer om dagen. Nuværende deep learning-segmenteringsprogrammer for cryo-ET findes, men er begrænset til segmentering af en struktur ad gangen. Her trænes og anvendes multi-slice U-Net convolutional neurale netværk til automatisk at segmentere flere strukturer samtidigt inden for kryo-tomogrammer. Med korrekt forbehandling kan disse netværk udledes robust til mange tomogrammer uden behov for at træne individuelle netværk for hvert tomogram. Denne arbejdsgang forbedrer dramatisk den hastighed, hvormed kryo-elektrontomogrammer kan analyseres ved at reducere segmenteringstiden ned til under 30 minutter i de fleste tilfælde. Desuden kan segmenteringer bruges til at forbedre nøjagtigheden af filamentsporing inden for en cellulær kontekst og til hurtigt at udtrække koordinater til subtomogramgennemsnit.
Udviklingen af hardware og software i det seneste årti har resulteret i en “opløsningsrevolution” for kryo-elektronmikroskopi (cryo-EM)1,2. Med bedre og hurtigere detektorer3, software til automatisering af dataindsamling 4,5 og signalforstærkende fremskridt såsom faseplader6 er indsamling af store mængder kryo-EM-data i høj opløsning relativt ligetil.
Cryo-ET leverer hidtil uset indsigt i cellulær ultrastruktur i en oprindelig, hydreret tilstand 7,8,9,10. Den primære begrænsning er prøvetykkelse, men med vedtagelsen af metoder som fokuseret ionstrålefræsning (FIB), hvor tykke cellulære og vævsprøver tyndes til tomografi11, udvides horisonten for, hvad der kan afbildes med cryo-ET, konstant. De nyeste mikroskoper er i stand til at producere langt over 50 tomogrammer om dagen, og denne hastighed forventes kun at stige på grund af udviklingen af hurtige dataindsamlingsordninger12,13. Analyse af de enorme mængder data, der produceres af cryo-ET, forbliver en flaskehals for denne billeddannelsesmodalitet.
Kvantitativ analyse af tomografisk information kræver, at den først kommenteres. Traditionelt kræver dette håndsegmentering af en ekspert, hvilket er tidskrævende; Afhængigt af den molekylære kompleksitet indeholdt i kryo-tomogrammet kan det tage timer til dage med dedikeret opmærksomhed. Kunstige neurale netværk er en tiltalende løsning på dette problem, da de kan trænes til at udføre størstedelen af segmenteringsarbejdet på en brøkdel af tiden. Convolutional neurale netværk (CNN’er) er specielt velegnede til computer vision opgaver14 og er for nylig blevet tilpasset til analyse af kryo-elektron tomogrammer15,16,17.
Traditionelle CNN’er kræver mange tusinde kommenterede træningsprøver, hvilket ofte ikke er muligt for biologiske billedanalyseopgaver. Derfor har U-Net-arkitekturen udmærket sig i dette rum18 , fordi den er afhængig af dataforøgelse for at træne netværket med succes, hvilket minimerer afhængigheden af store træningssæt. For eksempel kan en U-Net-arkitektur trænes med kun nogle få udsnit af et enkelt tomogram (fire eller fem skiver) og robust udledes til andre tomogrammer uden omskoling. Denne protokol giver en trinvis vejledning til træning af U-Net neurale netværksarkitekturer til segmentering af elektronkryo-tomogrammer i Dragonfly 2022.119.
Dragonfly er kommercielt udviklet software, der bruges til 3D-billedsegmentering og analyse af deep learning-modeller, og den er frit tilgængelig til akademisk brug (nogle geografiske begrænsninger gælder). Det har en avanceret grafisk grænseflade, der gør det muligt for en ikke-ekspert at drage fuld fordel af kræfterne i dyb læring til både semantisk segmentering og billeddenoising. Denne protokol demonstrerer, hvordan man forbehandler og kommenterer kryo-elektrontomogrammer i Dragonfly til træning af kunstige neurale netværk, som derefter kan udledes til hurtigt at segmentere store datasæt. Det diskuterer yderligere og demonstrerer kort, hvordan man bruger segmenterede data til yderligere analyse, såsom filamentsporing og koordinatekstraktion til subtomogramgennemsnit.
Denne protokol fastlægger en procedure for brug af Dragonfly 2022.1-software til at træne et U-Net i flere klasser fra et enkelt tomogram, og hvordan man udleder dette netværk til andre tomogrammer, der ikke behøver at være fra det samme datasæt. Træningen er relativt hurtig (kan være så hurtig som 3-5 min pr. epoke eller så langsom som et par timer, afhængigt helt af det netværk, der trænes, og den anvendte hardware), og omskoling af et netværk for at forbedre dets læring er intuitivt. Så længe forbehandlingstrinnene udføres for hvert tomogram, er inferensen typisk robust.
Konsekvent forbehandling er det mest kritiske trin for dyb læringsslutning. Der er mange billedbehandlingsfiltre i softwaren, og brugeren kan eksperimentere for at bestemme, hvilke filtre der fungerer bedst for bestemte datasæt; Bemærk, at uanset hvilken filtrering der bruges på træningstomogrammet, skal det anvendes på samme måde på inferensetogrammerne. Der skal også sørges for at give netværket nøjagtige og tilstrækkelige uddannelsesoplysninger. Det er vigtigt, at alle funktioner, der er segmenteret i træningsskiverne, segmenteres så omhyggeligt og præcist som muligt.
Billedsegmentering lettes af en sofistikeret brugergrænseflade af kommerciel kvalitet. Det giver alle de nødvendige værktøjer til håndsegmentering og giver mulighed for enkel omfordeling af voxels fra en klasse til en anden inden træning og omskoling. Brugeren har lov til at håndsegmentere voxels inden for hele tomogrammets kontekst, og de får flere visninger og evnen til at rotere lydstyrken frit. Derudover giver softwaren mulighed for at bruge netværk i flere klasser, som har tendens til at fungere bedre16 og er hurtigere end segmentering med flere enkeltklassenetværk.
Der er selvfølgelig begrænsninger for et neuralt netværks muligheder. Cryo-ET-data er i sagens natur meget støjende og begrænsede i vinkelprøvetagning, hvilket fører til orienteringsspecifikke forvrængninger i identiske objekter21. Træning er afhængig af en ekspert til at håndsegmentere strukturer nøjagtigt, og et vellykket netværk er kun så godt (eller så dårligt) som de træningsdata, det får. Billedfiltrering for at øge signalet er nyttigt for træneren, men der er stadig mange tilfælde, hvor det er vanskeligt nøjagtigt at identificere alle pixels i en given struktur. Det er derfor vigtigt, at der udvises stor omhu, når du opretter træningssegmenteringen, så netværket har den bedst mulige information at lære under træningen.
Denne arbejdsgang kan let ændres efter hver brugers præference. Selvom det er vigtigt, at alle tomogrammer forbehandles på nøjagtig samme måde, er det ikke nødvendigt at bruge de nøjagtige filtre, der bruges i protokollen. Softwaren har adskillige billedfiltreringsmuligheder, og det anbefales at optimere disse til brugerens særlige data, før du går i gang med et stort segmenteringsprojekt, der spænder over mange tomogrammer. Der er også en hel del netværksarkitekturer tilgængelige til brug: et multi-slice U-Net har vist sig at fungere bedst for dataene fra dette laboratorium, men en anden bruger kan opleve, at en anden arkitektur (såsom et 3D U-Net eller en Sensor 3D) fungerer bedre. Segmenteringsguiden giver en praktisk grænseflade til sammenligning af ydeevnen for flere netværk ved hjælp af de samme træningsdata.
Værktøjer som dem, der præsenteres her, vil gøre håndsegmentering af fulde tomogrammer til en opgave fra fortiden. Med veltrænede neurale netværk, der er robust inferable, er det fuldt ud muligt at skabe en arbejdsgang, hvor tomografiske data rekonstrueres, behandles og fuldt segmenteres så hurtigt som mikroskopet kan indsamle dem.
The authors have nothing to disclose.
Denne undersøgelse blev støttet af Penn State College of Medicine og Institut for Biokemi og Molekylærbiologi samt Tobacco Settlement Fund (TSF) tilskud 4100079742-EXT. CryoEM og CryoET Core (RRID: SCR_021178) tjenester og instrumenter, der blev brugt i dette projekt, blev delvist finansieret af Pennsylvania State University College of Medicine via Office of the Vice Dean of Research and Graduate Students og Pennsylvania Department of Health ved hjælp af Tobacco Settlement Funds (CURE). Indholdet er udelukkende forfatternes ansvar og repræsenterer ikke nødvendigvis universitetets eller College of Medicine’s officielle synspunkter. Pennsylvania Department of Health fraskriver sig specifikt ansvaret for analyser, fortolkninger eller konklusioner.
Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |