Dette er en metode for å trene et flerskive U-Net for multi-klasse segmentering av kryo-elektrontomogrammer ved å bruke en del av ett tomogram som treningsinngang. Vi beskriver hvordan man utleder dette nettverket til andre tomogrammer og hvordan man trekker ut segmenteringer for videre analyser, for eksempel subtomogramgjennomsnitt og filamentsporing.
Kryo-elektrontomografi (kryo-ET) tillater forskere å avbilde celler i sin opprinnelige, hydrerte tilstand med den høyeste oppløsningen som er mulig. Teknikken har imidlertid flere begrensninger som gjør det tidkrevende og vanskelig å analysere dataene den genererer. Håndsegmentering av et enkelt tomografi kan ta fra timer til dager, men et mikroskop kan enkelt generere 50 eller flere tomogrammer om dagen. Nåværende segmenteringsprogrammer for dyp læring for kryo-ET eksisterer, men er begrenset til å segmentere en struktur om gangen. Her trenes og brukes flerskive U-Net konvolusjonelle nevrale nettverk for automatisk å segmentere flere strukturer samtidig i kryo-tomogrammer. Med riktig forbehandling kan disse nettverkene utledes robust til mange tomogrammer uten behov for å trene individuelle nettverk for hvert tomogram. Denne arbeidsflyten forbedrer dramatisk hastigheten som kryo-elektrontomogrammer kan analyseres med ved å kutte segmenteringstiden ned til under 30 minutter i de fleste tilfeller. Videre kan segmenteringer brukes til å forbedre nøyaktigheten av filamentsporing i en cellulær kontekst og for raskt å trekke ut koordinater for subtomogramgjennomsnitt.
Maskinvare- og programvareutviklingen det siste tiåret har resultert i en “oppløsningsrevolusjon” for kryo-elektronmikroskopi (cryo-EM)1,2. Med bedre og raskere detektorer3, programvare for å automatisere datainnsamling4,5 og signalforsterkende fremskritt som faseplater6, er det relativt enkelt å samle store mengder høyoppløselige kryo-EM-data.
Cryo-ET gir enestående innsikt i cellulær ultrastruktur i en naturlig, hydrert tilstand 7,8,9,10. Den primære begrensningen er prøvetykkelse, men med bruk av metoder som fokusert ionstråle (FIB) fresing, hvor tykke celle- og vevsprøver tynnes for tomografi11, utvides horisonten for hva som kan avbildes med kryo-ET stadig. De nyeste mikroskopene er i stand til å produsere godt over 50 tomogrammer om dagen, og denne frekvensen forventes bare å øke på grunn av utviklingen av raske datainnsamlingsordninger12,13. Analyse av de enorme datamengdene produsert av cryo-ET er fortsatt en flaskehals for denne avbildningsmodaliteten.
Kvantitativ analyse av tomografisk informasjon krever at den først blir kommentert. Tradisjonelt krever dette håndsegmentering av en ekspert, noe som er tidkrevende; Avhengig av den molekylære kompleksiteten som finnes i kryo-tomogrammet, kan det ta timer til dager med dedikert oppmerksomhet. Kunstige nevrale nettverk er en tiltalende løsning på dette problemet, siden de kan trenes til å gjøre mesteparten av segmenteringsarbeidet på en brøkdel av tiden. Konvolusjonelle nevrale nettverk (CNN) er spesielt egnet for datasynsoppgaver14 og har nylig blitt tilpasset for analyse av kryo-elektrontomogrammer15,16,17.
Tradisjonelle CNN-er krever mange tusen kommenterte treningsprøver, noe som ofte ikke er mulig for biologiske bildeanalyseoppgaver. Derfor har U-Net-arkitekturen utmerket seg i dette rommet18 fordi den er avhengig av dataforsterkning for å kunne trene nettverket, og minimere avhengigheten av store treningssett. For eksempel kan en U-Net-arkitektur trenes med bare noen få skiver av et enkelt tomografi (fire eller fem skiver) og utledes robust til andre tomogrammer uten omskolering. Denne protokollen gir en trinnvis veiledning for trening av U-Net nevrale nettverksarkitekturer for å segmentere elektronkryo-tomogrammer i Dragonfly 2022.119.
Dragonfly er kommersielt utviklet programvare som brukes til 3D-bildesegmentering og analyse av dyplæringsmodeller, og den er fritt tilgjengelig for akademisk bruk (noen geografiske begrensninger gjelder). Den har et avansert grafisk grensesnitt som gjør det mulig for en ikke-ekspert å dra full nytte av kraften til dyp læring for både semantisk segmentering og støyfjerning av bilder. Denne protokollen demonstrerer hvordan man forhåndsbehandler og kommenterer kryo-elektrontomogrammer i Dragonfly for trening av kunstige nevrale nettverk, som deretter kan utledes til raskt å segmentere store datasett. Den diskuterer videre og demonstrerer kort hvordan du bruker segmenterte data for videre analyse, for eksempel filamentsporing og koordinatekstraksjon for gjennomsnitt av sub-tomogram.
Denne protokollen beskriver en prosedyre for bruk av Dragonfly 2022.1-programvare for å trene et U-Net i flere klasser fra et enkelt tomogram, og hvordan du kan utlede det nettverket til andre tomogrammer som ikke trenger å være fra samme datasett. Treningen er relativt rask (kan være så rask som 3-5 min per epoke eller så sakte som noen få timer, helt avhengig av nettverket som blir trent og maskinvaren som brukes), og omskolering av et nettverk for å forbedre læringen er intuitivt. Så lenge forbehandlingstrinnene utføres for hvert tomogram, er slutningen vanligvis robust.
Konsekvent forhåndsbehandling er det mest kritiske trinnet for dyp læringsslutning. Det er mange bildefiltre i programvaren, og brukeren kan eksperimentere for å finne ut hvilke filtre som fungerer best for bestemte datasett; Vær oppmerksom på at hvilken filtrering som brukes på treningstogrammet, må brukes på samme måte som slutningstomogrammene. Det må også utvises forsiktighet for å gi nettverket nøyaktig og tilstrekkelig opplæringsinformasjon. Det er viktig at alle funksjoner som er segmentert i treningsstykkene er segmentert så nøye og nøyaktig som mulig.
Bildesegmentering forenkles av et sofistikert kommersielt brukergrensesnitt. Det gir alle nødvendige verktøy for håndsegmentering og muliggjør enkel omplassering av voxels fra en klasse til en annen før trening og omskoling. Brukeren har lov til å håndsegmentere voxels innenfor hele konteksten av tomogrammet, og de får flere visninger og muligheten til å rotere volumet fritt. I tillegg gir programvaren muligheten til å bruke flere klassenettverk, som har en tendens til å utføre bedre16 og er raskere enn segmentering med flere enkeltklassenettverk.
Det er selvfølgelig begrensninger for et nevralt nettverks evner. Kryo-ET-data er av natur svært støyende og begrenset i vinkelprøvetaking, noe som fører til orienteringsspesifikke forvrengninger i identiske objekter21. Opplæring er avhengig av at en ekspert segmenterer strukturer nøyaktig, og et vellykket nettverk er bare så bra (eller så dårlig) som treningsdataene det er gitt. Bildefiltrering for å øke signalet er nyttig for treneren, men det er fortsatt mange tilfeller der nøyaktig identifisering av alle piksler i en gitt struktur er vanskelig. Det er derfor viktig at det utvises stor forsiktighet når du oppretter treningssegmenteringen, slik at nettverket har best mulig informasjon å lære under trening.
Denne arbeidsflyten kan enkelt endres etter hver brukers preferanser. Selv om det er viktig at alle tomogrammer forhåndsbehandles på nøyaktig samme måte, er det ikke nødvendig å bruke de nøyaktige filtrene som brukes i protokollen. Programvaren har mange bildefiltreringsalternativer, og det anbefales å optimalisere disse for brukerens spesielle data før du legger ut på et stort segmenteringsprosjekt som spenner over mange tomogrammer. Det er også ganske mange nettverksarkitekturer tilgjengelig for bruk: et flerstykke U-Net har vist seg å fungere best for dataene fra dette laboratoriet, men en annen bruker kan oppleve at en annen arkitektur (for eksempel et 3D U-Net eller en Sensor 3D) fungerer bedre. Segmenteringsveiviseren gir et praktisk grensesnitt for å sammenligne ytelsen til flere nettverk ved hjelp av de samme treningsdataene.
Verktøy som de som presenteres her, vil gjøre håndsegmentering av fulle tomogrammer til en oppgave fra fortiden. Med godt trente nevrale nettverk som er robust inferable, er det fullt mulig å lage en arbeidsflyt der tomografiske data rekonstrueres, behandles og fullt segmenteres så raskt som mikroskopet kan samle det.
The authors have nothing to disclose.
Denne studien ble støttet av Penn State College of Medicine og Institutt for biokjemi og molekylærbiologi, samt Tobacco Settlement Fund (TSF) tilskudd 4100079742-EXT. Tjenestene og instrumentene CryoEM og CryoET Core (RRID:SCR_021178) som ble brukt i dette prosjektet ble delvis finansiert av Pennsylvania State University College of Medicine via Office of the Vice Dean of Research and Graduate Students og Pennsylvania Department of Health using Tobacco Settlement Funds (CURE). Innholdet er utelukkende forfatternes ansvar og representerer ikke nødvendigvis de offisielle synspunktene til universitetet eller College of Medicine. Pennsylvania Department of Health fraskriver seg spesifikt ansvar for eventuelle analyser, tolkninger eller konklusjoner.
Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |