Detta är en metod för att träna ett U-Net med flera skivor för segmentering av kryoelektrontomogram med flera klasser med hjälp av en del av ett tomogram som träningsingång. Vi beskriver hur man härleder detta nätverk till andra tomogram och hur man extraherar segmenteringar för vidare analyser, såsom subtomogrammedelvärde och filamentspårning.
Kryoelektrontomografi (kryo-ET) gör det möjligt för forskare att avbilda celler i sitt infödda, hydratiserade tillstånd med högsta möjliga upplösning. Tekniken har dock flera begränsningar som gör det tidskrävande och svårt att analysera data som den genererar. Handsegmentering av ett enda tomogram kan ta från timmar till dagar, men ett mikroskop kan enkelt generera 50 eller fler tomogram om dagen. Nuvarande djupinlärningssegmenteringsprogram för kryo-ET finns, men är begränsade till att segmentera en struktur i taget. Här tränas U-Net konvolutionella neurala nätverk med flera skivor och tillämpas för att automatiskt segmentera flera strukturer samtidigt inom kryo-tomogram. Med korrekt förbehandling kan dessa nätverk härledas till många tomogram utan att behöva träna enskilda nätverk för varje tomogram. Detta arbetsflöde förbättrar dramatiskt hastigheten med vilken kryoelektrontomogram kan analyseras genom att minska segmenteringstiden till under 30 minuter i de flesta fall. Vidare kan segmenteringar användas för att förbättra noggrannheten i filamentspårning inom ett cellulärt sammanhang och för att snabbt extrahera koordinater för subtomogrammedelvärde.
Hårdvaru- och mjukvaruutvecklingen under det senaste decenniet har resulterat i en “upplösningsrevolution” för kryoelektronmikroskopi (kryo-EM)1,2. Med bättre och snabbare detektorer3, programvara för att automatisera datainsamling 4,5 och signalförstärkande framsteg som fasplattor6 är det relativt enkelt att samla in stora mängder högupplösta kryo-EM-data.
Cryo-ET ger oöverträffad inblick i cellulär ultrastruktur i ett inhemskt, hydratiserat tillstånd 7,8,9,10. Den primära begränsningen är provtjocklek, men med antagandet av metoder som fokuserad jonstråle (FIB) fräsning, där tjocka cell- och vävnadsprover tunnas ut för tomografi11, expanderar horisonten för vad som kan avbildas med kryo-ET ständigt. De nyaste mikroskopen kan producera långt över 50 tomogram om dagen, och denna hastighet beräknas bara öka på grund av utvecklingen av snabba datainsamlingssystem12,13. Att analysera de stora mängder data som produceras av kryo-ET är fortfarande en flaskhals för denna bildbehandling.
Kvantitativ analys av tomografiska data kräver att den först kommenteras. Traditionellt kräver detta handsegmentering av en expert, vilket är tidskrävande; Beroende på den molekylära komplexiteten i kryo-tomogrammet kan det ta timmar till dagar av dedikerad uppmärksamhet. Artificiella neurala nätverk är en tilltalande lösning på detta problem eftersom de kan utbildas för att göra huvuddelen av segmenteringsarbetet på en bråkdel av tiden. Konvolutionella neurala nätverk (CNN) är särskilt lämpade för datorseende14 och har nyligen anpassats för analys av kryoelektrontomogram15,16,17.
Traditionella CNN kräver tusentals kommenterade träningsprover, vilket inte ofta är möjligt för biologiska bildanalysuppgifter. Därför har U-Net-arkitekturen utmärkt sig i detta utrymme18 eftersom den förlitar sig på dataförstärkning för att framgångsrikt träna nätverket, vilket minimerar beroendet av stora träningsuppsättningar. Till exempel kan en U-Net-arkitektur tränas med bara några segment av ett enda tomogram (fyra eller fem segment) och härledas till andra tomogram utan omträning. Detta protokoll tillhandahåller en steg-för-steg-guide för träning av U-Net-neurala nätverksarkitekturer för att segmentera elektronkryo-tomogram inom Dragonfly 2022.119.
Dragonfly är kommersiellt utvecklad programvara som används för 3D-bildsegmentering och analys av djupinlärningsmodeller, och den är fritt tillgänglig för akademisk användning (vissa geografiska begränsningar gäller). Den har ett avancerat grafiskt gränssnitt som gör det möjligt för en icke-expert att dra full nytta av djupinlärningens krafter för både semantisk segmentering och bildförstöring. Detta protokoll visar hur man förbehandlar och kommenterar kryoelektrontomogram inom Dragonfly för träning av artificiella neurala nätverk, som sedan kan härledas för att snabbt segmentera stora dataset. Den diskuterar vidare och visar kortfattat hur man använder segmenterade data för vidare analys såsom filamentspårning och koordinatextraktion för sub-tomogrammedelvärde.
Detta protokoll beskriver en procedur för att använda Dragonfly 2022.1-programvara för att träna ett U-Net med flera klasser från ett enda tomogram och hur man härleder det nätverket till andra tomogram som inte behöver vara från samma dataset. Träningen är relativt snabb (kan vara så snabb som 3-5 minuter per epok eller så långsam som några timmar, helt beroende på nätverket som tränas och hårdvaran som används), och omskolning av ett nätverk för att förbättra dess inlärning är intuitivt. Så länge förbehandlingsstegen utförs för varje tomogram är inferensen vanligtvis robust.
Konsekvent förbearbetning är det viktigaste steget för djupinlärningsinferens. Det finns många bildfilter i programvaran och användaren kan experimentera för att avgöra vilka filter som fungerar bäst för vissa datauppsättningar. Observera att all filtrering som används på träningstomogrammet måste tillämpas på samma sätt på inferenstomogrammen. Man måste också se till att förse nätverket med korrekt och tillräcklig utbildningsinformation. Det är viktigt att alla funktioner som segmenteras inom träningssegmenten segmenteras så noggrant och exakt som möjligt.
Bildsegmentering underlättas av ett sofistikerat användargränssnitt av kommersiell kvalitet. Det ger alla nödvändiga verktyg för handsegmentering och möjliggör enkel omfördelning av voxels från en klass till en annan före träning och omskolning. Användaren får handsegmentera voxlar inom hela tomogrammets sammanhang, och de får flera vyer och möjligheten att rotera volymen fritt. Dessutom ger programvaran möjlighet att använda nätverk med flera klasser, som tenderar att prestera bättre16 och är snabbare än segmentering med flera enklassiga nätverk.
Det finns naturligtvis begränsningar för ett neuralt nätverks kapacitet. Kryo-ET-data är till sin natur mycket bullriga och begränsade i vinkelprovtagning, vilket leder till orienteringsspecifika snedvridningar i identiska objekt21. Utbildning förlitar sig på en expert för att handsegmentera strukturer exakt, och ett framgångsrikt nätverk är bara så bra (eller så dåligt) som träningsdata det ges. Bildfiltrering för att öka signalen är till hjälp för tränaren, men det finns fortfarande många fall där det är svårt att exakt identifiera alla pixlar i en given struktur. Det är därför viktigt att stor försiktighet iakttas när man skapar träningssegmenteringen så att nätverket har bästa möjliga information att lära sig under träningen.
Det här arbetsflödet kan enkelt ändras efter varje användares önskemål. Även om det är viktigt att alla tomogram förbehandlas på exakt samma sätt, är det inte nödvändigt att använda de exakta filtren som används i protokollet. Programvaran har många bildfiltreringsalternativ, och det rekommenderas att optimera dessa för användarens specifika data innan du ger dig ut på ett stort segmenteringsprojekt som spänner över många tomogram. Det finns också en hel del nätverksarkitekturer tillgängliga att använda: ett U-Net med flera segment har visat sig fungera bäst för data från det här labbet, men en annan användare kanske tycker att en annan arkitektur (till exempel ett 3D U-Net eller en Sensor 3D) fungerar bättre. Segmenteringsguiden är ett praktiskt gränssnitt för att jämföra prestanda för flera nätverk med samma träningsdata.
Verktyg som de som presenteras här kommer att göra handsegmentering av hela tomogram till en uppgift från det förflutna. Med vältränade neurala nätverk som är robust härledda är det fullt möjligt att skapa ett arbetsflöde där tomografiska data rekonstrueras, bearbetas och segmenteras helt så snabbt som mikroskopet kan samla in det.
The authors have nothing to disclose.
Denna studie stöddes av Penn State College of Medicine och Institutionen för biokemi och molekylärbiologi, samt Tobacco Settlement Fund (TSF) bidrag 4100079742-EXT. CryoEM- och CryoET Core-tjänsterna (RRID: SCR_021178) och instrumenten som används i detta projekt finansierades delvis av Pennsylvania State University College of Medicine via Office of the Vice Dean of Research and Graduate Students och Pennsylvania Department of Health using Tobacco Settlement Funds (CURE). Innehållet är enbart författarnas ansvar och representerar inte nödvändigtvis universitetets eller högskolans officiella åsikter. Pennsylvania Department of Health frånsäger sig specifikt ansvar för analyser, tolkningar eller slutsatser.
Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |