Den beskrevne rørledning er designet til segmentering af elektronmikroskopi datasæt større end gigabytes, at udtrække helcelle morfologier. Når cellerne er rekonstrueret i 3D, kan tilpasset software designet omkring individuelle behov bruges til at udføre en kvalitativ og kvantitativ analyse direkte i 3D, også ved hjælp af Virtual Reality for at overvinde View okklusion.
Seriel skæring og efterfølgende billeddannelse i høj opløsning af biologisk væv ved hjælp af elektronmikroskopi (EM) gør det muligt at segmentere og genopbygge højopløsnings afbildet stakke for at afsløre ultrastrukturelle mønstre, der ikke kunne løses ved hjælp af 2D Billeder. Faktisk kan sidstnævnte føre til en fejlfortolkning af morfologier, som i tilfældet med mitokondrier; brugen af 3D-modeller er derfor mere og mere udbredt og anvendes til formulering af morfologiske-baserede funktionelle hypoteser. Til dato gør brugen af 3D-modeller genereret fra lys eller elektron billedstakke kvalitative, visuelle vurderinger, samt kvantificering, mere bekvemt at blive udført direkte i 3D. Da disse modeller ofte er ekstremt komplekse, er det også vigtigt at oprette et virtuelt Reality-miljø for at overvinde okklusion og udnytte 3D-strukturen fuldt ud. Her er en trinvis vejledning fra billedsegmentering til genopbygning og analyse beskrevet i detaljer.
Den første foreslåede model for en elektronmikroskopi setup tillader automatiseret seriel sektion og Imaging dateres tilbage til 19811; udbredelsen af sådanne automatiserede, forbedrede opsætninger til billede store prøver ved hjælp af EM steg i de sidste ti år2,3, og værker fremvisning imponerende tætte rekonstruktioner eller fuld morfologier umiddelbart fulgte4, 5,6,7,8,9,10.
Produktionen af store datasæt kom med behovet for forbedrede rørledninger til billedsegmentering. Software værktøjer til manuel segmentering af seriellesektioner, såsomReconstructog TrakEM2,blev designet til transmission elektronmikroskopi (tem). Da hele processen kan være ekstremt tidskrævende, disse værktøjer er ikke passende, når der beskæftiger sig med de tusindvis af serielle mikrografer, som kan genereres automatisk med state-of-the-art, automatiseret EM seriel sektion teknikker (3DEM), såsom blok-Face scanning Electron mikroskopi (SBEM)3 eller fokuseret ionstråle-scanning elektronmikroskopi (FIB-SEM)2. Af denne grund, forskere sat indsats for at udvikle semi-automatiserede værktøjer, samt fuldt automatiserede værktøjer, for at forbedre segmentering effektivitet. Fuldt automatiserede værktøjer, baseret på maskinel indlæring13 eller State-of-the-art, uuddannede pixel klassifikations algoritmer14, er ved at blive forbedret til at blive brugt af et større samfund; ikke desto mindre, segmentering er stadig langt fra at være fuldt pålidelige, og mange værker er stadig baseret på manuel arbejdskraft, som er ineffektiv i form af segmentering tid, men stadig giver fuldstændig pålidelighed. Halvautomatiserede værktøjer, såsom ilastik15, repræsenterer et bedre kompromis, da de giver en umiddelbar udlæsning for segmentering, der kan korrigeres til en vis grad, selv om det ikke giver en reel korrekturlæser rammer, og kan integreres ved hjælp af TrakEM2 parallelt16.
Storstilet segmentering er til dato for det meste begrænset til forbundethed; Derfor er computer forskere mest interesseret i at tilvejebringe rammer for integrerede visualiseringer af store, kommenterede datasæt og analysere tilslutnings mønstre, der udledes af tilstedeværelsen af synaptiske kontakter17,18. Ikke desto mindre kan præcise 3D-rekonstruktioner anvendes til kvantitative morpometriske analyser i stedet for kvalitative vurderinger af 3D-strukturerne. Værktøjer som neuromorph19,20 og glykogen analyse10 er blevet udviklet til at tage målinger på 3D rekonstruktioner for længder, overfladearealer og volumener, og på fordelingen af Cloud Points, helt kassere den oprindelige EM stack8,10. Astrocytter repræsenterer en interessant casestudie, fordi manglen på visuelle spor eller gentagne strukturelle mønstre giver undersøgere et vink om funktionen af individuelle strukturelle enheder og deraf følgende mangel på en tilstrækkelig ontologi af astrocytiske processer 21, gør det udfordrende at designe analytiske værktøjer. En nylig forsøg var Abstractocyte22, som giver mulighed for en visuel udforskning af astrocytiske processer og følgeslutning af kvalitative relationer mellem astrocytiske processer og neurites.
Ikke desto mindre, bekvemmelighed af billeddannelse sektioneret væv under EM kommer fra det faktum, at mængden af oplysninger gemt i intakt hjerne prøver er enorm og fortolke enkelt afsnit billeder kan overvinde dette problem. Tætheden af strukturer i hjernen er så høj, at 3D rekonstruktioner af selv et par objekter synlige på én gang ville gøre det umuligt at skelne dem visuelt. Derfor har vi for nylig foreslået brugen af Virtual Reality (VR) som en forbedret metode til at observere komplekse strukturer. Vi fokuserer på astrocytter23 for at overvinde okklusion (hvilket er blokeringen af synligheden af et objekt af interesse med en anden, i et 3D-rum) og lette kvalitative vurderinger af rekonstruktioner, herunder korrekturlæsning, samt kvantifikationer af funktioner ved hjælp af optælling af punkter i rummet. Vi har for nylig kombineret VR visuel udforskning med brugen af glam (glykogen-afledte laktat absorption model), en teknik til at visualisere et kort over lactat shuttle sandsynlighed for neurites, ved at overveje glykogen granulat som lysemitterende organer23; Vi brugte især VR til at kvantificere de lystoppe, der produceres af GLAM.
Den metode, der præsenteres her, er en nyttig trin-for-trin-vejledning til segmentering og 3D-rekonstruktion af et multiscale EM-datasæt, uanset om de kommer fra billedbehandlings teknikker med høj opløsning, som FIB-SEM eller andre automatiserede serielle skære-og billedbehandlings teknikker. FIB-SEM har fordelen af potentielt at nå perfekt isotropi i voxel størrelse ved at skære sektioner så tynde som 5 nm ved hjælp af en fokuseret ionstråle, dens FOV kan være begrænset til 15-20 μm på grund af side artefakter, som muligvis skyldes aflejring af det afskårne væv, hvis fo V overskrider denne værdi. Sådanne artefakter kan undgås ved hjælp af andre teknikker, såsom SBEM, som bruger en diamant kniv til at skære serielle sektioner inde i mikroskop kammeret. I sidstnævnte tilfælde kan z -opløsningen være omkring 20 Nm i bedste fald (normalt 50 nm), men FOV kan være større, selvom pixel opløsningen bør kompromitteres for en stor region af interesse. En løsning til at overvinde sådanne begrænsninger (forstørrelse vs. FOV) er at opdele regionen af interesse i fliser og erhverve hver af dem på en højere opløsning. Vi har vist her resultater fra både en SBEM stack-datasæt (i) i de repræsentative resultater-og en FIB-SEM stack-datasæt (II) i de repræsentative resultater.
Efterhånden som genereringen af større og større datasæt bliver mere og mere udbredt, mangedobles bestræbelserne på at skabe værktøjer til pixel klassifikation og automatiseret billedsegmentering. ikke desto mindre har ingen software hidtil vist sig at være sammenlignelig med den menneskelige korrektur, som derfor stadig er nødvendig, uanset hvor tidskrævende den er. Generelt kan mindre datasæt, der kan nedsamples, som i tilfælde af datasæt (II), være tæt rekonstrueret af en enkelt, ekspert bruger i en uge, herunder korrekturlæsning tid.
Den protokol, der præsenteres her indebærer brugen af tre softwareprogrammer i særdeleshed: Fiji (version 2.0.0-RC-65/1.65 b), ilastik (version 1.3.2 RC2), og blender (2,79), som er alle open source og multi-platform programmer og downloades gratis. Fiji er en udgivelse af ImageJ, drevet af plugins til biologisk billedanalyse. Det har en robust software arkitektur og foreslås, da det er en fælles platform for Life forskere og omfatter TrakEM2, en af de første og mest udbredte plugins til billedsegmentering. Et problem opleves af mange brugere sidst er overgangen fra Java 6 til Java 8, som skaber kompatibilitetsproblemer; Derfor foreslår vi at afstå fra at opdatere til Java 8, hvis det er muligt, at tillade Fiji at arbejde ordentligt. ilastik er en kraftfuld software, der giver en række rammer for pixel klassifikation, hver enkelt dokumenteret og forklaret på deres hjemmeside. Den carving modul, der anvendes til semi-automatiseret segmentering af EM stakke er praktisk, da det sparer meget tid, så forskerne til at reducere den tid brugt på manuelt arbejde fra måneder til dage for en erfaren bruger, som med et enkelt klik en hel neurite kan være segmenteret i sekunder. Forbehandlings trinnet er meget intens fra en hardware synspunkt, og meget store datasæt, ligesom SBEM stak præsenteret her, som var 26 GB, kræver ejendommelige strategier til at passe ind i hukommelsen, i betragtning af at man ville erhverve store datasæt, fordi der ikke kan kompromis syns-og beslutningsforslag. Derfor er nedsampling måske ikke en hensigtsmæssig løsning i dette tilfælde. Den seneste udgivelse af softwaren kan gøre forbehandlingen i et par timer med en kraftfuld Linux-arbejdsstation, men segmentering ville tage minutter, og rulle gennem stakken ville stadig være relativt langsom. Vi bruger stadig denne metode til en første, grov segmentering, og korrekturlæse den ved hjælp af TrakEM2. Endelig, blender er en 3D modellering software, med en kraftfuld 3D gengivelse motor, som kan tilpasses med python scripts, der kan indlejres i de vigtigste GUI som add-ons, såsom neuromorph og glykogen analyse. Fleksibiliteten af denne software kommer med den ulempe, at, i modsætning til Fiji, for eksempel, det er ikke designet til online visualisering af store datasæt; Det kan derfor være langsom og ikke effektivt at visualisere og navigere gennem store masker (over 1 GB). På grund af dette, er det altid tilrådeligt at vælge teknikker, der reducerer mesh kompleksitet, men er omhyggelig med ikke at forstyrre den oprindelige morfologi af strukturen af interesse. Den Remesh funktion kommer i handy og er en indlejret funktion i NeuroMorph batch import Tool. Et problem med denne funktion er, at afhængigt af antallet af knudepunkter i den oprindelige maske, skal oktræets dybde værdi, som er relateret til den endelige opløsning, ændres i overensstemmelse hermed. Små objekter kan remeshed med en lille octree dybde (f. eks 4), men den samme værdi kan forstyrre morfologien af større objekter, som har brug for større værdier (6 i bedste fald, til 8 eller endda 9 for en meget stor mesh, såsom en fuld celle). Det er tilrådeligt at gøre denne proces iterativ og teste de forskellige octree dybder, hvis størrelsen af objektet ikke er klar.
Som tidligere nævnt, et aspekt, der bør tages i betragtning, er den beregningsmæssige magt til at være dedikeret til genopbygning og analyse, relateret til den software, der bliver brugt. Alle de operationer, der er vist i de repræsentative resultater af dette manuskript, blev indhentet ved hjælp af en MacPro, udstyret med et AMD FirePro D500-grafikkort, 64 GB RAM og en Intel Xeon E5 CPU med 8 kerner. Fiji har en god software arkitektur til håndtering af store datasæt; Derfor anbefales det at bruge en bærbar computer med en god hardware ydeevne, såsom en MacBook Pro med en 2,5 GHz Intel i7 CPU og 16 GB RAM. ilastik software er mere krævende med hensyn til hardware ressourcer, især under forbehandlings trinnet. Selvom nedsampling billed stakken er et godt trick til at begrænse hardware anmodninger fra softwaren og giver brugeren mulighed for at behandle en stak med en bærbar computer (typisk hvis det er under 500 pixels i x,y,z), foreslår vi brugen af en high-end computer til at køre denne software gnidningsløst. Vi bruger en arbejdsstation udstyret med en Intel Xeon Gold 6150 CPU med 16 kerner og 500 GB RAM.
Når de leveres med en nøjagtig 3D-rekonstruktion, kan forskerne kassere de oprindelige mikrografer og arbejde direkte på 3D-modellerne for at udtrække nyttige morpometriske data for at sammenligne celler af samme type, samt forskellige typer celler, og drage fordel af VR for kvalitative og kvantitative vurderinger af morfologier. Navnlig har anvendelsen af sidstnævnte vist sig at være gavnlig i tilfælde af analyser af tætte eller komplekse morfologier, der præsenterer visuel okklusion (dvs. blokering af et objekt af interesse i 3D-rummet med en anden placeret mellem observatøren og fi det første objekt), hvilket gør det vanskeligt at repræsentere og analysere dem i 3D. I det viste eksempel tog en erfaren bruger ca. 4 ikke-sammenhængende timer for at observere data sætsene og tælle objekterne. Den tid, der bruges på VR-analyse kan variere, da aspekter som VR-sygdom (som til en vis grad kan relateres til bilsygdom) har en negativ indvirkning på brugeroplevelsen; i dette tilfælde kan brugeren foretrække andre analyseværktøjer og begrænse deres tid dedikeret til VR.
Endelig kan alle disse trin anvendes på andre mikroskopi og ikke-EM-teknikker, der genererer billedstakke. EM genererer billeder, der i almindelighed er udfordrende at håndtere og segment, sammenlignet med, for eksempel, Fluorescens mikroskopi, hvor noget kan sammenlignes med en binær maske (signal versus en sort baggrund), der i princippet let gengives i 3D for behandling, ofte skal behandles.
The authors have nothing to disclose.
Dette arbejde blev støttet af King Abdullah University of Science and Technology (KAUST) konkurrencedygtige forskningsstipendier (CRG) Grant “KAUST-BBP Alliance for Integrative modellering af hjernen energimetabolisme” til P.J.M.
Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |