Segmentering av tredimensionella data från många avbildningstekniker är en stor flaskhals i analys av komplexa biologiska system. Här, vi beskriver användningen av SuRVoS Workbench att halvautomatiskt segmentet volymetriska data vid olika längd-skalor med exempel datauppsättningar från cryo-elektron tomografi, cryo mjuk röntgen datortomografi och fas kontrast röntgen datortomografi tekniker.
Segmentering är processen att isolera specifika regioner eller objekt inom en avbildad volym, så att ytterligare studier kan genomföras på dessa områden av intresse. När man överväger analys av komplexa biologiska system, är segmentering av tredimensionella bilddata ett tidskrävande och labor intensiv steg. Med den ökade tillgången på många avbildningsmetoder och automatiserad data insamlingssystem utgör detta en ökad utmaning för moderna experimentella biologen att flytta från data till kunskap. Denna publikation beskriver användningen av SuRVoS Workbench, ett program för att hantera dessa frågor genom att tillhandahålla metoder att halvautomatiskt segmentet komplexa biologiska volymetriska data. Tre datamängder av skilda förstoring och imaging villkoren presenteras här, var och en belyser olika strategier för segmentera med SuRVoS. Fas kontrast röntgen datortomografi (microCT) av fruiting kroppen av en växt som används för att demonstrera segmentering modell utbildning, cryo elektron tomografi (cryoET) av humana trombocyter används för att demonstrera segmentering super – och megavoxels och cryo mjuk Röntgen datortomografi (cryoSXT) av en cellinje används för att visa etiketten dela verktyg. Här presenteras också strategier och parametrar för varje datatyp. Genom att blanda ett urval av halvautomatiska processer i ett enda interaktiva verktyg, ger SuRVoS flera fördelar. Totala minskas tid att segmentera volymetriska data med en faktor fem jämfört manuell segmentering, en stöttepelare i många bild bearbetning områden. Detta är en betydande besparingar när fullständig manuell segmentering kan ta veckor av ansträngning. Dessutom riktar subjektivitet genom användning av beräkningsmässigt identifierade gränser och blixtra komplexa samlingar av föremål av deras beräknade egenskaper snarare än på en fall-till-fall-basis.
SuRVoS arbetsbänken är en mjukvara som utformats för att forskarna extrahera vetenskapligt relevant information från volymetriska data från olika prover, oavsett strukturen på intresse, upplösning eller bildframställning modalitet1, 2. Volymetrisk data baserat såsom dessa samlas ofta med hjälp av röntgen eller electron tomografi system, rutinmässigt på stora laboratorier eller centraliserade anläggningar på grund av deras komplexitet. Båda dessa metoder, och andra tekniker, producerar stora, information rika datamängder som bevisar utmanande till segmentet antingen halvautomatiska metoder eller manuellt. Särskilt kräver nära-infödda statligt cryo-orörlig datamängder låg dos imaging villkoren, vilket resulterar i en låg signal-brus-förhållande och dålig kontrast, speciellt i cryo elektron tomografi (cryoET)3,4,5 . Ytterligare en faktor i vissa 3D datamängder är förekomsten av artefakter som infördes genom de utmanande experimentella villkor inblandade, till exempel saknade kil artefakter på grund av datainsamling över en begränsad luta utbud, vilket resulterar i information som saknas och töjning i riktning mot den balk3,4,5. När låg även signal-brus eller saknas kil artefakter är inte problematiska (t.ex. fokuserade ion beam SEM6 eller seriell block ansikte SEM7), komplexiteten och tredimensionella karaktären av provet och den stora mängden data menar analys skulle fortfarande nytta av en automatiserad process för data segmentering.
För närvarande, när man överväger biologiska volymer av celler, finns det många alternativ för att automatiskt eller halvautomatiskt identifierar mycket specifika cellulära funktioner, till exempel aktin, mikrotubuli eller specifikt proteinkomplex, med en mallbaserade sökning kan eller identifiera funktioner i specifika typer av datamängder (t.ex. hög kontrast, målat, harts-embedded prover)8,9,10,11,12. Dock i dessa fall en priori är information eller specifika prov förberedelse protokoll nödvändiga, att begränsa bred tillämpligheten av dessa strategier för segmentering. Det finns också verktyg tillgängliga som utför modell utbildning på att lära sig utseendet på olika strukturer av intresse när det ges användaren ingång13-nivå voxel. På denna nivå kan komplexitet utbildning och testa modeller dock felbenägen och beräkningsmässigt dyra. Med tanke på de utmanande bild-villkor, och bristen på allmänt tillämpliga, semi-automatisk segmentering strategier, är manuell segmentering vanligt, även när du arbetar med komplexa biologiska material14,15, 16 , 17. men det är allmänt accepterat att processen för manuell segmentering inte är bara tidskrävande, men också felbenägna, subjektiva och variabel4,5,18,19 ,20. Vissa segmentering program erbjuder verktyg för att underlätta manuell segmentering processen (dvs interpolation, lasso eller blås verktyg)21,22, men i fall av bullriga datamängder, de är svåra att tillämpa framgångsrikt, och processen även när de används framgångsrikt, och är fortfarande subjektiva och variabel.
Traditionellt, segmenteringar har använts på två olika sätt: kvalitativt eller kvantitativt. Som avbildningstekniker och segmentering strategier förbättras, har det blivit vanligare att använda segmentering som kvantitativa verktyg att besvara biologiska frågor och som en ”marken sanningen” för algoritm utveckling8,12, 15,23,24,25. För att göra detta, krävs detaljerade kontroller och avvägningar att minska variationen och subjektivitet i hela den process26. Dessa försiktighetsåtgärder ytterligare ökar dock tidskrävande beskaffenhet segmentering. På grund av detta är det viktigt att ge en snabbare och mindre rörliga segmenteringen strategi.
SuRVoS arbetsbänken börjar ta itu med dessa frågor genom att förse användaren med ett urval av maskininlärning och bildbehandling verktyg som hjälper användaren i segmentering processen, samtidigt som också vägleder användaren genom steg som krävs. För att uppnå detta genomförs två viktiga innovationer tillsammans i SuRVoS. Först, den använder en super regionen hierarki till grupp liknande, närliggande regioner av data baserat på sina inneboende egenskaper. Var och en av regionerna i hierarkin representerar samma volym med färre element, samtidigt som det ger starka gränsen följsamhet. Således, Super regioner minska komplexitet segmentera en volym med flera tiopotenser ännu fortfarande representerar data utan betydande förlust av information27. Det andra ger SuRVoS en halvautomatisk segmenteringen strategi som använder minimal manuell segmentering ingångar för att träna klassificerare, som används sedan för att segmentera de återstående volym28,29. Denna strategi minskar manuell segmentering, kraftigt minska mängden användartid på segmentera och när du använder super regioner, avlägsnar manuell avgränsning av gränser, potentiellt minska variabilitet och subjektivitet.
En ytterligare viktig funktion i SuRVoS är verktyget etikett Splitter, whereby en användare kan klassificera en serie redan segmenterade objekt baserat på deras inneboende egenskaper. Efter segmentering av olika objekt av intresse, detta verktyg kan användas för att dela upp uppsättningen i underklasser baserat på åtgärder såsom genomsnittliga objekt intensitet, varians, storlek, läge, etc. detta är användbart vid klassificering av stora grupper av objekt med hög komplexitet. Till exempel en grupp av cellulära organeller kan delas in i mitokondrierna, Tom blåsor, lipid droppar, etc.; eller en uppsättning av material inneslutningar kan separeras baserat på storlek eller form. När segmenterade enskilda etiketterna kan uppdelningen i grupper använda valfritt antal klassificerare, minska identifiering bias.
SuRVoS arbetsbänken har framgångsrikt använts för att segmentera data från flera avbildningstekniker. Här, används synchrotron röntgen fas kontrast tomografi (microCT) av fruiting kroppen av en växt som för att demonstrera segmentatipå med modell utbildning, cryo elektron tomografi (cryoET) av humana trombocyter används för att demonstrera segmentering super- och megavoxels och cryo mjuk röntgen datortomografi (cryoSXT) av en cellinje används för att visa etiketten dela verktyg
SuRVoS Workbench som skiljer från andra segmentering program optimering av parametrar är ett nödvändigt och viktigt steg innan du påbörjar den riktiga segmenteringen. I en del manuell eller semi manuell segmentering program börjar användaren segmentera inom stunder av att öppna ett nytt projekt. Med SuRVoS, eftersom stora mängder volymen kommer att vara segmenterade med mycket lite användarindata och gränser är avgränsad av programmet, är optimera parametrarna avgörande för en framgångsrik segmentering. Specifikt är funktionen kanaler och Super regionen byggnad två områden där uppmärksamhet bör ägnas.
Funktionen kanaler och modell utbildning
Förutom raw-data tillåter SuRVoS användaren att skapa ytterligare datamängder eller kanaler som härrör från en befintlig datamängd. Dessa kanaler kan skapas med ett urval av beräkningsvetenskapliga metoder eller funktionen utsug. Alla data representationer finns parallellt, och kan visas individuellt för att bedöma resultaten av funktionen eller filter ansökan. På grund av dessa egenskaper kallas de till funktionen kanaler i SuRVoS. I området i närheten finns det många Kanalalternativ inom SuRVoS. För information om alternativ och parametrar som används här, se tabell 1, för en fullständig lista och beskrivning av tillgänglig funktion kanaler besök https://diamondlightsource.github.io/SuRVoS/ 2. Första, bullriga datamängder kommer att gynnas av denoising med Gaussisk eller totalt variation filter. Det rekommenderas att ytterligare funktionen kanal och supervoxel/megavoxel beräkningar utföras med en av dessa denoised datamängder som datakälla. Generellt, den totala variation denoised datamängden används som källdata för funktionen kanal och supervoxel/megavoxel beräkningar. Det föreslås att först köra med standardvärden, bedöma resultatet i 3D och slutligen iterativt optimera parametrarna för datamängden. Dessutom funktionen kanaler kan byggas upp i ”filteruppsättningar” to specifikt isolera aspekter av datamängden, och dessa kan sedan användas som datakällor för att skapa supervoxels och megavoxels. Denna strategi är mycket datamängd beroende, kan det vara fördelaktigt.
Funktionen kanaler används också som källor till tåg klassificeraren i modell utbildning. När du bestämmer på vilka funktionen kanaler att använda, det rekommenderas att några robusta funktionen kanaler (t.ex., från blob upptäckt, textur och struktur eller robusta funktioner kategorier) används när du arbetar med en liten mängd anteckningar för att träna den klassificerare. När du arbetar med en stor mängd utbildning data, det rekommenderas att använda mer funktionen kanaler totalt, från någon av kategorierna så länge de ger varierad information till klassificeraren (t.ex.lägga till ovanstående lista funktionen kanaler från lokala funktioner och Gaussisk funktioner kategorier).
Det finns tre delar till modell utbildning: tillhandahåller indata källor som beskriver data, använder dessa ingångar för att utbilda en klassificerare och slutligen raffinering utdata förutsägelser. I allmänhet kommer att mindre regioner av data kräva mer användaranteckningar korrekt utbilda klassificeraren, medan större regioner av data kräver färre användaranteckningar. Modell utbildning kan först utan att välja en förfining användas för att hitta bästa förutsägelser. Då inkluderar förfining och optimera parametern lambda som behövs för att åtgärda problem med förutsägelser såsom hål eller ojämna kanter.
Supervoxels och megavoxels
Supervoxels är kluster av flera i närheten av liknande voxlar38,39. Supervoxels börjar som ett standard 3D rutnät överlagrade på data som sedan iterativt deformeras för att hålla sig till de underliggande gränserna, och därmed bättre representera data. Supervoxel skapande och deformation styrs av fyra användare ingångar: datakälla, superpixel form, avstånd och kompakthet. Datakällan innehåller de indata som efterfrågas under supervoxel skapande. Någon källa kan användas inklusive filtrerade datakällor. Superpixel form parametrarna avgör 3D startfältet och ungefärliga önskad form av den resulterande supervoxels. Ändra dessa parametrar kan öka eller minska storleken på supervoxels innan deformation. Avstånd parametrar definiera betydelsen av gränser i vardera riktningen. Ändra dessa parametrar kan framhäva gränser i en eller två riktningar på bekostnad av den andra (s), vilket innebär att den resulterande supervoxels kommer att deformeras för att bättre följa data gränser i en viss riktning (s). Den sista parametern, kompakthet, styr hur mycket supervoxels kan deformeras. En låg kompakthet nummer tillåter supervoxels deformeras mer. Dessa parametrar bör optimeras för att ge supervoxels som representerar gränserna för data av intresse. Obs: För närvarande supervoxel form parametrar måste vara lika med 1024 eller mindre när den multiplicerats ihop.
På vissa sätt, supervoxel parametrar kan kompensera för varandra, vilket betyder att det ingen finns ”rätt svar” när beslut fattas om parametrar. Exempelvis en stora startfältet (t.ex. superpixel form: 10 x 10 x 10) och en låg kompakthet nummer (ex. 20) kan ge supervoxels med liknande gräns vidhäftning jämfört med en liten startfältet (t.ex. superpixel form 5 x 5 x 5) och en högre kompakthet nummer (t.ex. 50). Eftersom det finns fler, mindre supervoxels i det andra scenariot, som de inte har att deformera så mycket att representera gränser. Båda uppsättningar av parametrar kan vara lämpliga för segmentering av datamängden.
Det största övervägandet när man väljer supervoxel parametrar är hur väl supervoxels representera data. Visar supervoxels ensam, utan data under dem, som i figur 2D, är ett bra sätt att bedöma supervoxel parametrar. När visas detta sätt, bör kanterna och konturerna av former som finns i data fortfarande vara synlig i supervoxels.
Megavoxels är konglomerat av flera närliggande, liknande supervoxels38,39. De kontrolleras igen av fyra användare ingångar: datakälla, lambda, numbins och gamma. Som med supervoxels, tillhandahåller datakällan de indata som efterfrågas under megavoxel skapande. Både lambda och numbins inverkan på megavoxels storlek och gränsen anslutning. Som megavoxels växa större (högt lambda, låga numbins), minskar deras gräns följsamhet. Motsatsen är också sant, gränsen följsamhet kommer att öka med mindre megavoxels (lågt lambda, hög numbins), men när megavoxel storlek minskar, så ökar deras användbarhet i segmentera stora mängder voxlar snabbt. Parametern valfria gamma styr den jämnhet faktorn kontra kostnaden för sammanslagningen av två supervoxels. Låga värden av gamma kan förbättra likheten mellan två supervoxels, på bekostnad av att ha färre megavoxels övergripande.
Som med supervoxels, är det största övervägandet när du väljer och optimera megavoxel parametrar hur väl megavoxels representera data. Visar megavoxels ensam som beskrivs för supervoxels kan igen användas för att bedöma parametrar. Men eftersom megavoxels kommer generellt att vara mycket större och är tredimensionell, med hjälp av annotation verktyg to Välj enda megavoxels att se till att gränsen mellan regioner av intresse är tight rekommenderas också.
Annotation strategi
Två allmänna annotation strategier har beskrivits: en modell utbildning tillvägagångssätt är användbart för att separera stora regioner av en datamängd, medan en super regionen segmentering metod är användbar för mindre, mer varierande funktioner såsom enskilda organeller. Anteckningar kan organiseras på ett hierarkiskt sätt så att det går att kommentera stora regioner först och sedan dela upp dem i mer specifika regioner med en överordnad-underordnad relation. Överordnade etiketten för en etikett kan tilldelas genom att klicka på området till höger om etiketten färgvalet och välja en lämplig förälder etikett från en tidigare nivå. I praktiken använder de flesta datamängder både modell utbildning och Super regionen segmentering strategier för att segmentera specifika regioner/funktioner av intresse.
I modellen utbildning exempel här användes några utbildning ingångar (i form av manuell supervoxel-baserade användaranteckningar) på tre jämnt fördelade skivor data. På detta sätt ökar den modell utbildning aspekten av SuRVoS kraftigt hastigheten med vilken segmentering är möjligt särskilt när du arbetar med stora, differentierade regioner såsom klyftan mellan regionerna i goosegrass fruiting kroppen som framhålls i Figur 3.
När modellera kan utbildning, om förutsägelser inte kan ses, det vara nödvändigt att gå till fliken visualisering och kontrollera att lagrets förutsägelser är påslagen och inställd på en lämplig mängd öppenhet. Också, ett förtroende för 0 tilldelar varje omärkt supervoxel till en etikett, baserat på vad den närmaste matchningen är. Förtroende av 100 kommer bara tilldela en etikett om endast en kategori av etikett har någon proportionell match. Allt däremellan är en avvägning av dessa två ytterligheter. När du väljer en konfidensnivå föreslås det för att kontrollera några skivor att visuellt inspektera att det finns ingen felaktigt förutspådde voxlar före Spara prognos till en etikett.
En bra strategi för att kommentera med Super regioner är att använda verktyget förstoring att zooma in på data, kommentera några organeller samtidigt på en cirkelsektor, först med en ”snabb, stökigt” metod (figur 4 c). Nästa, flytta upp eller ner några skivor i Z och upprepa proceduren. Eftersom supervoxels är tredimensionell, korrigeras många av fel på metoden ”rörigt” av anteckningar som görs ovan eller nedanför skivor. På detta sätt segmentering är påskyndas och gränserna tillhandahålls av supervoxels i stället för manuellt.
För att rengöra en etikett, har standard segmentering förfining alternativ tillhandahållits. Dilatation orsakar valda segmentering etiketten växa med given radie, erosion orsakar det att krympa. Öppning och stängning är tillämpningen av första erosion och dilatation, eller vice versa, respektive. Och fyll hålen gör exakt. Av dessa operationer har betydelse. I allmänhet utför fyllning hål, sedan öppningen, sedan dilatation fungerar väl. Varje förfining metod kan tillämpas på en cirkelsektor (”detta” slice ”), på alla skivor i 2D (” alla skivor (2D) ”) eller i 3D (” hela volym (3D) ”). Alla skivor (2D) rekommenderas.
Betydelse och framtida inriktningar
Effektiv och korrekt segmentering är nästa flaskhalsen i bearbetning av 3D datamängder, särskilt med den rutinmässiga automatiserad insamlingen av terabyte image data under lång sikt sessioner. SuRVoS Workbench kan snabba segmentering processen genom en faktor 5 jämfört med manuell segmentering. Också, eftersom gränserna är avgränsad av supervoxels, variationer i de resulterande segmenteringar bör förbättra. I framtiden hoppas vi att utforska sätt att använda segmentering av en representativ 3D region av intresse som träningsdata för att gälla resten av volymen, eller ens en separat volym, med högt förtroende. Detta förskott skulle ytterligare minska mängden av användartid och input nödvändigt att segmentet även komplexa biologiska volymer, bidrar till att lindra bild bearbetning och segmentering flaskhalsen. Detta, i sin tur gör en kvantitativ jämförelse av biologiska data i olika stater (t.ex. icke-sjukdom, sjukdom, behandlas) med robust experimentella nummer.
The authors have nothing to disclose.
Vi skulle vilja erkänna och tacka Rui Wang och Wah Chiu från Baylor College of Medicine för att tillhandahålla cryoET datamängden och Andrew Bodey från Diamond Light Source för att bistå med den I13 beamtime. Delar av forskningen stöddes av National Institutes of Health (NIH) bidraget nr (P41GM103832) Vi bekräftar Diamond Light Source för att gemensamt finansiera Imanol Luengo under PhD STU0079.
computer | n/a | n/a | Must be running Linux operating system and have an NVidia GPU with at least 4 GB of memory |