Volume de segmentação e análise de materiais biológicos, usando a bancada de trabalho de SuRVoS (região super Volume segmentação)

Summary

Segmentação de dados tridimensionais de muitas técnicas de imagem é um grande gargalo em análise de sistemas biológicos complexos. Aqui, descrevemos o uso de SuRVoS Workbench para semi automaticamente dados de volumétrica do segmento em diversas escalas de comprimento usando conjuntos de dados de exemplo de técnicas de tomografia computadorizada de raios-x de contraste fase, cryo macio tomography do raio x e tomografia computadorizada do cryo-elétron.

Abstract

Segmentação é o processo de isolar regiões específicas ou objetos dentro de um volume de imagem, para que um estudo mais aprofundado pode ser realizado nestas áreas de interesse. Ao considerar a análise de sistemas biológicos complexos, a segmentação de dados de imagem tridimensional é uma etapa intensiva demorada e trabalhista. Com o aumento da disponibilidade de diversas modalidades de imagem e com sistemas de recolha de dados automatizada, isto coloca um desafio crescente para o biólogo experimental moderno mover dados para o conhecimento. Esta publicação descreve o uso da bancada de SuRVoS, um programa desenhado para resolver esses problemas, fornecendo métodos para semi-automaticamente segmento complexo volumétrico dados biológicos. Três conjuntos de dados de diferentes ampliação e as modalidades de imagem são apresentados aqui, cada um destacando diferentes estratégias de segmentação com SuRVoS. Tomografia de raio-x de contraste fase (microCT) do corpo frutífero de uma planta é usada para demonstrar utilizando treinamento de modelo de segmentação, tomografia computadorizada de elétron de cryo (cryoET) de plaquetas humanas é usada para demonstrar a segmentação usando supere megavoxels e crio macio Tomografia computadorizada de raios-x (cryoSXT) de uma linhagem de células de mamíferos é usada para demonstrar o rótulo dividindo ferramentas. Estratégias e parâmetros para cada tipo de dados também são apresentados. Misturando uma seleção de processos semiautomáticas em uma única ferramenta interativa, o SuRVoS oferece vários benefícios. Geral, hora de dados volumétricos de segmento é reduzida por um fator de cinco quando comparado a segmentação manual, dos pilares em muitos campos de processamento de imagem. Esta é uma economia significativa quando segmentação manual completo pode demorar semanas de esforço. Além disso, subjetividade é abordada através da utilização de limites computacionalmente identificados e divisão complexas coleções de objetos por suas propriedades calculadas em vez de em uma base caso-a-caso.

Introduction

A bancada de SuRVoS é um pedaço de software projetado para permitir que os pesquisadores extrair informações cientificamente relevantes de dados volumétricos de várias amostras, independentemente da estrutura de interesse, a resolução ou a modalidade de imagem^{1, 2}. Dados volumétricos como estas muitas vezes são coletadas usando sistemas de tomografia computadorizada de raios-x ou elétrons, rotineiramente com base em grandes laboratórios ou instalações centralizadas, devido à sua complexidade. Ambos esses métodos e outras técnicas, produzir grande, informações ricas datasets que constituir um desafio para o segmento com qualquer um dos métodos semiautomático ou manualmente. Particularmente, estado quase nativo cryo-imobilizado datasets requerem condições de imagem de baixa dose, resultando em uma baixa relação sinal-ruído e contraste pobre, especialmente em criogenia elétron tomography (cryoET)^3,4,5 . Um fator adicional em alguns conjuntos de dados 3D é a presença de artefatos introduzido pelas condições desafiadoras experimentais envolvidas, por exemplo artefatos de cunha desaparecido devido a coleta de dados sobre um limitado inclinação gama, resultando em falta de informação e alongamento na direção do feixe,^4,3,5. Mesmo quando baixo sinal-ruído ou faltando cunha de artefatos não é problemáticas (por exemplo, focado SEM⁶ de feixes de iões ou bloco serial enfrentar SEM⁷), a complexidade e a natureza tridimensional da amostra e a grande quantidade de dados significam análise seria ainda beneficie de um processo automatizado de segmentação de dados.

Atualmente, quando se considera volumes biológicos das células, existem muitas opções para automaticamente ou semi-automaticamente identificando características celulares muito específicas, tais como a actina, microtúbulos ou complexos de proteínas específicas, usando uma pesquisa baseada em modelo, ou identificando recursos em determinados tipos de conjuntos de dados (por exemplo, alto contraste, manchado, amostras de resina-incorporado)^8,9,10,11,12. No entanto, nestes casos apriorísticas informações ou protocolos de preparação de amostra específico são necessários, limitando a ampla aplicabilidade destas estratégias de segmentação. Também existem ferramentas disponíveis que executam o modelo de formação a nível de voxel para aprender o aparecimento de várias estruturas de interesse quando dado de entrada de usuário¹³. No entanto, a este nível a complexidade da formação e os modelos de teste pode ser computacionalmente caro e sujeito a erros. Dadas as difíceis condições de imagem e a falta de estratégias de segmentação amplamente aplicável, semi automática, manual segmentação é comum, mesmo quando trabalhando com materiais biológicos complexos^{14,15, 16 , 17}. no entanto, é geralmente aceite que o processo de segmentação manual não é apenas demorado, mas também propenso, subjetiva e variável^{4,5,18,19 ,20}. Alguns programas de segmentação oferecem ferramentas para facilitar o processo de segmentação manual (ou seja, interpolação, laço ou ferramentas de golpe)^21,22, no entanto, em casos de datasets barulhento, eles são difíceis de aplicar com sucesso, e mesmo quando eles são usados com sucesso, o processo ainda é subjetiva e variável.

Tradicionalmente, as segmentações têm sido utilizadas de duas maneiras distintas: qualitativa ou quantitativamente. Como melhoram a imagem de tecnologias e estratégias de segmentação, tornou-se mais comum para usar a segmentação como uma ferramenta quantitativa para responder a questões biológicas e como uma "verdade de chão" para algoritmo desenvolvimento^{8,12, 15,23,24,25}. Para isso, saldos e verificações detalhadas são necessários para diminuir a variabilidade e subjetividade em todo o processo de²⁶. No entanto, estas precauções ainda mais aumentam a natureza demorada de segmentação. Por isso, é fundamental para fornecer uma estratégia de segmentação mais rápida e menos variável.

A bancada de trabalho de SuRVoS começa a abordar estas questões, fornecendo o usuário com uma seleção de aprendizado de máquina e ferramentas que auxiliam o usuário no processo de segmentação, enquanto também orientando o usuário pelas etapas necessárias de processamento de imagem. Para conseguir isso, duas inovações principais são implementadas juntos no SuRVoS. Primeiro, ele usa uma hierarquia de supraregião de grupo similar, regiões próximas dos dados com base em suas propriedades inerentes. Cada uma das regiões na hierarquia representa o mesmo volume usando menos elementos, enquanto continua a fornecer a aderência forte limite. Assim, supraregiões reduzem a complexidade de segmentar um volume por várias ordens de magnitude, ainda continuam a representar os dados sem perda significativa de informação²⁷. Em segundo lugar, o SuRVoS fornece uma estratégia de segmentação semi-automático que utiliza o mínimo de segmentação manual entradas para treinar os classificadores, que são então utilizados para segmentar o restante volume^28,29. Esta estratégia reduz a segmentação manual, grandemente, diminuindo a quantidade de usuário tempo gasto na segmentação e, quando usando supraregiões, remove manual delimitação de fronteiras, potencialmente reduzindo a variabilidade e subjetividade.

Uma outra característica fundamental do SuRVoS é a ferramenta de divisor de rótulo, segundo o qual um usuário pode classificar uma série de objetos já segmentados com base em suas propriedades inerentes. Após a segmentação de vários objetos de interesse, esta ferramenta pode ser usada para dividir o conjunto em subclasses, com base em medidas como objeto de média intensidade, variância, tamanho, localização, etc. isto é útil quando a classificação dos grandes grupos de objetos com alta complexidade. Por exemplo, um grupo de organelas celulares pode ser dividido em mitocôndrias, vesículas vazias, gotículas lipídicas, etc.; ou um conjunto de material inclusões podem ser separados com base no tamanho ou forma. Uma vez segmentado os rótulos individuais pode ser dividida em grupos usando qualquer número de classificadores, reduzir o viés de identificação.

A bancada de trabalho de SuRVoS com sucesso serviu para dados do segmento de várias técnicas de imagem. Aqui, o síncrotron raio x fase contraste tomografia computadorizada (microCT) do corpo frutífero de uma planta é usada para demonstrar segmentatiusando o modelo formação, tomografia computadorizada de elétron de cryo (cryoET) de plaquetas humanas é usada para demonstrar a segmentação usando supere megavoxels, e crio suave raio x tomografia computadorizada (cryoSXT) de uma linhagem de células de mamíferos é usada para demonstrar o rótulo divisão ferramentas

Protocol

Nota: geralmente útil escalas de parâmetros para cada etapa de processamento e os parâmetros específicos para cada tipo de dados mostrados aqui são fornecidas na tabela 1.

1. preparar um espaço de trabalho e carregando dados

1. lançar SuRVoS Workbench, clique no botão abrir dataset e no popup resultante, selecione o arquivo de dados a ser segmentados. Escolha uma orientação adequada do conjunto de dados. Em seguida, escolher ou criar uma pasta onde serão armazenados o espaço de trabalho e arquivos associados. Recomenda-se que esta pasta está vazia, quando se inicia uma nova segmentação. Depois que os dados foi carregados, a bancada será aberto com o painel de Plugins no lado esquerdo, o painel de visualização à direita e um conjunto de atalhos da ferramenta entre os dois painéis ( Figura 1).

2. Pré-processamento e representação de dados

1. em the ROI Selecione guia, o início de x, y e z de entrada e final coordenadas para a região de interesse e clique em Adicionar. Para escolher o apropriado y e x coordenadas passe o mouse sobre um ponto na imagem. Escolha as coordenadas de z usando o controle deslizante na parte superior do painel de visualização. Depois que tiver sido adicionada a uma região, certifique-se que ele é selecionado, marcando a caixa à direita. Todos os cálculos a jusante serão realizados na região selecionada. Em geral, começando com um pequeno, representante região de interesse (ROI), otimização de parâmetros e então re-aplicação desses parâmetros para toda a área a ser segmentado, aconselha-se.
2. Guia em the recurso canais, usar o menu drop-down no topo para escolher um recurso/filtro e adicioná-lo para a fila (veja a discussão para mais informação sobre canais de recurso). Uma vez que um recurso/filtro foi adicionado e selecionado clicando no seu nome, modificar opções específicas para o recurso filtro e escolha o conjunto de dados de entrada no qual executar o recurso/filtro. Uma vez que todas as opções foram escolhidas, clique a caixa de seleção à direita do nome do recurso/filtro para calcular.
   1. a fim de otimizar os parâmetros para um novo conjunto de dados, adicionar vários filtros/recursos e escolher os parâmetros para eles, antes de ser calculado em ordem, um após o outro. Para fazer isso, adicionar a cada novo recurso/filtro e selecionar parâmetros apropriados, marque a caixa à esquerda de cada recurso/filtro para ser executado e clique na caixa de recursos de computação na parte superior do painel. Consulte a discussão para obter informações adicionais.

3. Gerando regiões super apropriado

1. em regiões Super guia, na seção Supervoxels, use o menu drop-down de fonte para selecionar o conjunto de dados filtrado da qual supervoxels será criado. Em seguida, especifique a forma, o espaçamento e a compacidade da supervoxels (veja a discussão e a Figura 2 para mais detalhes). Finalmente, clique no botão Aplicar para gerar o supervoxels. Uma vez que os supervoxels foram criados eles podem ser visualizados no painel de visualização, ligado ou desligado e sua transparência controlada na guia Visualização e atalho janela Visualizador.
2. Guia em regiões Super, na seção Megavoxels, use o menu drop-down de fonte para selecionar o conjunto de dados filtrado da qual megavoxels será criado. Em seguida, especifica o lambda, numBins e parâmetros da gama da megavoxels (veja a discussão para mais detalhes). Uma vez que os megavoxels foram criados eles podem ser visualizados no painel de visualização, ligado ou desligado e sua transparência controlada na guia Visualização e atalho janela Visualizador.

4. Introdução à anotação

1. em the anotações guia use o botão Adicionar nível para adicionar um nível de anotação. Depois de ter sido adicionado a um nível, use o botão de Adicionar rótulo nesse nível para adicionar um rótulo para a anotação. Uma vez adicionado, o nome e a cor do rótulo podem ser modificados para facilidade de anotação.
2. Em seguida, a fim de começar a anotar, selecione o ícone de caneta, da seção de atalho ferramenta. Quando esta opção estiver seleccionada, um conjunto de opções aparecem na parte superior do painel de visualização. Estas opções controlam a largura da caneta e se voxels, supervoxels ou megavoxels será usado para fazer anotações.
   1. Para efeitos de formação de modelo, em geral, selecione supervoxels na caixa suspensa nível de anotação e um mediano para a largura da caneta grande deve ser usado. Na aba ' anotações ', selecione o rótulo deve ser anotada, marcando a caixa para a extrema-direita da informação constante do rótulo. Em seguida, clique no painel de visualização para anotar um único supervoxel, ou clique e arraste para anotar muitos.
      Nota: Voxels e megavoxels pode ser selecionada na caixa suspensa nível de anotação e usado para anotar da mesma forma, que, no caso de megavoxels, pode permitir que muitos milhares de voxels semelhante para ser segmentado, com um único clique do mouse.

5. Treinamento de modelo de segmentação usando demonstrado com um dataset microCT.

Nota: A primeira segmentação para muitos conjuntos de dados é para diferenciar várias grandes regiões do outro. Por exemplo, separando o núcleo do citoplasma, ou a célula de estrutura de gelo e apoio externa. Para este tipo de segmentação, com limites claros delineados e grandes regiões, formação de modelo é útil. Para demonstrar isso, raio-x fase contraste tomográficos dados de Goosegrass serão usados.

1. Carregar os dados, pré-processar usando a suite de filtro e o recurso e determinar o apropriado supervoxels e/ou megavoxels, conforme descrito nas seções acima usando os parâmetros na tabela 1 como um guia. Continuar a utilizar os parâmetros da tabela 1 e as instruções na seção 4, aproximadamente anotar algumas grandes áreas do conjunto de dados, conforme mostrado na Figura 3.
   Nota: O conjunto de dados não precisa ser completamente segmentado neste ponto.
2. No modelo de formação guia, defina o nível de prever ao nível que contém as anotações manual de treinamento e no descritor de seção definir a região de Supervoxels. Em seguida, selecione os descritores que devem ser usados para diferenciar as regiões de dados clicando no menu suspenso selecione fontes e verificando as caixas dos recursos e filtros de escolha (ver tabela 1 e discussão).
3. , Em seguida, clique no botão prever. Após cálculo completo, o painel de visualização será atualizado com as previsões para todos os não-rotulados voxels mostrando que as classes de anotação que eles são previstos de pertencer. Geralmente, os parâmetros padrão para cada metodologia classificador fornecem um bom ponto de partida e o usuário deve apenas precisa alternar entre classificadores para encontrar um bom ajuste. No entanto, para usuários experientes ou especialistas as opções para cada classificador estão disponíveis e podem ser modificadas.
4. Após a avaliação dos efeitos das metodologias de formação e escolher um, aplicar refinamento adicional clicando sobre a refinar suspenso na seção refinamento. Pelo fundo da formação modelo tab, a " atualização anotações " seção, certifique-se de que o menu drop-down de visualização está definido para PredictioNS. Use o controle deslizante de confiança para atribuir mais ou menos do supervoxels anotadas para os rótulos de anotação selecionada.
5. Depois um nível adequado de confiança foi selecionado com base em inspeção visual, use os botões de salvar junto as etiquetas na parte inferior da ferramenta confiança para salvar as previsões em rótulos específicos. O painel de visualização será atualizada para mostrar as alterações. Cada etiqueta pode ser salva separadamente, e na verdade, rótulos podem ser salvos de sub-regiões menores por introduzir valores a de e para caixas de x, y e z e clicando no botão Salvar para cada rótulo.
6. Endereço menor tachar fornecendo mais dados de treinamento, conforme descrito na seção 4. Depois de previsões adequadas são adicionadas às etiquetas, repita o processo do modelo de formação com requinte e adicionando as previsões de alta confiança, até lá não existem mais unlabeled supervoxels. Isto é eficaz porque cada vez que o processo de formação de modelo é executado lá recebem mais supervoxels para treinar com, e, portanto, o processo se torna mais robusto como aumentam as iterações.

6. Segmentação usando supraregiões, demonstrado com um CryoET Dataset.

Nota: segmentação supraregião desde que é útil para áreas menores, discretamente ligadas, o foco aqui será na segmentação das organelas e microtúbulos dentro deste conjunto de dados. Modelo de formação foi usada para segmentar rapidamente a plaqueta do gelo do fundo e do carbono; Estes parâmetros não são discutidos, mas são apresentados na tabela 1.

1. Carregar os dados, pré-processar usando a suite de filtro e o recurso e determinar o apropriado supervoxels e/ou megavoxels, conforme descrito nas seções acima usando os parâmetros na tabela 1 como um guia.
2. Adicionar níveis adequados e rótulos para a guia de anotação, selecione um rótulo e começar a anotar usando um mediano largura de caneta com supervoxels selecionado. Seja consciente da necessidade de escolher rótulos diferentes para objetos em estreita proximidade com os outros para evitar rotulá-los como um único objeto.
3. Para limpar as anotações mais, utilizar métodos de refinamento morfológico (dilatação, erosão, abertura, fechamento e preenchimento de buracos). Estas opções podem ser encontradas na parte inferior da guia anotações. Para usá-los, selecione o método de segmentação etiqueta e refinamento. Insira um valor de raio e escolher como aplicar o refinamento. Clique em refinar.

7. Classificação e análise de dados objetos com base em características intrínsecas, demonstrado com um CryoSXT Dataset

Nota: geralmente, o próximo passo após a segmentação é a análise dos dados. A ferramenta de divisor de rótulo em SuRVoS permite a classificação de objetos segmentadas usando regras baseadas em características intrínsecas dos objetos tais como a intensidade do objeto média, variância, volume ou posição. A ferramenta de estatísticas de rótulo permite a visualização das relações entre estas medidas para cada nova classe de objeto. Estas são as novas ferramentas poderosas para a análise de conjuntos de dados complexos e 3D após a segmentação.

1. Carregar os dados, pré-processar usando a suite de filtro e recurso, determinar o segmento conforme descrito nas seções acima usando os parâmetros na tabela 1 como um guia e/ou megavoxels e apropriado supervoxels.
2. Depois de segmentação, clique na segunda guia do painel de visualização, chamado divisor de rótulo. Isso adicionará uma nova área para o lado direito da janela - painel de criação de regra.
3. Na parte superior desta área, selecione um nível adequado e rótulos para rótulo dividindo. Em seguida, selecione o dataset para consultar e clique em rótulo. Todos os objetos nos rótulos selecionados agora vão ser delineados em azul como objetos separados no painel de visualização e um enredo mostrando a intensidade média dos objetos serão exibidos no painel de criação de regra. Para alterar a medida que está sendo mostrada na trama, clique na caixa drop-down no topo do lado direito.
4. Para começar a dividir os objetos em classes relevantes, clique em Adicionar nova etiqueta na parte inferior do painel de criação de regra. O nome e a cor associada a este novo rótulo podem ser alterados conforme descrito anteriormente.
   1. , Clique em Adicionar nova regra e usando as caixas de entrada suspensa e forma livre definem a regra a ser aplicada. Clique em aplicar para ver os efeitos da nova regra no painel de visualização e o enredo no painel de criação de regra. Várias regras podem ser aplicadas a um único rótulo e vários rótulos podem ser criados no mesmo dataset.
      Observação: Para coletar todos os objetos sem rótulo, criar um novo rótulo e em vez de adicionar uma regra para isso, clique em selecionar outros.
5. Quando os objetos de interesse foram separados em novos rótulos, criar um nível novo e vazio na guia anotações. Em seguida escolha neste nível na guia de criação de regra e clique em salvar rótulos. Isso salvará os novos rótulos para este nível vazio.
6. Na borda do painel de visualização, clique na guia Estatísticas de rótulo. Isto irá abrir um novo painel de visualização que pode ser usado para começar a entender as relações entre as classes de objeto de dados. Na parte superior, selecione um nível adequado e rótulos e o conjunto de dados para consulta.
   1. Selecionar algumas das medidas de interesse, verificando as caixas ao lado deles. Em seguida, clique em rótulo. Isto irá produzir comparação emparelhada parcelas para cada uma das medidas selecionadas. Para atualizar as parcelas, selecione ou desmarque as medidas adequadas e clique em Update trama.

8. Exportação de dados e segmentações

1. exportar as parcelas e os dados de medição cru clicando na trama de exportação e exportação de dados, respectivamente, na guia Estatísticas da etiqueta do painel de visualização.
2. Exportar os dados de imagem e segmentações clicando na guia de exportação no painel de Plugins. Primeiro, clique para selecionar uma pasta onde os dados serão salvos. Em seguida, selecione a saída (dados brutos Raw anotações, máscaras de segmentação de dados ou mascarado) e o formato (HDF5, MRC ou TIFF). Por último, selecione o nível (is) anotação a ser exportado usando as caixas de seleção e clique em exportar. Os dados podem ser dimensionados e invertidos antes de exportar, se necessário. Ao exportar os dados mascarados, o dataset que será aplicado para o mask(s) pode ser selecionado usando um menu drop-down.

Representative Results

Três conjuntos de dados volume, coletados a partir de três diferentes técnicas (microCT, cryoET e cryoSXT) foram usados para demonstrar três características importantes da bancada SuRVoS: modelo de formação, segmentação supraregião e divisão de rótulo. Os conjuntos de dados representam um grupo diverso de resultados experimentais, para cada um dos quais parâmetros de processamento completo são fornecidos (tabela 1).

Para demonstrar a formação de modelo usando a bancada de SuRVoS, foi escolhido um conjunto de dados relativamente alto contraste com a região, definição de limites. Este dataset do fruto de Galium aparine, ou goosegrass, foi coletado usando tomografia de contraste de fase de raio-x sobre a trajetória de Imaging I13-2 diamante-Manchester na Diamond Light Source, Chilton, Oxfordshire, Reino Unido. A nova amostra foi montada no ar para um goniômetro base em cima do palco de rotação, a uma distância de amostra-detector de 30 mm. exposição tempos eram 0,10 s com o espectro de raio-de-rosa, que possui uma energia média de cerca de 22 keV. As projeções foram coletadas por meio de 180° com um tamanho de passo de 0,1 °. Reconstruções tomográficas foram realizadas usando Savu^30,31 , com o filtro de Paganin para contraste de fase baseada em propagação de imagens³² seguido de reconstrução de projeção traseira filtrada no ASTRA toolkit^{33 , 34}. esses dados foi então reduzidos com 2 x 2 x 2 binning para reduzir o tamanho do arquivo antes de ser inseridos a bancada de trabalho de SuRVoS.

Primeiro, os dados de entrada (Figura 3A) foi filtrados e aperta (para remover valores superior e inferior de intensidade nos dados) (Figura 3B). Desta forma, o plano de fundo e primeiro plano foram feitas mais facilmente distinguíveis e acentuou-se a textura da estrutura interna do fruto. Em seguida, supervoxels foram construídos em cima do conjunto de dados filtrado (Figura 3). Para avaliar a qualidade da supervoxels, eles foram exibidos sem os dados para verificar que detalhes pertinentes do dataset foram bem representados pelo supervoxels (Figura 3D). Manuais, próximo as anotações usando supervoxels foram fornecidas como dados de treinamento em três fatias do volume (Figura 3E, cores escuras). Este dados de treinamento foram suficientes para treinar o classificador para prever (cores claras), as áreas correspondentes ao fundo (verde), fruto da cerda (vermelho), material de semente (roxo) e em torno de carne (azul). Morfológicos refinamentos foram usados para limpar as segmentações pelos furos do enchimento, crescendo ou encolhendo como necessário (Figura 3F). O tempo total gasto para determinar parâmetros adequados e segmentar Este dataset foi 2 h.

Para demonstrar a segmentação supraregião usando SuRVoS Workbench, um dataset barulhento e complexo foi escolhido¹⁵. Este conjunto de dados foi coletado usando cryoET no centro nacional para Imaging Macromolecular no Baylor College of Medicine, Houston, TX, Estados Unidos. Brevemente, as plaquetas estavam mergulho congelada no brilho descarregado e ouro fiducial tratada holey carbono TEM grades. Série de inclinação foram coletado de ±65 ° com um incremento de 2°. A série de inclinação depois foi reconstruída usando projeção traseira ponderada no IMOD³⁵.

Depois de carregar os dados em SuRVoS (Figura 4A), uma região de interesse foi Selecionadoda e aplicou-se um conjunto de filtro apropriado. Neste caso, um filtro Gaussian suavização, seguido por um filtro de variação total com o contraste pinçado foi usado para acentuar as bordas e texturas dos dados (Figura 4B). Em seguida, formação de modelo com entrada mínima do usuário baseada em supervoxel foi usada para segmentar a plaqueta do gelo de fundo e carbono. Em seguida, segmentação semi manual com megavoxels e supervoxels foi usada para segmentar as organelas. Por último, o parâmetro de fonte de supervoxel foi mudado para um filtro mais fraco denoising e supervoxel forma tornou-se menor (ver tabela 1) para melhor preservar os limites de microtúbulos para segmentação (Figura 4). Para as organelas e os microtúbulos, utilizaram-se anotações manuais rápidas cada 5-10 fatias para selecionar o supervoxels que descrevem a característica de interesse (Figura 4 & 4E). O tempo total gasto para determinar parâmetros adequados e a região de interesse apresentado do segmento era 6h.

Para demonstrar rótulo dividindo usando a bancada de SuRVoS, foi escolhido um conjunto de dados com muitos, variados organelas. Este conjunto de dados foi coletado usando cryoSXT na trajetória B24 no Diamond Light Source, Chilton, Oxfordshire, UK³⁶. Brevemente, células HEK293 foram cultivadas nas grades de ouro finder, tamanhos fiducials de ouro foram adicionados e a grade foi congelado usando um EM com faces traseiras mancha de mergulho. Série de inclinação então foram coletado em um microscópio de ±65 ° com um incremento de 0,5 °. A série de inclinação depois foi reconstruída usando projeção traseira ponderada no IMOD³⁵.

Depois de carregar os dados em SuRVoS (Figura 5A), uma região de interesse foi Selecionadoda e um filtro apropriado variação total foi usado para aumentar os limites das organelas em todo o volume (Figura 5B). Em seguida, organelas foram semi manually segmentados usando megavoxels e supervoxels e em seguida, refinado com orifícios de enchimento, fechamento e dilatação para suavizar as bordas (Figura 5). O tempo total para determinar parâmetros adequados e a região de interesse apresentado do segmento era 4h. Uma vez que a segmentação foi finalizada, o divisor de etiqueta foi usado para visualizar cada organela como um objeto no conjunto de dados (Figura 5) e várias características sobre cada objeto na trama de dados (Figura 5E). A interface de rótulo divisor é interativa, atualizando a cor associada com cada nova classe de rótulo em ambos a visualização e a trama de dados. Isto permite a criação de várias regras com base nas características inerentes nos dados que podem ser usados para separar os objetos em classes útil (Figura 5F).

Figura 1. O Layout e características gerais da bancada SuRVoS.
A interface GUI está à esquerda, enquanto o painel de visualização é à direita. Estas duas áreas são separadas por uma coluna de ferramentas e atalhos. O GUI é arranjado para orientam o usuário através das etapas principais no pré-processamento dos dados, escolhendo parâmetros supervoxel e/ou megavoxel, segmentando os dados e se necessário usando o modelo de formação, antes de exportar as segmentações. O painel de visualização pode ser usado em três modos: segmentação para exibir os dados e visualização básicae qualquer aplicado filtros e segmentar os dados, rotular o divisor para categorizar objetos em novos rótulos, com base em aspectos inerentes aos dados e finalmente rotular estatísticas para medir e visualizar as características dos objetos segmentados. Para cada um desses modos, menu drop-down no topo deixou controles de canto que dados são mostrados, e o controle deslizante na parte superior controla o eixo z. Os atalhos da ferramenta fornece controle de fácil acesso sobre contraste, transparência de camadas, zoom, panorâmica e voltando para "casa" no painel de visualização e ferramentas de abertura para anotação conforme descrito no protocolo. Clique aqui para ver uma versão maior desta figura.

Figura 2. Hierarquia de supraregião reduz a complexidade de segmentação de imagens.
Uma imagem do Berkeley segmentação Dataset (BSDS500³⁷) foi usada para demonstrar os efeitos das supraregiões e propriedades. A imagem original (à esquerda) é composta por milhares de voxels, que são então reunidos em grupos adjacentes, similares para criar algumas centenas supervoxels (centro). Supervoxels também podem ser reunidos em grupos adjacentes, similares para criar algumas dezenas de megavoxels (à direita). Com cada agrupamento, a complexidade da tarefa segmentação é diminuída, para recursos computacionais e manuais. Importante, um exemplo 2D é mostrado aqui, no entanto, ambos os supervoxels e megavoxels são 3D. Clique aqui para ver uma versão maior desta figura.

Figura 3. Processamento de um microCT Dataset usando uma estratégia de segmentação de treinamento modelo.
R. uma única fatia 2D dos dados brutos. B. aplicação de um filtro de variação total preso para os dados brutos aprimorado as fronteiras entre os vários aspectos do corpo frutífero. C. supervoxel adequada parâmetros foram escolhidos. M. uma região de interesse (caixa vermelha na C) é mostrada para demonstrar que os limites dos dados estão presentes no supervoxels si. E. três fatias do volume com anotações manuais de várias áreas do conjunto de dados exibidos em cores escuras (verdes, vermelhas, azuis e roxas) e previsões após a execução do treinamento do modelo exibido nas mesmas cores luz. F. as mesmas três fatias com a segmentação final após as previsões de formação de modelo foram aceites. Barras de escala são 1 mm. clique aqui para ver uma versão maior desta figura.

Figura 4. Processamento de um Dataset usando uma estratégia de segmentação supraregião de cryoET.
R. uma única fatia 2D dos dados brutos. B. uma região de interesse (caixa vermelha na ) com um conjunto de camadas de filtro aplicado para acentuar os limites das organelas. C. exemplo de anotar uma organela usando supraregiões. Uma única organela é mostrada com supervoxels sobrepostos com a anotação manual usuário exibida em preto (à esquerda) e o supervoxels escolhido com essa anotação, mostrada em azul (à direita). M. exemplo de anotar um microtubule usando supraregiões. Uma única região do microtubule é mostrada com a anotação manual usuário exibida em preto (à esquerda) e o supervoxels escolhido com essa anotação, mostrada em verde (à direita). E. A segmentação final apresentando a plaqueta de segmentado do plano de fundo usando o modelo de formação (ver tabela 1 para obter detalhes) e várias organelas e microtúbulos segmentados usando uma estratégia de segmentação supraregião. Cores não indicam tipos de organela específica como eles são mostrados aqui antes de classificação. Escala de barras em A, B e E são 1 μm e em C e D são 0,5 μm. Clique aqui para ver uma versão maior desta figura.

Figura 5. Análise de um Dataset usando a ferramenta de divisor de rótulo de cryoSXT.
R. uma única fatia 2D dos dados brutos. B. uma região de interesse (caixa vermelha na) com um filtro de variação total aplicado para acentuar as organelas. C. A segmentação final com supervoxels sobrepostos. D. a parte de visualização do separador rótulo com as organelas classificados usando as regras exibidas no F. E. A parte do enredo do separador rótulo exibindo a intensidade média dentro de cada objeto, com as regras exibidas no F aplicada. Cada linha vertical ao longo do eixo x representa um único objeto e é o código de cores para combinar com a classe que tem sido atribuído a. F. regras de classificação de exemplo para separar vários objetos com base em suas propriedades inerentes. Barras de escala são 1 μm. Clique aqui para ver uma versão maior desta figura.

Nome / Dataset	Fonte	P1	P2	P3	P4
Filtro gaussiano		Sigma
Faixa / padrão	-	[0.5, 10] / 1
CryoET (G1)	Dados brutos	1
CryoET (G2)	Dados brutos	2
Variação total		Lambda	Espaçamento	# O Iter	Grampo
Faixa / padrão	-	[0.1, 30] / 10	[10, 0.1] / 1	[50, 500] / 100	-
MicroCT (TV1)	Dados brutos	10	1	100	(1,-)
CryoET (TV2)	G1	7	1	200	-
CryoET (TV3)	G2	10	1	100	-
CryoSXR (TV4)	Dados brutos	7	1	100	-
Limiarização		Vmin	VMAx
Faixa / padrão

CryoET (TH1) TV3 0 - Centralização de Gaussian Sigma Faixa / padrão - [0.5, 10] / 2 MicroCT (GC1) TV1 2 Normalização de Gaussian Sigma Faixa / padrão - [0.5, 10] / 2 MicroCT (GN1) TV1 2 Laplaciano de Gaussian Sigma Debulhar Resposta Faixa / padrão - [0.5, 10] / 2 [Sim/não] / não [Bright/escuro] / brilhante MicroCT (LG1) TV1 2 Não Brilhante Diferença de Gaussians Sigma Init Relação do Sigma Faixa / padrão - [0.5, 10] / 2 [1.1, 3] / 1.6 MicroCT (DG1) TV1 2 1.6 CryoET (DG2) TV3 2 1.6 Estrutura de Det. Tensor Sigma1 Área de Sigma Faixa / padrão - [0.5, 10] / 2 [0.5, 10] / 2 CryoET (ST1) TV3 2 2 Supervoxels Forma Espaçamento Compacidade Faixa / padrão - [1, 10] / 10 [0.1, 5] / 1 [1, 200] / 20 MicroCT (SV1) TV1 (10, 10, 10) (1, 1, 1) 30 CryoET (SV2) TV3 (10, 10, 10) (1, 1, 1) 50 CryoET (SV3) TV2 (3, 5, 5) (1, 1, 1) 50 CryoSXT (SV4) TV4 (10, 10, 10) (1, 1, 1) 30 Megavoxels Lambda # Escaninhos Gama Faixa / padrão - [0,01, 1] / 0.1 [10, 200] / 20 Nenhum, auto ou [0, 1] / nenhum CryoET (MV1) SV2 0.1 50 Automático TV1 CryoSXT (MV2) SV4 0.4 50 Nenhum TV4 Modelo de formação Região Classificador Requinte Disponível / padrão [voxel / supervoxel] [Conjuntos, SVM, modelos lineares Online] / [Nenhum, Potts, aparência] / aparência Ensemble - RF microCT TV3 SV1 Floresta de aleatória: Aparência TH1 GC1 -Árvore #: -Lambda: GN1 [10, 100] / 100 [1, 500] / 10 LG1 100 50 DG1 cryoET TV2 DG2 ST1 SV2 Floresta de aleatória: Aparência -Árvore #: -Lambda: [10, 100] / 100 [1, 500] / 10 100 50 Refinamento de anotação Raio Faixa / padrão [1, 20] / 1 microCT Abertura 5 Preenchimento-furos 1 Dilatação 2 cryoET Abertura 3 Preenchimento-furos 1 Dilatação 2 cryoSXT Abertura 3 Preenchimento-furos 1 Dilatação 2

Tabela 1. Parâmetros otimizados usado para processar cada um dos três conjuntos de dados (microCT, cryoET e cryoSXT).>
Para cada parâmetro, são dado um intervalo de propósito geral e padrão. Em muitos casos, os dados filtrados são usados como uma fonte para processamento a jusante. Nesses casos, uma abreviação é usada para denotar o novo conjunto de dados de origem. Por exemplo, G1 (dados brutos Gaussian cryoET filtrada) foi usados como entrada durante um filtro de variação total para criar TV2. Informação é apresentada apenas por aspectos da bancada de trabalho que foram usados para processar cada conjunto de dados. Por exemplo, formação de modelo não foi usada durante o processamento do dataset cryoSXT apresentado aqui, portanto sem parâmetros são dadas para isso.

Discussion

SuRVoS bancada difere de outros programas de segmentação que otimização dos parâmetros é um passo necessário e importante antes de começar a segmentação real. Em alguns programas de segmentação manual ou semi manual, o usuário começa a segmentação dentro de momentos de abertura de um novo projeto. Com SuRVoS, porque grandes quantidades de volume vão ser segmentadas, com entrada do usuário muito pouco e os limites são delineados pelo programa, otimizar os parâmetros é fundamental para uma segmentação bem sucedida. Especificamente, têm canais e edifício da supraregião são duas áreas onde a atenção deve ser dada.

Dispõem de canais e modelo de formação

Além dos dados brutos, SuRVoS permite ao usuário criar conjuntos de dados adicionais ou canais derivados de uma existente dataset. Estes canais podem ser criados usando uma seleção de metodologias computacionais ou extratores de recurso. Cada uma das representações de dados estão disponível em paralelo e podem ser visualizadas individualmente para avaliar os resultados da aplicação de recurso ou filtro. Por causa destas características, eles são referidos como canais de recurso em SuRVoS. Há muitas opções de canal de recurso fornecidas dentro de SuRVoS. Para obter informações sobre as opções e parâmetros utilizados aqui, consulte a tabela 1, para obter uma lista completa e descrição de canais disponíveis recurso visite https://diamondlightsource.github.io/SuRVoS/ ². Primeiro, barulhento datasets beneficiará denoising com o Gaussian ou total filtro de variação. Recomenda-se ainda mais cálculos de canal e supervoxel/megavoxel de recurso ser executada usando um esses conjuntos de dados denoised como o fonte de dados. Geralmente, a variação total denoised dataset é usado como a fonte de dados para cálculos de canal e supervoxel/megavoxel de recurso. Sugere-se executar com valores padrão, primeiro, avaliar o resultado em 3D e finalmente, iterativamente otimizar os parâmetros para o dataset. Além disso, o recurso de canais podem ser construídas em "conjuntos de filtro" para especificamente isolar aspectos do dataset e estes podem então ser usados como fontes de dados para criar supervoxels e megavoxels. Enquanto esta estratégia é altamente dependente de dataset, pode ser benéfico.

Têm canais também são usados como fontes para treinar o classificador no treinamento de modelo. Ao decidir em quais canais de recurso para usar, recomenda-se que alguns canais robusto recurso (por exemplo, da detecção de blob, textura e estrutura ou categorias de recursos robustos) são usados quando se trabalha com uma pequena quantidade de anotações para treinar o classificador. Quando se trabalha com uma grande quantidade de dados de treinamento, recomenda-se usar canais de característica mais gerais, de qualquer das categorias, enquanto fornecem informações variadas para o classificador (por exemplo, adicionar os canais de recurso acima lista de local características e categorias de funcionalidades Gaussian).

Há três partes principais para o modelo de formação: fornecendo fontes de entrada de dados que descrevem os dados, usando estas entradas para treinar um classificador e finalmente as previsões de saída de refinação. Geralmente, regiões menores dos dados exigirá mais anotações do usuário para treinar com precisão o classificador, enquanto regiões maiores dos dados exigirá menos anotações do usuário. Modelo de treinamento primeiro sem selecionar um refinamento pode ser usado para encontrar as melhores previsões. Em seguida, incluem o refinamento e otimizar o parâmetro lambda conforme necessário para corrigir problemas com as previsões, como buracos ou bordas irregulares.

Supervoxels e megavoxels

Supervoxels são aglomerados de vários nas proximidades, semelhante voxels^38,39. Supervoxels começam como uma grade padrão 3D sobreposta os dados que então é deformada iterativamente a fim de respeitar os limites subjacentes e, assim, melhor representar os dados. Criação de Supervoxel e deformação é controlada por quatro entradas de usuário: fonte de dados, superpixel forma, espaçamento e compacidade. A fonte de dados fornece as entradas de dados que são consultadas durante a criação do supervoxel. Qualquer fonte pode ser usada, incluindo fontes de dados filtrados. Os parâmetros de forma superpixel determinam a grelha de partida 3D e a forma desejada aproximada do supervoxels resultante. Alterando estes parâmetros pode aumentar ou diminuir o tamanho da supervoxels antes da deformação. Os parâmetros de espaçamento Definirm a importância dos limites em cada direção. Alterando estes parâmetros pode enfatizar os limites em uma ou duas direções em detrimento de outro (s), ou seja, o supervoxels resultante se deformará para acompanhar melhor os limites dados na direção de determinado (s). O último parâmetro, compacidade, controla quanto a supervoxels pode deformar-se. Um número de baixa compacidade permite que o supervoxels a deformar-se mais. Esses parâmetros devem ser otimizados para fornecer supervoxels que representam os limites dos dados de interesse. Nota: Atualmente, parâmetros de forma de supervoxel devem ser igual a 1024 ou menos quando multiplicados juntos.

Em alguns aspectos, supervoxel parâmetros podem compensar um ao outro, ou seja, não há ninguém "resposta certa" ao decidir sobre parâmetros. Por exemplo, uma grande grelha de partida (por exemplo, forma de superpixel: 10 x 10 x 10) e um número de baixa compacidade (ex. 20) pode dar supervoxels com aderência de limite similar em comparação com uma grelha de partida pequena (por exemplo, superpixel forma 5 x 5 x 5) e uma maior número de compacidade (por exemplo, 50). Porque existem mais, supervoxels menor no segundo cenário, não têm a deformar-se tanto a representam limites. Ambos os conjuntos de parâmetros podem ser apropriados para segmentação do dataset.

A maior consideração quando escolher parâmetros de supervoxel é o quanto os supervoxels representam os dados. Exibir o supervoxels sozinho, sem dados por debaixo deles, como na Figura 2D, é uma boa maneira de avaliar parâmetros de supervoxel. Quando exibido desta forma, as bordas e os contornos das formas encontradas nos dados ainda devem estar visíveis no supervoxels.

Megavoxels são conglomerados de vários vizinhos, semelhante supervoxels^38,39. Novamente são controlados por quatro entradas de usuário: fonte de dados, lambda, numbins e gama. Como com supervoxels, a fonte de dados fornece as entradas de dados que são consultadas durante a criação do megavoxel. Lambda e numbins tanto impacto a aderência de tamanho e limite do megavoxels. Como os megavoxels crescer maior (lambda elevado, baixo numbins), sua aderência limite diminui. O inverso também é verdadeiro, aderência limite aumentará com menor megavoxels (lambda baixa, alta numbins), no entanto como diminui o tamanho de megavoxel, assim como sua utilidade em segmentação de grandes quantidades de voxels rapidamente. O parâmetro opcional gama controla o fator de suavidade versus o custo de mesclar dois supervoxels juntos. Pequenos valores de gama podem realçar a similaridade entre dois supervoxels, à custa de ter menos megavoxels globais.

Como com supervoxels, a maior consideração quando escolhendo e otimização de parâmetros de megavoxel é bem como os megavoxels representam os dados. Exibir o megavoxels sozinho, como descrito por supervoxels novo pode ser usado para avaliar parâmetros. No entanto, porque megavoxels geralmente será muito maior e são tridimensionais, usando o t de ferramentas de anotaçãoo único megavoxels para garantir a fronteira entre as regiões de interesse é apertada de escolher também é recomendado.

Estratégia de anotação

Duas estratégias de anotação geral têm sido descritas: uma abordagem de treinamento do modelo é útil para a separação de grandes regiões de um dataset, enquanto uma abordagem de segmentação supraregião é útil para menores, mais diversos recursos como organelas individuais. As anotações podem ser organizadas de forma hierárquica, para que seja possível anotar grandes regiões primeiro e, em seguida, subdividir os em regiões mais específicas usando uma relação pai-filho. O rótulo do pai para um rótulo pode ser atribuído, clicando na área à direita da seleção de cor do rótulo e escolhendo um rótulo pai adequado um nível anterior. Na prática, a maioria dos conjuntos de dados usam o modelo formação e estratégias de segmentação supraregião de regiões/características específicas de interesse do segmento.

No modelo formação exemplo aqui, algumas entradas de treinamento (sob a forma de anotações de manual de usuário baseado em supervoxel) foram utilizadas em três fatias equidistantes dos dados. Desta forma, o aspecto de treinamento de modelo de SuRVoS aumenta enormemente a velocidade com que a segmentação é possível especialmente quando trabalhando com grandes, diferenciadas regiões tais como a divisão entre as regiões do corpo de frutificação goosegrass como destaque no Figura 3.

Quando o modelo de formação, se as previsões não podem ser vistas, pode ser necessário ir para a guia de visualização e certifique-se que a camada de previsões é ativada e definido como uma quantidade adequada de transparência. Também, uma confiança de 0 irá atribuir todas as supervoxel sem rótulo para um rótulo, com base em qualquer que seja a correspondência mais próxima é. Confiança de 100 apenas irá atribuir um rótulo, se apenas uma categoria de rótulo tem qualquer correspondência proporcional. Todo o resto é uma troca destes dois extremos. Ao selecionar um nível de confiança, sugere-se para verificar algumas fatias para inspecionar visualmente que não existem nenhum voxels incorretamente previsto antes para salvar a previsão de um rótulo.

Uma boa estratégia para anotar usando supraregiões é usar a ferramenta de ampliação para ampliar os dados, anotar algumas organelas, uma vez por uma fatia, usando uma abordagem "rápido e sujo" primeiro (Figura 4). Em seguida, mover para cima ou para baixo umas fatias em Z e repita este processo. Porque supervoxels são tridimensionais, muitas das falhas da abordagem "sujo" são fixadas por anotações feitas em acima ou abaixo de fatias. Desta forma, a segmentação é acelerada e os limites são fornecidos pelo supervoxels, em vez de manualmente.

Para limpar um rótulo, opções de refinamento de segmentação padrão foram fornecidas. Dilatação faz com que o rótulo de segmentação selecionado crescer pelo determinado raio, erosão provoca a encolher. Abertura e fechamento são a aplicação de erosão primeira e depois a dilatação ou vice-versa, respectivamente. E preenchimento de buracos faz exatamente isso. A ordem destas operações importa. Em geral, realizando preenchimento de buracos, em seguida, abertura e, em seguida, dilatação funciona bem. Cada método de refinamento pode ser aplicado em uma única fatia ("esta fatia"), em todas as fatias em 2D ("todas as fatias (2D)") ou em 3D ("todo volume (3D)"). Recomenda-se a todas as fatias (2D).

Significado e sentidos futuros

Segmentação eficiente e precisa é o próximo gargalo no processamento de conjuntos de dados 3D, especialmente com a coleção de rotina automatizada de terabytes de dados de imagem durante as sessões de longo prazo. SuRVoS bancada pode acelerar o processo de segmentação por um fator de 5 em comparação com segmentação manual. Também, porque os limites são delineados pela supervoxels, a variabilidade das Segmentações resultantes deve melhorar. No futuro, esperamos explorar maneiras de usar a segmentação de uma região 3D representativa de interesse como dados de treinamento para aplicar para o resto do volume, ou mesmo um volume separado, com alta confiança. Este avanço iria diminuir ainda mais a quantidade de tempo do usuário e de entrada necessária para segmento mesmo complexo biológico os volumes, ajudando a aliviar o gargalo de processamento e segmentação de imagem. Este, por sua vez, permitirá a comparação quantitativa de dados biológicos em vários Estados (por exemplo, não-doença, doença, tratada) com números experimentais robustos.

Materials

Name	Company	Catalog Number	Comments
computer	n/a	n/a	Must be running Linux operating system and have an NVidia GPU with at least 4 GB of memory