Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

Rastreamento de pernas totalmente automatizado em insetos em movimento livre usando segmentação e rastreamento de pernas de aprendizagem de recursos (FLLIT)

Published: April 23, 2020 doi: 10.3791/61012

Summary

Descrevemos protocolos detalhados para o uso do FLLIT, um método de aprendizado de máquina totalmente automatizado para rastreamento de movimento de garras de perna em movimento livre mente drosophila melanogaster e outros insetos. Esses protocolos podem ser usados para medir quantitativamente movimentos sutis de marcha ambulante em moscas do tipo selvagem, moscas mutantes e modelos de moscas de neurodegeneração.

Abstract

O modelo de Drosophila tem sido inestimável para o estudo da função neurológica e para a compreensão dos mecanismos moleculares e celulares que sustentam a neurodegeneração. Embora as técnicas de mosca para a manipulação e o estudo de subconjuntos neuronais tenham se tornado cada vez mais sofisticadas, a riqueza dos fenótipos comportamentais resultantes não foi capturada em um detalhe semelhante. Para ser capaz de estudar movimentos sutis das pernas de mosca para comparação entre os mutantes requer a capacidade de medir e quantificar automaticamente movimentos de alta velocidade e rápidas das pernas. Por isso, desenvolvemos um algoritmo de aprendizagem de máquina para rastreamento automatizado de garras de pernas em moscas andando livremente, segmentação e rastreamento de membros baseados em aprendizagem de recursos (FLLIT). Ao contrário da maioria dos métodos de aprendizagem profunda, o FLLIT é totalmente automatizado e gera seus próprios conjuntos de treinamento sem a necessidade de anotação do usuário, usando parâmetros morfológicos incorporados no algoritmo de aprendizagem. Este artigo descreve um protocolo em profundidade para a realização de análise de marcha usando FLLIT. Ele detalha os procedimentos para configuração da câmera, construção da arena, gravação de vídeo, segmentação de pernas e rastreamento de garras de perna. Ele também dá uma visão geral dos dados produzidos pelo FLLIT, que inclui posições brutas de corpo e perna rastreadas em cada quadro de vídeo, 20 parâmetros de marcha, 5 parcelas e um vídeo rastreado. Para demonstrar o uso do FLLIT, quantificamos parâmetros relevantes de marcha doente em um modelo de mosca da ataxia spinocerebellar 3.

Introduction

Nas últimas décadas, doenças neurodegenerativas e distúrbios de movimento têm se tornado mais prevalentes em nossas populações envelhecidas. Embora nossa compreensão de muitas doenças neurodegenerativas tenha avançado a nível molecular e celular, características fundamentais do circuito neuronal afetado permanecem mal compreendidas. Recentemente desenvolvidas ferramentas de rastreamento comportamental1,2,3,4 agora permitem estudar anormalidades de movimento em modelos de doençaanimal, a fim de identificar a desregulação molecular, celular e de circuito subjacente à doença.

As vias moleculares envolvidas em muitas doenças neurodegenerativas são conservadas na mosca-da-fruta Drosophila melanogaster, e os modelos da doença de Drosophila ajudaram a elucidar mecanismos fundamentais subjacentes à neurodegeneração5,6. Recentemente, mostramos que os modelos de mosca susceptíveis de Doença de Parkinson (DP) e ataxia spinocerebelar 3 (SCA3) exibem assinaturas de marcha distintas e conservadas que se assemelham às das respectivas doenças humanas1,demonstrando que o modelo de mosca pode ser usado para entender mecanismos de circuito subjacentes à disfunção do movimento em distúrbios de movimento específicos. O rico e continuamente crescente arsenal de ferramentas no modelo de mosca para manipulação e visualização direcionada de neurônios no único gene e nível de célula única7,,8,9,10 faz da mosca um modelo ideal para sondar a relação entre caminhos da doença, circuitos neuronais e manifestação pheotípica comportamental in vivo. Para permitir uma análise precisa e automatizada da marcha de insetos, desenvolvemos recentemente um método de aprendizagem de máquina, feature Learning-based LImb segmentação e racking T(FLLIT)1.

FLLIT consiste em um algoritmo multiestágio totalmente automatizado que primeiro segmenta os pixels da perna, que são posteriormente usados para localizar e rastrear as garras de perna correspondentes. FLLIT emprega um algoritmo de impulsionamento para segmentação, em contraste com algoritmos de aprendizagem profunda usados em trabalhos recentes2,3. Existem algumas semelhanças com redes neurais convolucionais em que, para ambas as estruturas, a extração de recursos é feita automaticamente através do aprendizado de núcleos convolucionais. O primeiro passo no FLLIT envolve o uso de operações morfológicas (borda e esquelização) para gerar automaticamente amostras de treinamento positivas (pixels nas pernas) e negativas (fundo ou pixels no corpo da mosca) com alta confiança. Portanto, o FLLIT é totalmente automatizado e não requer amostras de treinamento anotadas pelo usuário. Usando as amostras de treinamento acima, um classificador é então treinado na estrutura de um algoritmo de impulso. Um conjunto de classificadores fracos é aprendido iterativamente, com cada um consistindo em um conjunto de núcleos convolucionais para extração de características e uma árvore de decisão. O classificador aprendido final é então usado para segmentação de pernas e é capaz de discernir melhor regiões difíceis/amostras duras melhor do que operações morfológicas, produzindo uma segmentação geral muito mais precisa para o rastreamento1. A partir das pernas segmentadas, localizamos as pontas e as rastreamos usando o algoritmo húngaro: combinando dicas entre quadros de tal forma que a soma da distância movida por cada ponta seja minimizada. FLLIT pode lidar com casos de oclusão lembrando o último local visto (em coordenadas centradas em mosca) de modo que uma ponta da perna é recuperada uma vez que não está mais sob oclusão.

Nós mostramos anteriormente que o FLLIT pode rastrear automaticamente e com precisão os movimentos das pernas e analisar a marcha em uma mosca ou aranha não marcada, livremente em movimento, a partir de vídeo de alta velocidade1; O FLLIT deve, portanto, ser amplamente aplicável para o rastreamento de pernas de artrópodes. Ao extrair conjuntos de treinamento de aprendizagem de máquina usando parâmetros morfológicos, o FLLIT treina-se automaticamente para segmentar e rastrear pernas de insetos sem a necessidade de anotação manual trabalhosa, que é necessária para a maioria dos métodos de aprendizagem profunda. O FLLIT é, portanto, totalmente automatizado. Após a segmentação e rastreamento da perna, o FLLIT produz automaticamente posições cruas do corpo e das pernas em cada quadro de vídeo, 20 parâmetros de marcha, 5 parcelas e um vídeo rastreado para análise da marcha e visualização dos movimentos da marcha. Este protocolo fornece um guia passo-a-passo para o uso do FLLIT.

Protocol

1. Configuração do sistema

  1. Certifique-se de que a estação de gravação tenha uma câmera de alta velocidade e um palco sobre ela para segurar a câmara da arena (Figura 1). Ajuste a câmera para gravar a um mínimo de 250 quadros por segundo (fps), com uma velocidade de obturador adequadamente rápida (neste caso, a gravação é realizada a 1000 fps com uma velocidade de obturador de 1 ms).
    NOTA: Verifique se o vídeo é adequado para rastreamento, garantindo que haja um desfoque mínimo ou nenhum de movimento das pernas em movimento em todos os quadros. Se a perna móvel estiver tão desfocada que um anotador humano não possa rastreá-la, então a velocidade de gravação da câmera e/ou a velocidade do obturador devem ser aumentadas.
  2. Coloque as luzes LED infravermelhas na parte superior do palco com um difusor (folha translúcida) entre a câmera e a amostra(Figura 1A,B).
  3. Faça a câmara de gravação cortando uma folha de acrílico de 1,6 mm de espessura. Neste experimento, use um campo de visão de 11 mm x 11 mm. Coloque a câmara entre duas lâminas de vidro(Figura 1C).

2. Preparação de moscas para gravação

  1. Transfira as moscas para serem gravadas em um novo frasco de comida 24h antes da gravação.
    NOTA: Não use CO2 (geralmente usado para anestesiar as moscas na primeira coleta) nas moscas menos de 24 h antes da gravação.
  2. Cerca de 40 min antes de gravar, transfira as moscas para frascos vazios e mantenha no gelo por 5-7 min.
  3. Enquanto isso, limpe a arena e limpe os toboáguas com água e uma limpeza.
    NOTA: Não use etanol para limpar as câmaras e os slides.
  4. Prepare a câmara de gravação. Fixar um dos slides de vidro microscópico abaixo da câmara com fita adesiva.
  5. Quando as moscas forem anestesiadas no gelo, transfira uma mosca em cada câmara usando um pincel limpo.
    NOTA: Tanto as moscas masculinas quanto as fêmeas podem ser usadas nesta configuração, e, na medida do possível, moscas de ambos os sexos devem ser analisadas para evitar viés específico do sexo.
  6. Fixar a câmara com outro slide de vidro microscópico com fita(Figura 1C).
  7. Mantenha as moscas câmaradas à temperatura ambiente por 15 a 20 min para aclimatação.

3. Geração de vídeos para análise FLLIT

NOTA: Esta etapa é específica para a câmera de vídeo usada. Neste caso, uma câmera de vídeo comercialmente disponível é usada (ver Tabela de Materiais).

  1. Ligue a fonte de energia. Aguarde que o LED verde para alimentação e o LED laranja para que a conexão da interface ethernet se estabilize. Ligue a energia do LED infravermelho. Certifique-se de que a tensão permanece em 12,5 V.
  2. Abra o aplicativo Viewer no sistema de computador conectado.
  3. Altere a taxa de quadros de gravação para 1000 fps. Defina a velocidade do obturador para 1/1000 s (1 ms).
  4. Coloque a câmara com a mosca na arena de gravação e selecione o botão LIVE. Certifique-se de que a câmera está focada nas pontas das pernas quando a mosca estiver andando ereto no chão da câmara; as pontas das pernas devem estar em foco nítido.
  5. Clique em Record ( Figura2).
  6. Registre a mosca andando, garantindo que:
    A mosca caminhou em uma trajetória relativamente reta sem tocar a borda da arena.
    A mosca andou pelo menos três passos por perna.
    A mosca não faz pausa durante a caminhada.
    A distância percorrido equivale a pelo menos um comprimento do corpo.

    NOTA: Ter o fundo subtraído de forma limpa é fundamental para uma segmentação precisa. O algoritmo automatizado de subtração de fundo empregado pelo FLLIT requer que a mosca com imagem mova pelo menos um comprimento do corpo à distância.
  7. Clique em Rec Feito para parar a gravação(Figura 2).
  8. Corte o vídeo para garantir que a gravação engloba apenas uma caminhada reta da mosca (como descrito na Etapa 3.6).
  9. Clique em Salvar (Figura 2). Salve os arquivos no formato '.mraw' ou '.tiff' nas respectivas pastas.
    NOTA: O formato '.mraw' dá maior flexibilidade para alterar o nome do arquivo (se necessário) e para o armazenamento de vídeos em comparação com o formato de arquivo '.tiff'.

4. Instalação do programa FLLIT

NOTA: As instruções atualizadas podem ser encontradas em: https://github.com/BII-wushuang/FLLIT/blob/master/Compiled/Readme.pdf

  1. Baixe FLLIT em qualquer sistema operacional
    1. Baixe FLLIT no seguinte link do Github: https://github.com/BII-wushuang/FLLIT/archive/master.zip. Extrair o conteúdo do arquivo zip.
    2. Baixe os conjuntos de dados de exemplo do seguinte link do Google Drive: https://bit.ly/2EibvNY. Crie uma pasta Dados em FLLIT-master/Compilado e coloque pastas de conjunto de dados neste diretório de dados.
  2. Instale o FLLIT no Ubuntu
    1. Navegue até o diretório FLLIT/Compilado.
    2. Clique com o botão direito do mouse e selecione Abrir em Terminal.
    3. Emita o seguinte comando para baixar e instalar as bibliotecas de tempo de execução do MATLAB para $HOME/MCR:
      bash MCR_2016a.sh
    4. Após a instalação das bibliotecas de tempo de execução do MATLAB ter sido concluída, emita o seguinte comando para garantir que os direitos executáveis sejam concedidos ao FLLIT:
      chmod +x FLLIT
    5. Abra um terminal no diretório FLLIT/Compilado e emita o seguinte comando para executar o FLLIT:
      bash run_FLLIT.sh $HOME/MCR/v901
  3. Instale o FLLIT no Windows
    1. Para 7 e 10ª Home Edition, instale o Docker Toolbox em:
      (https://github.com/docker/toolbox/releases/download/v19.03.1/DockerToolbox-19.03.1.exe).
    2. Para windows 10 Pro ou Enterprise Edition, instale o Docker Desktop para Windows em: (https://download.docker.com/win/stable/Docker\%20Desktop\%20Installer.exe).
    3. Para habilitar a execução de aplicativos de GUI em um contêiner Docker no Windows, instale primeiro o vcxsrv (https://sourceforge.net/projects/vcxsrv). Ao iniciar o VcXsrv, configure as configurações como na Figura S1.
      NOTA: Certifique-se de que docker e vcxsrv estão funcionando antes de iniciar o FLLIT.
    4. Clique duas vezes em FLLIT.bat para executar FLLIT.
      NOTA: Ao executar pela primeira vez, levará algum tempo para puxar a imagem do Docker do Docker Hub.
  4. Instale o FLLIT no MacOS
    1. Baixe Docker Desktop para MacOS em https://download.docker.com/mac/stable/Docker.dmg
    2. Instale o socat abrindo um terminal e emitindo o seguinte comando:
      preparar socat instalar
    3. Comece com:
      socat TCP-LISTEN:6000,reuseaddr,fork UNIX-CLIENT:\"$DISPLAY\" e reisown
    4. Instale o XQuartz (https://www.xquartz.org) para permitir a execução de aplicativos de GUI em um contêiner Docker no MacOS. Inicie o XQuartz e altere as preferências verificando as conexões Permitir de clientes de rede na guia Segurança, conforme mostrado na Figura S2.
      NOTA: Certifique-se de que Docker, socat e XQuartz estejam todos funcionando antes de iniciar o FLLIT.
    5. Abra um terminal no diretório FLLIT/Compilado e execute o FLLIT com o seguinte comando:
      bash FLLIT_Mac.sh
      NOTA: Ao executar pela primeira vez, levará algum tempo para puxar a imagem do Docker do Docker Hub.

5. Executando o FLLIT para rastreamento automatizado de pernas

  1. Segmentação
    1. Converta o vídeo em arquivos TIFF individuais e copie na pasta de dados FLLIT.
    2. Execute o FLLIT (No Ubuntu, clique com o botão direito do mouse para abrir o FLLIT no Terminal).
    3. Selecione a pasta que contém as imagens TIFF quadro a quadro do vídeo a ser rastreada e clique no botão Adicionar.
    4. Na janela pop-up escolha 0 para realizar apenas segmentação de pernas, ou 1 para incluir o rastreamento da perna com segmentação da perna.
    5. Clique em Feito para iniciar a segmentação e o rastreamento do vídeo selecionado.
  2. Rastreamento
    1. Para verificar a precisão do rastreamento e realizar correções de erros (se houver), clique em Selecionar pasta de dados. Selecione a pasta a ser rastreada e clique em Abrir.
    2. Clique em Exibir rastreamento.
      NOTA: Verifique se o modo visualizador permanece selecionado enquanto visualiza as posições das pernas rastreadas. Caso contrário, quaisquer correções anteriores feitas serão sobre-montadas.
    3. Verifique a rotulagem de todas as pernas no primeiro quadro
      NOTA: Uma vez que as etiquetas da perna são colocadas de acordo com a posição na tela, se a mosca estiver andando ereto, o lado direito da mosca é rotulado como L1 (perna traseira), L2 (perna média), L3 (perna traseira) e o lado esquerdo da mosca é rotulado como R1 (perna-de-perna), R2 (perna média), R3 (perna traseira), respectivamente(Figura 3). Se a mosca estiver andando de cabeça para baixo, as etiquetas das pernas serão corretamente anotadas.
    4. Se uma perna estiver rotulada erroneamente e uma correção for necessária, clique em Pausa de visualização,seguida por Adjust Forecast (Figura 3).
    5. Do painel direito cabeça de Perna para Ajustar,selecione a perna que requer correção.
    6. Clique duas vezes na posição correta para esta perna na janela de imagem, clique em Salvare, em seguida, Saia. Para ir ao quadro anterior ou ao quadro subseqüente, clique em Pausa de visualização seguido pelos botões forward e backward e I> respectivamente(Figura 3).
    7. Para corrigir quaisquer vídeos rastreados incorretamente, abra a pasta Dados do vídeo a ser rerastreado e selecione Iniciar rastreamento manualmente.
    8. Clique no botão Rastreamento, que mudará sua etiqueta para Inicial.
    9. Clique em Ajustar a previsão e corrija as etiquetas das pernas clicando duas vezes em cada ponta da perna e, em seguida, atribuindo-a com a etiqueta correta da perna. Clique em Salvar e Sair.
    10. Clique em Retomar para iniciar o rastreamento.
  3. Processamento de dados e geração de vídeo
    1. Clique em Data Process. Na janela popup, digite o número de quadros por segundo (fps) em que os vídeos foram gravados (por exemplo, 1.000 fps).
    2. Use a seguinte equação para calcular o campo de visão real do vídeo capturado para que os parâmetros de marcha possam ser medidos em milímetros:

      Equation 1

      NOTA: Por exemplo, se o tamanho real da câmara for de 7 mm, a largura do quadro da imagem é de 137 mm, a largura da câmara no quadro de imagem na tela do computador é de 81 mm, e a largura do campo de visão foi de 11,83 mm(Figura S3).
    3. Para ver os resultados de rastreamento, vá para a pasta Rastreamento na pasta Resultados.
    4. Para gerar um vídeo da mosca rastreada, selecione Fazer vídeo. O vídeo será salvo na mesma pasta Resultados que os dados de vídeo originais analisados.
      NOTA: Os quadros Iniciar (primeiro) e Final (último) do vídeo podem ser selecionados.
  4. Normalização ao comprimento do corpo de cada mosca.
    NOTA: Como cada mosca pode ser ligeiramente diferente em tamanho, certos parâmetros de marcha devem ser normalizados ao comprimento do corpo de cada mosca para facilitar as comparações (por exemplo, o comprimento do passo pode ser maior em moscas maiores e menor em moscas menores).
    1. Abra três imagens esstill do vídeo de cada mosca (geralmente primeiro, meio e último quadros) usando software de imagem.
    2. Amplie cada quadro de imagem para 800% e rotule o pixel anterior mais alto da cabeça e posterior-mais pixel do abdômen na linha média usando uma cor brilhante (por exemplo, amarelo).
    3. Abra as imagens rotuladas no ImageJ.
    4. Use Definir escala para inserir a escala de acordo: Definir distância em pixels: 512; Distância conhecida: Campo de visão Real (mm) medido na etapa 5.3.2.; Unidade de comprimento: mm.
    5. Desenhe uma linha reta entre os pixels da ponta da cabeça e do abdômen rotulados para obter o comprimento do corpo.
    6. Abrir escala de conjunto novamente para obter o valor em uma distância conhecida, que é o comprimento do corpo em mm.
    7. Tome uma média do comprimento determinado em cada uma das três imagens para obter o tamanho médio do corpo em mm.

Representative Results

Após segmentação de pernas, rastreamento e processamento de dados, o FLLIT gera automaticamente dados brutos para as posições do corpo e cada garra de perna, 20 parâmetros de marcha, 5 parcelas e um vídeo rastreado(Tabela 1).

Aqui, demonstramos essas análises utilizando um modelo de mosca da ataxia spinocerebellar 3 (SCA3). O driver pan-neuronal Elav-GAL4 foi usado para conduzir o SCA3 humano de comprimento completo com 27 glutaminas no tratado de poliQ (UAS-SCA3-flQ27), ou um SCA3 humano mutante de comprimento completo com 84 glutaminas no tratado poliQ (UAS-SCA3-flQ84)11. SCA3 é tipificado por uma marcha ataxica com desvio corporal, colocação errática do pé e passos curtos e espreitadores12,13 (Tabela 2). Para caracterizar a marcha das moscas mutantes SCA3 e investigar se elas apresentam uma marcha semelhante à dos pacientes humanos, analisamos parâmetros de marcha relevantes gerados pelo FLLIT, a saber: Número de giros corporais, regularidade da pegada, sobreposição e tamanhos do domínio da perna e comprimentos de passos de perna(Tabela 2).

Verificou-se que as moscas SCA3-Q84 apresentaram mais curvas(Figura 4A,A),colocação errática do pé como exibida pela baixa regularidade da pegada (desvios padrão ampliados do AEP14)(Figura 4B),aumento da sobreposição do domínio da perna(Figura 4C-D),domínios de pernas ampliados em comprimento e área(Figura 4E,F),e diminuição do comprimento do passo(Figura 4G).

A FLLIT também gera um vídeo mostrando a mosca e as pernas rastreadas nas vistas centradas na arena e centradas no corpo, na trajetória do corpo e na direção do rumo, e deslocamentos verticais e laterais de cada perna(Figura 5). Os vídeos rastreados permitem a comparação lado a lado dos movimentos das pernas em diferentes moscas. Vídeos representativos de Elav-GAL4>SCA3-flQ27 (Vídeo 1) e Elav-GAL4>SCA3-flQ84 (Vídeo 2) moscas demonstram que em comparação com Elav-GAL4>UAS-SCA3-flQ27 moscas(Figura 5A), Elav-GAL4>UAS-SCA3-flQ84 (Figura 5B) irregulares intersecção de domínios de pernas de diferentes tamanhos, indicativo de uma marcha ataxica.

Figure 1
Figura 1. Configuração da estação de gravação e arena. Gravações da frente(A)e(B)vistas laterais. (C) Um exemplo de uma arena usada para fazer gravações de moscas para rastreamento FLLIT. Clique aqui para ver uma versão maior desta figura.

Figure 2
Figura 2: Vista da janela ativa durante a gravação da marcha voadora usando uma câmera de cabeça dupla, que permite a gravação simultânea de duas moscas. Clique aqui para ver uma versão maior desta figura.

Figure 3
Figura 3: Janela FLLIT ativa mostrando o painel do botão e as pernas rotuladas após a segmentação e o rastreamento. Clique aqui para ver uma versão maior desta figura.

Figure 4
Figura 4: Dados representativos gerados pelo FLLIT para parâmetros relevantes de marcha de moscas expressando wildtype (SCA3-flQ27) vs. mutante (SCA3-flQ84) SCA3. (A) Número de voltas na trajetória corporal. (B) Regularidade da pegada da perna média normalizada ao comprimento do corpo. (C-C') Atravessou os domínios das pernas de cada perna. (D)Domínio sobreposto entre as pernas. (E) Comprimento do domínio da perna média normalizado para o comprimento do corpo. (F) Área de domínio de perna média normalizada ao comprimento do corpo2. (G)Comprimento do passo médio normalizado até o comprimento do corpo. Clique aqui para ver uma versão maior desta figura.

Figure 5
Figura 5: Instantâneo de vídeos gerados pelo FLLIT representativos. (A) Elav-GAL4>UAS-SCA3-flQ27 e (B) Elav-GAL4>UAS-SCA3-flQ84 voa. Por favor, clique aqui para ver uma versão maior deste número.

Video 1
Vídeo 1: Vídeo representativo de uma mosca expressando pan-neuronal selvagem-tipo humano de comprimento completo SCA3 (Elav-GAL4>UAS-SCA3-flQ27). Clique aqui para ver este vídeo. (Clique com o botão direito do mouse para baixar.)

Video 2
Vídeo 2: Vídeo representativo de uma mosca expressando mutantes pan-neuronal humano de comprimento total SCA3 (Elav-GAL4>UAS-SCA3-flQ84). Clique aqui para ver este vídeo. (Clique com o botão direito do mouse para baixar.)

Supplemental Figure 1
Figura suplementar 1: Configurações para VcXSrv. Clique aqui para ver uma versão maior desta figura.

Supplemental Figure 2
Figura suplementar 2: Configuração para Xquartz. Clique aqui para ver uma versão maior desta figura.

Supplemental Figure 3
Figura suplementar 3: Imagem rotulada com as dimensões necessárias para o cálculo do campo de visão. Clique aqui para ver uma versão maior desta figura.

Categoria Parâmetros Descrição Arquivo/Parcela (se aplicável)
Dados brutos Posição do corpo Coordenadas posicionais do corpo centroide em cada quadro As duas primeiras colunas de CoM.csv
Trajetória corporal Ângulo de rotação do eixo do corpo em graus (em relação ao eixo y) Terceira coluna de CoM.csv
Garra de perna centrada na arena
Posições
Coordenadas posicionais de cada garra de perna em cada quadro com base nas coordenadas da arena trajetória.csv
Garra de perna centrada no corpo
Posições
Coordenadas posicionais de cada garra de perna em cada quadro
com base nas coordenadas da arena
norm_trajectory.csv
Movimento corporal Comprimento do corpo (mm) Comprimento do animal amostraestimado em cada quadro (posição anterior-mais na cabeça para posterior-mais
posição nas asas)
bodylength.csv
Velocidade instantânea do corpo
(mm/s)
Velocidade instantânea do corpo (centróide) na amostra animal BodyVelocity.csv; BodyVelocity.pdf
Pontos de virada do corpo
Trajetória
Para localizar os pontos de virada, a trajetória é reduzida a uma curva linear em pedaços usando o Dougl asâASPeucker
algoritmo, seguindo o qual um evento de giro é identificado como envolvendo um ângulo > 50 deg entre dois vizinhos
segmentos lineares que compõem a trajetória simplificada
BodyTrajectory.pdf
Parâmetros individuais de passo Duração do passo (ms) A duração de um evento de passo StrideParameters.csv
Período de passo (ms) A duração de um evento de passo para o próximo
Deslocamento do passo (mm) Deslocamento da garra da perna durante um evento de passo
Caminho de passo coberto (mm) Caminho total coberto pela garra da perna durante um evento de passo
Posição extrema anterior
(mm)
Posição de aterrissagem (em relação ao corpo) de uma garra de perna no final de um evento de passo
Posição extrema posterior (mm) Posição de decolagem (em relação ao corpo) de uma garra de perna no início de um evento de passo
Amplitude do passo (mm) Deslocamento ao longo da direção do movimento para um evento de passo
Linearidade de postura (mm) Definido como o desvio do caminho do passo de uma curva suavizada (em intervalos de 20ms) o anterior correspondente
e posições extremas posteriores do passo
Estiramento de passo (mm) Distância da posição da garra da perna do centro do corpo no meio de um evento de passo
Movimento da perna Velocidade da perna (mm/s) A velocidade instantânea de cada perna LegSpeed.csv; Gait.pdf
Índice de marcha Isso mede o tipo de coordenação da marcha exibida pelo animal amostral (de seis patas) durante o seu movimento. Uma marcha
índice de 1 corresponde a uma marcha de tripé, _1 corresponde a uma marcha tetrapode, enquanto 0 constitui uma marcha não canônica.
Em nossa implementação, o índice de marcha é obtido por uma média móvel acima de uma janela de 120 ms
GaitIndex.csv; GaitIndex.pdf
Porcentagem de movimento Porcentagem do tempo que uma perna está em movimento LegParameters.csv
Período médio de passo (ms) Duração média de um evento de passo para o próximo LegParameters.csv
Regularidade da pegada (mm) Medidos como os desvios padrão do posterior e LegParameters.csv
posições extremas anteriores de uma perna
Área de domínio da trajetória da perna
(mm2)
A área do casco convexo mínimo que contém toda a trajetória da perna no quadro de referência centrado na carroceria LegParameters.csv; LegDomain.pdf
Comprimento e largura do
domínio da trajetória da perna (mm)
Obtido através da distância máxima projetada das posições da garra sobre o maior (comprimento do domínio) e menor
Eixos principais (largura de domínio)
LegParameters.csv
Intersecção/sobreposição de domínio de pernas
(mm2)
A intersecção/sobreposição entre cada possível LegDomainOverlap.csv
Largura de postura (mm) Média da distância entre o AEP e o PEP das pernas esquerda e média StanceWidth.csv

Tabela 1: Parâmetros de marcha gerados por FLLIT.

Recurso de marcha
Características da marcha de Ataxia Spinocerebellar 3 (SCA3) Virando Colocação errática do pé e travessia da perna Passos de lurching Passos curtos
Parâmetro de medição Número de eventos de giro corporal Regularidade da pegada Tamanho dos domínios das pernas, grau de sobreposição de domínio Comprimento do passo
Arquivo FLLIT BodyTrajectory.pdf LegParameters.csv LegDomainOverlap.csv StrideParameters.csv

Tabela 2: Tabela que mostra características de marcha SCA3 marcantes em pacientes humanos com seus parâmetros FLLIT correspondentes e arquivos de saída.

Discussion

Neste manuscrito, descrevemos em detalhes as etapas envolvidas no uso do FLLIT, um programa automatizado de aprendizagem de máquina1,para analisar a marcha em Drosophilalivremente ambulante . Após o rastreamento e análise de dados, o FLLIT gera automaticamente dados brutos para as informações posicionais das garras do corpo e das pernas, produzindo vinte recursos de corpo e marcha, bem como um vídeo da mosca rastreada para permitir a visualização da marcha.

Existem agora uma série de métodos para o rastreamento do movimento das pernas de Drosophila e outros animais1,2,3,4,14,15,16, dando aos pesquisadores uma ampla gama de opções dependendo dos objetivos do experimento. Algumas delas são abordagens baseadas em impressão de pé, que são altamente precisas, mas que relatam apenas pontos de contato com a superfície de detecção4,14. Por outro lado, abordagens recentes de deep learning2,3,16 são altamente versáteis, permitindo a análise de comportamentos que requerem o rastreamento de articulações da perna e outras partes do corpo em qualquer animal, com a ressalva de que os algoritmos precisam ser treinados primeiro com conjuntos de dados anotados pelo usuário. Um terceiro tipo de abordagem usa morfologia ou métodos baseados em contraste de imagem1,,15,17 para encontrar o contorno de cada perna para identificar posições de garra. Em geral, esses métodos lidam mal com comportamentos em que as pernas se cruzam (por exemplo, durante o preparo). FLLIT combina a segunda e terceira abordagens, usando parâmetros morfológicos para treinar um algoritmo de impulso para segmentação de pernas. Isso permite que o FLLIT contorne a tarefa trabalhosa da anotação do usuário para gerar o conjunto de dados de treinamento, ao mesmo tempo em que aumenta a precisão usando aprendizado de máquina. Melhorias futuras no FLLIT terão que lidar com casos em que as pernas se cruzam, para permitir a análise de comportamentos mais complexos.

FLLIT é robusto para pequenas alterações na iluminação, resolução de gravação e velocidade do quadro1. No entanto, a velocidade de quadro dos vídeos gravados não deve cair abaixo de 250 fps, e FLLIT funciona de forma ideal para vídeos gravados a 1000 fps. Se houver desfoque de movimento nas imagens, de tal forma que é desafiador para um anotador humano identificar a posição da perna, o FLLIT não será capaz de identificar com precisão as pontas das pernas nesses quadros. Diante disso, é essencial que a câmera seja focada bruscamente nas pontas das pernas. Para evitar artefatos de segmentação, a arena deve ser completamente limpa e não deve ser movida durante a gravação. Para uma subtração de fundo precisa e segmentação limpa, a mosca deve mover pelo menos um comprimento do corpo durante a gravação, sem pausar. Após a segmentação automática e o rastreamento da rotulagem de todas as pernas devem ser verificados. Se a marcha voadora não for rastreada ou rastreada de forma errada, o arquivo deve ser rerastreado manualmente usando a opção Rastreamento iniciado manualmente (etapa 5.2.7 – 5.2.10).

Doenças neurodegenerativas e distúrbios de movimento são cada vez mais prevalentes em nossas sociedades envelhecidas. Modelos de neurodegeneração de moscas têm sido estudados por mais de duas décadas, durante os quais foram feitos avanços em relação aos aspectos moleculares e celulares da fisiopatologia da doença. No entanto, as consequências comportamentais específicas da doença têm sido tecnicamente difíceis de avaliar. Por exemplo, embora tenham sido feitos relatos de movimentos trêmulos na mosca18,19, estes não tinham sido estudados quantitativamente até recentemente1. O ensaio de escalada tem sido uma medida útil e quantitativa, mas relativamente grosseira6. Esse déficit técnico também dificultou a análise de movimento de alta resolução em outros modelos animais. O advento de novas ferramentas para a análise comportamental, portanto, tem prometido rejuvenescer o campo dos distúrbios de movimento para permitir que os pesquisadores estudem como mecanismos moleculares e celulares de doenças neuromusculares levam a desfechos comportamentais específicos em modelos animais. Neste artigo e em nosso trabalho anterior1,mostramos usando FLLIT que modelos de mosca sca3 exibem uma marcha ataxic hipercinética, enquanto os modelos de moscas pd exibem uma marcha rígida hipocinética, recapitulando marcas de movimento das respectivas doenças humanas1. A análise da marcha também nos permitiu identificar populações neuronais distintas subjacentes a disfunções específicas de movimento. Daqui para frente, a análise detalhada dos movimentos, combinada com as poderosas ferramentas de imagem e funcionais disponíveis na mosca, nos permitirá obter uma nova visão sobre os mecanismos de disfunção locomotor, iluminando nossa compreensão de doenças neurodegenerativas em relação aos mecanismos de circuito.

O FLLIT deve ser amplamente aplicável ao estudo da marcha em outros pequenos artrópodes, pois foi demonstrado anteriormente ser altamente preciso para o rastreamento dos movimentos das pernas das aranhas1. Enquanto focamos aqui no uso de fenotipagem de movimento detalhado para quantificar a marcha patogênica e seus circuitos subjacentes, os avanços no rastreamento de movimentos já revolucionaram, e terão impacto contínuo sobre a compreensão da coordenação e marcha de caminhada normal e seus circuitos subjacentes, especialmente em vários ramos da árvore evolutiva.

Disclosures

Os autores não têm nada para revelar.

Acknowledgments

Os autores gostariam de agradecer a Moumita Chatterjee e Alice Liu pelo apoio técnico, e ao Bloomington Drosophila Stock Centre (Indiana, EUA) por disponibilizar as cepas de Drosophila usadas neste trabalho. Este trabalho foi apoiado pelo Instituto de Biologia Molecular e Celular, em Cingapura; o Instituto de Bioinformática, Cingapura; a Organização do Conselho Conjunto da Agência de Tecnologia da Ciência e Pesquisa (bolsa número 15302FG149 à SA e LC); o Programa De Pesquisa Clínica (Doença de Parkinson) administrado pelo Conselho Nacional de Pesquisa Médica do Ministério da Saúde de Cingapura (número de subvenção NMRC/TCR/013-NNI/2014 para SA), a Universidade de Alberta (bolsa de startup para LC) e o Conselho de Pesquisa de Ciências Naturais e Engenharia do Canadá (NSERC) Discovery Grant (número de subvenção RGPIN-2019-04575 à LC).

Materials

Name Company Catalog Number Comments
Acrylic Sheets Dama 1.6 mm thickness, Clear sheets Singapore, Singapore
Clear Glass slides Biomedia BMH 880101 Singapore, Singapore
High speed camera Photron Fastcam MC2.1 Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images
Infra Red LED Any - Generic from hardware store 940nm Infrared Light Board Singapore, Singapore
Kimwipe Kimberly Clark 34155-01LS Irving, Texas, USA

DOWNLOAD MATERIALS LIST

References

  1. Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
  2. Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
  3. Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
  4. Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
  5. Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
  6. McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. Genetics. 201 (2), 377-402 (2015).
  7. Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
  8. Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
  9. Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
  10. Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
  11. Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
  12. Ebersbach, G., et al. Comparative analysis of gait in Parkinson's disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
  13. Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
  14. Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
  15. DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
  16. Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
  17. Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, Pt 11 1760-1771 (2016).
  18. Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
  19. Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).

Tags

Comportamento Edição 158 Drosophila,inseto aprendizado de máquina rastreamento análise de marcha neurodegeneração
Rastreamento de pernas totalmente automatizado em insetos em movimento livre usando segmentação e rastreamento de pernas de aprendizagem de recursos (FLLIT)
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Banerjee, A., Wu, S., Cheng, L., Aw, More

Banerjee, A., Wu, S., Cheng, L., Aw, S. S. Fully Automated Leg Tracking in Freely Moving Insects using Feature Learning Leg Segmentation and Tracking (FLLIT). J. Vis. Exp. (158), e61012, doi:10.3791/61012 (2020).

Less
Copy Citation Download Citation Reprints and Permissions
View Video
Waiting X
Simple Hit Counter