Baseado no SSVEP procedimento experimental para a interação cérebro-robô com robôs humanóides

Summary

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Abstract

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introduction

Brain-Robot Interaction (BRI), que fornece um caminho de comunicação inovadora entre o ser humano e um dispositivo robótico através de sinais cerebrais, é potencial em ajudar as pessoas com deficiência em suas vidas diárias ^1,2. Uma variedade de métodos é capaz de adquirir sinais cerebrais tanto invasiva ou não-invasiva, tal como electrocorticografia (ECoG), electroencefalograma (EEG), ressonância magnética funcional (IRMf), etc. O método não-invasivo mais comumente utilizado para a construção do sistema BRI é a aquisição de sinais de EEG a partir de eletrodos colocados no couro cabeludo. Este método é barato, fácil de utilizar e fornece uma resolução temporal aceitável ^3. Entre uma variedade de dispositivos robóticos, robôs humanóides são avançados como eles são criados para imitar algumas das mesmas tarefas físicas e mentais que os seres humanos sofrem diariamente. BRI com um robô humanóide vai desempenhar um papel importante na assistência aos doentes e idosos, bem como a execução de trabalhos insalubres ou perigosos. Mas o controlede um robô humanóide através do sistema BRI é altamente desafiador, como o robô humanóide com movimento de corpo inteiro é desenvolvido para executar tarefas complexas tais como assistência pessoal ^{4, 5.}

Steady-State potencial evocado visual (SSVEP) é um tipo de sinal cerebral evocada pela modulação do estímulo visual em uma determinada frequência ^6. Ele contém sinusóides nas freqüências fundamentais e harmônicas do estímulo cintilação, e bem visível aparece em todo o córtex visual na região occipital do couro cabeludo ^7. A razão para a escolha dos sinais SSVEP é que o sistema baseado BRI-SSVEP produz relativamente alta taxa de transferência de informações e requer menos treinamento ^8. Outros tipos de ondas cerebrais, tais como potenciais relacionados a eventos (ERPs) ⁹ ou do motor-imagery (MI) potenciais de ^10, também podem ser incorporados a este procedimento experimental.

Nosso procedimento para a interação cérebro-robô humanóide comrobôs é baseado em Cerebot – uma plataforma robô humanóide controlado pela mente – que consiste em um sistema de aquisição de dados de EEG e um robô humanóide ^11. O sistema de EEG é capaz de gravar, pré-processamento dos sinais de bio-potencial de exibição adquiridos por vários tipos de eletrodos. Ele fornece analógico múltiplos I / Os e I / Os digitais e é capaz de gravar até 128 canais de sinal simultaneamente a uma taxa de amostragem de 30 kHz com resolução de 16 bits. Seus kits de desenvolvimento de software em C ++ e MATLAB são fáceis para os usuários a projetar os procedimentos experimentais. O robô humanóide tem 25 graus de liberdade e está equipado com vários sensores, incluindo 2 câmeras, 4 microfones, 2 rangefinders sonar, 2 IR emissores e receptores, uma placa de inércia, 9 sensores tácteis, e 8 sensores de pressão. Ele fornece Choregraphe e C ++ SDK para criar e movimentos de edição e comportamentos robôs interativos.

O objetivo geral deste método é estabelecer um proce experimental à base de SSVEPdure integrando vários programas de software, tais como OpenViBE, Choregraph, software Central, bem como programas de usuário desenvolvido escritos em C ++ e MATLAB, para permitir o estudo da interação cérebro-robô com robôs humanóides ^11. A Figura 1 mostra a estrutura do sistema. O computador apresentação do estímulo dedicado (SPC) exibe a interface do usuário para fornecer o assunto com estímulos visuais, instruções e feedbacks ambientais. O computador de processamento de dados dedicado (DPC) corre o Gravador de Dados eo off-line Data Analyzer no processo de treinamento off-line, e corre o processador de sinal de linha eo controlador do robô para o controle on-line do robô humanóide. Em comparação com outros sistemas de controle baseados em SSVEP, o nosso sistema é mais confiável, mais flexível e, sobretudo, mais conveniente para ser reutilizado e atualizado, uma vez que é desenvolvido através da integração de uma série de pacotes de software padronizados, como OpenViBE, Choregraph, software Central, e módulos escrito em C ++e MATLAB.

O procedimento a seguir foi revisado e aprovado pelo Tianjin University Medical hospital geral comitê de ética, e todos os indivíduos deram consentimento por escrito.

Protocol

1. Adquirir sinais de EEG Explique o procedimento experimental para o assunto e obter o consentimento informado por escrito para participar de experimentos. Medir a circunferência da cabeça do sujeito usando uma fita métrica e selecione o tamanho da tampa EEG que fica perto da medição. A disposição de eléctrodos é baseada na "Sistema Internacional 10-20" 12. Meça a distância entre o násio e inion. Use um marcador lápis para marcar a pele 10% da distância …

Representative Results

Os resultados aqui apresentados foram obtidos a partir de um sujeito do sexo masculino tendo corrigido ao normal versão. A figura 7 mostra o procedimento do processamento de dados de EEG, incluindo extracção de uma época de dados multicanal (Figura 7A), espacialmente filtrar os dados com base nos coeficientes CCA (Figura 7B) e calculando o PSD normalizada (Figura 7C). <p class="jove_content" fo:keep-together.with…

Discussion

Este trabalho apresenta um procedimento experimental à base de SSVEP para estabelecer o sistema de interação cérebro-robô com robôs humanóides, integrando vários programas de software. Como a intenção humano é percebido por interpretar os sinais EEG em tempo real, é crítico para verificar as ligações dos eléctrodos de EEG e qualidades de sinal antes de realizar a experiência. Se os sinais adquiridos de todos os eletrodos são de qualidades pobres, é necessário verificar a conexão da terra e eletrodos…

Materials

Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8