SSVEP basert Eksperimentell Prosedyre for Brain-Robot Interaksjon med menneskelignende roboter

Summary

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Abstract

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introduction

Brain-Robot Interaction (BRI), som gir en innovativ kommunikasjonsvei mellom menneske og en robot enhet via hjernesignaler, er prospektiv i å hjelpe funksjonshemmede i sitt daglige liv ^1,2. En rekke metoder er i stand til å tilegne seg hjernesignaler enten invasiv eller non-invasiv, for eksempel electrocorticography (ECOG), electroencephalograph (EEG), funksjonell magnetisk resonans imaging (fMRI), etc. Den mest brukte non-invasiv metode for å bygge BRI system er å tilegne seg EEG-signaler fra elektroder plassert på hodebunnen. Denne metoden er billig, lett å bruke, og gir et akseptabelt tidsoppløsning ^tre. Blant en rekke robot enheter, menneskelignende roboter er avansert som de er laget for å etterligne noen av de samme fysiske og mentale oppgaver som mennesker gjennomgår daglig. BRI med en humanoid robot vil spille en viktig rolle i å hjelpe de syke og eldre, samt utføre uhygieniske eller farlige arbeidsplasser. Men kontrollav en humanoid robot gjennom BRI system er svært utfordrende, som humanoid robot med full kroppsbevegelse er utviklet for å utføre komplekse oppgaver som personlig assistanse ^{4, 5.}

Steady-State Visual fremkalt potensial (SSVEP) er en type hjerne signal fremkalt av modulering av visuelle stimulus ved en gitt frekvens ^6. Den inneholder sinusoids på de grunnleggende og harmoniske frekvenser av flimring stimulans, og tydelig vises i hele den visuelle cortex i occipital regionen i hodebunnen ^7. Bakgrunnen for å velge de SSVEP signalene er at SSVEP baserte BRI system gir relativt høy informasjon overføringshastighet og krever mindre trening ^8. Andre typer hjernebølger, for eksempel hendelsesrelaterte potensialer (ERP) ⁹ eller motor-bilder (MI) potensialer ^10, kan også bygges inn i denne eksperimentelle prosedyren.

Vår prosedyre for hjerne-robot interaksjon med humanoidroboter er basert på Cerebot – en tankestyrt humanoid robot plattform – som består av en EEG datainnsamling system og en humanoid robot ^11. EEG-systemet er i stand til å ta opp, pre-prosessen og vise bio-potensial signaler ervervet av ulike typer elektroder. Det gir flere analoge I / Os og digital I / Os og kan ta opp inntil 128 signal kanaler samtidig på en samplingsfrekvens på 30 kHz med 16-bits oppløsning. Sine programvareutviklingssett i C ++ og MATLAB er enkelt for brukerne å designe de eksperimentelle prosedyrer. Humanoid robot har 25 frihetsgrader og er utstyrt med flere sensorer, inkludert 2 kameraer, 4 mikrofoner, 2 sonaravstandsmålere, 2 IR sender og mottaker, en treghet brett, 9 taktile sensorer og 8 trykksensorer. Det gir Choregraphe og C ++ SDK for å lage og redigere bevegelser og interaktive robot atferd.

Det overordnede målet med denne metoden er å etablere en SSVEP basert eksperimentell procedure ved å integrere flere programmer, for eksempel OpenViBE, Choregraph, Central-programvare og bruker utviklet programmer skrevet i C ++ og MATLAB, slik at studiet av hjerne-robot interaksjon med menneskelignende roboter ^11. Figur 1 viser systemstruktur. Den dedikerte stimulus presentasjon datamaskin (SPC) viser brukergrensesnittet for å gi emnet med visuelle stimuli, instrukser og miljø tilbakemeldinger. Den dedikerte databehandlings datamaskin (DPC) kjører Data Recorder og offline data Analyzer i frakoblet opplæringsprosessen, og driver Online Signal Processor og Robot Controller for den elektroniske styringen av humanoid robot. Sammenlignet med andre SSVEP-baserte systemer, er vårt system mer pålitelig, mer fleksibel, og særlig mer praktisk å bli gjenbrukt og oppgradert slik den er utviklet ved å integrere en rekke standardiserte programvarepakker som OpenViBE, Choregraph, Central-programvaren, og Modulene skrevet i C ++og MATLAB.

Følgende prosedyre ble gjennomgått og godkjent av Tianjin Medical University sykehuset etisk komité, og alle fag ga skriftlig samtykke.

Protocol

1. Anskaffelse av EEG-signaler Forklar den eksperimentelle prosedyren til faget og innhente skriftlig informert samtykke til å delta i eksperimenter. Mål omkretsen av faget hode ved hjelp av et målebånd og velg EEG cap størrelse som er nær målingen. Elektrodene anordning er basert på den "International 10-20 System" 12. Mål avstanden mellom nasion og inion. Bruk en hud markør blyant for å markere 10% av avstanden som en referanse for å justere hetten, og me…

Representative Results

Resultatene som presenteres her, ble erholdt fra en av hannkjønn etter å ha korrigert til normal versjon. Figur 7 viser fremgangsmåten til behandling EEG data, inkludert ekstrahering av en flerkanals data epoke (figur 7A), romlig filtrering av data ved hjelp av CCA-koeffisienter (figur 7B) og beregning av normalisert PSD (figur 7C). Figur 8 viser</s…

Discussion

Dette notatet presenterer en SSVEP basert eksperimentell prosedyre for å etablere hjernen-robot interaksjon system med menneskelignende roboter ved å integrere flere programmer. Fordi human hensikt oppfattes ved å tolke sanntid EEG-signaler, er det viktig å kontrollere elektrodetilkoblinger og EEG signalkvaliteter før gjennomføring av eksperimentet. Hvis signalene kjøpt fra alle elektrodene er for dårlige kvaliteter, er det nødvendig å kontrollere tilkoblingen av tomter og referanseelektroder først. Dersom de…

Materials

Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO humanoid robot	Aldebaran Robotics	H25
EEG cap	Neuroscan	8732
Ten20 Conductive gel	Weaver and company	10-20-8