Performance d’imagerie motrice à travers des jumeaux numériques incarnés dans un environnement d’interface cerveau-ordinateur basé sur la réalité virtuelle

Summary

L’imagerie motrice dans un environnement de réalité virtuelle a de nombreuses applications dans les systèmes d’interface cerveau-ordinateur. Ce manuscrit décrit l’utilisation d’avatars numériques personnalisés qui ressemblent aux participants exécutant des mouvements imaginés par le participant dans un environnement de réalité virtuelle afin de renforcer l’immersion et le sentiment d’appartenance corporelle.

Abstract

Cette étude introduit un cadre innovant pour la réadaptation neurologique en intégrant les technologies d’interfaces cerveau-ordinateur (ICM) et de réalité virtuelle (RV) avec la personnalisation d’avatars tridimensionnels (3D). Les approches traditionnelles de la réadaptation ne parviennent souvent pas à impliquer pleinement les patients, principalement en raison de leur incapacité à offrir une expérience profondément immersive et interactive. Cette recherche s’efforce de combler cette lacune en utilisant des techniques d’imagerie motrice (IM), où les participants visualisent des mouvements physiques sans exécution réelle. Cette méthode capitalise sur les mécanismes neuronaux du cerveau, activant les zones impliquées dans l’exécution du mouvement lors de l’imagination des mouvements, facilitant ainsi le processus de récupération. L’intégration des capacités immersives de la RV avec la précision de l’électroencéphalographie (EEG) pour capturer et interpréter l’activité cérébrale associée à des mouvements imaginaires constitue le cœur de ce système. Les jumeaux numériques sous la forme d’avatars 3D personnalisés sont utilisés pour améliorer considérablement le sentiment d’immersion dans l’environnement virtuel. Ce sentiment accru d’incarnation est crucial pour une réadaptation efficace, visant à renforcer le lien entre le patient et son homologue virtuel. Ce faisant, le système vise non seulement à améliorer les performances de l’imagerie motrice, mais aussi à offrir une expérience de réadaptation plus attrayante et plus efficace. Grâce à l’application en temps réel de BCI, le système permet de traduire directement des mouvements imaginés en actions virtuelles effectuées par l’avatar 3D, offrant un retour immédiat à l’utilisateur. Cette boucle de rétroaction est essentielle pour renforcer les voies neuronales impliquées dans le contrôle moteur et la récupération. L’objectif ultime du système développé est d’améliorer considérablement l’efficacité des exercices d’imagerie motrice en les rendant plus interactifs et réactifs aux processus cognitifs de l’utilisateur, ouvrant ainsi une nouvelle voie dans le domaine de la réadaptation neurologique.

Introduction

Les paradigmes de réadaptation des patients atteints de troubles neurologiques subissent un changement transformateur grâce à l’intégration de technologies avancées telles que les interfaces cerveau-ordinateur (BCI) et la réalité virtuelle immersive (VR), offrant une méthode plus nuancée et plus efficace pour favoriser le rétablissement. L’imagerie motrice (IM), la technique au cœur de la réadaptation basée sur l’ICM, implique la répétition mentale de mouvements physiques sans exécution motrice réelle¹. L’IM exploite un mécanisme neuronal où l’imagination d’un mouvement déclenche un modèle d’activité cérébrale qui reflète étroitement celui de l’exécution de l’action physique elle-même ^2,3,4. Plus précisément, l’engagement dans l’IM conduit à un phénomène connu sous le nom de désynchronisation liée aux événements (ERD) dans les bandes de fréquences alpha (8-13 Hz) et bêta (13-25 Hz) de l’activité électrique du cerveau ^5,6,7. L’ERD est indicative d’une suppression des rythmes cérébraux de base, un modèle également observé lors du mouvement réel, fournissant ainsi un substrat neuronal pour l’utilisation de l’IM dans les cadres de réadaptation assistée par BCI⁷. Une telle similitude dans l’activation corticale entre l’IM et le mouvement physique suggère que l’IM peut stimuler efficacement les réseaux neuronaux impliqués dans le contrôle moteur, ce qui en fait un outil précieux pour les patients atteints de déficits moteurs⁸. De plus, la pratique de l’EM a été étendue au-delà de la simple répétition mentale pour inclure des stratégies d’observation de l’action⁹. L’observation du mouvement des parties du corps liées à la tâche ou des actions chez les autres peut activer le réseau de neurones miroirs (MNN), un groupe de neurones qui répondent à la fois à l’observation et à l’exécution d’actions⁹. Il a été démontré que l’activation du MNN par l’observation induit la plasticité corticale, comme en témoignent diverses modalités de neuroimagerie, notamment l’IRM fonctionnelle¹⁰, la tomographie par émission de positons¹¹ et la stimulation magnétique transcrânienne¹². Les preuves soutiennent l’idée que l’entraînement à l’EM, amélioré par l’observation de l’action, peut conduire à une adaptation neuronale et à une récupération significatives chez les personnes touchées.

La technologie de réalité virtuelle a révolutionné le domaine de la réadaptation basée sur l’EM en offrant un environnement immersif qui renforce le sentiment d’appartenance au corps et brouille les distinctions entre les mondes réel et virtuel 13,14,15. La qualité immersive de la VR en fait un outil efficace pour l’observation de l’action et la pratique de l’imagerie motrice, car elle permet aux participants de percevoir l’environnement virtuel comme réel¹⁵. Des recherches ont montré que les appareils VR ont un effet plus prononcé sur l’entraînement à l’IM que les écrans 2D traditionnels^15,16. De tels résultats sont mis en évidence par une activité neuronale améliorée, telle que l’augmentation des rapports d’amplitude ERD dans le cortex sensorimoteur, mettant en évidence les avantages de niveaux d’immersion plus élevés dans la stimulation de l’activité cérébrale lors d’exercices d’IM guidés^{visuellement16}. Le système aide à améliorer les performances de l’IM pour les tâches impliquant des mouvements du bras ou des membres en fournissant une rétroaction directe, améliorant ainsi le processus de réadaptation^16,17. La synergie entre l’EM et la RV met l’accent sur l’intégration des activités sensorielles, perceptuelles, cognitives et motrices^18,19. La combinaison a été particulièrement bénéfique pour les survivants d’un AVC^20,21 et les anciens combattants²², car des études ont montré que l’intégration de la RV dans les protocoles de réadaptation basés sur l’EM peut réduire considérablement le temps de réadaptation et améliorer les résultats de rétablissement. La caractéristique unique de la RV dans la réadaptation réside dans sa capacité à créer un sentiment de présence dans un environnement virtuel spécialement conçu, améliorant ainsi l’expérience de réadaptation qui est encore augmentée par l’inclusion d’avatars virtuels représentant le corps de l’utilisateur, qui a été de plus en plus utilisé dans les études de réadaptation motrice²³. Ces avatars offrent une représentation tridimensionnelle réaliste des mouvements des membres, ce qui aide à l’IM et a un impact significatif sur l’activation du cortex moteur. En permettant aux participants de visualiser leur moi virtuel en train d’effectuer des tâches spécifiques, la RV enrichit non seulement l’expérience de l’IM, mais favorise également un processus de réorganisation et de récupération neuronale plus rapide et plus efficace²⁴. La mise en œuvre d’avatars virtuels et d’environnements simulés dans la formation en MI met l’accent sur l’utilisation naturelle et intégrée des corps virtuels dans des mondes virtuels immersifs.

Malgré les avantages remarquables du contrôle des avatars 3D basé sur l’ICM dans l’IM pour la réhabilitation, une limitation significative subsiste dans l’utilisation prédominante des méthodologies hors ligne. À l’heure actuelle, la plupart des applications BCI impliquent la capture de données d’électroencéphalographie (EEG) préenregistrées qui sont ensuite utilisées pour manipuler un avatar^24,25. Même dans les scénarios où le contrôle de l’avatar en temps réel est réalisé, ces avatars sont souvent génériques et ne ressemblent pas aux participants qu’ils représentent²³. Cette approche générique rate une occasion cruciale d’approfondir l’immersion et le sentiment d’appartenance corporelle, ce qui est crucial pour une réadaptation efficace²⁴. La création d’un avatar 3D qui reflète la ressemblance exacte du sujet pourrait améliorer considérablement l’expérience immersive de l’expérience¹⁶. En se visualisant dans le monde virtuel, les participants pouvaient favoriser une connexion plus forte entre leurs mouvements imaginaires et réels, ce qui pouvait conduire à des modèles ERD plus prononcés et, par conséquent, à une adaptation et une récupération neuronales plus efficaces¹⁶. En progressant vers le contrôle en temps réel d’avatars 3D personnalisés, le domaine de la BCI et de la RV peut améliorer considérablement les paradigmes de réadaptation, en offrant une méthode plus nuancée, engageante et efficace pour le rétablissement des patients.

Le manuscrit actuel présente la création, la conception et les aspects technologiques du matériel et du logiciel du contrôle BCI en temps réel des avatars 3D basé sur la RV, en mettant en évidence ses résultats innovants qui soutiennent son intégration dans les paramètres de réadaptation motrice. Le système proposé utilisera l’électroencéphalographie (EEG) pour capturer les signaux d’imagerie motrice générés par le sujet, qui seront ensuite utilisés pour contrôler les mouvements et les actions de l’avatar en temps réel. L’approche actuelle combinera les capacités avancées de la technologie VR avec la précision de l’EEG dans la reconnaissance et l’interprétation de l’activité cérébrale liée à des mouvements imaginaires, dans le but de créer une interface plus attrayante et plus efficace permettant aux utilisateurs d’interagir avec les environnements numériques grâce à la puissance de leurs pensées.

Protocol

L’étude actuelle vise à étudier la faisabilité de contrôler un avatar 3D en temps réel dans un environnement VR à l’aide de signaux MI enregistrés via EEG. L’étude se concentre sur l’amélioration de l’immersion et du sentiment de propriété corporelle en personnalisant l’avatar pour qu’il ressemble de près au sujet. Le protocole a reçu l’approbation du Conseil d’examen du Vellore Institute of Technology. Les participants ont fourni un consentement éclairé écrit après avoir examiné l’objectif de l’étude, les procédures et les risques potentiels.

1. Dispositif expérimental

REMARQUE : Assurez-vous que le système intègre tous les composants tels que décrits dans le schéma de la configuration expérimentale à la figure 1 (voir le tableau des matériaux pour l’équipement utilisé).

1. Développement d’avatars 3D
   1. Modélisation de l’avatar
      1. La veille de la collecte des données, recueillez plusieurs photographies faciales sous différents angles et des mesures corporelles précises de chaque participant.
      2. Cliquez sur Logiciel de modélisation pour l’ouvrir. Immédiatement après l’ouverture, trouvez le curseur Sexe. Ajustez ce curseur pour qu’il corresponde au sexe du modèle que vous souhaitez créer.
      3. Accédez à l’onglet Modélisation en haut de l’écran et cliquez sur l’onglet pour accéder aux options de personnalisation du corps.
      4. Utilisez les curseurs sous différentes sections, comme le torse, les bras, les jambes, etc., pour modéliser le corps. Concentrez-vous sur les mesures de base suivantes : taille, poitrine/buste, taille, hanches, longueur de la jambe et longueur du bras.
      5. Cliquez sur l’onglet Pose/Animate et sélectionnez le squelette par défaut pour les animations de base. Allez dans le menu Fichiers en haut, sélectionnez Exporter, puis choisissez le. Format MHX2 pour la compatibilité avec le logiciel d’animation. Assurez-vous de sélectionner l’option Exporter avec Rig pour inclure le squelette. Choisissez un dossier de destination, nommez le fichier, puis cliquez sur Exporter.
      6. Ouvrez le logiciel d’animation. Allez dans Fichier > Importer et sélectionnez .mhx2 ou le format à prévoir. Accédez au fichier enregistré, sélectionnez-le et importez-le dans le logiciel.
      7. Allez dans le menu Édition, sélectionnez Préférences > Add-ons et assurez-vous que le plugin approprié pour créer des visages est activé.
      8. Dans la fenêtre d’affichage 3D, passez au préréglage de mise en page fourni par le plugin ou accédez au panneau du plugin, généralement situé sur l’étagère à outils sur le côté gauche.
      9. Cliquez sur Créer une nouvelle tête dans le panneau du plugin pour démarrer le modèle de tête. Utilisez le bouton Ajouter une photo pour importer des photos du participant. Utilisez des profils avant et latéraux pour une modélisation précise.
      10. Suivez les instructions pour aligner les points sur les photos avec les points correspondants sur le modèle 3D. Le plugin ajustera ensuite le modèle de tête pour qu’il corresponde aux caractéristiques du participant. Une fois satisfait de la ressemblance, finalisez le modèle de tête.
      11. Positionnez manuellement le modèle de tête pour l’aligner avec le col du modèle de corps. Ajustez l’échelle et la rotation de la tête pour un ajustement sans faille.
      12. Utilisez l’outil Accrochage (Maj+Tab) pour aligner précisément les sommets du cou sur la tête avec ceux du corps.
      13. Une fois alignés, joignez la tête et le corps en sélectionnant les deux maillages, en appuyant sur Ctrl+J pour les joindre en un seul objet.
      14. Importez ou modélisez une paire de bongos et placez-les devant le modèle à une hauteur appropriée.
   2. Animation de l’avatar
      1. Passez en mode Pose pour le modèle truqué. À l’image 1, sélectionnez toutes les structures et insérez une image-clé (à l’aide de la touche I) pour que LocRotScale enregistre leurs positions initiales.
      2. Avancez la chronologie jusqu’à l’image 30 pour placer la main gauche pour frapper le bongo.
      3. Déplacez et tournez l’armature de la main gauche pour simuler la frappe du bongo. Insérez une image clé pour ces structures. Répétez ce processus pour ramener l’aiguille à sa position de départ à l’image 60, en insérant une autre image clé pour terminer l’action.
      4. Déplacez la chronologie jusqu’à l’image 90, où la main droite commence son action. De la même manière que pour la main gauche, ajustez la position et la rotation de la main droite pour simuler la frappe de l’autre bongo et insérez une image clé.
      5. Remettez la main dans sa position de départ et insérez une image clé pour terminer le mouvement à l’image 150.
      6. Parcourez la chronologie pour revoir l’animation. Ajustez au besoin pour un mouvement plus fluide ou un meilleur timing entre les coups de bongo. Enregistrez le fichier.
2. Configuration de l’équipement
   1. Assemblez le système d’acquisition de données EEG à 16 canaux en fixant le module Daisy avec 8 canaux EEG sur le dessus de la carte avec 8 canaux EEG.
   2. Connectez l’électrode de référence via un câble Y-Splitter à la broche de référence inférieure de la Daisy Board et à la broche de référence inférieure de la carte en bas, qui sont toutes deux étiquetées SRB.
   3. Connectez l’électrode de terre à la broche BIAS sur le panneau inférieur.
   4. Connectez les 16 électrodes EEG aux broches inférieures de la carte étiquetées N1P-N8P et aux broches inférieures en guirlande étiquetées N1P-N8P.
   5. Insérez les électrodes sur le capuchon sans gel aux endroits étiquetés en adhérant au système international 10-20 pour le placement des électrodes avec les électrodes étiquetées FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 et T4.
   6. Faites tremper 18 éponges fournies pour les électrodes EEG dans une solution saline avec 5 g de chlorure de sodium mélangés à 200 mL d’eau du robinet pendant 15 min.
   7. Insérez les éponges imbibées sur la face inférieure de chaque électrode pour établir un contact entre le cuir chevelu et l’électrode.
   8. Faites en sorte que les participants s’assoient confortablement dans une pièce calme. Placez le capuchon EEG sans gel sur le cuir chevelu du participant, en vous assurant que le capuchon est correctement aligné pour s’adapter aux oreilles du participant.
   9. Connectez le dongle USB à l’ordinateur portable. Ouvrez l’interface graphique EEG, cliquez sur le système EEG, sous l’option Source de données, sélectionnez Série (à partir du dongle), 16 canaux et AUTO-CONNECT.
   10. Dans l’écran d’acquisition de données, sélectionnez le widget de signal pour vérifier la qualité du signal des électrodes connectées en vérifiant un niveau d’impédance optimal de <10 kΩ à chaque site d’électrode²⁶.
   11. Si l’impédance est supérieure à 10 kΩ, ajoutez quelques gouttes de solution saline à l’éponge sous l’électrode. Après la vérification de l’impédance, fermez l’interface graphique.
   12. Ouvrez le logiciel du serveur d’acquisition, sélectionnez la carte EEG appropriée sous Pilote, puis cliquez sur Connecter > Play pour établir une connexion avec le système EEG.
   13. Préparez le casque VR en le désinfectant avec des lingettes et en le plaçant sur la tête du participant par-dessus le capuchon EEG pour faciliter une interaction immersive tout en capturant les données EEG.
3. Configuration du jeu
   REMARQUE : les instructions suivantes décrivent la configuration de deux scénarios de moteur de jeu à l’aide d’Open Sound Control (OSC) : l’un pour l’entraînement à l’imagerie motrice (feedforward) et l’autre pour le test de l’imagerie motrice (feedback). Le scénario de rétroaction forme les utilisateurs à l’imagerie motrice par le biais d’animations observées déclenchées par des messages OSC. Le scénario de rétroaction teste l’efficacité de l’imagerie motrice en animant des mouvements imaginés par l’utilisateur sur la base des entrées OSC.
   1. Ouvrez le logiciel du moteur de jeu et sélectionnez Projet de formation à l’imagerie motorisée. Activer la prise en charge de la réalité virtuelle : accédez à Modifier les paramètres du projet > > > les paramètres XR, cochez Réalité virtuelle prise en charge et assurez-vous que le casque VR est répertorié sous SDK de réalité virtuelle.
   2. Supprimez la caméra par défaut et faites-la glisser dans la scène à partir du package d’intégration VR.
   3. Placez le fichier d’animation importé dans la scène. Ajustez l’échelle et l’orientation au besoin. Assurez-vous que l’OSCListener GameObject avec des scripts pré-écrits est configuré pour déclencher des animations de modèle pour les mouvements de la main gauche et de la main droite en fonction des messages OSC, en simulant l’action de frappe de bongo pour l’entraînement à l’imagerie motrice.
   4. Ouvrez Fichier > Paramètres de construction dans le logiciel du moteur de jeu. Sélectionnez PC, Mac et Linux autonome, ciblez Windows, puis cliquez sur Générer et exécuter.
   5. Pour le projet de test d’imagerie moteur, effectuez des étapes similaires à celles du projet de formation à l’imagerie motrice. Utilisez l’OSCListener GameObject configuré avec des scripts conçus pour recevoir des signaux OSC indiquant les mouvements de main imaginés du participant, déclenchant les animations correspondantes pour le projet de test.

Figure 1 : configuration VR-BCI. L’ensemble de la configuration VR-BCI montre le participant portant le casque VR et le casque EEG. Les participants ont visualisé l’avatar 3D personnalisé dans l’environnement virtuel et ont contrôlé son action à l’aide de signaux cérébraux transmis à l’ordinateur sans fil. Veuillez cliquer ici pour voir une version agrandie de cette figure.

2. Conception expérimentale

1. Étape de vérification du signal
   1. Ouvrez l’outil logiciel pour concevoir et exécuter des scénarios d’imagerie motorisée, accédez à Fichier et chargez les six scénarios Motor-Imagery-BCI intitulés Vérification du signal, Acquisition, Formation CSP, Formation du classificateur, Test et Matrice de confusion.
   2. Accédez au scénario de vérification du signal. Appliquez un filtre passe-bande entre 1 et 40 Hz avec un ordre de filtre de 4 aux signaux bruts à l’aide de boîtiers design pour un traitement optimisé du signal.
2. Étape de la formation
   1. Guidez et demandez aux participants d’effectuer des tâches d’imagerie motrice, en imaginant des mouvements de la main en réponse à des indices visuels.
   2. Ouvrez le fichier pour l’entraînement à l’imagerie motrice et affichez l’avatar 3D préparé debout au-dessus d’un ensemble de bongos à travers le casque VR.
   3. Accédez au scénario d’acquisition et double-cliquez sur le stimulateur d’imagerie motrice de Graz pour configurer la boîte.
   4. Configurez des essais de 50 à 5 s (repère de 1,25 s et MI-3,75 s) pour les mouvements de la main gauche et de la main droite, en incorporant une période de référence de 20 s suivie d’intervalles de 10 s de repos tous les 10 essais pour éviter la fatigue mentale.
   5. Configurez les essais de la main gauche et de la main droite pour qu’ils soient randomisés et ayez un repère avant l’essai indiquant la main à imaginer.
   6. Connectez un boîtier OSC avec l’adresse IP et le port pour transmettre le signal de la main à imaginer au programme de moteur de jeu d’entraînement à l’imagerie motrice.
   7. Demandez aux participants d’imaginer exécuter le mouvement de leur main avec l’avatar 3D en suivant le même rythme que l’avatar lorsqu’il frappe le bongo avec la main correspondante, en suivant un signal de texte indiquant quelle main doit être imaginée.
3. Formation sur les PSC et les GMA
   1. Après l’acquisition, exécutez le scénario d’entraînement CSP pour analyser les données EEG de l’étape d’acquisition et calculer des modèles spatiaux communs (CSP), en créant des filtres pour distinguer les images de gauche et de droite.
   2. Après l’entraînement CSP, accédez au scénario d’entraînement du classificateur et exécutez-le pour utiliser l’analyse discriminante linéaire (LDA) à l’aide des filtres CSP pour une classification efficace des tâches, préparant ainsi le système pour le contrôle de l’avatar en temps réel.
4. Étape de test
   1. Accédez au scénario de test pour que les participants puissent contrôler leurs avatars 3D en temps réel à l’aide de la technologie d’interface cerveau-ordinateur (BCI).
   2. Chargez dans les cases appropriées les classificateurs entraînés lors du scénario précédent sur les données EEG capturées pendant que les participants imaginaient des mouvements de la main pour interpréter ces actions imaginées en temps réel.
   3. Assurez-vous que le système EEG et la configuration VR sont opérationnels et correctement configurés conformément aux paramètres de l’étape de formation.
   4. Expliquez aux participants la procédure de test, en insistant sur la nécessité d’imaginer clairement les mouvements de la main (frappe de bongo de la main gauche ou de la main droite) tels qu’ils sont suggérés par des indices textuels.
   5. Semblable à l’étape de formation, effectuez 20 essais pour chaque participant, divisés à parts égales entre l’imagination des mouvements de la main gauche et de la main droite et randomisés.
   6. Connectez et configurez une boîte OSC pour transmettre les informations de repère à afficher sous forme de texte indiquant quelle main être imagée dans le programme du moteur de jeu.
   7. Connectez-vous à une autre boîte OSC pour transmettre la valeur prédite des mouvements de la main gauche et de la main droite pour que le programme du moteur de jeu joue l’animation correspondante en fonction de la main imaginée par le participant.
   8. Exécutez le scénario de test. Exécutez le programme de moteur de jeu Motor Imagery Testing.

3. Collecte et analyse des données

1. Enregistrez en continu les données EEG et les sorties du classificateur pendant les phases d’acquisition et de test de l’expérience, avec des données échantillonnées à 125 Hz.
2. Accédez au scénario Matrice de confusion et chargez le fichier EEG acquis dans la zone intitulée Lecteur de flux générique pour chaque participant et pour les étapes d’acquisition et de formation.
3. Exécutez le scénario pour obtenir la matrice de confusion afin d’évaluer la précision avec laquelle le système BCI interprète les signaux d’imagerie motrice.
4. Recueillez les commentaires des participants concernant leur expérience de la facilité d’utilisation, des capacités de contrôle, du niveau d’immersion et du confort de l’avatar lorsqu’il porte le casque EEG et le casque VR.

Results

Les résultats présentés proviennent de 5 personnes qui ont suivi le protocole décrit ci-dessus. Au total, 5 adultes en bonne santé (3 femmes) âgés de 21 à 38 ans ont participé à l’étude.

La figure 2 montre les performances de classification individuelles de chaque participant dans des conditions d’entraînement et de test d’imagerie motrice. Une matrice de confusion moyenne pour tous les sujets a été calculée afin d’évaluer la précision du classificateur à distinguer les signaux MI gauche et droit pendant les sessions de formation et de test (voir Figure 3).

Les poids CSP calculés pour l’imagerie motrice gauche et droite pendant la séance d’entraînement ont été projetés sous forme de modèle topographique pour un participant représentatif de la figure 4A. De plus, une analyse temps-fréquence a été réalisée pour le même participant sur les données EEG recueillies à partir de l’électrode C4, qui était positionnée sur la zone sensorimotrice controlatérale droite correspondant à la main gauche, et de l’électrode C3, située sur la zone sensorimotrice gauche de la main droite. Les tracés temps-fréquence permettant d’identifier les perturbations spectrales liées aux événements (ERSP), révélant comment l’amplitude des fréquences allant de 8 à 30 Hz change dynamiquement au cours du temps au cours d’une époque, sont illustrés à la figure 4B sous la session d’entraînement à l’imagerie motrice. En se concentrant sur les bandes alpha (8-12 Hz) et bêta (13-30 Hz), les ERSP de chaque époque ont été normalisés en les divisant par leurs spectres de base, et un ERSP moyen a été calculé à partir de ces valeurs normalisées.

De plus, les commentaires des participants ont été largement positifs quant au confort et à la facilité d’utilisation du casque EEG et du casque VR. Les participants étaient particulièrement enthousiastes à propos du contrôle en temps réel de leurs avatars 3D. Cependant, les participants ont estimé que l’action de frappe du bongo pourrait être accompagnée d’un retour sonore pour une meilleure immersion.

Figure 2 : Pourcentages de précision pour chaque participant pendant les séances d’entraînement et de test d’imagerie motrice. Le taux de vrais positifs (TP) indique la proportion de signaux d’imagerie motrice (MI) que le modèle de classificateur a correctement identifiés comme des signaux MI. Le taux de faux positifs (FP) indique la fréquence à laquelle les signaux MI gauches ont été classés par erreur comme des signaux MI droits. Le taux de faux négatifs (FN) révèle la proportion de signaux MI gauches réels que le modèle n’a pas réussi à détecter. Enfin, le taux de vrais négatifs (TN) indique la proportion de signaux MI droits que le modèle a reconnus avec précision comme tels. S1, S2, S3, S4 et S5 désignent les cinq participants. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 3 : Matrices de confusion moyennes des performances de classification pendant les sessions d’entraînement et de test d’imagerie automobile. La précision moyenne globale reflète la capacité du modèle à classer correctement les signaux MI gauche et droit. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 4 : Filtres CSP, motifs et tracés temps-fréquence pour les deux mains pendant une séance d’entraînement à l’imagerie motrice pour un participant représentatif. (A) La figure présente des filtres CSP pour S1 qui différencient au maximum les deux classes (gauche et droite) en fonction de la variance. (B) Le graphique temps-fréquence pour S1. Les régions bleues indiquent la désynchronisation liée à l’événement. À 0 ms, le repère permettant d’imaginer la main gauche ou la main droite a été affiché pendant une durée de 1250 ms. Après le signal, le participant a imaginé le mouvement de frappe du bongo avec la main correspondante. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Discussion

L’application de l’EM en conjonction avec la technologie VR offre une voie prometteuse pour la réadaptation en exploitant les mécanismes naturels du cerveau pour la planification et l’exécution motrices. La capacité de l’IM à induire une désynchronisation liée à un événement dans des bandes de fréquences cérébrales spécifiques, reflétant l’activité neuronale du mouvement physique ^2,3,4, fournit un cadre robuste pour engager et renforcer les réseaux neuronaux impliqués dans le contrôle moteur⁸. Ce processus est encore renforcé par la qualité immersive de la RV, qui non seulement amplifie le sentiment de présence et d’appropriation du corps, mais facilite également la visualisation des mouvements, enrichissant ainsi l’expérience MI¹⁶.

Le développement d’avatars 3D personnalisés qui ressemblent au plus près des sujets qu’ils représentent marque une innovation notable dans ce domaine 13,14,15. L’approche est conceptuellement alignée sur les travaux de Skola et ^al.27 sur l’entraînement co-adaptatif MI-BCI à l’aide de tâches gamifiées dans un cadre de RV. Cependant, ce protocole introduit une différenciation significative en utilisant un avatar 3D complet, reflétant étroitement l’apparence du participant, par opposition à la perspective de point de vue centrée sur les mains employée par Skola et al. En fournissant une représentation visuelle des mouvements imaginés de l’utilisateur en temps réel, ces avatars approfondissent l’immersion et renforcent le lien entre les mouvements imaginés et réels¹⁸. L’approche détaillée dans ce manuscrit devrait favoriser des modèles ERD plus prononcés, conduisant à une adaptation et à une récupération neuronales plus efficaces.

Cependant, la transition des méthodologies BCI hors ligne vers le contrôle en temps réel des avatars présente des défis, notamment pour garantir la précision et la réactivité du système aux mouvements imaginés par l’utilisateur. Le système assure le calcul en temps réel grâce à une configuration impliquant le système d’acquisition de données EEG connecté à un ordinateur portable, qui s’interface ensuite avec un casque VR Oculus Rift-S. Cette configuration permet l’intégration transparente de la capture de données EEG avec l’immersion VR, facilitée par le serveur d’acquisition et le moteur de jeu pour un retour visuel et une interaction via un avatar 3D développé sur mesure.

La latence globale du système peut être efficacement minimisée dans un scénario d’intégration BCI-VR en exploitant un ordinateur portable de jeu équipé d’une carte graphique haut de gamme et en utilisant des messages légers sur l’OSC pour les indices et les valeurs de prédiction de la main. L’utilisation d’un ordinateur portable de jeu garantit un traitement rapide des données EEG acquises via la carte EEG, avec une numérisation initiale et une latence de transmission bien inférieures à 5 ms. On peut s’attendre à ce que le traitement et la classification ultérieurs du signal contribuent à une latence supplémentaire d’environ 20 à 40 ms, en tenant compte à la fois du filtrage du signal et de l’exécution d’algorithmes tels que CSP pour l’extraction de caractéristiques. La communication entre le concepteur de scénario et le moteur de jeu, facilitée par l’OSC, qui transmet des repères numériques simples pour les mouvements de la main gauche et de la main droite, est conçue pour une surcharge minimale, n’ajoutant probablement pas plus de 5 à 10 ms de latence. Le traitement de ces commandes par le moteur de jeu, grâce à l’efficacité de calcul de la carte graphique, serait rapide, contribuant à un délai supplémentaire inférieur à 10 ms avant de restituer le retour visuel dans l’environnement VR fourni par le casque VR, qui vise à maintenir la latence en dessous de 20 ms. Collectivement, ces composants travaillent en synergie pour maintenir la latence totale du système dans une plage souhaitable de 45 à 75 ms, assurant une réactivité en temps réel cruciale pour les expériences VR immersives et les applications BCI efficaces.

De plus, les participants ont reçu suffisamment d’essais pratiques sous forme de module de tutoriel pour se familiariser avec la configuration VR et le rythme de l’avatar pendant la phase de formation et utiliser leurs pensées pour contrôler l’avatar 3D pendant la phase de test. L’accent mis sur la vérification de la qualité du signal, l’utilisation de CSP et de LDA pour la classification des tâches et la phase de test détaillée sont essentiels pour le succès du contrôle d’avatar en temps réel.

Les résultats de cette étude devraient contribuer au domaine en démontrant la faisabilité et l’efficacité de l’utilisation du contrôle BCI en temps réel d’avatars 3D personnalisés pour la réhabilitation. En comparant la précision de la détection de l’intention motrice entre la phase d’entraînement par imagerie motrice et les tests en temps réel, l’étude fournira des informations précieuses sur le potentiel de cette technologie pour améliorer les résultats de la réadaptation. De plus, les commentaires des participants sur la facilité de contrôle et le niveau d’immersion ressenti éclaireront les développements futurs des technologies BCI et VR, visant à créer des interfaces de réadaptation plus attrayantes et efficaces.

Les progrès des technologies BCI et VR ouvrent de nouvelles possibilités pour des protocoles de réadaptation plus personnalisés, engageants et efficaces. Les recherches futures devraient se concentrer sur l’amélioration de la technologie de contrôle en temps réel des avatars, l’exploration de l’utilisation d’algorithmes d’apprentissage automatique plus sophistiqués pour la classification des signaux et l’élargissement de l’application de cette approche à un plus large éventail de conditions neurologiques. De plus, des études longitudinales sont nécessaires pour évaluer l’impact à long terme de cette méthode de réadaptation sur la récupération fonctionnelle et la qualité de vie des personnes atteintes de troubles neurologiques.

Bien que l’intégration de l’EM à la technologie VR dans la réadaptation soit très prometteuse, plusieurs limites méritent qu’on s’y attarde. Il existe une gamme significative dans la capacité des individus à générer des signaux clairs de l’IM et leurs réponses neuronales aux interventions de l’IM et de la RV. Cette variabilité signifie que l’efficacité du processus de réadaptation peut varier considérablement d’un patient à l’autre, ce qui rend la personnalisation de la thérapie pour s’adapter aux différences individuelles un défi de taille. De plus, obtenir une précision et une réactivité élevées dans le contrôle en temps réel des avatars est une entreprise complexe. Des retards ou des erreurs dans l’interprétation des signaux de l’IM peuvent interrompre l’expérience immersive, ce qui peut réduire l’efficacité du processus de réadaptation. Bien que la technologie VR puisse améliorer l’immersion et l’engagement, elle peut également entraîner une gêne ou un mal des transports chez certains utilisateurs, affectant leur capacité à s’engager dans de longues sessions et, par conséquent, le succès global de la thérapie.

En conclusion, l’intégration de la BCI et de la VR, illustrée par le contrôle en temps réel d’avatars 3D personnalisés à l’aide de signaux MI, représente une approche de pointe en matière de réadaptation neurologique. Le protocole actuel souligne non seulement la faisabilité technique d’une telle intégration, mais ouvre également la voie à une nouvelle ère de réadaptation où la technologie et les neurosciences convergent pour libérer le plein potentiel de la capacité de récupération et d’adaptation du cerveau humain.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Ordinateur portable Alienware Ordinateur		portable de jeu haut de gamme
Casque VR Oculus Rift-S Casque VR
OpenBCI Cyton Daisy	Système EEG	OpenBCI
Capuchon sans gel OpenBCI OpenBCI		Capuchon sans gel pour placer les électrodes EEG sur le cuir chevelu du participant