Summary
Het protocol toont een prototype van het multimodale gegevensverzamelingsplatform voor thuis dat onderzoek ondersteunt bij het optimaliseren van adaptieve diepe hersenstimulatie (aDBS) voor mensen met neurologische bewegingsstoornissen. We presenteren ook de belangrijkste bevindingen van het meer dan een jaar inzetten van het platform in het huis van een persoon met de ziekte van Parkinson.
Abstract
Adaptieve diepe hersenstimulatie (aDBS) is veelbelovend voor het verbeteren van de behandeling van neurologische aandoeningen zoals de ziekte van Parkinson (PD). aDBS maakt gebruik van symptoomgerelateerde biomarkers om stimulatieparameters in realtime aan te passen om de symptomen nauwkeuriger aan te pakken. Om deze dynamische aanpassingen mogelijk te maken, moeten voor elke individuele patiënt parameters voor een aDBS-algoritme worden bepaald. Dit vereist tijdrovende handmatige afstemming door klinische onderzoekers, waardoor het moeilijk is om een optimale configuratie te vinden voor een enkele patiënt of om op te schalen naar veel patiënten. Bovendien blijft de effectiviteit op lange termijn van aDBS-algoritmen die in de kliniek worden geconfigureerd terwijl de patiënt thuis is, een open vraag. Om deze therapie op grote schaal te implementeren, is een methodologie nodig om automatisch aDBS-algoritmeparameters te configureren en tegelijkertijd de therapieresultaten op afstand te monitoren. In dit artikel delen we een ontwerp voor een platform voor gegevensverzameling thuis om het veld te helpen beide problemen aan te pakken. Het platform bestaat uit een geïntegreerd hardware- en software-ecosysteem dat open-source is en het mogelijk maakt om thuis neurale, traagheids- en multicamera-videogegevens te verzamelen. Om de privacy van patiëntidentificeerbare gegevens te waarborgen, versleutelt en draagt het platform gegevens over via een virtueel particulier netwerk. De methoden omvatten het op elkaar afstemmen van datastromen in de tijd en het extraheren van pose-schattingen uit video-opnamen. Om het gebruik van dit systeem te demonstreren, hebben we dit platform ingezet bij een persoon met PD thuis en gegevens verzameld tijdens zelfgeleide klinische taken en perioden van vrij gedrag in de loop van 1,5 jaar. Gegevens werden geregistreerd bij subtherapeutische, therapeutische en supratherapeutische stimulatieamplitudes om de ernst van motorische symptomen onder verschillende therapeutische omstandigheden te evalueren. Deze op de tijd afgestemde gegevens tonen aan dat het platform in staat is om thuis multimodale gegevensverzameling te synchroniseren voor therapeutische evaluatie. Deze systeemarchitectuur kan worden gebruikt om geautomatiseerd aDBS-onderzoek te ondersteunen, om nieuwe datasets te verzamelen en om de langetermijneffecten van DBS-therapie buiten de kliniek te bestuderen voor mensen die lijden aan neurologische aandoeningen.
Introduction
Diepe hersenstimulatie (DBS) behandelt neurologische aandoeningen zoals de ziekte van Parkinson (PD) door elektrische stroom rechtstreeks aan specifieke delen van de hersenen te leveren. Er zijn wereldwijd naar schatting 8,5 miljoen gevallen van PD en DBS is een cruciale therapie gebleken wanneer medicatie onvoldoende is om de symptomen onder controle te houden 1,2. De effectiviteit van DBS kan echter worden beperkt door bijwerkingen die soms optreden bij stimulatie die conventioneel wordt toegediend met een vaste amplitude, frequentie enpulsbreedte3. Deze open-loop implementatie reageert niet op fluctuaties in de symptoomtoestand, wat resulteert in stimulatie-instellingen die niet goed zijn afgestemd op de veranderende behoeften van de patiënt. DBS wordt verder gehinderd door het tijdrovende proces van het afstemmen van stimulatieparameters, dat momenteel handmatig wordt uitgevoerd door clinici voor elke individuele patiënt.
Adaptieve DBS (aDBS) is een closed-loop benadering waarvan is aangetoond dat het een effectieve volgende iteratie van DBS is door stimulatieparameters in realtime aan te passen wanneer symptoomgerelateerde biomarkers worden gedetecteerd 3,4,5. Studies hebben aangetoond dat bèta-oscillaties (10-30 Hz) in de subthalamische kern (STN) consistent optreden tijdens bradykinesie, een vertraging van de beweging die kenmerkend is voor PD 6,7. Evenzo is bekend dat oscillaties met een hoog gamma (50-120 Hz) in de cortex optreden tijdens perioden van dyskinesie, een overmatige en onwillekeurige beweging die ook vaak wordt gezien bij PD8. Recent werk heeft met succes aDBS gedurende langere perioden buiten de kliniek toegediend5, maar de effectiviteit op lange termijn van aDBS-algoritmen die in de kliniek zijn geconfigureerd terwijl een patiënt thuis is, is niet vastgesteld.
Systemen op afstand zijn nodig om de in de tijd variërende effectiviteit van deze dynamische algoritmen vast te leggen bij het onderdrukken van symptomen die zich voordoen tijdens het dagelijks leven. Hoewel de dynamische stimulatiebenadering van aDBS mogelijk een nauwkeurigere behandeling mogelijk maakt met minder bijwerkingen3,9, lijdt aDBS nog steeds onder een hoge last voor clinici om handmatig stimulatieparameters voor elke patiënt te identificeren. Naast de toch al grote set parameters die tijdens conventionele DBS moeten worden geprogrammeerd, introduceren aDBS-algoritmen veel nieuwe parameters die ook zorgvuldig moeten worden aangepast. Deze combinatie van stimulatie- en algoritmeparameters levert een enorme parameterruimte op met een onbeheersbaar aantal mogelijke combinaties, waardoor aDBS niet kan worden opgeschaald naar veel patiënten10. Zelfs in onderzoeksomgevingen maakt de extra tijd die nodig is om aDBS-systemen te configureren en te beoordelen het moeilijk om algoritmen alleen in de kliniek adequaat te optimaliseren, en is het nodig om parameters op afstand bij te werken. Om van aDBS een behandeling te maken die schaalbaar is, moeten stimulatie en het afstemmen van algoritmeparameters worden geautomatiseerd. Bovendien moeten de resultaten van de therapie worden geanalyseerd in herhaalde onderzoeken om aDBS vast te stellen als een levensvatbare langetermijnbehandeling buiten de kliniek. Er is behoefte aan een platform dat gegevens kan verzamelen voor evaluatie op afstand van de effectiviteit van therapie, en om op afstand updates van aDBS-algoritmeparameters te implementeren.
Het doel van dit protocol is om een herbruikbaar ontwerp te bieden voor een multimodaal platform voor gegevensverzameling thuis om de effectiviteit van aDBS buiten de kliniek te verbeteren en om deze behandeling op te schalen naar een groter aantal individuen. Voor zover wij weten, is dit het eerste ontwerp van een platform voor gegevensverzameling dat op afstand therapeutische resultaten evalueert met behulp van videocamera's voor thuis, draagbare sensoren, chronische neurale signaalopname en patiëntgestuurde feedback om aDBS-systemen te evalueren tijdens gecontroleerde taken en naturalistisch gedrag.
Het platform is een ecosysteem van hardware- en softwarecomponenten die zijn gebouwd op eerder ontwikkelde systemen5. Het is volledig te onderhouden via toegang op afstand na een eerste installatie van minimale hardware om multimodale gegevensverzameling van een persoon in het comfort van zijn huis mogelijk te maken. Een belangrijk onderdeel is het implanteerbare neurostimulatiesysteem (INS)11 dat neurale activiteit detecteert en stimulatie levert aan de STN, en de versnelling van borstimplantaten registreert. Voor het implantaat dat bij de eerste inzet wordt gebruikt, wordt neurale activiteit geregistreerd van bilaterale afleidingen die in de STN zijn geïmplanteerd en van elektrocorticografie-elektroden die over de motorische cortex zijn geïmplanteerd. Een video-opnamesysteem helpt clinici de ernst van de symptomen en de effectiviteit van de therapie te controleren, inclusief een grafische gebruikersinterface (GUI) om lopende opnames eenvoudig te kunnen annuleren om de privacy van de patiënt te beschermen. Video's worden verwerkt om kinematische positietrajecten in tweedimensionaal (2D) of driedimensionaal (3D) te extraheren, en slimme horloges worden om beide polsen gedragen om hoeksnelheids- en versnellingsinformatie vast te leggen. Belangrijk is dat alle gegevens worden versleuteld voordat ze worden overgebracht naar langdurige cloudopslag, en dat de computer met patiëntidentificeerbare video's alleen toegankelijk is via een virtueel particulier netwerk (VPN). Het systeem omvat twee benaderingen voor post-hoc tijdafstemming van alle gegevensstromen, en gegevens worden gebruikt om de bewegingskwaliteit van de patiënt op afstand te bewaken en om symptoomgerelateerde biomarkers te identificeren voor het verfijnen van aDBS-algoritmen. Het videogedeelte van dit werk toont het gegevensverzamelingsproces en animaties van kinematische trajecten die zijn geëxtraheerd uit verzamelde video's.
Bij de ontwikkeling van het protocol zijn een aantal ontwerpoverwegingen leidend geweest:
Zorgen voor gegevensbeveiliging en privacy van patiënten: Het verzamelen van identificeerbare patiëntgegevens vereist uiterste zorgvuldigheid bij verzending en opslag om de Health Insurance Portability and Accountability Act (HIPAA) te zijn12,13 de privacy van de patiënt in zijn eigen huis te respecteren. In dit project werd dit bereikt door het opzetten van een aangepaste VPN om de privacy van al het gevoelige verkeer tussen systeemcomputers te waarborgen.
Veiligheidsgrenzen van de stimulatieparameter: Het is van cruciaal belang om ervoor te zorgen dat de patiënt veilig blijft tijdens het uitproberen van aDBS-algoritmen die onbedoelde effecten kunnen hebben. De INS van de patiënt moet door een arts worden geconfigureerd om veilige grenzen te hebben voor stimulatieparameters die geen onveilige effecten van overstimulatie of onderstimulatie mogelijk maken. Met het INS-systeem11 Deze functie wordt in dit onderzoek gebruikt en wordt mogelijk gemaakt door een programmeur van een arts.
Zorgen voor het veto van de patiënt: Zelfs binnen veilige parameterlimieten kan de dagelijkse variabiliteit van symptomen en stimulatiereacties leiden tot onaangename situaties voor de patiënt waarbij ze een hekel hebben aan een algoritme dat wordt getest en willen terugkeren naar normale klinische open-loop DBS. Het geselecteerde INS-systeem bevat een patiënttelemetriemodule (PTM) waarmee de patiënt zijn stimulatiegroep en stimulatieamplitude in mA handmatig kan wijzigen. Er is ook een INS-gekoppelde onderzoeksapplicatie die wordt gebruikt voor configuratie op afstand van de INS voorafgaand aan gegevensverzameling14, wat de patiënt ook in staat stelt om aDBS-onderzoeken af te breken en zijn therapie onder controle te houden.
Complex en natuurlijk gedrag vastleggen: Videogegevens werden in het platform opgenomen om clinici in staat te stellen de effectiviteit van de therapie op afstand te bewaken en kinematische trajecten uit pose-schattingen te extraheren voor gebruik in onderzoeksanalyses15. Hoewel draagbare sensoren minder opdringerig zijn, is het moeilijk om het volledige dynamische bewegingsbereik van een heel lichaam vast te leggen met alleen draagbare systemen. Video's maken het mogelijk om tegelijkertijd het volledige bewegingsbereik van de patiënt en zijn symptomen in de loop van de tijd vast te leggen.
Bruikbaarheid van het systeem voor patiënten: Voor het verzamelen van multimodale gegevens thuis moeten meerdere apparaten worden geïnstalleerd en gebruikt in het huis van een patiënt, wat voor patiënten lastig kan worden om te navigeren. Om het systeem gebruiksvriendelijk te maken en tegelijkertijd de controle over de patiënt te garanderen, moeten alleen de apparaten die zijn geïmplanteerd of fysiek aan de patiënt zijn bevestigd (in dit geval inclusief het INS-systeem en slimme horloges) handmatig worden ingeschakeld voordat een opname wordt gestart. Voor apparaten die los staan van de patiënt (in dit geval gaat het om gegevens die zijn opgenomen met videocamera's), worden de opnames automatisch gestart en beëindigd zonder dat er interactie van de patiënt nodig is. Bij het ontwerp van de GUI is ervoor gezorgd dat het aantal knoppen tot een minimum is beperkt en dat diepe menubomen zijn vermeden, zodat interacties eenvoudig zijn. Nadat alle apparaten zijn geïnstalleerd, liet een onderzoekscoördinator de patiënt zien hoe hij met alle apparaten kon communiceren via patiëntgerichte GUI's die deel uitmaken van elk apparaat, zoals hoe opnames op elk apparaat kunnen worden beëindigd en hoe ze hun medicatiegeschiedenis en symptoomrapporten kunnen invoeren.
Transparantie van gegevensverzameling: Het is absoluut noodzakelijk om duidelijk aan te geven wanneer camera's zijn ingeschakeld, zodat mensen weten wanneer ze worden opgenomen en de opname kunnen onderbreken als ze een moment van privacy nodig hebben. Om dit te bereiken, wordt een camerasysteemtoepassing gebruikt om video-opnames te besturen met een patiëntgerichte GUI. De GUI wordt automatisch geopend wanneer de applicatie wordt gestart en geeft de tijd en datum van de volgende geplande opname weer. Wanneer een opname aan de gang is, wordt in een bericht aangegeven wanneer de opname volgens de planning moet worden beëindigd. In het midden van de GUI wordt een grote afbeelding van een rood licht weergegeven. Het beeld laat zien dat het licht fel verlicht is wanneer er een opname aan de gang is, en verandert in een niet-verlicht beeld wanneer de opnamen zijn uitgeschakeld.
Het protocol beschrijft methoden voor het ontwerpen, bouwen en implementeren van een platform voor gegevensverzameling thuis, voor het controleren van de kwaliteit van de verzamelde gegevens op volledigheid en robuustheid, en voor het nabewerken van gegevens voor gebruik in toekomstig onderzoek.
Figuur 1: Gegevensstroom. Gegevens voor elke modaliteit worden onafhankelijk van de woonplaats van de patiënt verzameld voordat ze worden verwerkt en samengevoegd tot één eindpunt voor externe opslag. De gegevens voor elke modaliteit worden automatisch verzonden naar een eindpunt voor externe opslag. Met de hulp van een van de teamleden kan het vervolgens worden opgehaald, gecontroleerd op geldigheid, tijd afgestemd op verschillende modaliteiten en worden onderworpen aan meer modaliteitsspecifieke voorbewerking. De gecompileerde dataset wordt vervolgens geüpload naar een extern opslageindpunt dat veilig toegankelijk is voor alle teamleden voor voortdurende analyse. Alle machines met gegevenstoegang, vooral voor gevoelige gegevens zoals onbewerkte video, zijn ingesloten in een VPN die ervoor zorgt dat alle gegevens veilig worden overgedragen en opgeslagen gegevens altijd worden versleuteld. Klik hier om een grotere versie van deze figuur te bekijken.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Patiënten worden ingeschreven via een grotere IRB- en IDE-goedgekeurde studie naar de aDBS aan de Universiteit van Californië, San Francisco, protocol # G1800975. De patiënt die aan dit onderzoek deelnam, gaf bovendien specifiek voor dit onderzoek geïnformeerde toestemming.
1. Systeemcomponenten voor thuis
- Centrale server en VPN
- Schaf een pc aan met een op Linux gebaseerd besturingssysteem (OS) dat speciaal is bedoeld voor het bedienen van een VPN. Plaats de machine in een beveiligde ruimte. Schijf versleutelt de machine om de gegevensbeveiliging te garanderen.
- Configureer de VPN-server zo dat deze openbaar toegankelijk is op ten minste één poort.
OPMERKING: In dit geval werd dit bereikt door samen te werken met de IT-afdeling om de server een extern gericht statisch IP-adres en een aangepaste URL te geven door de DNS-hostingopties van de universiteit. - Voor de serverinstallatie voert u de volgende stappen eenmaal uit op de pc die is geselecteerd voor het aanbieden van de VPN.
- Firewallconfiguratie: Voer de volgende opdrachten uit in de pc-terminal om een ongecompliceerde firewall te installeren en te configureren:
sudo apt installeren ufw
sudo ufw toestaan ssh
sudo ufw toestaan/udp
sudo ufw inschakelen - Server VPN-installatie: Installeer het open-source WireGuard VPN-protocol16 op de pc en navigeer naar de installatiemap. Voer in de pc-terminal umask 007 uit om de toegangsregels voor directory's bij te werken.
- Sleutelgeneratie: Voer in de pc-terminal uit
WG Genkey | T-stuk PrivateKey | WG Pubkey > PublicKey
Dit genereert een openbaar/privé sleutelpaar voor de VPN-server. Deze openbare sleutel wordt gedeeld met elke client-pc die verbinding maakt met de VPN. - VPN-configuratie: Voer in de pc-terminal de druk
.conf uit om een configuratiebestand te maken, waarbij de bestandsnaam moet overeenkomen met de naam van de interface. Plak de volgende serverregels in dit bestand:
[Interface]
PrivateKey =
Adres = ##.#.#.#/ ##
PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
Luisterpoort = #####
[Peer]
PublicKey =
AllowedIP's = ##.#.#.#./ ## - De VPN activeren: Start de VPN door wg-quick up
in de terminal in te voeren. Om ervoor te zorgen dat het VPN-protocol automatisch wordt gestart wanneer de pc opnieuw wordt opgestart, voert u het volgende uit in de terminal:
SystemCTL inschakelen WG-quick@
- Firewallconfiguratie: Voer de volgende opdrachten uit in de pc-terminal om een ongecompliceerde firewall te installeren en te configureren:
- Voor de installatie van de client voert u de volgende stappen uit voor elke nieuwe machine die toegang tot de VPN nodig heeft.
- Client-VPN-installatie: Installeer het VPN-protocol volgens de OS-specifieke instructies op de WireGuard16-downloadpagina .
- Een client toevoegen aan de VPN: Neem de openbare sleutel uit het configuratiebestand dat tijdens de installatie is gegenereerd. Plak deze sleutel in het peer-gedeelte van het configuratiebestand van de server.
- De VPN activeren: Start de VPN volgens de OS-specifieke instructies op de WireGuard16 downloadpagina.
- Opslag in de cloud
- Selecteer een cloudopslaglocatie om alle opgenomen gegevensstromen langdurig op één plek op te slaan. Hier werd een op Amazon webservice gebaseerde cloudopslagsite gebruikt die compatibel was met het geselecteerde protocol voor gegevensoverdracht.
- Implanteerbaar neuromodulatiesysteem
- Selecteer volgens de IRB- en IDE-richtlijnen een implanteerbaar neuromodulatiesysteem (INS)11 waarmee patiënten hun stimulatie-instellingen handmatig kunnen wijzigen.
- Schaf een tablet-pc aan en installeer de open-source UCSF DBS-applicatie om INS-opnames, het rapporteren van medicijnen en symptomen of andere opmerkingen van patiënten mogelijk te maken14. Configureer INS-gegevens die naar de tablet worden gestreamd om te worden geüpload naar een tijdelijk HIPPA-compatibel cloudopslageindpunt, voor tijdelijke opslag voorafgaand aan het de-identificeren van gegevens en het offloaden naar cloudopslag voor de lange termijn.
- Systeem voor het verzamelen van video's
- Schaf een pc aan die in staat is om het gewenste aantal videobestanden te verzamelen en op te slaan voordat u ze naar cloudopslag overbrengt. Zorg ervoor dat het pc-moederbord een TPM-chip (Trusted Platform Module) bevat.
OPMERKING: In dit geval is gekozen voor een pc met een SSD van 500 GB, een HDD van 2 TB en een GPU van 6 GB. Een schijf van 2 TB zorgt ervoor dat video's kunnen worden gebufferd na een lange opnamesessie of in het geval dat de internetverbinding een paar dagen wegvalt, terwijl de enkele pc de hardware in huis minimaal opdringerig houdt. - Installeer het gewenste besturingssysteem en volg de aanwijzingen om automatische schijfversleuteling in te schakelen om de privacy van de patiënt te waarborgen en gegevenslekken te voorkomen. In dit geval werd gekozen voor een op Linux gebaseerd besturingssysteem met een Ubuntu-distributie vanwege het gebruiksgemak en de betrouwbaarheid.
- Versleutel alle harde schijven afzonderlijk nadat het besturingssysteem is geïnstalleerd. Zorg ervoor dat u het automatisch opnieuw koppelen van de schijf inschakelt wanneer het systeem opnieuw wordt opgestart.
- Configureer de ingebouwde TPM-chip van de pc om de toegang tot de schijfgecodeerde pc te behouden na het opnieuw opstarten van het systeem17.
OPMERKING: Als u een Linux-besturingssysteem gebruikt, zorg er dan voor dat u een moederbord selecteert waarop een TPM2-chip is geïnstalleerd om deze stap mogelijk te maken. Als een Windows-besturingssysteem wordt gebruikt, kan automatische schijfversleuteling en -ontgrendeling worden afgehandeld door het Bitlocker-programma. - Configureer de pc als een VPN-client door de installatiestappen in 1.1.4 te volgen. Schakel het VPN-protocol in om automatisch te starten wanneer de pc opnieuw wordt opgestart, zoals in paragraaf 1.1.3.5 om ervoor te zorgen dat de computers van onderzoekers altijd op afstand toegang hebben tot de pc (aanbevolen).
- Maak een GitHub-machinegebruikersaccount om eenvoudig updates te automatiseren voor software die op de pc is geïnstalleerd. Dit account dient als een webhook om het ophalen van het externe git-eindpunt te automatiseren en helpt bij het identificeren van updates die vanaf de externe machine worden gepusht.
- Selecteer software om video-opnames te plannen en te bedienen en installeer deze op de pc. Om de privacy en het comfort van de patiënt te maximaliseren, moet de geselecteerde software een grafische gebruikersinterface (GUI) bevatten om duidelijk aan te geven wanneer de opnames aan de gang zijn en om de opnames op elk moment eenvoudig te kunnen beëindigen.
OPMERKING: Indien gewenst kan de aangepaste video-opnametoepassing van de auteurs met een patiëntgerichte GUI worden geïnstalleerd door de toepassing te downloaden en de instructies op GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp) te volgen. - Selecteer een monitor om aan te geven wanneer video's worden opgenomen en om mensen in staat te stellen opnames eenvoudig te beëindigen. Kies een monitor met touchscreen-functionaliteit, zodat opnames kunnen worden beëindigd zonder dat u een toetsenbord of muis hoeft te bedienen.
- Installeer een remote desktop-applicatie op de pc. Dit maakt het mogelijk om een applicatie te draaien met een GUI zodat de GUI zichtbaar blijft aan zowel de kant van de patiënt als aan de kant van de onderzoeker op afstand.
OPMERKING: De open-source NoMachine remote desktop-applicatie werkte het beste voor een Linux-besturingssysteem. - Selecteer USB-compatibele webcams met een voldoende hoge resolutie voor het berekenen van poses in de gegeven ruimte.
OPMERKING: In dit geval is gekozen voor 4k-compatibele webcams, die meerdere resolutie- en framerate-combinaties bieden, waaronder 4k-resolutie bij 30 fps of HD-resolutie bij 60 fps. - Kies robuuste hardware voor het monteren van webcams in het huis van de patiënt. Gebruik zwanenhalsbevestigingen met clips om ze aan het meubilair te bevestigen om te voorkomen dat de camera's trillen.
- Selecteer een protocol voor gegevensoverdracht met coderingsmogelijkheid en installeer dit op de pc. Maak een configuratie om toegang te krijgen tot de cloudopslagsite en maak vervolgens een versleutelingsconfiguratie om de eerste configuratie af te ronden voordat de gegevensoverdracht plaatsvindt.
OPMERKING: In dit geval is een open-source protocol voor gegevensoverdracht en bestandssynchronisatie met coderingsmogelijkheden geïnstalleerd18. In de documentatie van het protocol voor gegevensoverdracht wordt uitgelegd hoe u gegevensoverdracht naar cloudopslag configureert. Het protocol werd eerst geïnstalleerd op de VPN-server en er werd een coderingsconfiguratie gemaakt die gegevens overbrengt naar de externe cloudopslagsite.
- Schaf een pc aan die in staat is om het gewenste aantal videobestanden te verzamelen en op te slaan voordat u ze naar cloudopslag overbrengt. Zorg ervoor dat het pc-moederbord een TPM-chip (Trusted Platform Module) bevat.
- Gegevenscomponenten voor draagbare sensoren
- Selecteer slimme horloges die om elke pols van de patiënt worden gedragen om signalen te volgen, waaronder beweging, accelerometrie en hartslag.
OPMERKING: De Apple Watch Series 3 is geselecteerd met een ingebouwde symptoommonitor voor bewegingsstoornissen die PD-symptoomscores genereert, zoals dyskinesie- en tremorscores. - Selecteer en installeer software op elk smartwatch die opnames kan starten en beëindigen en gegevens kan overbrengen naar cloudopslag. Selecteer een applicatie die alle gegevensstromen uploadt naar het bijbehorende online portaal voor onderzoekers en clinici om te analyseren19.
- Selecteer slimme horloges die om elke pols van de patiënt worden gedragen om signalen te volgen, waaronder beweging, accelerometrie en hartslag.
Afbeelding 2: Componenten voor video-opnamen. De hardwarecomponenten ter ondersteuning van het verzamelen van videogegevens zijn minimaal, waaronder een pc met één toren, webcams met USB-aansluiting en een kleine monitor om de patiëntgerichte GUI weer te geven. De monitor is geschikt voor een touchscreen, zodat lopende of geplande opnames eenvoudig kunnen worden beëindigd door op de knoppen te drukken die zichtbaar zijn op de GUI. Het midden van de GUI toont een afbeelding van een opnamelampje dat een felrode kleur krijgt wanneer videocamera's actief opnemen. Klik hier om een grotere versie van deze figuur te bekijken.
2. Configuratie in huis
- Hardware-installatie
- Bepaal een geschikte ruimte voor het monteren van webcams die verstoringen van het huis tot een minimum beperkt. Bepaal de ruimte door middel van gesprekken met de patiënt; Hier werd het thuiskantoor gekozen als de optimale locatie voor het balanceren van opnamevolume en privacy.
- Monteer webcams in het geïdentificeerde gebied op het geselecteerde bevestigingsmateriaal. Door zwanenhalsbevestigingen aan zwaar meubilair in de buurt te knippen, wordt voorkomen dat camera's trillen wanneer iemand in de buurt komt.
- Plaats de pc voldoende dicht bij de gemonteerde webcams, zodat hun USB-kabels op de pc kunnen worden aangesloten.
- Plaats de tablet-pc, INS-componenten, smartwatches en smartphones in de buurt van een stopcontact, zodat alle apparaten aangesloten kunnen blijven en op elk moment klaar zijn voor gebruik.
- Bevestig dat de VPN is ingeschakeld door route -n uit te voeren in de pc-terminal . Als dit niet het geval is, volg dan de instructies om de VPN te activeren in paragraaf 1.1.3.5.
- Start de video-opnametoepassing
- Video-opnameschema: Bespreek met de patiënt een geschikt opnameschema voordat u gegevens verzamelt. Configureer dit schema in de video-opnamesoftware.
OPMERKING: Als u de aangepaste video-opnametoepassing van de auteurs gebruikt, zijn instructies voor het instellen van een schema te vinden op GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide). - Opnamesoftware bijwerken: Zorg ervoor dat de nieuwste versie van de geselecteerde video-opnamesoftware is geüpload naar de pc met behulp van het gebruikersaccount van de GitHub-machine dat is geïnstalleerd in 1.4.6.
- Video-opnamen starten: Log in op de pc via de geïnstalleerde remote desktop-software en start de video-opnamesoftware.
OPMERKING: Als u de aangepaste video-opnametoepassing van de auteurs gebruikt, zijn de instructies voor het starten van de toepassing te vinden op GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
- Video-opnameschema: Bespreek met de patiënt een geschikt opnameschema voordat u gegevens verzamelt. Configureer dit schema in de video-opnamesoftware.
- Kalibratie van videocamera's
- Autofocus uitschakelen: Voor het berekenen van intrinsieke parameters zoals lens- en perspectiefvervorming, volgt u de instructies op basis van het geselecteerde besturingssysteem en webcams om de autofocus uit te schakelen.
OPMERKING: Op Linux zijn webcams toegankelijk via de video for Linux API, die standaard autofocus inschakelt telkens wanneer de computer die op de camera's is aangesloten, opnieuw wordt opgestart. Het configureren van een script om dit automatisch uit te schakelen is nodig om de focus te behouden die is verkregen tijdens de camerakalibratie voor het verwerken van 3D-poses. - Intrinsieke kalibratie: Verkrijg een dambordpatroon van 6 x 8 met vierkanten van 100 mm ter ondersteuning van 3D-kalibratie van software voor het schatten van houdingen20. Neem een video op van elke afzonderlijke webcam terwijl een onderzoeker het dambord in beeld van alle camera's kantelt. Zorg ervoor dat het dambord een even aantal rijen en een oneven aantal kolommen heeft (of andersom). Dit neemt onduidelijkheid over rotatie weg.
- Extrinsieke kalibratie: Neem een video op van alle drie de webcams tegelijk. Zorg ervoor dat video's worden opgenomen met dezelfde resolutie als video's die moeten worden verwerkt voor schattingen van 3D-poses. Om een exacte tijdsynchronisatie van alle video's te garanderen, knippert u een IR LED-lampje aan het begin en einde van de opname. Gebruik videobewerkingssoftware om de video's handmatig te synchroniseren door frames te markeren aan het begin van de LED en de video's tot een gelijke lengte bij te snijden.
- Kalibratiematrices: Geef de video's die in de vorige twee stappen zijn opgenomen door OpenPose21 door om intrinsieke en extrinsieke kalibratiematrices te genereren.
OPMERKING: OpenPose gebruikt de OpenCV-bibliotheek voor camerakalibratie en verdere instructies zijn te vinden in de documentatie op de OpenPose GitHub20,22.
- Autofocus uitschakelen: Voor het berekenen van intrinsieke parameters zoals lens- en perspectiefvervorming, volgt u de instructies op basis van het geselecteerde besturingssysteem en webcams om de autofocus uit te schakelen.
3. Verzamelen van gegevens
- Patiëntinstructies om de opname te starten
- Controleer de batterij en het vermogen van het apparaat: Het INS-apparaat is altijd AAN om het onderwerp constant te stimuleren. Om te beginnen met het opnemen van neurale gegevens, vraagt u de patiënt om de tablet-pc aan te zetten en ervoor te zorgen dat de telemetriemodules (CTM's) van de arts voor zowel de linker- als de rechter-INS-apparaten zijn ingeschakeld en volledig zijn opgeladen.
- CTM-plaatsing: Plaats de CTM's aan beide zijden van de borst. Voor maximale connectiviteit en om pakketverlies te verminderen, plaatst u de CTM's tijdens opnames dicht bij de borstimplantaten. Extra locaties om CTM's te plaatsen zijn borstzakken van een jas of het gebruik van een speciale sjaal.
- Tabletverbinding activeren: Zodra de tablet is opgestart, vraagt u de patiënt om de DBS-applicatie te openen en Verbinden te selecteren, waardoor een Bluetooth-verbinding met de CTM's en vervolgens de INS-apparaten14 wordt gestart.
- Camera-activering: Vraag de patiënt om te bevestigen dat videocamera's via hun USB-kabels op de pc zijn aangesloten en dat de camera's zijn ingeschakeld.
OPMERKING: Als u de aangepaste video-opnametoepassing van de auteurs gebruikt, worden lopende opnamen duidelijk aangegeven op de patiëntgerichte GUI door een grote afbeelding van een rood licht dat fel brandt. Dit verandert in een niet-brandend rood lampje wanneer de opnamen UIT zijn. De geselecteerde webcams hebben ook een klein wit indicatielampje. - Activering van smartwatches: Vraag de patiënt om smartwatches en smartphones in te schakelen door de aan/uit-knop ingedrukt te houden. Vraag hen vervolgens om de smartwatch-applicatie te openen om gegevensregistratie en het volgen van PD-symptomen te starten.
- Op gebaren gebaseerde scenario's voor gegevensuitlijning en opname
- Schrijf alle gewenste taken op die de patiënt moet uitvoeren tijdens gegevensregistraties voordat een gegevensverzameling wordt gestart.
- Aangezien synchronisatie op basis van een klok met meerdere apparaten voor het uitlijnen van tijdstempels onbetrouwbaar kan zijn, vraagt u de patiënt om een gebaar uit te voeren dat kan worden gebruikt om de tijdstempels van opgenomen gegevens te synchroniseren aan het begin van elke nieuwe opname, zelfs wanneer u van plan bent om op te nemen tijdens perioden van vrij gedrag.
OPMERKING: De auteurs ontwierpen een eenvoudig gebaar waarbij de patiënt op beide geïmplanteerde INS-apparaten tikte terwijl hij zijn handen in het zicht van de camera's hield. Dit tikken creëert kenmerkende patronen in de traagheidsregistraties van de slimme horloges en de INS-versnellingsmeter en is gemakkelijk te observeren in video's.
- Patiëntinstructies om de opname te beëindigen
- Schakel de stimulatiegroep terug naar de klinisch toegewezen groep van de patiënt.
- Voer in de patiëntgerichte GUI van de DBS-toepassing een symptoomrapport in.
- Sluit de DBS-toepassing, waardoor de CTM's worden losgekoppeld en de INS-streaming wordt beëindigd.
- Sluit de smart watch-opnametoepassing en plaats de CTM's, smartphones en smartwatch-apparaten terug in hun oplaadpoorten.
- Gegevens offloaden
- Breng onbewerkte video's over naar cloudopslag via het protocol voor gegevensoverdracht met behulp van een gecodeerde configuratie. Maak een cron-taak op de video-opname-pc om opgenomen video's automatisch over te zetten naar cloudopslag via het protocol voor gegevensoverdracht18.
OPMERKING: Afhankelijk van de resolutie van video's en het aantal uren dat elke dag wordt opgenomen, moet de internetsnelheid voldoende hoog zijn om alle video's binnen 24 uur naar cloudopslag te kunnen overbrengen. Als de gegevensoverdracht te traag is, kan de schijfruimte opraken, waardoor extra video-opnamen die voor de volgende dag zijn gepland, mislukken. - Sla INS-gegevens op in het HIPAA-beveiligde cloudeindpunt dat is geconfigureerd in stap 1.3.2. Download INS-gegevens van het HIPAA-beveiligde cloudeindpunt en de-identificeer de gegevens. Sla de geanonimiseerde gegevens op in externe cloudopslag.
OPMERKING: De open source OpenMind-voorverwerkingscode23 werd gebruikt om gegevens te de-identificeren en deze te converteren van json-bestanden naar een tabelindeling. De tablet van de patiënt was geconfigureerd met een HIPAA-beveiligd cloud-eindpunt voor tijdelijke opslag van de onbewerkte INS-gegevens; het is echter denkbaar dat dezelfde cloudopslagsite die wordt gebruikt voor langdurige opslag ook voor deze stap kan worden gebruikt, op voorwaarde dat deze HIPAA-compatibel is en dat gegevens worden versleuteld voordat ze worden geladen. - Sla desgewenst een kopie van de smartwatch-gegevens op een externe cloudopslag op, zodat alle gegevensstromen op één locatie toegankelijk zijn.
- Breng onbewerkte video's over naar cloudopslag via het protocol voor gegevensoverdracht met behulp van een gecodeerde configuratie. Maak een cron-taak op de video-opname-pc om opgenomen video's automatisch over te zetten naar cloudopslag via het protocol voor gegevensoverdracht18.
4. Karakterisering van het systeem
- Visualisatie van onbewerkte gegevens: Visualiseer in de gewenste coderingsomgeving alle onbewerkte gegevensstromen om ervoor te zorgen dat gegevens op de juiste manier worden geregistreerd en overgedragen zonder verlies of corruptie.
OPMERKING: De applicatie die is geselecteerd om smartwatch-opnames te beheren, heeft een browser-app die handig is voor het visualiseren van smartwatch-gegevens24. - Vertragingen in videoframes en tijdstempels: Inspecteer eventuele vertragingen tussen tijdstempels die door verschillende webcams zijn gegenereerd. Analyseer vertragingen door video's op te nemen met een programmeerbaar LED-lampje dat in het frame van alle webcams is geplaatst.
OPMERKING: Uit analyse bleek dat een videosegmentatiefunctie25 die door de aangepaste video-opname-app werd geïmporteerd, de bron was van toenemende vertragingen in de tijdstempel. Het opnemen van video's zonder de segmenteerfunctie resulteerde in vertragingen tussen het frame en de tijdstempel van de webcam die in de loop van de tijd niet toenamen (zie aanvullend bestand 1 en aanvullende afbeelding 1).
5. Post-hoc voorverwerking en afstemming van gegevens
- Gegevens poseren
- Installeer software om gezamenlijke positieschattingen te berekenen op basis van opgenomen video's.
OPMERKING: De OpenPose-bibliotheek is geselecteerd omdat deze hand- en gezichtsherkenning in zowel 2D als 3D bevat. - De OpenPose-bibliotheek verwerkt niet automatisch gevallen waarin meerdere mensen in beeld zijn, dus gebruik een nabewerkingsscript om ervoor te zorgen dat de poseschattingen van elke persoon continu zijn van het ene frame naar het andere. OpenPose biedt code om eenvoudig animaties te genereren, in 2D of 3D, voor visuele controles op de kwaliteit van de pose-schatting.
- Installeer software om gezamenlijke positieschattingen te berekenen op basis van opgenomen video's.
- Tijduitlijning op basis van gebaren
- Volg voor elk INS-apparaat (links en rechts) de stappen die hieronder worden beschreven met behulp van de GUI voor gegevensuitlijning van de auteurs (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Gegevens inlezen: Toegang tot de opgeslagen INS- en smartwatch-accelerometriegegevens uit cloudopslag voor de gewenste gegevenssessie.
OPMERKING: Indien gewenst kan een extra tijdreeks worden toegevoegd. Figuur 3 toont de houdingspositie van de rechter middelvingertop in groen. - Visualiseer gegevensstromen in de GUI: Gebruik de handmatige GUI voor tijduitlijning om de INS-accelerometrie, smartwatch-accelerometrie en pose-gegevens over elkaar heen te leggen.
- Inzoomen op uitlijningsartefacten: Zoom in op de tijdas en verplaats het weergavevenster naar het gedeelte over tikken op de borst van de opname. Verschuif de uitlijnende tijdreeksen zodat de piek van de borsttikken op zowel de INS- als de tijdreekssignalen van de smartwatch elkaar zo goed mogelijk overlappen.
OPMERKING: De GUI is ontworpen om handmatige uitlijning van willekeurige tijdreeksen met een gemeenschappelijke ware tijd te vergemakkelijken. Figuur 3 toont de ware tijdreeksen in blauw, terwijl de uitlijnende tijdreeksen in oranje en groen worden weergegeven. De belangrijkste richtlijnen voor GUI-uitlijning worden vermeld op de GitHub ReadMe (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment). - Bevestiging van uitlijning: Verplaats het GUI-venster naar elk van de taken voor het tikken op de borst in de opname en controleer of de uitlijning consistent blijft gedurende de tijdreeks. Druk op de knop Uitlijnen schakelen en herhaal de uitlijning van de resterende gegevensstromen.
- Waarschuwingsvlaggen: Om aan te geven of er gegevens ontbreken, verschoven of andere algemene waarschuwingen met betrekking tot de gegevenskwaliteit zijn, stelt u waarschuwingsvlaggen in de GUI in met respectievelijk de D-, S- en F-toetsen.
- Gegevens inlezen: Toegang tot de opgeslagen INS- en smartwatch-accelerometriegegevens uit cloudopslag voor de gewenste gegevenssessie.
- Volg voor elk INS-apparaat (links en rechts) de stappen die hieronder worden beschreven met behulp van de GUI voor gegevensuitlijning van de auteurs (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Nul-genormaliseerde kruiscorrelatie (ZNCC) tijduitlijning
- Identificeer het signaal dat het meest waarschijnlijk het dichtst bij de ware tijd ligt. Meestal is dit degene met de hoogste samplefrequentie of de snelste internettijdverversing.
- Resample de twee signalen om dezelfde temporele bemonsteringsfrequentie te hebben en z-score beide signalen afzonderlijk. Dit zorgt ervoor dat de resulterende ZNCC-scores worden genormaliseerd tussen -1 en 1, wat een schatting geeft van de mate van gelijkenis tussen de twee signalen, handig voor het opsporen van fouten.
- Bereken de kruiscorrelatie van het tweede signaal en het eerste signaal bij elke vertraging.
- Als fase-informatie van de twee signalen niet belangrijk is, neem dan de absolute waarde van de gemeten kruiscorrelatiecurve.
OPMERKING: Als het gedrag significant a-periodiek is, is de fase-informatie niet nodig, zoals in dit geval. - Analyseer de ZNCC-curve. Als er een enkele duidelijke piek is, met een piek ZNCC-score van meer dan 0,3, dan komt de tijd van deze piek overeen met het tijdsverschil tussen de twee signalen. Als er meerdere pieken zijn, geen duidelijke piek of als de ZNCC-score laag is over alle vertragingen, moeten de twee signalen handmatig worden uitgelijnd.
Afbeelding 3: Uitlijning van gegevens op basis van gebaren. De bovenste helft van de afbeelding toont de handmatige uitlijnings-GUI na het uitlijnen van de drie gegevensstromen. De blauwe lijn zijn de accelerometriegegevens van de smartwatch, de oranje lijn zijn de accelerometriegegevens van de INS en de groene lijn is de 2D-posepositie van de rechter middelvingertop van een enkele webcam. Rechtsboven ziet u de verschuiving tussen de ware tijd van het slimme horloge en INS, evenals verschillende waarschuwingsvlaggen om eventuele problemen te markeren. In dit voorbeeld liep de INS 20,8 s voor op de smartwatch. De grafiek linksonder is ingezoomd om de vijf tikken op de borst weer te geven die door de patiënt zijn uitgevoerd voor gegevensuitlijning. De vijf pieken zijn in elke datastroom voldoende duidelijk om een goede afstemming te garanderen. Klik hier om een grotere versie van deze figuur te bekijken.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Ontwerp en implementatie van prototypeplatforms
We ontwierpen een prototype van een platform en implementeerden het in het huis van een enkele patiënt (Figuur 1). Na de eerste installatie van hardware in huis kan het platform worden onderhouden en kunnen gegevens volledig op afstand worden verzameld. De INS-apparaten, slimme horloges en camera's hebben patiëntgerichte toepassingen waarmee patiënten opnames kunnen starten en stoppen. De hardware voor videoverzameling maakt automatische video-opnamen mogelijk nadat een goedgekeurd schema is geconfigureerd. Patiënten kunnen een lopende opname eenvoudig annuleren door simpelweg op een knop op de GUI van de video-opnametoepassing te drukken (Afbeelding 2). Alle verzamelde gegevens werden versleuteld en overgebracht naar een cloudopslagsite voor onderzoekers om te verwerken en te analyseren.
Dataverzameling
Voor de eerste implementaties en gegevensverzamelingscycli vroegen we de patiënt om zelfgeleide klinische taken uit te voeren. De taken zijn ontleend aan de uniforme beoordelingsschaal voor de ziekte van Parkinson (UPDRS)26, namelijk tremoren in rust, tikken met duim op wijsvinger, handen openen en sluiten, pronatie-supinatie van de pols, beweging van zitten naar staan en lopen, en een typetaak. Alle taken werden drie keer herhaald voor elke opnamedag. Voor elke herhaling werd een andere stimulatie-amplitude ingesteld om mogelijke stimulatiegerelateerde symptomen van PD bloot te leggen. Figuur 4 toont een schematisch voorbeeld van hoe een week aan gegevens die met het systeem zijn verzameld, eruit zou kunnen zien.
Figuur 4: Beschikbaarheid van gegevens. Een schematische demonstratie van hoe een week aan gegevens die met het systeem zijn verzameld, eruit zou kunnen zien. De bovenste grafiek toont het stimulatieniveau (blauw) in de loop van verschillende dag/nacht-cycli. Stimulatieveranderingen voor deze patiënt zijn afhankelijk van hun slaapschema en de tijden van medicatie-inname (verticale rode lijnen). Op willekeurige tijdstippen gedurende de dag kan het gegevensverzamelingssysteem op afstand worden ingeschakeld om gegevens te verzamelen voor meerdere modaliteiten, weergegeven als gekleurde vakken. Een voorbeeld van alle parallelle, op tijd afgestemde gegevensstromen, net naar beneden geselecteerd aan de linkerkant van het lichaam, wordt weergegeven in de onderste grafiek. Tijdens deze opname werd de patiënt gevraagd om een reeks klinische beoordelingen uit te voeren tijdens stimulatie met lage, therapeutische en hoge amplitude. Alle gegevens die hier worden getoond, komen overeen met echte verzamelde gegevens, maar zijn gecomprimeerd in afzonderlijke experimenten om visualisatie te vergemakkelijken en om variatie te laten zien. Afkortingen: LFP = lokaal veldpotentiaal, STN = Subthalamische kern, Accel = versnellingsmeter, Gyro = gyroscoop, 2D = tweedimensionaal. Klik hier om een grotere versie van deze figuur te bekijken.
Handmatige uitlijning
De handmatige uitlijnings-GUI biedt een gebruiksvriendelijk platform voor het uitlijnen van meerdere gegevensstromen. Zoals te zien is in figuur 3, bieden tikken op de borst een duidelijk identificeerbaar artefact in alle gegevensmodaliteiten (INS, slimme horloges, video's) die kunnen worden gebruikt bij handmatige uitlijning. De GUI was een handig middel om de gegevens uit te lijnen, maar dit kon worden ingewisseld voor elke andere uitlijningstool die onderzoekers zouden willen gebruiken. In sommige gevallen vertonen de gegevensstromen een lichte drift. Een mogelijke toekomstige oplossing voor dit probleem zou zijn om de sessiegegevens op te delen in verschillende proeven, elk met zijn eigen borsttikvolgorde. Elke proef kan vervolgens individueel worden afgestemd om de impact van drift te minimaliseren.
Nul-genormaliseerde kruiscorrelatie (ZNCC) tijduitlijning
De methode voor ZNCC werkt in sommige gevallen goed, maar heeft een paar kritieke kwetsbaarheden. Voor sommige bewegingen kunnen de twee versnellingsmetersignalen bijvoorbeeld ten opzichte van elkaar in fase worden verschoven. Als een fase-uitgelijnde en faseverschoven beweging beide zijn opgenomen in de geanalyseerde epochs, dan kan de ZNCC meerdere of zelfs geen duidelijke piek hebben. De normalisatie van ZNCC maakt het mogelijk om deze uitlijningen automatisch te identificeren en indien nodig te verwijderen. Deze methode werkt het beste als beide signalen relatief ruisvrij zijn en vensters hebben op een epoch met grote, gesynchroniseerde effecten in beide sporen. De beste resultaten werden bereikt wanneer de patiënt werd gevraagd om een reeks krachtige tikken uit te voeren met beide handen tegen de borst. In de praktijk was handmatige verificatie van de geautomatiseerde uitlijning echter in voldoende gevallen noodzakelijk dat het voordeel van het gebruik van de geautomatiseerde methode te verwaarlozen was.
Kwaliteit van de gegevens
Gegevensverlies tijdens geautomatiseerde overdracht was te verwaarlozen, aangezien het proces van het gegevensoverdrachtprotocol een back-up maakt van onbewerkte kopieën om ervoor te zorgen dat eventuele verliezen kunnen worden hersteld. Gegevensverlies door verbindingsproblemen kwam regelmatig voor, omdat Bluetooth en radiofrequentie soms onverwachte verbindingsuitval hebben en het bereik beperkt is. Korte onderbrekingen van maximaal 2 seconden kwamen ongeveer een paar keer per uur voor, en langere pauzes van maximaal 2 minuten kwamen ongeveer eens in de paar uur voor. Naast gegevensverlies werden significante stimulatieartefacten waargenomen in neurale gegevens, waarvan de ernst afhing van de opname en de gekozen stimulatiegroepen. De grootste artefacten komen voor in de buurt van de stimulatiefrequentie, ver buiten het interessebereik. Er werden geen artefacten waargenomen in gegevens van slimme horloges. Video's werden opgenomen met een constante framesnelheid; Er werden echter dubbele frames geïdentificeerd in video's. Dit leverde een werkelijke framesnelheid op die een paar frames lager was dan de theoretische framesnelheid zoals vermeld in de webcamspecificaties. Opvallender dan de dubbele frames waren echter bevriezingsperioden die met verschillende tussenpozen in video's werden geïdentificeerd, afhankelijk van de opnamedag. Bevriezingsperioden van ongeveer 10 frames of minder werden regelmatig waargenomen; Er werden echter ook langere secties van ongeveer 2 tot 30 seconden waargenomen op onregelmatige tijdstippen.
Longitudinale gegevensverzameling
Tabel 1 toont de gegevens die het prototype van het platform in de loop van 1,5 jaar periodiek heeft verzameld. In die tijd werden honderden uren aan gegevens verzameld, met in totaal 293 uur aan INS-gegevens aan beide zijden van het lichaam, 224 uur aan smartwatch-gegevens voor beide horloges en 2.037 uur aan videogegevens over drie webcams. Dit toont aan dat het platform het thuis verzamelen van gegevens gedurende langere perioden ondersteunt, terwijl het een zeldzame kans biedt om longitudinale veranderingen in neurale gegevens en bijbehorende stimulatievereisten waar te nemen.
| Soort gegevens | Totale duur (uu:mm:ss) | Totaal aantal dagen | Opslagruimte Grootte |
| Neuraal | 293:17:33 | 90 | 28,94 GB |
| Horloge | 224:06:05 | 89 | 35,67 GB |
| Video | 2037:06:11 | 228 | 146.073,77 GB |
Tabel 1: Longitudinaal overzicht van de verzamelde gegevens. Het ingezette platform verzamelde gegevens tijdens verschillende experimenten in de loop van 1,5 jaar. Er werden ongeveer 90 dagen geregistreerd met neurale, video- en smartwatch-gegevensstromen die werden verzameld.
Schattingen van 2D- en 3D-poses
Er zijn nu verschillende softwarepakketten voor het schatten van houdingen beschikbaar. De schatting van de pose is getest met behulp van OpenPose, een open-source softwarepakket21. Dit is met succes geïnstalleerd volgens de documentatie van de GitHub van de organisatie, evenals vele andere niet-officiële tutorials die op internet te vinden zijn. De verwerkingstijd voor OpenPose varieert aanzienlijk, afhankelijk van hoe de OpenPose-bibliotheek en zijn uitgebreide afhankelijkheden zijn geïnstalleerd, de grootte van de gebruikte GPU en of de optionele wijzers en gezichtspunten worden verwerkt. 2D-pose was relatief eenvoudig te implementeren, maar 3D-pose was aanzienlijk moeilijker en voorlopige 3D-resultaten leverden een inconsistente kwaliteit op die gelijk was aan die van 2D-pose. De schatting van de 3D-pose van lage kwaliteit kan negatief zijn beïnvloed door suboptimale camerakalibratie, perioden waarin de autofocus van de camera ten onrechte was ingeschakeld of inherent aan de OpenPose-software zelf. Gesynchroniseerde video's van hoge kwaliteit vanuit meerdere hoeken kunnen echter rijke invoer bieden voor een verscheidenheid aan beschikbare softwarepakketten voor het schatten van poses. Het wordt aanbevolen om een testopstelling buiten het huis van de patiënt uit te voeren, met handmatige benchmarking van verschillende beschikbare softwarepakketten voor het schatten van poses.
Aanvullende figuur 1: Analyse van de vertraging van videoframes. Vertragingen in tijdstempels gegenereerd door de video-opname-app werden gedetecteerd tijdens de systeemkarakterisering. Om de oorzaak van de vertragingen te onderzoeken, werden het framenummer en de tijdstempel die door elke camera werden gegenereerd, bepaald door een rood LED-lampje op te nemen dat met willekeurige tussenpozen knipperde, waarna de variaties in tijdstempelvertragingen tussen camera's werden berekend. (Boven) LED-intensiteiten (in RGB-eenheden) gemeten op elk van de drie camera's, waarbij de waargenomen tijdverschuivingen tussen de drie camera's worden aangetoond (aangegeven met rode pijlen). (Onder) Drie grafieken tonen de tijdstempel tussen de camera's in het aantal frames voor een reeks LED-knipperingen gedurende de hele opname. Elke opname was opgedeeld in meerdere segmenten en de framevertraging was ongeveer constant in de loop van de tijd. Klik hier om dit bestand te downloaden.
Aanvullend bestand 1: Analysemethode voor videoframes en tijdstempels. Klik hier om dit bestand te downloaden.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
We delen het ontwerp voor een thuisprototype van een multimodaal gegevensverzamelingsplatform ter ondersteuning van toekomstig onderzoek naar neuromodulatieonderzoek. Het ontwerp is open-source en modulair, zodat elk stuk hardware kan worden vervangen en elk softwareonderdeel kan worden bijgewerkt of gewijzigd zonder dat het algehele platform instort. Hoewel de methoden voor het verzamelen en de-identificeren van neurale gegevens specifiek zijn voor de geselecteerde INS, zijn de overige methoden en de algemene benadering van het verzamelen van gedragsgegevens agnostisch voor welk implanteerbaar apparaat wordt gebruikt. We hebben het platform ingezet bij een persoon met PD thuis en gegevens verzameld tijdens zowel experimentele als naturalistische periodes. Tijdens implementaties, dataverzamelingen en post-hoc dataverwerking werden verschillende aspecten ontdekt die bijzonder cruciaal waren om succesvolle onderzoeksiteraties mogelijk te maken.
Een waardevol lid van ons team was de onderzoekscoördinator die naar het huis van de patiënt reisde om hardware te installeren, de VPN in te stellen, camerakalibratie uit te voeren voor 3D-houding en de patiënt te laten zien hoe de patiëntgerichte GUI van elk apparaat moest worden gebruikt. Belangrijk is dat de onderzoekscoördinator bovendien diende als het belangrijkste aanspreekpunt tussen de patiënt en het onderzoeksteam. De patiënt gaf er de voorkeur aan om zijn e-mailchatfunctie te gebruiken om snel berichten heen en weer te sturen. Het hebben van een consistent en toegankelijk aanspreekpunt was op twee manieren bijzonder nuttig:
Om een vertrouwd communicatiekanaal tot stand te brengen voor de patiënt om wijzigingen in geplande opnames aan te vragen en om eventuele problemen bij het gebruik van het systeem te communiceren. Dit hielp de onderzoekscoördinator om geschikte tijden te identificeren voor de patiënt om opname-experimenten uit te voeren. De belangrijkste moeilijkheid bij het gebruik van het systeem was de noodzaak om de levensduur van de batterij voor verschillende apparaten bij te houden.
Om ervoor te zorgen dat het oplossen van systeemproblemen zo min mogelijk storend is voor de patiënt. De meeste probleemoplossing kwam voort uit problemen met de netwerkverbinding, die zich gemiddeld eens in de paar weken voordeden. Hoewel het opnieuw opstarten van apparaten deze problemen meestal oploste, moesten de horloges vaak meerdere keren opnieuw worden opgestart, wat volgens de patiënt belastend was.
Het is essentieel om te zorgen voor robuuste toegang op afstand tot de hardware die bij de patiënt thuis is geplaatst. Om dit te bereiken, is het hebben van een stabiele internetverbinding cruciaal. Het is ook noodzakelijk om een schijfgecodeerde machine te configureren om automatisch te ontgrendelen wanneer een machine opnieuw opstart. Het is niet verwonderlijk dat een ethernetkabel consequent de snelste en meest betrouwbare netwerkverbindingen opleverde. Minder verwacht was de noodzaak om een TPM-chip te configureren, noodzakelijk vanwege de keuze voor Linux als besturingssysteem. Als er een Windows-besturingssysteem wordt gebruikt, zorgt hun Bitlocker-programma hier automatisch voor. Ten slotte zorgde het configureren van de geïmplementeerde pc om de VPN automatisch in te schakelen en de harde schijf opnieuw te koppelen bij het opnieuw opstarten van het systeem, voor voortdurende toegang op afstand zonder dat de patiënt herhaaldelijk opnieuw hoefde te worden bezocht. Het opnemen van een VPN en een gegevensversleutelingsprotocol in het platformontwerp was cruciaal voor gegevensbeveiliging en -integriteit. Met de VPN kan een netwerk van computers worden aangesloten zonder dat aangepaste port forwarding hoeft te worden geconfigureerd op de privérouter van een patiënt. Het open-source gegevensversleutelingsprotocol Rclone programma is voorzien van een kant-en-klare gegevensversleuteling en een eenvoudig te automatiseren manier om gegevens over te dragen van patiëntapparaten naar cloudopslag18. Het gegevensversleutelingsprotocol maakt back-upkopieën van onbewerkte gegevens tijdens de gegevensoverdrachtsstappen om ervoor te zorgen dat verliezen kunnen worden hersteld. Deze stappen zorgden ervoor dat de privégegevens van de patiënt veilig en onbeschadigd werden gehouden.
Om zinvolle data-analyses te kunnen uitvoeren, is het essentieel dat de gegevens die van meerdere apparaten worden verzameld, op elkaar zijn afgestemd. De klokken op elk apparaat zijn waarschijnlijk niet perfect uitgelijnd met een gemeenschappelijke internettijd, zelfs als fabrikanten suggereren dat dit wel het geval is. Bovendien kunnen sommige apparaten op onvoorspelbare momenten driften ervaren, waardoor hun offsets ten opzichte van de andere apparaten veranderen. Dit maakt het moeilijk om te werken aan volledig geautomatiseerde, real-time adaptieve algoritmen, en toekomstig onderzoek zal zorgvuldig moeten nadenken over oplossingen voor dit probleem. Methoden voor automatische uitlijning werden onderzocht met behulp van genormaliseerde kruiscorrelatie. Dit werkt in veel gevallen redelijk goed; Tijdsafwijkingen moeten echter minimaal zijn en de gegevens moeten duidelijk identificeerbare signalen bevatten. Omdat zowel grote drift als perioden waarin gegevens te veel ruis of pakketverlies hadden, werden aangetroffen, kan niet volledig op deze volledig geautomatiseerde methode worden vertrouwd. Om de last van het handmatig uitlijnen van gegevens te minimaliseren, hebben we een eenvoudige GUI gemaakt waarmee onderzoekers gegevensstromen relatief gemakkelijk en snel visueel kunnen controleren.
De opname van videogegevens in het systeem stelt clinici in staat om de ernst van de symptomen te meten door middel van observatie op afstand, en onderzoekers kunnen gebeurtenislabels verkrijgen. Bovendien kunnen pose-schattingen worden berekend op basis van video's als een continue maatstaf voor bewegingskwaliteit, zoals het meten van de snelheid en soepelheid van vingerbewegingen in de loop van de tijd. Het verzamelen van video's met een hoge resolutie van meerdere camera's vereist echter veel opslagruimte. Het verzamelen van 8 uur aan 4k-video's in het MJPEG-formaat van drie camera's neemt bijvoorbeeld ongeveer 0.5 TB opslagruimte in beslag. Het vastleggen en opslaan van grote hoeveelheden gegevens wordt al snel duur, waardoor een economisch knelpunt ontstaat om dit systeem bij veel patiënten in te zetten. Om dergelijke platforms schaalbaar te maken voor veel patiënten, moeten toekomstige systeemontwerpers de hoeveelheid gegevens verminderen die nodig is voor langdurige opslag. Toekomstige systemen zouden moeten overwegen om real-time pose-verwerking op te nemen, zodat video's onmiddellijk kunnen worden verwijderd nadat de pose is verwerkt. Real-time pose zou ook feedback kunnen geven over de fijne motoriek in closed-loop algoritmen, wat buiten het bestek van dit werk valt. Als het bewaren van bepaalde videogegevens nodig is voor beoordeling door de arts of het labelen van gebeurtenissen, kunnen deze worden gedownsampled naar een lagere resolutie voordat ze worden opgeslagen in de cloudopslag.
Ten slotte, om de ontwerpfouten en implementatiefouten die zich steevast voordoen bij het bouwen van een geïntegreerd systeem efficiënt aan te pakken, is het verwerven van een replica van de hardware die kan worden ingezet voor gebruik als testopstelling uiterst waardevol. Dit gold voor het testen van de hardware en software die werd geselecteerd voor het verzamelen van video's en het verwerken van pose-gegevens. Het hele proces van het verwerven van video's en pose-schattingen in zowel 2D- als 3D-ruimte was aanzienlijk uitdagender dan verwacht. Een testopstelling maakt het mogelijk om een aantal belangrijke stappen op te lossen en stresstests uit te voeren voorafgaand aan de implementatie, waaronder:
Het correct kalibreren van camera's binnen de lay-outbeperkingen van een bepaalde kamer.
Het identificeren van de juiste videoresolutie en framerate ter ondersteuning van een schatting van de pose van hoge kwaliteit. Voor kleine kamers of kantoorachtige omgevingen is HD-video-opname waarschijnlijk voldoende, omdat de grootte van personen op de opgenomen video groot genoeg is zodat de pose gemakkelijk kan worden berekend terwijl er aanzienlijk minder opslagruimte nodig is dan 4K-video.
Het ontdekken van bugs in opgenomen video's, zoals het bevriezen van frames of vertragingen tussen sequentieel geschreven videobestanden.
Het blootleggen van onverwachte softwarestandaarden, zoals het resetten van de autofocus van de camera bij het opnieuw opstarten van de machine, waardoor het voordeel van camerakalibratie wordt uitgesloten.
Vallen en opstaan om compatibele versies van de softwarebibliotheken te vinden die vooraf moeten worden geïnstalleerd om OpenPose op een middelgrote GPU te laten draaien.
Een bijzondere beperking van dit werk is het inzetten van het platform in een enkele pilotstudie bij één persoon thuis, waardoor we geen generalisaties tussen deelnemers kunnen ontdekken. Tijdens het ontwerp- en ontwikkelingsproces is het systeem echter ontworpen om schaalbaar te zijn en meerdere implementaties te ondersteunen ter ondersteuning van studies op afstand, en het doel van deze pilotstudie was om de technologische haalbaarheid van een geavanceerd thuismonitoringplatform vast te stellen. Door dit proefontwerp aan te passen op basis van enkele van de besproken cruciale bevindingen en het platform in meer huizen in te zetten, kan het ontwerp verder worden verfijnd om toekomstig onderzoek naar aDBS thuis te ondersteunen. Bovendien zal het verzamelen van gegevens tijdens extra tijdstippen waarop een individu geen vooraf bepaalde experimenten uitvoert, inzichten bieden om analyses en de algehele effectiviteit van de therapie te verbeteren. aDBS kan een voorkeursmethode zijn voor de behandeling van neurologische aandoeningen, waaronder PD, in vergelijking met conventionele DBS die onaanvaardbare bijwerkingen kunnen hebben. Om deze belangrijke therapie voor veel mensen beschikbaar te maken, is het nodig om het afstemmen van parameters te automatiseren en de effectiviteit van de therapie buiten de kliniek in de loop van de tijd te analyseren. Het platform biedt een nieuwe benadering voor het verzamelen van in-home videocamera's, smartwatches, neurale opnames en patiëntrapportgegevens tijdens experimentele en natuurlijke activiteiten vanuit het comfort van het eigen huis van de patiënt. Het systeem zal verder bijdragen aan het creëren van nieuwe multimodale datasets ter ondersteuning van toekomstige ontdekkingen in de behandeling van neurologische aandoeningen15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
De auteurs hebben geen belangenconflicten om bekend te maken.
Acknowledgments
Dit materiaal is gebaseerd op werk dat wordt ondersteund door het National Science Foundation Graduate Research Fellowship Program (DGE-2140004), de Weill Neurohub en het National Institute of Health (UH3NS100544). Alle meningen, bevindingen en conclusies of aanbevelingen in dit materiaal zijn die van de auteur(s) en weerspiegelen niet noodzakelijkerwijs de mening van de National Science Foundation, de Weill Neurohub of het National Institute of Health. We danken Tianjiao Zhang voor zijn deskundig advies over platformontwerp en de integratie van videogegevens. We danken in het bijzonder de patiënt voor hun deelname aan dit onderzoek en voor de feedback en het advies over netwerkbeveiliging en platformontwerp.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
