Summary
We presenteren een protocol dat gebruik maakt van eye-tracking om oogbewegingen te volgen tijdens een intervalvergelijkingstaak (duurperceptie) op basis van visuele gebeurtenissen. Het doel is om een voorlopige gids te bieden om oculomotorische reacties op duurperceptietaken (vergelijking of discriminatie van tijdsintervallen) te scheiden van reacties op de stimulus zelf.
Abstract
Eye-tracking-methoden kunnen de online monitoring van cognitieve verwerking mogelijk maken tijdens visuele duurwaarnemingstaken, waarbij deelnemers wordt gevraagd om tijdsintervallen te schatten, te onderscheiden of te vergelijken die worden gedefinieerd door visuele gebeurtenissen zoals knipperende cirkels. Voor zover wij weten, zijn pogingen om deze mogelijkheid te valideren tot nu toe echter niet doorslaggevend gebleven en blijven de resultaten gericht op offline gedragsbeslissingen die zijn genomen na het verschijnen van de stimulus. Dit artikel presenteert een eye-tracking-protocol voor het onderzoeken van de cognitieve processen die voorafgaan aan gedragsreacties in een intervalvergelijkingstaak, waarbij deelnemers twee opeenvolgende intervallen bekeken en moesten beslissen of deze versnelden (eerste interval langer dan tweede) of vertraagden (tweede interval langer).
Onze grootste zorg was het ontwarren van oculomotorische reacties op de visuele stimulus zelf van correlaten van duur gerelateerd aan oordelen. Om dit te bereiken, hebben we drie opeenvolgende tijdvensters gedefinieerd op basis van kritieke gebeurtenissen: het begin van de basislijn, het begin van het eerste interval, het begin van het tweede interval en het einde van de stimulus. Vervolgens extraheerden we traditionele oculomotorische metingen voor elk (aantal fixaties, pupilgrootte) en concentreerden we ons op tijdvenstergerelateerde veranderingen om de reacties op de visuele stimulus te scheiden van die met betrekking tot intervalvergelijking op zich. Zoals we in de illustratieve resultaten laten zien, toonden eye-trackinggegevens significante verschillen die consistent waren met gedragsresultaten, waardoor hypothesen over de betrokken mechanismen werden opgeworpen. Dit protocol is embryonaal en zal nog veel verbeterd moeten worden, maar het is een belangrijke stap voorwaarts in de huidige stand van de techniek.
Introduction
Tijdsperceptie heeft de afgelopen jaren steeds meer onderzoeksaandacht getrokken, deels als gevolg van het toenemende bewijs dat deze verband kunnen houden met leesvaardigheid of pathologische aandoeningen 1,2,3,4,5. Visuele duurperceptie - het vermogen om tijdsintervallen te schatten, te onderscheiden of te vergelijken die worden gedefinieerd door visuele gebeurtenissen - is een deelgebied van belang 6,7 waarin eye-tracking-methoden een bijdrage kunnen leveren. De resultaten blijven echter gericht op gedragsbeslissingen na de stimulus, zoals het indrukken van een knop om aan te geven hoeveel tijd er is verstreken (schatting), of tijdsintervallen hetzelfde of verschillend zijn (discriminatie), of welke van een reeks tijdsintervallen de langste of kortste is. Een paar studies hebben geprobeerd gedragsresultaten te correleren met eye-tracking-gegevens 8,9, maar ze slaagden er niet in om correlaties tussen de twee te vinden, wat suggereert dat er geen directe relatie is.
In het huidige artikel presenteren we een protocol voor het registreren en analyseren van oculomotorische reacties tijdens stimuluspresentatie in een visuele duurperceptietaak. In het bijzonder verwijst de beschrijving naar een intervalvergelijkingstaak waarbij deelnemers sequenties van drie gebeurtenissen zagen die twee tijdsintervallen definieerden en werd gevraagd om te beoordelen of ze versnelden (eerste interval langer dan tweede) of vertraagden (eerste korter dan tweede). De tijdsintervallen die in het onderzoek werden gebruikt, varieerden van 133 tot 733 ms, in overeenstemming met de principes van het Temporal Sampling Framework (TSF)10. TSF suggereert dat de oscillerende activiteit van de hersenen, met name in frequentiebanden zoals delta-oscillaties (1-4 Hz), synchroniseert met inkomende spraakeenheden zoals sequenties van stressaccenten. Deze synchronisatie verbetert de codering van spraak, verbetert de aandacht voor spraakeenheden en helpt bij het extraheren van sequentiële regelmatigheden die relevant kunnen zijn bij het begrijpen van aandoeningen zoals dyslexie, die atypische laagfrequente oscillaties vertonen. Het doel van de studie waarin we de hier gepresenteerde methode ontwikkelden, was om te bepalen of de problemen van dyslectici bij het waarnemen van visuele duur (groepseffecten op de intervalvergelijkingstaak) problemen weerspiegelen bij het verwerken van het visuele object zelf, namelijk bewegings- en luminantiecontrasten11. Als dit het geval was, verwachtten we dat het nadeel van dyslectici ten opzichte van controles groter zou zijn voor stimuli met beweging en lage luminantiecontrasten (interactie tussen groep en stimulustype).
Het belangrijkste resultaat van de oorspronkelijke studie werd gedreven door gedragsoordelen na de stimulus. Eye-tracking-gegevens - pupilgrootte en aantal fixaties - geregistreerd tijdens stimuluspresentatie werden gebruikt om processen te onderzoeken die voorafgingen aan de gedragsbeslissingen. Wij zijn echter van mening dat het huidige protocol onafhankelijk van het verzamelen van gedragsgegevens kan worden gebruikt, op voorwaarde dat de doelen dienovereenkomstig worden gesteld. Het kan ook mogelijk zijn om het aan te passen voor intervaldiscriminatietaken. Het gebruik ervan bij tijdschattingstaken is niet zo onmiddellijk, maar we sluiten die mogelijkheid niet uit. We gebruikten de pupilgrootte omdat deze onder andere de cognitieve belasting 12,13,14 weerspiegelt en dus informatie kan geven over de vaardigheden van de deelnemers (hogere belasting betekent minder vaardigheden). Wat het aantal fixaties betreft, kunnen meer fixaties een weerspiegeling zijn van de sterkere betrokkenheid van de deelnemers bij de taak15,16. De oorspronkelijke studie gebruikte vijf soorten stimulus. Ter vereenvoudiging hebben we er in het huidige protocol slechts twee gebruikt (Ball vs. Flash, die een bewegingsgerelateerd contrast vertegenwoordigen).
De belangrijkste uitdaging die we probeerden aan te pakken, was het ontwarren van reacties op de visuele stimulus zelf van die met betrekking tot intervalvergelijking, aangezien bekend is dat oculomotorische reacties veranderen afhankelijk van kenmerken zoals beweging of luminantiecontrasten17. Op basis van het uitgangspunt dat de visuele stimulus wordt verwerkt zodra deze op het scherm verschijnt (eerste interval), en intervalvergelijking pas mogelijk wordt gemaakt zodra het tweede tijdsinterval begint, hebben we drie tijdvensters gedefinieerd: prestimulusvenster, eerste interval, tweede interval (gedragsrespons niet inbegrepen). Door veranderingen van het prestimulusvenster gedurende het eerste interval te analyseren, zouden we indices krijgen van de reacties van deelnemers op de stimulus zelf. Het vergelijken van het eerste met het tweede interval zou gebruik maken van mogelijke oculomotorische handtekeningen van intervalvergelijking - de taak die deelnemers werd gevraagd uit te voeren.
Protocol
Tweeënvijftig deelnemers (25 gediagnosticeerd met dyslexie of gesignaleerd als potentiële gevallen en 27 controles) werden gerekruteerd uit de gemeenschap (via sociale media en gemakkelijke e-mailcontacten) en een universitaire cursus. Na een bevestigende neuropsychologische beoordeling en daaropvolgende gegevensanalyse (voor meer details, zie Goswami10), werden zeven deelnemers uitgesloten van het onderzoek. Deze uitsluiting bestond uit vier personen met dyslexie die niet aan de criteria voldeden, twee dyslectische deelnemers met uitschieters in de primaire experimentele taak en één controledeelnemer wiens eye-tracking-gegevens werden beïnvloed door ruis. De uiteindelijke steekproef bestond uit 45 deelnemers, 19 dyslectische volwassenen (één man) en 26 controles (vijf mannen). Alle deelnemers waren moedertaalsprekers van het Portugees, hadden een normaal of gecorrigeerd tot normaal gezichtsvermogen en geen van hen had gehoor-, neurologische of spraakproblemen gediagnosticeerd. Het hier beschreven protocol werd goedgekeurd door de lokale ethische commissie van de Faculteit Psychologie en Pedagogische Wetenschappen van de Universiteit van Porto (ref. nummer 2021/06-07b), en alle deelnemers ondertekenden geïnformeerde toestemming volgens de Verklaring van Helsinki.
1. Stimuleringsmaatregelen
- Definieer acht sequenties van twee tijdsintervallen (tabel 1) waarbij de eerste korter is dan de tweede (slow-down sequentie); Kies intervallen die compatibel zijn met de framesnelheid van de animatiesoftware (hier 30 frames/s, 33 ms/frame) met behulp van een conversietabel voor frameduur.
- Maak voor elke vertragingssequentie een versnellingsanaloog die wordt verkregen door de volgorde van de intervallen om te keren (tabel 1).
- Converteer in een spreadsheet de intervallengte naar het aantal frames door het doelinterval (ms) te delen door 33 (bijv. voor een intervalreeks van 300-433 ms 9-13 frames aangeven).
- Definieer keyframes voor elke sequentie: stimulus begin bij frame 7 (na zes lege frames, overeenkomend met 200 ms), offset van interval 1 bij frame 6 + lengte van interval 1 (6 + 9 voor het gegeven voorbeeld), hetzelfde voor de offset van interval 2 (6 + 9 + 13). Stel nog twee frames in aan het einde van interval 2 om het einde van de stimulus te markeren (6 + 9 + 13 + 2).
- Maak flash-sequenties als animaties.
- Voer de animatiesoftware uit (bijv. Adobe Animate) en maak een nieuw bestand met een zwarte achtergrond.
- Teken bij frame 7 een blauwe cirkel in het midden van het scherm. Zorg ervoor dat de afmetingen ongeveer 2° van het gezichtsveld beslaan met de geplande scherm-oogafstand (hier 55 cm), wat betekent dat de baldiameter 1,92 cm is.
- Kopieer en plak deze afbeelding in het volgende aangrenzende frame (beginnend bij frame 7e), zodat elke flitser ongeveer 99 ms duurt.
- Kopieer en plak deze reeks van twee frames in de andere twee hoofdframes (begin van intervallen 1 en 2).
- Bouw de resterende 15 animaties door kopieën van het bestand te maken en de intervalsets naar de juiste frames te verplaatsen.
- Maak stuiterende balsequenties als animaties.
- Open een bestand in de animatiesoftware met dezelfde specificaties (grootte, achtergrond) die worden gebruikt in flash-animaties. Open de spreadsheet met keyframe-specificaties, zodat key-frames nu overeenkomen met geplette ballen die de grond raken.
- Begin met drie frames met een zwarte achtergrond (99 ms). Teken in het 4eframe een blauwe bal in het midden bovenaan, gelijk aan de bal die wordt gebruikt voor flitsen.
- Teken een geplette bal (breedte groter dan hoogte) op het beginpunt van de stimulus, die drie frames duurt (begin van interval 1). Zorg ervoor dat de bal horizontaal gecentreerd en verticaal onder het midden van het scherm staat.
- Klik op de knop Eigenschappen van het object en vervolgens op Positie en Grootte om de bal op de gekozen plethoogte te plaatsen en de breedte te vergroten/de hoogte te verkleinen.
- Genereer een continue verandering met behulp van het tween-commando van de bal aan de bovenkant naar de geplette bal (verticale afdaling).
- Kopieer de reeks van drie frames met de geplette bal naar de andere twee hoofdframes (begin van intervallen 1 en 2).
- Deel in de spreadsheet de duur van elk interval door 2 om de middelpunten tussen twee squashes voor intervallen 1 en 2 te definiëren, waarbij de bal de maximale hoogte bereikt na het stijgen en voor het dalen.
- Trek een niet-geplette bal verticaal boven het laagste punt van de baan op de in stap 1.6.6 gedefinieerde middelpunten. Genereer de oplopende animatie tussen het begin van het interval (wanneer de bal de grond raakt) en het hoogste punt en tussen het hoogste punt en de volgende squash (afdaling).
- Pas het bestand aan de andere 15 tijdsstructuren aan.
- Exporteer alle animaties als .xvd. Als de optie niet beschikbaar is, exporteert u als .avi en converteert u vervolgens, zodat deze kan worden gebruikt in het eyelinksysteem.
2. Voorbereiding van het experiment
- De experimentmap maken
- Open de toepassing Experiment Builder en kies nieuw in het menubestand.
- Sla het project op door te klikken op Bestand | Opslaan als. Geef de naam van het project op en de locatie waar het moet worden opgeslagen.
OPMERKING: Hiermee wordt een hele map gemaakt met submappen voor stimulusbestanden en ander materiaal. Het experimentbestand wordt weergegeven in de map met de extensie .ebd. - Klik in de projectmap op Bibliotheek en vervolgens in de map met de naam Video. Upload de .xvid-videostimulusbestanden naar deze map.
OPMERKING: Alle stimuli die in het experiment worden gebruikt, moeten worden opgeslagen in de bibliotheek.
- Het creëren van de basisstructuur voor interactie binnen het systeem en tussen mens en systeem
- Sleep het startpaneel en de pictogrammen van het beeldscherm naar het venster van de grafiekeditor . Maak een link tussen hen door te klikken en de muis van de eerste naar de tweede te slepen.
- Klik in de eigenschappen van het weergavescherm op de knop Tekstbron met meerdere regels invoegen en typ een instructietekst waarin de kalibratieprocedure wordt uitgelegd die zal volgen.
- Selecteer twee triggers (invoerkanalen om verder te gaan in het experiment): toetsenbord en el-knop (knoppenvak). Koppel het beeldscherm aan beide.
OPMERKING: Met deze triggers kan de deelnemer of de onderzoeker op een willekeurige knop klikken om verder te gaan. - Selecteer het pictogram Camera-instellingen en koppel beide triggers eraan.
NOTITIE: Dit maakt het mogelijk om communicatie met de eye-tracker tot stand te brengen, zodat het oog of de ogen van de deelnemer kunnen worden gecontroleerd voor camera-aanpassing, kalibratie en validatie (zie sectie 4). - Selecteer het pictogram Resultatenbestand en sleep het aan de rechterkant van het stroomdiagram.
OPMERKING: Met deze actie kunnen de gedragsreacties van het experiment worden vastgelegd.
- Definiëren van de blokstructuur
- Selecteer het pictogram Sequence en koppel het (zie stap 2.2.1) aan de camera-instellingen.
- Klik in Eigenschappen op Iteratietelling en selecteer 2 voor het aantal blokken (Flitsen en Ballen).
- NOTITIE: Dit scheidt de presentatie van flitsen van die van ballen.
- Voer de volgorde (blokdefinitie) in en sleep een pictogram van het startpaneel , een weergavepictogram en de triggers el_button en toetsenbord. Koppel ze in deze volgorde.
- Klik in het schermpictogram op de knop Tekstbron met meerdere regels invoegen en typ een instructietekst waarin het experiment wordt uitgelegd.
- Definiëren van de proefstructuur
- Sleep in de blokreeks een pictogram Nieuwe reeks naar de editor om de proefreeks te maken.
OPMERKING: Door de proefreeks in de blokreeks te nesten, kunnen meerdere proeven in elk blok worden uitgevoerd. - Sleep in de proefreeks een startpaneel en een pictogram voor het voorbereiden van de reeks en koppel de tweede aan de eerste.
OPMERKING: Deze actie laadt de experimentele stimuli die aan de deelnemer worden gepresenteerd. - Sleep het Drift correctie icoon naar de interface en koppel het aan het voorbereiden sequentie icoontje.
OPMERKING: De driftcorrectie presenteert een enkel fixatiedoel op de stimulatiecomputermonitor en maakt het mogelijk om de positie van de cursorblik te vergelijken met de werkelijke stimulipositie op de opnamecomputer. De driftcontrole en de respectievelijke correctie beginnen automatisch na elke proef om ervoor te zorgen dat de initiële kalibratiekwaliteit behouden blijft.
- Sleep in de blokreeks een pictogram Nieuwe reeks naar de editor om de proefreeks te maken.
- Definiëren van de opnamestructuur
- Sleep in de proefreeks een pictogram Nieuwe reeks naar de editor om de opnamereeks te maken.
NOTITIE: De opnamevolgorde is verantwoordelijk voor het verzamelen van ooggegevens en het is waar de visuele stimuli worden gepresenteerd. - Selecteer de optie Opnemen in de eigenschappen van deze reeks.
OPMERKING: Door dit te doen, begint de eyetracker met opnemen wanneer de stimulus begint en stopt wanneer de stimulus eindigt. - Klik in eigenschappen op Gegevensbron en vul in elke rij de tabel in (typ of selecteer) met de exacte bestandsnaam van elke stimulus, het type proefpraktijk of experimenteel, hoe vaak elke stimulus zal worden gepresenteerd (1 hier), en de verwachte responsknop .
OPMERKING: De bestandsnamen moeten identiek zijn aan de bestandsnamen die in de bibliotheek zijn geüpload, inclusief bestandsextensie (bijv. ball_sp_1.xvd). - Klik in het bovenste paneel van de interface op Randomisatie-instellingens en markeer de vakjes Randomisatie van proeven inschakelen om ervoor te zorgen dat de stimuli binnen elk blok worden gerandomiseerd. Klik op de knop Ok om terug te keren naar de interface.
- Maak in de opnamevolgorde de verbinding startpaneel-scherm. Selecteer in het scherm de Videobron invoegen knop (camerapictogram) en sleep deze naar de interface.
- Koppel het toetsenbord en de el-knoptriggers aan het weergavepictogram (zoals in stap 2.2.1) om de deelnemer in staat te stellen te reageren.
- Sleep het pictogram Nauwkeurigheid controleren en koppel het aan de triggers zoals in stap 2.2.1.
OPMERKING: Met deze actie kan de software controleren of de toets die is ingedrukt overeenkomt met de waarde van de juiste antwoordkolom van de gegevensbron.
- Sleep in de proefreeks een pictogram Nieuwe reeks naar de editor om de opnamereeks te maken.
- Afronding van het experiment
- Klik boven aan het hoofdvenster op het pictogram Pijl uitvoeren om een test van het experiment uit te voeren.
3. Installatie van het apparaat
- Sluit de stimulatiecomputer aan op een knoppenkast met 5 knoppen en een toetsenbord.
- Sluit de stimulatiecomputer (met de systeemspecifieke presentatiesoftware) aan op de eye-tracker (Figuur 1), die onder of voor de monitor is geplaatst.
- Sluit de eye-tracker aan op de opnamecomputer.
Figuur 1: De eye-tracking setup. De ruimtelijke opstelling van het opnamesysteem bestaat uit de stimulatiecomputer, de opnamecomputer, de eye-tracker, het responsapparaat (knoppenkast) en het toetsenbord. De deelnemers zaten op 55 cm afstand van het stimulatiescherm. Klik hier om een grotere versie van deze figuur te bekijken.
4. Voorbereiding van de gegevensverzameling
- Verkrijg geïnformeerde toestemming van de deelnemers en beschrijf het experimentele formaat aan hen. Plaats de deelnemer op een zodanige afstand van de stimulatiecomputer dat de stimuluscirkel (flits of bal) overeenkomt met 2° van het gezichtsveld (typische afstand ~ 60 cm).
- Kies de bemonsteringsfrequentie (1.000 Hz voor hoge resolutie) en oog(en) om op te nemen (dominant oog).
- Zorg er bij de visualisatie van de opnamecomputer voor dat de eye-tracker het doel (een stok tussen de wenkbrauwen van de deelnemer) en het dominante oog op een stabiele manier volgt. Beweeg de camera indien nodig omhoog of omlaag.
- Open het experiment. Voer de 5-punts kalibratie- en validatieprocedures uit die door het systeem worden geleverd vanaf de opnamecomputer om een nauwkeurige en betrouwbare registratie van oogbewegingen mogelijk te maken. Instrueer de deelnemer om naar een stip te staren die op (5) verschillende plaatsen op het scherm verschijnt (één keer voor kalibratie, twee keer voor validatie).
OPMERKING: Accepteer alleen fouten onder 0.5°.
5. Het experiment uitvoeren
- Leg de taak uit aan de deelnemer.
- Presenteer de oefenproeven en verduidelijk de twijfels van de deelnemers.
- Start het experiment door op Uitvoeren te klikken.
- Pauzeer het experiment tussen de omstandigheden en leg uit dat de stimulus nu anders zal zijn, maar de vraag is hetzelfde.
6. Tijdvensters maken voor analyse
- Ga in Dataviewer-software18 naar Bestand, vervolgens naar Gegevens importeren en ten slotte naar Meerdere EyeLink-gegevensbestanden. Selecteer in het dialoogvenster de bestanden van alle deelnemers.
- Selecteer een proefversie. Selecteer het vierkante pictogram om een interessegebied te tekenen.
OPMERKING: Het interessegebied definieert zowel een gebied van het scherm als een tijdvenster binnen de proefversie. Hier selecteren we altijd het volledige scherm. - Om TW all te maken (Figuur 2), klikt u op het tekenpictogram en selecteert u het volledige scherm. Label in het dialoogvenster Openen het interessegebied als TW_all en definieer een tijdssegment dat overeenkomt met de volledige proefperiode.
- Klik op Opslaan van de interessegebiedset en pas dit sjabloon toe op alle proeven met dezelfde lengte (bijv. tijdstructuren 1 en 8 uit tabel 1, voor zowel ballen als flitsen, voor alle deelnemers).
- Selecteer een van de 16 tijdstructuren uit Tabel 1. Definieer TW_0, TW_1 en TW_2 zoals in stap 6.3, maar volgens de tijdslimieten die zijn geschematiseerd in figuur 2 (tijdvenstergrenzen die overeenkomen met flitsverschijningen en balpompoenen). De lengte van TW0 is aanpasbaar.
- Label elk interessegebied en pas het sjabloon toe op de proeven met dezelfde tijdstructuur (ballen en flitsen, alle deelnemers).
- Herhaal het proces voor de 15 resterende tijdstructuren.
Figuur 2: Stimulus type. Sequenties van stuiterende ballen (links) en flitsen (rechts) die in het experiment werden gebruikt. De stippellijnen geven de tijdvensters aan die voor de analyse worden gebruikt: TW0 is de prestimulusperiode; TW1 is de eerste verschijning van de stimulus op het scherm en markeert het eerste interval - wanneer de deelnemer informatie heeft over stimulikenmerken en de lengte van het eerste interval, en TW2 markeert het tweede interval - wanneer de deelnemer het eerste met het tweede interval kan vergelijken om een beslissing uit te werken (vertraagd of versneld). Klik hier om een grotere versie van deze figuur te bekijken.
7. Extractie van maatregelen
- Klik in de menubalk op Analyse | Verslag |Verslag over het interessegebied.
- Selecteer de volgende metingen om de verblijftijd, het aantal fixaties en de pupilgrootte te extraheren en klik vervolgens op volgende.
OPMERKING: De uitvoer moet gegevens bevatten van 16 flitsproeven en 16 stuiterbalproeven per deelnemer (32 proeven x n deelnemers), gespecificeerd voor elk van de vier tijdvensters (TW0, TW1, TW2, TW allemaal). - Exporteer de matrix als een .xlsx bestand.
8. Verwijder proeven met artefacten
- Overweeg de metingen van de verblijftijd voor TW all en markeer proeven met meer dan 30% signaalverlies (verblijftijd < 70% van de proeftijd).
OPMERKING: Houd er rekening mee dat elk van de 32 proeven een andere lengte heeft. - Sluit luidruchtige (gemarkeerde) paden uit van de matrix en sla deze op.
9. Statistische analyse
- Voer voor elke maat twee ANOVA met herhaalde metingen uit (TW x groep x stimulus), één met TW 0 en 1, de andere met TW 1 en 2.
- Correleer TW-gerelateerde veranderingen met gedragsresultaten, indien beschikbaar.
Representative Results
Om TW-gerelateerde veranderingen beter te begrijpen, richtte onze analyse zich op de interactie van tijdvensters (TW0 vs. TW1, TW1 vs. TW2) met stimulustype en groep. Zoals weergegeven in figuur 3, toonden beide TW-gerelateerde vergelijkingen (TW01 en TW12) verschillende niveaus van verandering volgens stimulus (TW x stimulus-interactie), waarbij Balls meer TW-gerelateerde veranderingen in oculomotorische responsen opwekten dan flitsen in beide groepen (geen TW x stimulus x groepsinteractie). Dit gebeurde zowel voor de pupilgrootte als voor het aantal fixaties. Wat groepsinvloeden betreft, vonden we een TW x groepsinteractie op de verandering in het aantal fixaties van TW0 naar TW1 (respons op stimulusbegin): dyslectici vertoonden een verminderde verandering, voornamelijk als gevolg van lagere prestimuluswaarden. Interacties tussen TW, stimulus en groep waren afwezig. Dit laat zien dat groepsinvloeden vergelijkbaar waren voor zowel ballen als flitsen.
Figuur 3: Resultaten. Tijdvenstergerelateerde veranderingen in pupilgrootte en aantal fixaties als functie van groep (controle vs. dyslectisch, TW x Groep) en stimulustype (Ballen, B, vs. Flitsen, F, TW x Stimulus). TW 0-1 gaat in op het contrast tussen geen stimulus en stimuluszichtbaarheid; TW 1-2 vergelijkt de eerste en tweede intervallen om intervalvergelijking aan te pakken. De 95%-betrouwbaarheidsintervallen worden weergegeven door verticale balken. Ballen lokten meer veranderingen dan flitsen uit van TW0 over TW1 (meer afname) en van TW1 over TW2 (meer toename) in beide eye-tracking-metingen en beide groepen (TW x stimulus, geen TW x stimulus x groep). Veranderingen in het aantal fixaties over TW 0-1 waren kleiner bij dyslectici dan bij controles, ongeacht het stimulustype (TW x groep, geen TW x stimulus x groep). Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4: Gedragsresultaten. (A) Onderscheid tussen versnellings- en vertragingssequenties (d-prime) per groep en stimulustype. (B) Significante correlaties tussen gedragsprestaties (d-prime) en tijdvenstergerelateerde veranderingen in oogbewegingen, beide stimulusgemiddeld. Klik hier om een grotere versie van deze figuur te bekijken.
Cruciaal was dat deze waarden parallel liepen met gedragsbevindingen (Figuur 4A), in lijn met de hoofdstudie: gedragsbevindingen wezen op stimuluseffecten (minder nauwkeurigheid voor Balls dan voor Flashes) en groepseffecten (slechtere prestaties bij dyslectici), zonder groep x stimulusinteracties. Bovendien correleerden we in de oorspronkelijke studie met vijf verschillende stimuli gedrag met eye-trackinggegevens (aantal fixaties) gemiddeld voor alle stimulustypen en vonden we een correlatie in de dyslectische groep: kleinere veranderingen van TW0 over TW1 bestonden naast verbeterde prestaties. Al met al leken de resultaten consistent met de hypothese dat deze (volwassen) dyslectici hun toevlucht kunnen nemen tot compenserende strategieën voor opzettelijke controle van de aandacht voor de stimulus zelf in de prestimulusperiode (minder fixaties op het lege scherm zouden de voorkeur geven aan het focussen op de stimulus tegen de tijd dat deze verscheen). We vonden een dergelijke correlatie niet in controles, wat suggereert dat ze misschien geen toevlucht hoeven te nemen tot strategieën om gefocust te blijven. De beperkte dataset die hier ter illustratie werd gebruikt (slechts twee stimuli, ballen en flitsen) vertoonde hetzelfde patroon (figuur 4B): dyslectici, maar niet de controles, vertoonden significante correlaties tussen d-prime (gedragsdiscriminatie-index) en TW01-gerelateerde veranderingen.
Kortom, de eye-tracking-resultaten die betrekking hadden op de reacties van deelnemers op zowel stimulusaanvang (TW 0-1) als intervalvergelijking (TW 1-2) repliceerden het gedragsbewijs dat ballen versus flitsen verschillende reacties uitlokken bij personen met en zonder dyslexie (TW x stimulus op eye-tracking-metingen, stimuluseffecten op d-prime). Een deel van de eye-tracking-resultaten liep ook parallel met de groepseffecten op d-prime, in die zin dat veranderingen in het aantal fixaties bij het begin van de stimulus (TW 0-1) kleiner waren bij dyslectici. Bovendien waren interacties tussen stimulus en groep (verschillende niveaus van afwijking bij dyslectici voor ballen versus flitsen) nul voor gedrags- en eye-trackinggegevens. Ten slotte was de correlatie tussen gedragsprestaties en de oculomotorische respons significant in de dyslectische groep.
| Volgorde | Type | Interval 1 | Interval 2 | Verschil |
| 1 | Versnellen | 433 | 300 | 133 |
| 2 | Versnellen | 300 | 167 | 133 |
| 3 | Versnellen | 467 | 433 | 34 |
| 4 | Versnellen | 733 | 167 | 566 |
| 5 | Versnellen | 467 | 300 | 167 |
| 6 | Versnellen | 433 | 134 | 299 |
| 7 | Versnellen | 534 | 233 | 301 |
| 8 | Versnellen | 500 | 433 | 67 |
| 9 | Rustig aan | 300 | 433 | -133 |
| 10 | Rustig aan | 167 | 300 | -133 |
| 11 | Rustig aan | 433 | 467 | -34 |
| 12 | Rustig aan | 167 | 733 | -566 |
| 13 | Rustig aan | 300 | 467 | -167 |
| 14 | Rustig aan | 133 | 434 | -301 |
| 15 | Rustig aan | 233 | 534 | -301 |
| 16 | Rustig aan | 433 | 500 | -67 |
| Gemiddeld interval | 377.1 | |||
| Gemiddeld verschil | 212.6 | |||
| Gemiddeld verschil/interval | 294.8 | |||
Tabel 1: Duur van het interval. Stimulussequenties voor versnellings- en vertraagsequenties in milliseconden.
Discussion
Het huidige protocol bevat een nieuwe component die van cruciaal belang kan zijn voor het aanpakken van de huidige obstakels voor het opnemen van eye-tracking in visuele duurwaarnemingstaken. De cruciale stap hier is de definitie van tijdvensters op basis van cognitieve processen die vermoedelijk plaatsvinden in elk van deze tijdvensters. In het systeem dat we hebben gebruikt, kunnen tijdvensters alleen worden gedefinieerd als interessegebieden (een ruimtegerelateerd concept dat in deze systemen aan tijd is gekoppeld), maar in andere systemen is het mogelijk om dit te doen door verschillende segmenten van de proef te exporteren. Naast deze temporele segmentatie van de studie is het belangrijk om je te concentreren op het analyseren van veranderingen in tijdvensters in plaats van op de parameters per tijdvenster.
De wijzigingen die in het protocol moesten worden aangebracht, hadden vooral betrekking op de afmetingen van het interessegebied. We hebben een eerste poging gedaan met behulp van dynamische AOI's - het definiëren van een ruimtelijke selectie rond de stimulus die erop volgde, in plaats van het hele scherm. We realiseerden ons echter al snel dat we relevante evenementen buiten dat gebied zouden kunnen missen. Aangezien onze metingen geen verband hielden met de focus op de stimulus (de pupilgrootte zou naar verwachting veranderen volgens de cognitieve belasting en niet volgens de aandacht voor de flits of bal; het aantal fixaties zou naar verwachting ruimtelijk zoeken weerspiegelen), kozen we ervoor om het volledige scherm te gebruiken als het interessegebied.
Het huidige protocol is een embryonaal voorstel dat nog veel verfijningen ondergaat. We lichten er slechts twee uit, ook al is er nog veel meer ruimte voor verbetering. De eerste betreft de verschillen in de lengte van de drie tijdvensters, waardoor we tijdvenstereffecten op het aantal fixaties niet kunnen interpreteren (bijv. een langer tijdvenster brengt meer fixaties met zich mee, vandaar de afname van TW0 naar TW1, zie figuur 3). Een manier om dit probleem aan te pakken zou zijn om het aantal fixaties per tijdseenheid in overweging te nemen.
De tweede heeft betrekking op de overeenkomst tussen tijdvensters en vermeende lopende processen, die verschillende kwesties omvat. Een daarvan is dat TW1 niet alleen het uiterlijk van de stimulus vertegenwoordigt, maar waarschijnlijk ook een expliciete vorm van intervalschatting (eerste interval) die ondergeschikt is aan intervalvergelijking en waarschijnlijk afwezig is in TW0. Op een vergelijkbare manier kunnen veranderingen in tijdvensters ook veranderingen weerspiegelen in algemene processen zoals volgehouden aandacht en werkgeheugen18, ook al kunnen sommige van deze veranderingen worden verwacht in een intervalvergelijkingstaak (de werkgeheugenbelasting zal naar verwachting toenemen van TW1 over TW2). Een manier om deze potentiële verstoringen te verzachten zou zijn om controletaken te introduceren die verband houden met pure duurschatting, volgehouden aandacht en werkgeheugen, en vervolgens de eye-tracking data-analyse te baseren op de vergelijking tussen experimentele (intervalvergelijking) en controletaken. Een ander probleem is dat de duur van TW0 niet relevant was voor de taak, en het is bekend dat taak-irrelevante duur schadelijk kan zijn voor prestatie19. Toekomstig werk zou zich kunnen richten op het verbeteren hiervan, namelijk door een verschil van 300 ms te creëren tussen TW0 (irrelevant interval) en TW1 om visuele verwerkingsreacties beter af te bakenen, aangezien een korte gebeurtenis kan worden vertekend om eerder of later te worden waargenomen dan de presentatie ervan door simpelweg een andere gebeurtenis toe te voegen in bijna temporele nabijheid20,21.
Ten slotte kan spontaan knipperen met de ogen de tijdperceptie beïnvloeden door deze te vervormen (de tijd verwijden als een oogknippering voorafgaat aan het interval, samentrekken als het tegelijkertijd gebeurt), waardoor mogelijk variabiliteit in de intra-individuele timingprestaties wordt geïntroduceerd22. Een manier om dit probleem te minimaliseren zou zijn om een op oogknipperen gebaseerde correctiefactor toe te passen in de gedragsoordelen van de deelnemers (bijv. een betrouwbaarheidspercentage toekennen aan elk oordeel, afhankelijk van de aanwezigheid van knipperen voor of tijdens de stimuli. Bovendien kan het opnemen van de statistische benadering van het behandelen van onderzoeken als willekeurige variabelen ook helpen bij het aanpakken van dit probleem.
Met betrekking tot toekomstig onderzoek zou een belangrijk onderwerp om aan te pakken het verband zijn tussen spontane oogknipperfrequentie (EBR) en tijdsperceptie. Van EBR is bekend dat het een niet-invasieve indirecte marker is van de centrale dopaminefunctie (DA)23, en meer recentelijk werd een hoge ERB geassocieerd met een slechtere temporele perceptie. De studie suggereert een implicatie van dopamine in intervaltiming en wijst op het gebruik van ERB als een proxy van dopamine-maatregel24. Een ander belangrijk onderwerp is de functionele betekenis van de (veranderingsgerelateerde) maatregelen die we hebben geanalyseerd, die nog moet worden bepaald in de context van ons paradigma. In de oorspronkelijke studie, evenals in de huidige vereenvoudigde dataset, waren de toename van de pupilgrootte van TW0 naar TW1 consistent met het idee van verhoogde cognitieve belasting, maar de afwezigheid van groepseffecten op deze maatstaf sluit verdere overwegingen uit. Een patroon dat zich lijkt voor te doen, is dat kleinere veranderingen in tijdvensters correleerden met betere gedragsprestaties (flitsen beter dan ballen, en d-prime bij dyslectici gerelateerd aan kleinere veranderingen), maar verder onderzoek is nodig.
Ondanks zijn beperkingen is het huidige protocol, voor zover wij weten, het eerste dat parallelle resultaten laat zien in eye-tracking en gedragsgegevens (hetzelfde profiel van effecten), evenals enig bewijs van de correlatie tussen de twee.
Disclosures
De auteurs hebben geen belangenconflicten om bekend te maken.
Acknowledgments
Dit werk werd ondersteund door de Portugese Stichting voor Wetenschap en Technologie in het kader van subsidies UIDB/00050/2020; en PTDC/PSI-GER/5845/2020. De APC werd volledig gefinancierd door de Portugese Stichting voor Wetenschap en Technologie in het kader van subsidie PTDC/PSI-GER/5845/2020 (http://doi.org/10.54499/PTDC/PSI-GER/5845/2020).
Materials
| Name | Company | Catalog Number | Comments |
| Adobe Animate | Adobe | It is a tool for designing flash animation films, GIFs, and cartoons. | |
| EyeLink Data Viewer | It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data. | ||
| Eye-tracking system | SR Research | EyeLink 1000 Portable Duo | It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools. |
| Monitor | Samsung Syncmaster | 957DF | It is a 19" flat monitor |
| SR Research Experiment Builder | SR Research | It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities. |
References
- Bellinger, D., Altenmüller, E., Volkmann, J. Perception of time in music in patients with parkinson's disease - The processing of musical syntax compensates for rhythmic deficits. Frontiers in Neuroscience. 11, 68 (2017).
- Plourde, M., Gamache, P. L., Laflamme, V., Grondin, S. Using time-processing skills to predict reading abilities in elementary school children. Timing & Time Perception. 5 (1), 35-60 (2017).
- Saloranta, A., Alku, P., Peltola, M. S. Listen-and-repeat training improves perception of second language vowel duration: evidence from mismatch negativity (MMN) and N1 responses and behavioral discrimination. International Journal of Psychophysiology. 147, 72-82 (2020).
- Soares, A. J. C., Sassi, F. C., Fortunato-Tavares, T., Andrade, C. R. F., Befi-Lopes, D. M. How word/non-word length influence reading acquisition in a transparent language: Implications for children's literacy and development. Children (Basel). 10 (1), 49 (2022).
- Sousa, J., Martins, M., Torres, N., Castro, S. L., Silva, S. Rhythm but not melody processing helps reading via phonological awareness and phonological memory. Scientific Reports. 12 (1), 13224 (2022).
- Torres, N. L., Luiz, C., Castro, S. L., Silva, S. The effects of visual movement on beat-based vs. duration-based temporal perception. Timing & Time Perception. 7 (2), 168-187 (2019).
- Torres, N. L., Castro, S. L., Silva, S. Visual movement impairs duration discrimination at short intervals. Quarterly Journal of Experimental Psychology. 77 (1), 57-69 (2024).
- Attard, J., Bindemann, M. Establishing the duration of crimes: an individual differences and eye-tracking investigation into time estimation. Applied Cognitive Psychology. 28 (2), 215-225 (2014).
- Warda, S., Simola, J., Terhune, D. B. Pupillometry tracks errors in interval timing. Behavioral Neuroscience. 136 (5), 495-502 (2022).
- Goswami, U. A neural basis for phonological awareness? An oscillatory temporal-sampling perspective. Current Directions in Psychological Science. 27 (1), 56-63 (2018).
- Catronas, D., et al. Time perception for visual stimuli is impaired in dyslexia but deficits in visual processing may not be the culprits. Scientific Reports. 13, 12873 (2023).
- Zagermann, J., Pfeil, U., Reiterer, H. Studying eye movements as a basis for measuring cognitive load. Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. , ACM Press. New York. 1-6 (2018).
- Rafiqi, S., et al. PupilWare: Towards pervasive cognitive load measurement using commodity devices. Proceedings of the 8th ACM International Conference on PETRA. , 1-8 (2015).
- Klingner, J., Kumar, R., Hanrahan, P. Measuring the task-evoked pupillary response with a remote eye tracker. Proceedings of the 2008 Symposium on ETRA. , 69-72 (2008).
- Mahanama, B., et al. Eye movement and pupil measures: a review. Frontiers in Computer Science. 3, 733531 (2022).
- Pfleging, B., Fekety, D. K., Schmidt, A., Kun, A. L. A model relating pupil diameter to mental workload and lighting conditions. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , 5776-5788 (2016).
- Cicchini, G. M.
- EyeLink Data Viewer 3.2.1. SR Research Ltd. , Available from: https://www.sr-research.com/data-viewer/ (2018).
- Spencer, R., Karmarkar, U., Ivry, R. Evaluating dedicated and intrinsic models of temporal encoding by varying contex. Philosophical Transactions of the Royal Society B. 364 (1525), 1853-1863 (2009).
- Coull, J. T. Getting the timing right: experimental protocols for investigating time with functional neuroimaging and psychopharmacology. Advances in Experimental Medicine and Biology. 829, 237-264 (2014).
- Burr, D., Rocca, E. D., Morrone, M. C. Contextual effects in interval-duration judgements in vision, audition and touch. Experimental Brain Research. 230 (1), 87-98 (2013).
- Grossman, S., Gueta, C., Pesin, S., Malach, R., Landau, A. N. Where does time go when you blink. Psychological Science. 30 (6), 907-916 (2019).
- Jongkees, B. J., Colzato, L. S. Spontaneous eye blink rate as predictor of dopamine-related cognitive function-a review. Neuroscience & Biobehavioral Reviews. 71, 58-82 (2016).
- Sadibolova, R., Monaldi, L., Terhune, D. B. A proxy measure of striatal dopamine predicts individual differences in temporal precision. Psychonomic Bulletin & Review. 29 (4), 1307-1316 (2022).
