In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
Många funktioner i hjärnans funktion är för närvarande omöjligt att replikera i ett artificiellt system. Hjärnans förmåga att snabbt bearbeta komplexa sensorisk information och för att generera, som svar är exakta motorkommandon i sig redan utöver den nuvarande toppmodern. Men dess förmåga att anpassa sig till olika förhållanden genom att lära av tidigare erfarenheter gör det så mycket bättre än styrsystem människan utvecklas. Hittills försöker replikera eller utnyttja denna plasticitet har träffat lite framgång, och förståelsen av det inre arbetet i hjärnan har gäckat grepp om forskare. En av de viktigaste frågorna samtidigt undersöka sambandet mellan hjärnan och beteende är oförmågan att korrekt åt alla variablerna i systemet: Helst skulle en optimal experimentuppställning tillåter samtidig inspelning och stimulans till ett stort antal nervceller, långsiktig stabilitet , övervakning av synapser positioner och vikter och kontrollerbar bi-directional interaktion med miljön. Svårigheten att spåra alla dessa variabler samtidigt ledde till studiet av hjärnan-beteendet relation på två mycket olika skalor: antingen med beter djur, utan exakt kontroll över experimentella betingelser 1-7 eller med små, isolerade delar, såsom delar av neuronal vävnad, utan helhetssyn på systemet 8. I det senare fallet, medan ingen utarbetat experimentuppställning tillåter fullständig övervakning av alla parametrar som är involverade i arbetet i och med en enkel neurala nätverk, är en bra kompromiss som tillhandahålls av dissocierade nervceller odlas över Micro-Elektrod Arrays (MEA) 9. Dessa enheter, född i slutet av 70-talet 10, har flera fördelar jämfört med traditionella elektrofysiologiska tekniker: för det första, möjligheten att spela in och stimulera ett neuralt nätverk på många olika platser på en gång (vanligtvis 60 elektroder). Dessutom är nästan icke-invasiv kopplingen av MEA med celler, Vilket möjliggör observation av samma nätverk under långa tidsperioder, upp till flera månader 11. De fysiologiska effekterna av elektrisk stimulering på dissocierade kulturer har studerats utför tack vare dessa enheter, avslöjar att många fastigheter observerats vid högre skalor (såsom exempelvis plasticitet och enkelt minne processer 12-14) är konserverade trots förlusten av arkitekturen. Under kulturtillväxt, dessa nät börjar visa spontan aktivitet vid ca 7 dagar in vitro (DIV) 15,16. Nätverksaktivitet tenderar att förändras radikalt med ytterligare tillväxt; först som enstaka spikar samlar in skurar (mot slutet av den andra veckan) 17, senare som den ändras till en mycket komplext mönster av synkroniserad, icke-periodisk nätverk skurar 18, som representerar den mogna tillståndet i ett nätverk. Det har föreslagits 19 att denna synkrona beteende, något liknande den som observerats i in vivo rekordningar på sovande djur, orsakas av brist på sinnesintryck.
En annan strategi försökt att få en bättre förståelse för informationskodning har tagits genom att utföra slutna kretslopp experiment, där olika typer av signaler användes för att styra stimulering av neuronala nätverket självt 11,20-23. I dessa experiment har ett externt medel med förmåga att interaktion med miljön använts för att generera sensorisk information matas till det neurala nätet, vilket i sin tur produceras motorkommandon för en effektor mekanism. Detta tillät observationer av hur dynamiska och adaptiva egenskaper av neurala system utvecklats som svar på inducerade förändringar i miljön.
En installations att utföra "förkroppsligade neurofysiologi" experiment utvecklades, där en hjulförsedd sensorplattform (en fysisk robot eller dess virtuell modell) rör sig omkring i en arena och dess hastighetsprofiler bestäms av aktiviteten hos en neuronalsystemet (dvs, en population av rått nervceller odlas över en MEA). Roboten kännetecknas av de hastighetsprofiler av dess två självständigt styrda hjul och av de strömavläsningar av avståndsgivarna. Den exakta innebörden av avståndssensorer är inte relevant; de kan vara aktiva eller passiva optiska sensorer eller ultraljudssensorer. Uppenbarligen inte denna fråga inte tillämpas i fråga om virtuella robotar, där sensorer kan utformas med någon önskad funktion.
I experimenten som beskrivs häri, är roboten används alltid den virtuella genomförande, med sex avståndssensorer som pekar på 30 °, 60 ° och 90 ° från roboten rubrik i båda riktningarna. Aktiviteten av de tre vänstra och högra sensorerna genomsnitt och aktiviteten av den biologiska kulturen drivs av den information som samlas in av sådana "supersensorer" (som bara kommer att hänvisas till som "vänster" och "höger" sensorer i resten av detta arbete). Protocol beskrivits kan faktiskt appliceras på den fysiska roboten med ganska mindre justeringar. Den information som samlas in av roboten (antingen fysiska eller virtuella) kodas i en serie av stimuli som används för att manipulera aktiviteten hos den biologiska neurala nätverk, som är fysiskt åtskilda av roboten. De stimuli själva är alla identiska och därför inte koda någon information. Vad som är relevant är deras frekvens: stimulering höjningar när roboten närmar sig ett hinder, med olika leveransställen kodning sensorisk information från vänster och höger ögon "av roboten. Det neurala nätverket kommer att presentera olika svar på den inkommande tåg av stimuli: uppgiften att avkodningsalgoritmen är att översätta den resultenätverksaktivitet i kommandon som används för att styra hjulen på roboten. Givet en "perfekt" nätverksbeteende (dvs, med tillförlitlig och helt separerade svar på stimuli från olika elektroder), skulle detta Result i robot körning i sin arena utan att träffa några hinder. De flesta nätverk närvarande ett beteende olika mycket från idea, därför en enkel inlärningsprotokoll införs: när den aktiveras, tetanic stimulering (korta perioder av högfrekvent stimulering, 20 Hz stimulering för 2 sek, inspirerad av protokollen i 24,25) efter en kollision med ett hinder levereras. Om tetanic stimulering resulterar i en lokal förstärkning av nätverksanslutning, kommer detta att resultera i en progressiv ökning av navigeringsfunktionerna i roboten.
HyBrainWare2, en förbättrad version av den anpassade programvara publiceras i 26, är kärnan arkitekturen utvecklas för att hantera styrning av de olika anordningarna i systemet (stimulatorn, datainsamling, bearbetning och visualisering, robot kommunikation eller simulering). Denna programvara har utvecklats på vårt labb och är fritt tillgänglig på förfrågan. Denna programvara ger gränssnittet meddatainsamlingskortet: när användaren startar datainsamling från GUI, styr programmet förvärvs styrelsen att starta provtagning och A / D-omvandling av data som kommer från inspelningselektroder. Dessa data kan sedan spelas in, visas till skärm eller analyseras i realtid för att upptäcka spikar, enligt vad som angivits av användaren (se Tillvägagångssätt avsnitt för detaljer). Vidare i mjukvaran, definitionen av kodning (översättning av sensorisk information till en elektrisk stimulering) och avkodning (översättning av inspelad aktivitet i motorkommandon för roboten) algoritmer måste specificeras. I synnerhet är vår inställning ganska lättanvänd jämfört med liknande system som utformats i det förflutna 27, eftersom nästan alla variabler kan nås av användaren rätt innan själva experimentet, medan all inspelad information sparas automatiskt i ett format som är kompatibelt med ett neuralt dataanalys verktygslåda 28.
Följande procedur avsnitt beskriver en inlärningsexperiment på dissocierade rått hippocampus kulturer: all odling och experimentella parametrar finns för just denna förberedelser och kan behöva ändras om en annan biologisk substrat ska användas. Likaså tar det beskrivna experimentet fördel av den som sluten slinga arkitektur för att undersöka inlärningseffekten av tetanisk stimulering, men arkitekturen i sig är tillräckligt flexibelt för att användas i studien av olika funktioner i dissocierade neurala nätverk. Större varianter av den föreslagna experimentet förklaras ytterligare i diskussionsavsnittet.
I detta papper en neurorobot arkitektur baserad på en neural styrenhet (dvs, ett nätverk av nervceller som kommer från cortex eller hippocampus av embryonala råttor), dubbelriktat ansluten till en virtuell robot, presenteras. Roboten, som har sensorer och hjul, tvingas att röra sig i ett statiskt arena med hinder och dess uppgift består i att undvika kollisioner.
Den första och kanske mest kritiska aspekten av det beskrivna förfarandet är framställningen av kulturerna själva, eftersom felfrekvensen tenderar att vara betydande även i de bästa av de tekniska villkoren. En detaljerad beskrivning av odling tekniker är dock utanför ramen för detta arbete. Som en allmän riktlinje bör inspelningar inträffa när nätverket eldhastighet når en stabil nivå, vanligtvis efter 3 veckor in vitro. En grov uppskattning av friska kulturer är förekomsten av spontan elektrofysiologiska aktivitet i flera inspelnings kanaliels (minst 20 kanaler över 60 tillgängliga). Sådana kulturer kännetecknas av en hög grad av neuronal inbördes förbindelserna. Under sådana förhållanden, oftast neural aktivitet blir starkt synkroniserad och ibland visar den epileptiforma händelser, med intensiv tillsatta följt av minuter långa tysta perioder 37. Båda dessa funktioner utgör ett problem: driven synkronisering kommer att göra det omöjligt att skilja på reaktioner på stimuli från olika elektroder, medan kulturer uppvisar epileptiform aktivitet kommer att svara på den första stimulus presenteras med en lång utbrott av aktivitet, följt av en tyst period, oavsett någon efterföljande stimuli levereras. Båda dessa frågor kan starkt förbättras genom anställning av mönstrade kulturer 35, i vilken det neurala befolkningen är uppdelad i två eller flera svagt sammankopplade undergrupper.
En annan fråga är att neurala svar starkt beroende utdelning av inkommande StimulI 38,39. I en sluten slinga experimentet, är det levererade stimulering en funktion av sensoravläsningar, vilka i sin tur är en följd av robotens rörelse och därmed av de neurala svaren själva. Detta innebär att det inte finns något enkelt sätt att fastställa på förhand vad svaren kommer att observeras under själva försöket. Som ett resultat, måste valet av input-output elektroder lita på varandra följande approximationer. I det beskrivna protokollet, ett två-stegsförfarande (nämligen stegen 5,5 och 6,4) är implementerad för att försöka bestämma en anslutning karta. I det första steget, är en vanlig sekvens av stimuli levereras och svar på sådana stimuli används för att härleda en första anslutning karta och en tillfällig uppsättning inspelningskanaler. Denna konfiguration används sedan för att utföra provkörning beskrivs i steg 6.4 och väljer inspelningskanaler som kommer att övervakas under själva försöket.
I avsnittet Resultat, ett representativt navigerings result och omedelbara förbättringar som orsakats av införandet av ett lärande paradigm presenteras. Under hela protokollbeskrivningen, finns flera andra möjliga experimentella varianter nämns. Till exempel, för att de två stora kodningssystem som genomförts i HyBrainWare2 (linjära och stokastiska) där utvecklade utreda exakt vilken roll tidsingångs variabilitet på neurala kod 38. I det linjära fallet, är ögonblicklig stimulering hastighet en funktion av användardefinierade parametrar och robot sensorer inspelningar. I den stokastiska fallet har varje gång exempelvis en viss sannolikhet för att bli vald att leverera en stimulans. Sådan sannolikhet automatiskt beräknas av HyBrainWare2 så att de förväntade stimulerings priser matchar det förra fallet. Möjligheten att lägga jitter till linjär kodning ger en mjuk övergång mellan de två fallen som beskrivs ovan. På samma sätt, kan utforska olika kombinationer av parametrar i avkodningssektionen hjälpa belysa precise roll för sprängning i de vitro neuronnät. Hastigheten på varje hjul av roboten ökar proportionellt mot vikten parametern varje gång en händelse detekteras i motsvarande utgång området, medan utsläckningskoefficient anger hur mycket tid, i sekunder, en av de bidrag som krävs för att förlora 50% av sitt värde . Förfallet är en enkel exponentiell. Dessa varianter har redan beaktats i den nuvarande utformningen av HyBrainWare2, men många fler forskningsmöjligheter är öppna om ytterligare ändringar i programvara eller experimentuppställning kan införas.
En ganska betydande begränsning av protokollet här beskrivna är kravet på den utvecklade anpassade program, HyBrainWare2 (fritt tillgänglig på begäran till alla intresserade användare). Denna programvara har utformats för ett antal enheter (stimulator, förvärv ombord, MEA förstärkare) av en viss modell och tillverkare. Även om det faktiskt är möjligt att anpassa den för att arbeta på different uppställningar, kommer omvandlingen ta lite programmering skicklighet. Likaså de ingående alternativen täcker endast en begränsad uppsättning av alla de experimentella frågor som kunde undersökas genom en sådan inställning. Till exempel är det spik detektionsalgoritmen implementeras i den presenterade arkitektur (exakt tid spik upptäckt 40) helt definieras av flera hårdkodade parametrar som behöver ändras om föremål för registrering är väldigt annorlunda från dissocierade neurala nätverk (t.ex. hjärtceller eller skivor). Slutligen inlärnings protokollet består av leverans av en kort, högfrekvent (2 sek på 20 Hz stimulering, är varje stimulus puls samma som de som används för att koda sensorisk information) stimulering efter varje hinder träff. Om roboten stöter emot ett hinder med sin högra sida, är det tetanic stimulans levereras till elektroden som vanligtvis koder för höger sidoinformation och detsamma gäller för vänster sida träffar. Detta protokoll är hårdkodad och kan inte be ändras av användaren utan att ändra spännande program.
Medan installationen presenteras här är inte första förkroppsligade system för hybrid, slutna kretslopp experiment 20,23,27,41,42, var de som utformade tidigare fokuserat på en enda avhandling som stöds av data från ett begränsat antal analoga preparat . Å andra sidan har den beskrivna installations använts för ett stort antal experiment (mer än 100 kulturer har registrerats sedan 2012) med preparat som skiljer för modularitet och ursprung, medan experimenten själva adresserade olika frågor (t.ex. effekterna av tetanisk stimulans och relevans för sprängning, som presenteras i resultatet). Inom en snar framtid, är nya experimentella sessioner planeras att verifiera de bestående effekterna av både tetanic och kretslopps stimulering och förhållandet mellan stimulans regelbundenhet och observerade svar. En annan fråga som skall behandlas är länken mellan spontan och observerad aktivitet, medidén om att lägga en ny avkodningsalgoritm som tar hänsyn till historien om tidigare aktivitet och stimulering 43.
The authors have nothing to disclose.
Författarna vill tacka Ph.D. elev Marta Bisio för odling och underhålla neuronala nätverk över Mikroelektrod arrayer och Dr Marina Nanni och Dr Claudia Chiabrera från NBT-IIT för tekniskt bistånd för dissekering och dissociation förfaranden. Den forskning som leder till dessa resultat har erhållit finansiering från EU: s sjunde ramprogram (IKT-FET FP7 / 2007-2013, FET Young Explorers system) under bidragsavtal n ° 284.772 BRAIN BOW ( www.brainbowproject.eu ). Författarna vill också tacka Silvia Chiappalone för hennes hjälp i att producera de bilder som används i inledningen.
Name of Reagent/Material | Company |
Stimulus Generator 4002 | Multi Channel Systems |
MEA1060-Inv-BC | Multi Channel Systems |
TC02 | Multi Channel Systems |
NI 6255 Acquisition Card | National Instruments |
Microsoft Visual Studio 2008 | Microsoft |
2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
Matlab 2010 | Mathworks |