Det här protokollet beskriver stegen för att använda den nya programvaran, SwarmSight, för bildruta-för-bildruta spårning av insekt antenn och Snabel positioner från konventionella web kamera videor med hjälp av konventionella datorer. Fri, öppen källkod programvaran bearbetar ramar ungefär 120 gånger snabbare än människor och utför på bättre än mänskliga noggrannhet.
Många vetenskapligt och agriculturally viktiga insekter använda antenner att upptäcka förekomsten av flyktiga kemiska föreningar och utöka sin snabel under utfodring. Förmågan att snabbt få högupplösta mätningar av naturliga antenn och Snabel rörelser och bedöma hur de förändras som svar på kemiska, utvecklingsmässiga och genetiska manipulationer kan hjälpa förståelsen av insekters beteende. Genom att utvidga vårt tidigare arbete på att bedöma sammanlagda insekt svärm eller djurgrupp rörelser från naturliga och laboratorium videor med hjälp av videoanalys programvara SwarmSight, utvecklat vi en ny, fri och öppen programvarumodul, SwarmSight bihang Spårning (SwarmSight.org) för bildruta-för-bildruta spårning av insekt antenn och Snabel positioner från konventionella web kamera videor med hjälp av konventionella datorer. Programvaran bearbetar ramar ungefär 120 gånger snabbare än människor, utför på bättre än mänskliga noggrannhet och, med hjälp av 30 stommen per andra (fps) video, kan fånga antennal dynamics upp till 15 Hz. Programvaran används för att spåra honungsbin antennal svar till två lukter och hittade signifikant genomsnittlig antennal retractions bort lukt ungefär 1 s efter lukt presentation. Vi observerade antenn position täthet värme karta kluster bildandet och kluster och menar vinkel beroende på lukt koncentration.
De flesta leddjur flytta antenner eller andra bihang till prov miljömässiga cues och signaler i tid och rum. Djuren kan använda antenner för att navigera sin omgivning genom att upptäcka sensoriska signaler som flyktiga kemiska ämnen och luktintrycket och mekaniska stimuli1,2,3,4. Hos insekter innehåller antenner sensoriska receptorer som binder till flyktiga kemiska ämnen4,5,6 och sända denna signal via luktsinnet sensoriska nervceller till centrala hjärnan regionerna1,7 ,8,9. Insekter kan justera antennerna positioner för att modulera information om inkommande lukter4,10,11. Denna modulering underlättar aktivt informerade beteendemässiga Svaren till lukt och sina plymer12,13.
Många insekter, däribland Hymenopterans (t.ex. honungsbin och humlor), Lepidopterans (t.ex. fjärilar) och Dipterans (t.ex. flugor och myggor), bland annat foder genom att utvidga sin snabel14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. snabel förlängning har använts på ett tillförlitligt sätt i förflutnan för en mängd inlärning och minne uppgifter22,23,24,25,26, 27,28,29,30,31. Kvantitativ bedömning av antenner rörelse med hög temporal och spatial upplösning kanske likaså ger insikt i förhållandet mellan stimulansen, beteende och inre tillstånd av djuret. Faktiskt tidigare arbete har visat hur de antennal rörelserna innehåller en rik mängd information om honey bee spårning av miljön och hur rörelser förändras med lärande32,33,34, 35,36,37,38.
Under det senaste decenniet, har metoder för att observera djurs beteende kraftigt påskyndats av framsteg inom högupplösta videokameror, dator bearbetning hastigheter och maskin vision algoritmer. Uppgifter som djur upptäckt, inventering, spårning och plats förkärlek analyserna har fått hjälp med sofistikerad mjukvara som kan bearbeta videor av djurs beteende och extrahera relevanta åtgärder39,40, 41,42,43,44,45,46,47.
Dessa tekniker har också hjälpt spårning av insekt antenn och Snabel rörelser. Det är möjligt för mänskliga bedömare att använda en musmarkören att manuellt spåra placeringen av antennerna. Men denna metod kan vara korrekt, uppgiften är tidskrävande och mänskliga ouppmärksamhet och trötthet kan resultera i otillförlitliga resultat. Specialutrustning och förberedelse kan användas för att minska behovet av komplex programvara. Till exempel en inställning används en höghastighetskamera och målade tips av antenner att spåra de antenn rörelse48. Användare kan också bli ombedd att välja nyckel-ramar av videor att hjälpa programvaran att upptäcka antenn och Snabel plats49. Ett annat tillvägagångssätt upptäcktes de två största rörelse kluster för att identifiera antenner, men det identifierar inte de snabel läge50. Ett annat programpaket kan upptäcka antenn och Snabel platser, men kräver ca 7,5 s bearbetningstid per ram51, som kunde vara oöverkomliga för realtid eller långsiktig observationsstudier. Slutligen, det kan vara möjligt att anpassa kommersiell programvarupaket (t.ex. EthoVision) för att utföra den uppgift46, men deras licensiering och utbildning kostnader kan vara oöverkomliga.
Med den metod som beskrivs här, utökade vi vårt tidigare arbete på rörelse analys programvara41 att spåra placeringen av insekt antenner och Snabel med följande mål: (1) inget krav på speciell hårdvara eller komplexa djur beredning, (2). ram bearbetning i realtid (30 bps eller snabbare) på en konventionell dator, (3) enkel användning och (4) öppen källkod, lätt utdragbara kod.
Den resulterande roman metod och programvara med öppen källkod, SwarmSight bihang spårning, kräver inte målning av antenner tips, kan använda en konsument webbkamera för att fånga videoklipp och videobildrutor processer på 30-60 fps på en konventionell dator ( (Se figur 1). Programvaran använder video filer som indata. Användaren söker efter placeringen av insekt huvudet i videon och efter bearbetning, en fil med kommaavgränsade värden (.csv) produceras med platserna av antenner och snabel. Programvaran är kan läsa hundratals olika videoformat (inklusive format som produceras av de flesta digitalkameror) med hjälp av FFmpeg bibliotek52.
Figur 1: djur installation och programvara utdata. (A) A honey bee forager med dess huvud och kropp fastspänd i en sele. (B) lukt källa placeras framför djuret, en videokamera är placerad ovanför, och en vakuumkällan är placerad bakom djuret. (C), antennen spets och Snabel variabler identifieras av programvaran SwarmSight från videon. (D), användaren placerar antennen sensorn över djuret och justerar filterparametrarna. Programmet upptäcker antenn och Snabel positioner (gula ringar).Klicka här för att visa en större version av denna siffra.
Först är en insektens kropp och huvudet fastspända i en sele så att antennen och Snabel rörelser följs enkelt (figur 1A). En lukt källa placeras framför insekten, med en vakuum källa som placeras bakom, ta bort lukter från luften och minimera potentiella effekter av sensorisk anpassning (figur 1B). En konventionell webbkamera är placerad ovanför den insektsvaxer huvud på ett stativ. En LED kan placeras inom kamerans vy att indikera när lukten som presenteras.
Figur 2: antenn koordinatsystem. X, Y-värden använder video koordinatsystemet, där övre vänstra hörnet är ursprung och X- och Y-värden ökar när du flyttar mot det nedre högra hörnet. Vinklar är uttryckt i grader med avseende på framsidan av huvudet (vanligtvis lukt källan). Värdet ”0” betyder att den linje som bildas av den antenn flagellen pekar direkt framför djuret. Alla vinklar är positiva, utom när en antenn pekar i motsatt riktning (t.ex. rätt flagellen punkterna till vänster). Klicka här för att se en större version av denna siffra.
Efter inspelningen, öppnas video filen med programvaran SwarmSight, där användaren placerar widgeten antenn Sensor (figur 1 d, svart fyrkant) över huvudet av insekt och börjar videouppspelningen. När resultaten sparas, CSV-filen innehåller X, Y positioner av antennen tips, antenn vinklar i förhållande till framsidan av huvudet (figur 2), och Snabel X, Y-position. Dessutom beräknas en dominerande sektorn mått för varje antenn. Den metriska visar vilken av de fem 36 graders sektorer som omger varje antenn innehöll flest poäng anses sannolikt att vara antenner och kan vara användbart om antenn/vinkel mätvärden inte är tillförlitliga på grund av bullriga eller annars problematiska videor.
Kort, programvaran fungerar med hjälp av en uppsättning rörelse filter53 och en avslappnad översvämning fyllning algoritm54. För att hitta sannolika antenn punkter, två filter används: en 3-i rad-bildruta skillnaden filter41,55 och en median-bakgrund subtraktion56 filter. Ett färgfilter avstånd tröskel används för Snabel punkt upptäckt. Topp 10% av pekar av varje filter kombineras, och en översvämning fyllning algoritm som inspekterar sammanhängande punkter med luckor upp till 2 pixlar (px) lokaliserar extrema punkter. Parallella ram avkodning, bearbetning, och rendering pipelines och optimerad minne tilldelningen av filtret dataflödet uppnår hög prestanda. Råa x- och y-koordinaten värden produceras av programvaran är efterbehandlade med en 3-frame rullande median filter57 (se diskussion). Instruktionerna för att ladda ner full källkod kan hittas online58.
Nedan är ett protokoll för att förbereda en honey bee forager för antenn spårning. En liknande protokoll kan användas för att spåra antenn/snabel förehavanden av någon annan insekt. I resultatavsnittet beskriver vi ett prov antennen spårningsutdata som detekteras av programvaran, jämförelse av programvara utdata till spårning framförd av mänskliga bedömare, och bedömning av antenner rörlighet svar på fem doftämnen.
Metoden presenteras här möjliggör spårning av insekt antenn och Snabel rörelser i realtid utan att särskilda djur beredningar eller maskinvara.
Begränsningar:
Trots dessa fördelar finns det vissa begränsningar för metoden. Dessa omfattar kravet på att huvudet av djuret är begränsad från rörelse, behovet för användare att välja plats och orientering av djuret för varje video, kravet på att ha tillgång till en Windows-dator och programvarans oförmåga att spåra rörelse i tre dimensioner (3D) och i några visuellt tvetydiga bihang positioner beskrivs nedan.
Programvaran kräver att huvudet av djuret är fast på plats och går inte under videon. Detta är liknande till förberedelserna inför föregående arbete48,49,50,51. Det är möjligt att modifiera programvaran för att tillåta automatisk identifiering av huvudet rotationer, dock skulle konsumera ytterligare bearbetningstid och införa en ny källa till fel. Om den modifierade programvaran skulle upptäcka huvud rotation felaktigt, skulle detta påverka antennerna vinklar, som deras uträkning är i förhållande till huvudet rotationsvinkeln. För närvarande väljer användaren huvud orientering en gång per video. Detta synsätt, minimerar medan inte utan mänskliga fel, vinkel beräkningsfel när huvudet inte är tillåtet att flytta under videon.
Programvaran kräver också en Windows 7 (eller senare) operativsystem (OS). Målet var att göra programvaran lätt att installera, konfigurera och använda av användare utan programmerings- eller avancerade datorkunskaper administration. Vi beslutade att målet Windows eftersom det är allmänt tillgänglig, och i fall där tillgång till den är begränsad, virtuella maskiner (t.ex., VirtualBox, VMware, paralleller) med Windows kan skapas enkelt. Detta val av OS förenklar installationen med hjälp av en lätt-till-använda, befalla-fodra-gratis installer och undviker buggar som är specifika för olika OSs.
Programvaran endast spårar positionen för bihang i 2D utrymme. Insekter är kända för att flytta sin antenn i 3D, vilket kan innebära att viktig information går förlorad när endast 2D-koordinater mäts. Även användningen av flera kameror eller speglar kunde underlätta samla ytterligare uppgifter som krävs för 3D lokalisering, är det möjligt att beräkna, med användning av trigonometriska relationer, en uppskattad ute-av-plane position av förutsatt att antennerna är enda rad segment av konstant längd och bara flytta på ena sidan av kameran planet. För honungsbin, detta antagande stämmer att få grova uppskattningar för position i 3D, men inte nödvändigtvis skulle vara fallet för andra arter och situationer.
Programvaran kommer inte identifieras korrekt av antenner och Snabel spets platser i vissa tvetydiga situationer. Om ett djur rör sig en antenn så att, i videon, det överlappar en utökad snabel, kommer programvaran sannolikt upptäcka spetsen av antennen som spetsen på proboscis. Antenn vinkel kommer dock fortfarande sannolikt beräknas korrekt (från den icke-överlappande delen). Likaså om antennen tipsen flytta direkt ovanför huvudet av djuret (dvs, inte på sidorna) kan sedan programvaran endast upptäcka del av antennen som är synlig utanför huvudet, anta den tidigare platsen för antennen eller upptäcka falska videobrus som Antennens placering. I båda situationerna har även mänskliga bedömare svårt kräsna antennen från proboscis eller huvudet. För att mildra detta problem, rekommenderar vi att använda en 3-ram, symmetrisk rullande median57 filter till rå X och Y koordinater produceras av programvaran. Detta filter tar bort stora övergående (single frame) position fluktuationer och bevarar längre antenn läge rörelser. Vi har funnit att filtret 3-frame presterade bättre än inget filter, medan större filter (t.ex. 5, 11 eller 15 bildrutor) minskad noggrannhet. R-exempelkod som använder filtret och en video tutorial kan hittas online58.
Värde som vetenskapligt verktyg:
Tillgängligheten av en metod för att snabbt erhålla korrekt insekt bihang rörelser på ett kostnadseffektivt sätt har potential att öppna upp nya områden för utredning.
Snabel förlängning reflex (PER) är en vanligt förekommande beteendemässiga svar att undersöka inlärning och minne av en mängd insekter59. Tidigare studier har allmänhet förlitat sig på ett binärt extended-eller-inte mått på PER, även om video- och elektromyografisk analyser har visat mycket mer komplexa topologier till snabel rörelser65,66. Den här tillåter snabb kvantifiering av snabel rörelser i höga tidsmässiga och rumsliga upplösningar.
Insekt antenn rörelser som svar på lukter är dåligt känd. En anledning till detta är att antennerna tenderar att flytta så snabbt att en kostnadseffektiv, automatiserade medel att få antenn rörelse uppgifter inte har varit tillgängliga. Metoden presenteras här kan användas för att snabbt få antenn rörelse data för ett stort antal insekter i ett stort antal villkor. Detta kunde stöd, till exempel forskare undersöker mappningen mellan antenn rörelser som svar på olika stimuli, i synnerhet flyktiga lukter. Med kameror som tar bilder vid 30 Hz, programvaran kan användas för att karaktärisera antennal rörelse dynamics upp till 15 Hz (Nyquist gräns). Om karakterisering i högre frekvenser behövs, kunde kameror med högre bindningsandel (t.ex. 60 eller 120 fps) utnyttjas. En snabbare dator kan dock krävas att bearbeta högre fps video i realtid. Vi spekulerar att klasser av lukter, och möjligen även vissa enskilda lukter, har karakteristiska medfödda antennal rörelser. Om dessa klasser eller föreningar kunde vara upptäckta, okända kunde lukter eller deras klass detekteras från antennal rörelse av otränade insekter. Om sådan mappning finns bör sedan kombinationen av tillräckliga antenn rörelse data och toppmoderna algoritmerna för maskininlärning börja avslöja den. Också, hur mappningen ändras som svar till lärande, former under utveckling, eller störs med genetiska ingrepp kunde erbjuda inblick i funktioner för luktsinnet.Slutligen kan detta arbete ge insikt i konstgjorda detektion av lukter om det avslöjar optimal provtagningsmetoder för lukter i komplexa miljöer.
Framtida arbete:
Här, vi visade att antenn rörelse data kan erhålls snabbt och analyseras: betydande beteende Svaren kan upptäckas från de data som genereras av vår programvara, och flera områden av vidare utredning identifierades.
Tidsförlopp av stimulus-framkallade antenn vinkel avvikelser från och återhämtning till baslinjen och någon stimulans-avslutning rebound effekter och dess beroende av lukt koncentration kan undersökas och modelleras matematiskt. Dessutom några ändringar av antenn rörelser induceras av apéritivo eller aversiva luftkonditionering kan också bedömas med programvaran.
Bättre differentiering av lukter kan också utforskas. I denna studie både lukt, i ren och 35 x utspädda versioner framkallade liknande svar: antenner, i genomsnitt, visades att snabbt dra sig bort från lukt och återgå till före lukt baslinjer efter några sekunder. Vi spekulerar att även de utspädda versionerna kan ha varit mycket stark lukt stimuli för att honungsbin. Om sant, kunde ett bredare spektrum av koncentrationer användas för att avgöra om antennal Svaren skilja lukter. Dessutom kan mer sofistikerad analys bättre avslöja skillnader i antennal rörelser som svar på olika lukter. Vi har gjort de datafiler som används för att generera siffror i detta manuskript som är tillgänglig för intresserade forskare på SwarmSight webbplats67.
Dessutom medan utanför tillämpningsområdet för detta manuskript, skulle programvaran kunna utvidgas för att bearbeta videor av djur placeras i kamrarna med dubbla speglar vinklad 45 ° (se figur 1 d till exempel). Detta skulle kunna användas att exakt lokalisera och spåra bihang och deras rörelse i 3D-rymden. Dock algoritmerna för 3D-tracking skulle krävas att effektivt: a disambiguera mellan flera antenner när de är synliga i en av sidospeglar, (b) rätt för brister i spegeln vinklar, och (c) redovisa snedvridningar på grund av kameran positionering.
Slutligen, ytterligare vinster i positionsnoggrannheten kan förverkligas via användning av ett Kalman-filter68, vilka modeller och utnyttjar aggregationstillstånd information såsom bihang hastighet och acceleration vill begränsa förutspådda platser. Eventuella vinster i noggrannhet bör dock utvärderas mot eventuella minskningar i hastighet på grund av ytterligare beräkningar.
Slutsats:
Många insekter använder antenner att aktivt prova flyktiga föreningar i deras lokala miljöer. Mönster i antennal rörelser kan ge insikt i insekt lukt perception och hur den påverkas av luftkonditionering, giftiga föreningar och genetiska förändringar. Likaså har snabel rörelser använts för att bedöma lukt perception och dess modulering. Dock har det varit svårt att snabbt få stora mängder högupplösta bihang rörelse data. Här, beskrivs ett protokoll och programvara som automatiserar sådan uppgift. Sammanfattningsvis har vi skapat och visat hur kombinationen av billig hårdvara, ett vanligt djur preparat och programvaran med öppen källkod kan användas för att snabbt få högupplösta insekt bihang rörelse data. Produktionen av programvaran, hur det överträffar mänskliga bedömare i hastighet och noggrannhet och hur dess utdata kan analyseras och visualiseras visades.
The authors have nothing to disclose.
JB, SMC och RCG stöttades av NIH R01MH1006674 till SMC och NIH R01EB021711 till Riskkapitalriktlinjerna. CMJ och BHS stöddes av NSF idéer projektet lab på ”knäcka olfactory koden” till BHS. Vi tackar Kyle Steinmetz, Taryn Oboyle och Rachael Halby för deras hjälp i denna forskning.
Insect harness | N/A | N/A | Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014) |
Odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Vacuum source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
LED connected to odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Low Voltage Soldering Iron | Stannol | Low Voltage Micro Soldering Iron 12V, 8W | |
DC Power Supply | Tekpower | HY152A | |
White sheet of paper | Georgia-Pacific | 998606 | Any white sheet of paper can be used as alternative |
Tripod | AmazonBasics | 50-Inch Lightweight Tripod | Optional |
Camera | Genius | WideCam F100 | FLIR Flea3 or another camera with manual focus can be used. |
Camera software | Genius | N/A | Software comes with camera. On MacOS, Photo Booth app can be used to record videos. |
Camera shutter speed software | Genius | N/A | Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/ |
Windows Operating System | Microsoft | Windows 7 Professional | Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments. |
SwarmSight software | SwarmSight | Appendage Tracking | Download from http://SwarmSight.org |
R software | R Project | R 3.4.0 | Download from: https://cran.r-project.org/bin/windows/base/ |
R Studio software | RStudio | RStudio Desktop | Download from: https://www.rstudio.com/products/rstudio/download/ |