Ce protocole décrit les étapes pour utiliser le nouveau logiciel, SwarmSight, image par image suivi des insectes postes d’antenne et de la trompe de vidéos de caméra web conventionnel à l’aide d’ordinateurs classiques. Le logiciel gratuit, open-source traite les trames environ 120 fois plus vite que les humains et effectue au mieux qu’exactitude humaine.
Beaucoup d’insectes scientifiquement et agricole important utilise des antennes pour détecter la présence de composés chimiques volatils et étendre leur trompe pendant la tétée. La capacité de rapidement obtenir des mesures à haute résolution des mouvements naturels d’antenne et de la trompe et à évaluer comment ils changent en réponse à des manipulations génétiques, développementale et chimiques peut aider à la compréhension du comportement de l’insecte. En étendant nos travaux antérieurs sur l’évaluation globale essaim insecte ou mouvements de groupe d’animaux du naturel et vidéos de laboratoire en utilisant le logiciel d’analyse vidéo SwarmSight, nous avons développé un module de logiciel nouvelle, libre et open source, appendice SwarmSight Suivi (SwarmSight.org) pour le suivi d’image par image des insectes postes d’antenne et de la trompe de vidéos de caméra web conventionnel à l’aide d’ordinateurs classiques. Le logiciel traite les trames environ 120 fois plus vite que les humains, effectue au mieux qu’exactitude humaine et, à l’aide de 30 images par seconde vidéos (fps), peut capturer antennaire dynamique jusqu’à 15 Hz. Le logiciel a été utilisé pour suivre la réponse antennaire des abeilles à miel à deux odeurs et trouvé des rétractations antennaires moyennes significatives loin de la source de l’odeur environ 1 s après la présentation de l’odeur. Nous avons observé des chaleur de densité antenne position plan de formation de cluster et cluster et signifie dépendance angle sur la concentration d’odeur.
La plupart des arthropodes déplacent les antennes ou autres appendices pour échantillonner les signaux environnementaux et des signaux dans le temps et l’espace. Les animaux peuvent utiliser les antennes pour naviguer dans leur environnement en détectant des indices sensoriels tels que les substances chimiques volatiles et stimuli gustatifs et mécanique1,2,3,4. Chez les insectes, les antennes contiennent des récepteurs sensoriels qui se lient aux substances chimiques volatiles,4,5,6 et transmettent ce signal par l’intermédiaire de neurones sensoriels olfactifs au cerveau central régions1,7 ,8,9. Les insectes peuvent régler des antennes positions pour moduler les informations entrantes odeurs4,10,11. Cette modulation facilite activement informé des réponses comportementales aux odeurs et leurs plumes12,13.
Beaucoup d’insectes, y compris les hyménoptères (p. ex., les abeilles et bourdons), lépidoptères (papillons,par exemple ) et des diptères (p. ex., les mouches et les moustiques), entre autres, se nourrissent en étendant leur trompe14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. extension de la trompe a été utilisée de manière fiable dans le passé pour une variété d’apprentissage et mémorisation des tâches22,23,24,25,26, 27,28,29,30,31. De même, une évaluation quantitative du mouvement des antennes avec une haute résolution temporelle et spatiale peut générer aperçu de la relation entre le stimulus, le comportement et l’état interne de l’animal. Travail en effet précédent a montré comment les mouvements antennaires contiennent une quantité riche d’informations sur le miel abeille suivi de l’environnement et comment les mouvements changent avec apprentissage32,33,34, 35,36,37,38.
Au cours de la dernière décennie, méthodes pour observer le comportement des animaux ont été grandement accélérées par les avancées dans les caméras vidéo à haute résolution, des vitesses et des algorithmes de vision de machine de traitement informatique. Tâches telles que détection animale, décompte, suivi et analyse de préférence de place ont été favorisés avec un logiciel sophistiqué qui peut traiter des vidéos du comportement animal et extrait pertinent mesure39,40, 41,42,43,44,45,46,47.
Ces technologies ont également aidé suivi des insectes déplacements d’antenne et de la trompe. Il est possible pour les évaluateurs humains d’utiliser un curseur de la souris pour suivre manuellement la position des antennes. Cependant, bien que cette méthode puisse être précise, la tâche prend du temps, et fatigue et inattention humaine peut entraîner des résultats peu fiables. Préparation et équipements spéciaux peuvent servir à réduire le recours à des logiciels complexes. Par exemple, un seul montage utilisé une caméra à haute vitesse et peint les pointes des antennes pour suivre le mouvement d’antenne48. Utilisateurs peuvent également être invités à sélectionner key-frames des vidéos pour aider le logiciel dans la détection de l’antenne et la trompe emplacement49. Une autre approche détecté les deux clusters motion plus grands afin d’identifier des antennes, mais il ne détecte pas la trompe emplacement50. Un autre logiciel peut détecter des emplacements d’antenne et de la trompe, mais nécessite environ 7,5 s de temps de traitement par cadre51, qui peut être prohibitif pour les études d’observation en temps réel ou à long terme. Enfin, il pourrait être possible de personnaliser les progiciels commerciaux (p. ex., EthoVision) pour effectuer la tâche46, mais leurs coûts de licences et de formation peuvent être prohibitifs.
Avec la méthode décrite ici, nous avons étendu nos travaux antérieurs sur motion analyse logiciel41 pour suivre l’emplacement des antennes insectes et trompe avec les objectifs suivants : (1) aucune exigence pour le matériel spécial ou préparation animaux complexe, (2). cadre de traitement en temps réel (30 images/s ou plus rapide) sur un ordinateur traditionnel, (3) facilité d’utilisation et (4) open source, le code facilement extensible.
La méthode originale qui en résulte et les logiciels open-source, Suivi d’appendices SwarmSight, ne nécessite pas de peinture des conseils antennes, peut utiliser une caméra web de consommateur pour capturer des vidéos et des images vidéo de processus à 30 à 60 fps sur un ordinateur conventionnel ( La figure 1). Le logiciel prend les fichiers vidéo comme entrée. L’utilisateur localise la position de la tête de l’insecte dans la vidéo et, après traitement, un fichier de valeurs séparées (.csv) par des virgules est produit avec l’emplacement des antennes et trompe. Le logiciel est capable de lire des centaines de formats vidéo (y compris les formats produites par la plupart des caméras numériques) grâce à l’utilisation de la bibliothèque de FFmpeg52.
Figure 1 : animale sortie de logiciels et d’installation. (A) A Ensileuses d’abeille miel avec sa tête et son corps attaché dans un harnais. Odeur (B) source est placé en face de l’animal, une caméra vidéo est positionné au-dessus, et un système d’aspiration est placé derrière l’animal. (C), l’antenne pointe et trompe variables détectés par le logiciel SwarmSight de la vidéo. (D) l’utilisateur positionne le capteur de l’antenne sur l’animal et ajuste les paramètres de filtre. Le logiciel détecte les positions d’antenne et de la trompe (anneaux jaune).S’il vous plaît cliquez ici pour visionner une version agrandie de cette figure.
Tout d’abord, corps de l’insecte et sa tête sont immobilisés dans un harnais telle que les mouvements de l’antenne et la trompe sont facilement observés (Figure 1 a). Une source d’odeur est placée en face de l’insecte, avec une source de vide placée à l’arrière, pour enlever les odeurs de l’air et de minimiser les effets potentiels d’adaptation sensorielle (Figure 1 b). Une caméra web conventionnel est placée au-dessus de la tête de l’insecte sur un trépied. Une LED peut être positionnée en vue de la caméra pour indiquer quand l’odeur est présenté.
Figure 2 : système de coordonnées antenne. X, valeurs Y utilisent le système de coordonnées vidéo où coin supérieur gauche est l’origine et l’augmentation des valeurs X et Y lorsque vous déplacez vers le coin inférieur droit. Angles sont exprimés en degrés par rapport à l’avant de la tête (généralement la source d’odeur). Une valeur de « 0 » signifie que la ligne formée par le flagelle de l’antenne est orientée directement en face de l’animal. Sous tous les angles sont positifs, sauf lorsqu’une pointe de l’antenne vers la direction opposée (par exemple, les points de flagelle droite vers la gauche). S’il vous plaît cliquez ici pour visionner une version agrandie de cette figure.
Après le tournage, le fichier vidéo s’ouvre avec le logiciel SwarmSight, lorsque l’utilisateur positionne le widget du capteur de l’antenne (Figure 1, carré noir) sur la tête de l’insecte et commence la lecture de vidéos. Lorsque les résultats sont enregistrés, le fichier .csv contient le X, Y des positions de l’antenne pointe, les angles de l’antenne par rapport à l’avant de la tête (Figure 2) et la trompe X, position Y. En outre, une métrique de secteur dominant est calculée pour chaque antenne. Les spectacles de métrique qui, des cinq secteurs 36 degrés autour de chaque antenne, contenait le plus de points jugés susceptibles d’être les antennes et peuvent être utiles si les mesures d’angle de position/antenne ne sont pas fiables en raison de la bruyantes ou autrement problématiques vidéos.
En bref, le logiciel fonctionne en utilisant un ensemble de filtres de motion53 et une inondation détendue remplissage algorithme54. Pour trouver les points susceptibles d’antenne, deux filtres sont utilisés : une différence 3-consécutives-cadre filtre41,55 et un filtre de56 médiane-fond soustraction. Un filtre de seuil de distance de couleur est utilisé pour la détection de point de trompe. Les 10 % des points de chaque filtre sont combinés, et un algorithme de remplissage d’inondation qui inspecte les points contigus avec lacunes jusqu’à 2 pixels (px) localise les points extrêmes. Parallèlement, décodage de trame, le traitement et pipelines de rendu et mémoire optimisée répartition du flux de données de filtre atteint des performances élevées. Le cru valeurs x et y coordonnées produites par le logiciel sont directement traitées avec un 3-châssis roulant filtre médian57 (voir Discussion). Les instructions pour télécharger le code source complet peuvent être trouvées en ligne58.
Voici un protocole pour préparer une ensileuse d’abeille miel pour antenne de suivi. Un protocole similaire pourrait être utilisé pour suivre les déplacements d’antenne/trompe de n’importe quel autre insecte. Dans la section résultats, les auteurs décrivent une sortie de trace d’antenne échantillon qui est détectée par le logiciel, la comparaison de la production de logiciels de suivi effectuée par des évaluateurs humains et évaluation du mouvement des antennes en réponse aux cinq substances odorantes.
La méthode présentée ici permet un suivi en temps réel des mouvements antenne et trompe les insectes sans nécessiter de préparations spéciales des animaux ou du matériel.
Limites :
Malgré ces avantages, il existe certaines limitations de la méthode. Il s’agit de l’exigence que la tête de l’animal n’a pas de mouvement, la nécessité pour l’utilisateur de sélectionner l’emplacement et l’orientation de l’animal pour chaque vidéo, l’exigence d’avoir accès à un ordinateur Windows et l’incapacité du logiciel à suivre mouvement en trois dimensions (3D) et de certains postes visuellement ambigu appendice décrits ci-dessous.
Le logiciel nécessite que la tête de l’animal est fixée en place et ne bouge pas pendant la vidéo. Ceci est similaire à la préparation de précédents travaux48,49,50,,51. Il est possible de modifier le logiciel pour faire une détection automatique des rotations de la tête, cependant, ce qui consomme le temps de traitement supplémentaire et introduire une nouvelle source d’erreur. Si le logiciel modifié devait détecter la rotation de la tête mal, cela affecterait les angles d’antennes, que leur calcul est par rapport à l’angle de rotation de la tête. Actuellement, l’utilisateur sélectionne l’orientation siège une fois par vidéo. Cette approche, bien que pas sans l’erreur humaine, minimise les erreurs de calcul angle lorsque la tête n’est pas autorisée à se déplacer pendant la vidéo.
Le logiciel nécessite également un système de d’exploitation Windows 7 (ou version ultérieur) (OS). L’objectif était de rendre le logiciel facile à installer, configurer et utiliser par des utilisateurs sans compétences en administration informatique programmation ou sophistiqué. Nous avons décidé de cible Windows parce qu’il est largement disponible, et dans les cas où l’accès est limité, les machines virtuelles (p. ex., VirtualBox, VMware, Parallels) avec Windows peuvent être créés facilement. Ce choix d’OS grandement simplifie l’installation de logiciels par l’utilisation d’un programme d’installation facile à utiliser, command-line-libre et évite les bugs spécifiques à différents OS.
Le logiciel suit seulement la position des appendices dans l’espace 2D. Insectes sont connus pour déplacer leur antenne en 3D, ce qui pourrait signifier que des informations importantes sont perdues lorsque coordonnées uniquement 2D sont mesurées. Alors que l’utilisation de caméras ou de miroirs multiples pourrait aider à collecter les informations supplémentaires requises pour la localisation 3D, il est possible de calculer, avec l’utilisation des relations trigonométriques, une position estimée de hors-plan de supposer que les antennes sont Single de segments de ligne de longueur constante et ne se déplacer que sur un côté de l’avion de la caméra. Pour les abeilles à miel, cette hypothèse est vraie pour obtenir des estimations approximatives pour le poste en 3D, mais ne serait pas nécessairement le cas pour les autres espèces et les situations.
Le logiciel ne détecte pas correctement les antennes et la trompe Astuce emplacements dans certains situations ambiguës. Si un animal déplace une antenne pour que, dans la vidéo, il chevauche une longue trompe, le logiciel détectera probablement le bout de l’antenne comme la pointe de la trompe. L’angle de l’antenne, cependant, est encore probablement calculé correctement (à partir de la partie non chevauchantes). De même, si l’extrémité de l’antenne se déplacent directement au-dessus de la tête de l’animal (c’est-à-dire, pas sur les côtés) puis le logiciel peut seulement détecter la partie de l’antenne qui est visible à l’extérieur de la tête, assumer l’emplacement précédent de l’antenne ou détecter les rayonnements non essentiel bruit vidéo comme emplacement de l’antenne. Dans les deux situations, évaluateurs humains même ont de la difficulté à discerner l’antenne de la trompe ou la tête. Pour atténuer ce problème, nous recommandons l’application un filtre médian57 roulant 3-frame, symétrique à raw X et Y coordonnées produites par le logiciel. Ce filtre élimine les fluctuations de grande transitoire (single-frame) position et préserve plus longs mouvements de position d’antenne. Nous avons trouvé que le filtre 3-châssis performants que sans filtre, tandis que les filtres plus larges (par exemple, 5, 11 ou 15 frames) réduit la précision. On trouvera en ligne58R d’exemple de code qui utilise le filtre et un tutoriel vidéo.
Valeur comme un outil scientifique :
La disponibilité d’une méthode d’obtenir rapidement des mouvements précis appendice insectes dans un souci de rentabilité a le potentiel d’ouvrir de nouveaux champs d’investigation.
Réflexe d’extension trompe (PER) est une réponse comportementale couramment utilisée pour enquêter sur l’apprentissage et la mémoire d’une variété d’insectes,59. Des études antérieures comptent généralement sur une certaine étendue-ou-non binaire PER, bien que les analyses vidéo et électromyographiques ont montré des topologies beaucoup plus complexes à trompe mouvements65,66. La méthode ici permet la quantification rapide des mouvements de la trompe en hautes résolutions spatiales et temporelles.
Mouvements d’insectes antenne en réponse aux odeurs sont mal compris. Une raison à cela est que les antennes ont tendance à se déplacer aussi rapidement qu’un moyen rentable et automatisé, d’obtenir des données de mouvement antenne n’a pas été disponible. La méthode présentée ici peut être utilisée pour obtenir rapidement des données de mouvement d’antenne pour un grand nombre d’insectes dans un grand nombre de conditions. Cela pourrait aider, par exemple, des chercheurs qui le mappage entre les mouvements de l’antenne en réponse à divers stimuli, odeurs volatiles en particulier. À l’aide de caméras qui captent les trames à 30 Hz, le logiciel peut servir à caractériser la dynamique mouvement antennaire jusqu’à 15 Hz (limite de Nyquist). Si caractérisation dans des fréquences plus élevées est nécessaires, les caméras avec des taux plus élevés de capture (par exemple, 60 ou 120 fps) pourraient être utilisés. Toutefois, un ordinateur plus rapide peut être requis pour traiter des vidéos fps plus élevés en temps réel. Nous spéculons que classes d’odeurs et peut-être même certaines odeurs individuelles, ont des mouvements antennaires caractéristiques innées. Si ces classes ou composés pourraient être découverts, inconnu des odeurs ou leur classe pu détecter de mouvement antennaire des insectes non formés. Si une telle correspondance existe, alors la combinaison des données de mouvement antenne suffisantes et machine de pointe, des algorithmes d’apprentissage devrait commencer à découvrir. Aussi, comment ce mappage change en réponse à l’apprentissage, de formes au cours du développement, ou est perturbé avec interventions génétiques pourraient offrir aperçu des fonctions du système olfactif.Enfin, ce travail pourrait donner un aperçu de détection artificielle des odeurs si elle révèle des méthodes d’échantillonnage optimal pour les odeurs dans des environnements complexes.
Travaux futurs :
Ici, nous avons montré que les données de mouvement antenne peuvent être rapidement obtenues et analysées : les réponses de comportement significatif peuvent être détectés des données générées par notre logiciel, et plusieurs zones d’enquête ont été identifiés.
Les cours de temps d’antenne a suscité le stimulus d’angle des déviations et récupération au niveau de référence et tout effet de rebond de stimulus-conclusion et sa dépendance sur la concentration d’odeur peuvent être étudiées et modélisées mathématiquement. En outre, toute modification des mouvements de l’antenne induit par appétence ou conditionnement aversif peut également être évaluée avec le logiciel.
Meilleure différenciation des odeurs peut également être explorée. Dans cette étude, les odeurs, en pur et 35 x versions diluées a suscité des réactions semblables : les antennes, en moyenne, est apparu rapidement retirer loin de la source de l’odeur et revenir à l’odeurs des lignes de base après quelques secondes. Nous pensons que même les versions diluées peuvent avoir été très forts stimulus olfactifs pour les abeilles. Si elle est vraie, une plus large gamme de concentrations pourrait servir à déterminer si les réponses antennaires différencient les odeurs. En outre, une analyse plus sophistiquée peut révéler mieux différences dans les mouvements antennaires en réponse aux différentes odeurs. Nous avons fait les fichiers de données utilisés pour générer des données dans ce manuscrit disponible aux chercheurs intéressés sur le site Web de SwarmSight67.
En outre, en dehors de la portée de ce manuscrit, le logiciel pourrait être étendu pour traiter des vidéos d’animaux placés dans des chambres avec double miroir incliné à 45° (voir Figure 1 , par exemple). Cela pourrait servir à précisément localiser et suivre les appendices et leur mouvement dans l’espace 3D. Cependant, les algorithmes de tracking 3D devait efficacement : (a) lever l’ambiguïté entre plusieurs antennes lorsqu’ils sont visibles dans l’un des miroirs latéraux, (b) correctes par rapport aux défauts dans les angles de miroir et (c) tenir compte des distorsions en raison de la caméra de positionnement.
Enfin, des gains additionnels dans la précision de la position peut être réalisé via l’utilisation d’un Kalman filter68, quels modèles et utilise les informations d’état physique comme appendice vitesse et d’accélération pour contraindre les emplacements prévus. Toutefois, les gains dans l’exactitude doivent être évaluées contre toute réduction de la vitesse en raison des calculs supplémentaires.
Conclusion :
Beaucoup d’insectes utilise antennes de goûter activement des composés volatils dans leur environnement local. Patrons de mouvements antennaires peuvent donnent un aperçu de perception de l’odeur insectes et comment elle est affectée par la climatisation, des composés toxiques et d’altérations génétiques. De même, les mouvements de trompe ont été utilisés pour évaluer la perception de l’odeur et sa modulation. Cependant, obtenir rapidement de grandes quantités de données de mouvement de haute résolution Appendice a été difficile. Ici, un protocole et des logiciels est décrite qui automatise cette tâche. En résumé, nous avons créé et démontré comment la combinaison de matériel peu coûteux, une préparation animale commune et le logiciel libre peuvent être utilisés pour obtenir rapidement des données de mouvement appendice insectes à haute résolution. La sortie du logiciel, comment il surpasse les évaluateurs humains en vitesse et précision, et comment ses données de sortie peuvent être analysées et visualisées apparaissaient.
The authors have nothing to disclose.
JB, SMC et RCG appuyés par les NIH R01MH1006674 à SMC et NIH R01EB021711 à RCG. CMJ et BHS appuyés par le projet de laboratoire d’idées de la NSF au « Cracking the code olfactif » à BHS. Nous remercions Kyle Steinmetz, Taryn Oboyle et Rachael Halby pour leur assistance dans le cadre de cette recherche.
Insect harness | N/A | N/A | Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014) |
Odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Vacuum source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
LED connected to odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Low Voltage Soldering Iron | Stannol | Low Voltage Micro Soldering Iron 12V, 8W | |
DC Power Supply | Tekpower | HY152A | |
White sheet of paper | Georgia-Pacific | 998606 | Any white sheet of paper can be used as alternative |
Tripod | AmazonBasics | 50-Inch Lightweight Tripod | Optional |
Camera | Genius | WideCam F100 | FLIR Flea3 or another camera with manual focus can be used. |
Camera software | Genius | N/A | Software comes with camera. On MacOS, Photo Booth app can be used to record videos. |
Camera shutter speed software | Genius | N/A | Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/ |
Windows Operating System | Microsoft | Windows 7 Professional | Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments. |
SwarmSight software | SwarmSight | Appendage Tracking | Download from http://SwarmSight.org |
R software | R Project | R 3.4.0 | Download from: https://cran.r-project.org/bin/windows/base/ |
R Studio software | RStudio | RStudio Desktop | Download from: https://www.rstudio.com/products/rstudio/download/ |