本协议描述了使用新的软件 SwarmSight 的步骤, 用于在传统的网络摄像机中使用传统的计算机对昆虫天线和喙位置进行帧跟踪。自由开放源码软件的过程比人类的速度快120倍, 并且比人类的精确度更高。
许多科学和农业上重要的昆虫使用触角来检测挥发性化合物的存在, 并在喂食时延长它们的喙。能够迅速获得对自然天线和喙运动的高分辨率测量, 并评估它们如何因应化学、发育和遗传操作而改变, 有助于了解昆虫的行为。通过使用视频分析软件 SwarmSight 将我们以前的工作从自然和实验室的视频中评估总的昆虫群或动物群的运动, 我们开发了一个新颖的, 自由的, 开源软件模块, SwarmSight 附件跟踪 (SwarmSight.org) 对昆虫的天线和喙位置的帧跟踪从传统的网络摄像机视频使用传统的计算机。该软件处理的帧比人类的速度快120倍, 比人的精确度更好, 并且使用30帧每秒 (fps) 的视频, 可以捕获触角动态高达 15 Hz。该软件用于跟踪蜜蜂对两种气味的触角反应, 发现有意义的触角撤回在气味呈现后的1秒内远离异味源。我们观察了天线位置密度热图簇的形成和簇, 以及对气味浓度的平均角依赖性。
大多数节肢动物移动触角或其他附属物来采样的环境线索和信号的时间和空间。动物可以通过探测诸如化学挥发物、味觉和机械刺激等感官暗示来使用触角来导航环境1,2,3,4。在昆虫中, 触角中含有与化学挥发物结合的感官感受器4,56 , 并通过嗅觉感觉神经元将此信号传送到中央脑区1,7 ,8,9。昆虫可以调整触角位置来调节传入气味的信息4,10,11。这种调制有利于积极知情的行为反应的气味和他们的羽毛12,13。
许多昆虫, 包括 Hymenopterans (例如,蜜蜂和熊蜂), 鳞翅目 (例如, 蝴蝶), 和 Dipterans (如,苍蝇和蚊子), 以及其他, 通过延长他们的喙的饲料14,15,16,17,18,19,20,21. 喙扩展已在过去可靠地用于各种学习和内存任务22、23、24、25、26、 27,28,29,30,31。同样, 定量评估天线运动具有高的时间和空间分辨率, 可能会影响到动物的刺激、行为和内部状态之间的关系。事实上, 以前的工作已经显示了如何触角运动包含了丰富的信息蜜蜂跟踪的环境和如何移动变化与学习32,33,34, 35、36、37、38。
在过去的十年中, 在高分辨率摄像机、计算机处理速度和机器视觉算法方面的进展大大加快了观察动物行为的方法。诸如动物检测、计数、跟踪和定位偏好分析等任务都得到了能够处理动物行为视频和提取相关措施的复杂软件的帮助39,40, 41,42,43,44,45,46,47。
这些技术也帮助跟踪昆虫的天线和喙的运动。人类评分人员可以使用鼠标光标手动跟踪天线的位置。然而, 虽然这种方法是准确的, 任务是费时的, 人的注意力和疲劳可能导致不可靠的结果。特殊的设备和准备可以用来减少对复杂软件的需求。例如, 一个安装程序使用高速摄像机, 并绘制了天线的提示, 以跟踪48的触角移动。还可以要求用户选择关键帧的视频, 以协助软件检测天线和喙位置49。另一种方法检测到两个最大的运动簇来识别触角, 但它没有检测到喙位置50。另一个软件包可以检测天线和喙的位置, 但每帧需要大约7.5 秒的处理时间51, 这可能会使 real-time 或长期观察研究望而却步。最后, 可以自定义商业软件包 (例如, EthoVision) 来执行任务46, 但它们的许可和培训成本可能会非常高昂。
在这里描述的方法, 我们扩展了我们以前的工作的运动分析软件41跟踪昆虫触角和喙的位置与以下目标: (1) 不需要特殊的硬件或复杂的动物制剂, (2)real-time (30 fps 或更快) 在传统的计算机上的帧处理, (3) 易用性, (4) 开源, 易于扩展的代码。
由此产生的新方法和开源软件, SwarmSight 附件跟踪, 不需要绘画的触角提示, 可以使用消费者的网络摄像头捕捉视频, 并处理在 30-60 fps 的传统计算机上的视频帧 (图 1)。该软件以视频文件作为输入。用户在视频中定位昆虫头部的位置, 经过处理后, 用触角和喙的位置产生一个逗号分隔值 (. csv) 文件。通过使用 FFmpeg 库52, 该软件能够读取数以百计的不同视频格式 (包括大多数数字照相机所生成的格式)。
图 1: 动物设置和软件输出(a) 蜜蜂觅食的头部和身体被限制在安全带。(B) 气味源放置在动物前面, 摄像机位于上面, 并且在动物后面放置一个真空源。(C) SwarmSight 软件从视频中检测到的天线尖端和喙变量。(D) 用户将天线传感器置于动物上并调整过滤器参数。该软件检测天线和喙位置 (黄色环)。请点击这里查看更大版本的这个数字。
首先, 昆虫的身体和它的头部被限制在一个线束, 使天线和喙运动容易观察 (图 1A)。气味来源放置在昆虫前面, 有一个真空源放置在后面, 以消除空气中的气味和最小化感官适应的潜在影响 (图 1B)。一个传统的网络摄像头放在三脚架上的昆虫头上。一个 LED 可以定位在相机的视图中, 以表明什么时候的气味是呈现。
图 2: 天线坐标系统x、y 值使用视频坐标系, 其中左上角是原点, x 和 y 值在右下角移动时增加。角度是以度表示的关于前面的头 (通常是气味源)。”0″ 值表示由天线鞭毛形成的线直接指向动物前面。所有角度都是正数, 除非天线指向相反的方向 (例如,右鞭毛指向左侧)。请单击此处查看此图的较大版本.
拍摄后, 视频文件打开 SwarmSight 软件, 在那里用户的位置天线传感器部件 (图 1D, 黑方块) 的头上的昆虫, 并开始视频播放。当保存结果时,. csv 文件将包含天线提示的 X、Y 位置、相对于磁头前端的天线角度 (图 2) 和 x、y 位置。此外, 为每个天线计算一个占主导地位的部门指标。该指标显示, 在每个天线周围的五36度的区段中, 哪一个被认为可能是天线的最多的点, 如果天线位置/角度测量不可靠, 因为有噪音或有问题的视频, 就很有用。
简单地, 软件使用一组运动滤镜53和一个宽松的洪水填充算法54来工作。要查找可能的天线点, 请使用两个滤镜: 3 连续帧差分滤镜41、55和中值-背景减法56滤镜。采用颜色距离阈值滤波器进行鼻点检测。将每个滤镜的前10% 点组合在一起, 并使用洪水填充算法来检查具有2像素 (px) 间隔的相邻点, 定位极值点。并行帧解码、处理、渲染管线和优化内存分配的滤波器数据流实现了较高的性能。软件生成的原始 x 和 y 坐标值是用3帧滚动中值过滤器57 (参见讨论) 处理的。可以在联机58中找到下载完整源代码的说明。
下面是一个协议, 准备一个蜜蜂觅食的天线跟踪。类似的协议可以用来跟踪任何其他昆虫的天线/喙运动。在结果部分, 我们描述了一个样本的天线跟踪输出的软件检测, 比较软件输出到跟踪执行的人评分, 和评估的触角移动响应五气味。
这种方法可以在不需要特殊的动物制剂或硬件的情况下, real-time 跟踪昆虫的天线和喙的运动。
限制:
尽管有这些优点, 该方法还是有一些局限性。这包括要求动物的头被限制从运动, 需要为用户选择动物的位置和方向为每个录影, 要求有访问一台计算机, 并且软件的无法跟踪运动在三维度 (3D) 和在一些视觉上不明确的附属物位置描述如下。
该软件要求该动物的头部固定到位, 并在视频中不移动。这类似于前期工作的准备48,49,50,51。这是可能的修改软件, 以允许自动检测头部旋转, 但是, 这将消耗额外的处理时间, 并引入一个新的错误来源。如果修改后的软件是检测头部旋转不正确, 这将影响天线的角度, 因为他们的计算是相对于头部旋转角度。当前, 用户选择每个视频的头部方向一次。这种方法, 而不是没有人为错误, 尽量减少角度计算错误时, 头部是不允许移动期间的视频。
该软件还需要 Windows 7 (或更高版本) 操作系统 (OS)。其目的是使软件易于安装, 安装和使用的用户没有编程或复杂的计算机管理技能。我们决定以 windows 为目标, 因为它是广泛可用的, 而且在访问它的情况下, 可以很容易地创建虚拟机 (例如,在、VMware、平行线) 和 windows。这种操作系统的选择极大地简化了软件的安装, 通过使用易用的、command-line 的安装程序并避免了特定于不同 OSs 的 bug。
该软件只跟踪附件在2D 空间的位置。已知昆虫在3D 移动其天线, 这可能意味着当仅测量2D 坐标时, 重要信息就会丢失。虽然使用多台照相机或镜子可以帮助收集3D 本地化所需的额外信息, 但可以通过假定天线是通过使用三角关系来计算出平面位置的估计值。单线段的恒定长度, 只在摄像机平面的一侧移动。对于蜜蜂来说, 这种假设是正确的, 以获得在3D 的位置粗略估计, 但不一定是其他物种和情况的情况。
在一些不明确的情况下, 软件将无法正确检测天线和鼻尖位置。如果一个动物移动一个天线, 这样, 在视频中, 它与一个延长的喙重叠, 软件将很可能检测到天线尖端的尖吻。然而天线角度, 仍有可能被正确计算 (从不重叠部分)。同样, 如果天线尖端直接移动到动物头上方 (即,不在两侧), 则软件可能只检测到在磁头外部可见的天线部分, 或假定天线的前一个位置, 或检测到杂散视频噪声作为天线位置。在这两种情况下, 即使是人类的评分人也很难辨别出天线的触角或头部。为缓解此问题, 我们建议将3帧、对称滚动中值57筛选器应用于软件生成的原始 X 和 Y 坐标。此滤镜可消除较大的瞬态 (单) 位置波动, 并保留较长的天线位置移动。我们发现3帧筛选器的性能优于无筛选器, 而更宽的筛选器 (例如, 5、11或15帧) 降低了准确性。使用滤镜和视频教程的 R 代码示例可以在线58找到。
作为科学工具的价值:
可利用的方法迅速获得准确的昆虫附属物运动以 cost-effective 的方式有潜力开辟新的调查领域。
鼻延伸反射 (每) 是一种常用的行为反应来调查的学习和记忆的各种昆虫的59。以前的研究通常依赖于二进制的扩展或非测量, 虽然视频和肌分析显示了更复杂的结构, 以鼻部移动65,66。这里的方法允许在高时间和空间分辨率下快速定量的喙运动。
昆虫对气味的反应是很不了解的。其中一个原因是, 触角的移动速度如此之快, 以至于 cost-effective, 自动获取天线运动数据的手段还没有得到。本文提出的方法可用于在大量的条件下快速获取大量昆虫的天线运动数据。例如, 这可以帮助研究人员对各种刺激, 特别是挥发性气味的反应, 对天线运动之间的映射进行调查。使用摄像头捕捉帧在30赫兹, 该软件可以用来表征触角运动动态高达15赫兹 (奈奎斯特限制)。如果需要更高频率的特性, 可以使用具有较高捕获速率的照相机 (例如, 60 或 120 fps)。然而, 一个更快的计算机可能需要处理更高的 fps 视频在 real-time。我们推测, 气味的类, 甚至可能是一些单独的气味, 有特征的先天触角运动。如果这些类或化合物可以被发现, 未知的气味或他们的类可以发现从触角运动未经训练的昆虫。如果存在这样的映射, 那么充分的天线运动数据和艺术机器学习算法的状态的组合应该开始发现它。此外, 如何映射变化响应学习, 在开发过程中的形式, 或中断与基因干预可以提供洞察功能的嗅觉系统。最后, 这项工作可以让人们洞察气味的人工检测, 如果它揭示了在复杂环境中的气味的最佳抽样方法。
未来的工作:
在这里, 我们表明, 可以迅速获得和分析的天线运动数据: 可以从我们的软件生成的数据中检测到显著的行为响应, 并确定了一些进一步调查的领域。
对刺激诱发的天线角偏离和恢复到基线的时间过程和任何刺激-结论回弹效应及其对气味浓度的依赖性可以通过数学方法进行研究和建模。此外, 食欲或厌恶调节引起的天线运动的任何变化也可以通过软件进行评估。
还可以探索更好的气味鉴别。在这项研究中, 两种气味, 在纯净和35x 稀释的版本引起相似的反应: 天线, 平均, 似乎迅速地撤出从气味来源并且回到 pre-odor 基线在几秒钟以后。我们推测, 即使稀释的版本可能是非常强烈的嗅觉刺激的蜜蜂。如果为真, 可以使用更广泛的浓度来确定触角反应是否能区分气味。此外, 更复杂的分析可能更好地揭示触角运动的差异, 以响应不同的气味。我们已经制作了数据文件, 用于生成这份手稿中的数字 SwarmSight 网站67感兴趣的研究人员可以使用。
此外, 虽然在本手稿的范围之外, 该软件可以扩展到处理视频的动物放置在房间内的双镜子角度在45° (见图 1D例如)。这可以用来准确地定位和跟踪附件及其在3D 空间的运动。然而, 3D 跟踪的算法将是有效的: (a) 当多个天线在一面镜中可见时, (b) 对不完美的镜面角度进行校正, (c) 考虑到相机造成的失真。定位.
最后, 可以通过使用卡尔曼滤波器68来实现位置精度的额外增益, 该过滤器利用物理状态信息 (如附属物速和加速度) 来约束预测的位置。但是, 任何精确度的提高都应根据额外计算的速度的降低而进行评估。
结论:
许多昆虫利用触角在当地环境中积极取样挥发性化合物。触角运动的模式可以提供对昆虫气味的洞察, 以及它是如何受调理, 有毒化合物, 和基因改变的影响。同样, 鼻运动已经被用来评估气味知觉和它的调制。然而, 快速获得大量的高分辨率附件运动数据是困难的。在这里, 一个协议和软件被描述为自动化这样的任务。总之, 我们已经创建并演示了如何结合廉价的硬件, 一个共同的动物准备, 和开源软件可以用来迅速获得高分辨率的昆虫附属物运动数据。该软件的输出, 如何在速度和准确度上优于人类评分, 以及如何分析和可视化其输出数据。
The authors have nothing to disclose.
JB、smc 和 RCG 都得到了 nih R01MH1006674 对 smc 和 nih R01EB021711 RCG 的支持。CMJ 和 BHS 的支持下, NSF 的想法实验室项目的 “破解嗅觉代码” BHS。我们感谢凯尔斯坦梅茨, 塔 Oboyle, 和雷切尔 Halby 的协助进行这项研究。
Insect harness | N/A | N/A | Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014) |
Odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Vacuum source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
LED connected to odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Low Voltage Soldering Iron | Stannol | Low Voltage Micro Soldering Iron 12V, 8W | |
DC Power Supply | Tekpower | HY152A | |
White sheet of paper | Georgia-Pacific | 998606 | Any white sheet of paper can be used as alternative |
Tripod | AmazonBasics | 50-Inch Lightweight Tripod | Optional |
Camera | Genius | WideCam F100 | FLIR Flea3 or another camera with manual focus can be used. |
Camera software | Genius | N/A | Software comes with camera. On MacOS, Photo Booth app can be used to record videos. |
Camera shutter speed software | Genius | N/A | Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/ |
Windows Operating System | Microsoft | Windows 7 Professional | Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments. |
SwarmSight software | SwarmSight | Appendage Tracking | Download from http://SwarmSight.org |
R software | R Project | R 3.4.0 | Download from: https://cran.r-project.org/bin/windows/base/ |
R Studio software | RStudio | RStudio Desktop | Download from: https://www.rstudio.com/products/rstudio/download/ |