Color-DAVIS346：彩色事件相机数据集
事件相机是一种新颖的、以生物为灵感的视觉传感器，其像素输出异步和独立的时间，在局部强度变化时，被称为“事件”。与传统的基于帧的相机相比，事件相机在延迟、高动态范围（HDR）和时间分辨率方面具有优势。直到最近，事件相机还仅限于在强度通道中输出事件，然而，最近的进展导致了彩色事件相机的发展，例如彩色DAVIS346。在这项工作中，研究者提出并发布了第一个彩色事件相机数据集（CED），包含50分钟的彩色帧和事件的镜头。CED具有广泛的室内和室外场景，这将有助于推动基于事件的视觉研究。他们还提出了事件相机模拟器ESIM[1]的一个扩展，它支持颜色事件的模拟。最后，他们评估了三种较好的图像重建方法，这些方法可用于将彩色DAVIS346转换为连续时间、HDR、彩色相机以可视化事件流，并可用于下游视觉应用。
自从最近加入计算机视觉领域以来，事件相机已经挑战了关于如何解决计算机视觉问题的传统思维。与传统相机不同的是，事件相机的像素独立且异步地工作，而不是像传统相机那样以固定的帧速率生成全局快门图像。当给定像素的亮度变化超过阈值时，该像素将发出一个包含其（x，y）地址、时间戳和极性的事件。事件相机提供了几个优点；它们以场景动态的速率采样，而无需等待外部快门周期，并且输出是数据驱动且无冗余的。这意味着事件相机具有极低的延迟、低功耗和带宽要求、高动态范围，并且基本上没有运动模糊。当前事件相机的时间分辨率为微秒量级。自从它们问世以来，事件相机已经引发了一系列的研究。它们已被用于特征检测和跟踪、深度估计、立体、光流、图像重建、定位、SLAM、视觉惯性里程计、模式识别等。为了满足社会日益增长的需求，针对SLAM、光流和识别等热门话题发布了一些重要的基于事件的视觉数据集。事件相机数据集能够实现更好的基准测试和再现性，并允许研究人员在一系列环境中访问较好的事件数据。
图1：彩色事件相机数据集（CED）具有室外（顶行）和室内（底行）序列，并为每个序列提供来自Color-DAVIS346的彩色图像（左列）和彩色事件（右行）。
虽然现有的一些数据集仅限于单色事件，但事件相机技术已经发展到允许彩色事件和帧，例如Color-DAVIS346，它为新一代的彩色事件打开了大门，将颜色信息添加到基于事件的视觉中提高许多任务的性能，例如分割和识别，即已知颜色是视觉信息的重要来源。早期的工作已经显示了使用原型彩色事件相机或带有三个单色相机和三个彩色滤光片的镜像设备的有希望的结果，然而，到目前为止还没有公开可用的彩色事件数据集。此外，更广泛的研究群体对彩色事件相机的使用有限，阻碍了彩色事件视觉研究的进展。
图2：用于数据集采集的“DAVIS346 Red Color”相机
我们在文章中展示了第一个彩色事件相机数据集（图1），旨在通过向社区提供较好的彩色事件数据，以及来自Color-DAVIS346的彩色帧，刺激对彩色事件视觉的研究。彩色DAVIS346（图2）是Z新的彩色事件相机，建立在流行的DVS系列相机，许多现有的数据集和研究的基础上。研究者的目标不是将人们的注意力集中在特定的目标应用上，而是通过包括各种场景（简单物体、室内/室外场景、人）、照明条件（日光、室内光、微光）、相机运动（线性、6自由度运动）和动力学来迎合通用视觉研究。虽然他们不为任何特定任务（如光流估计、目标检测等）提供地面真值标签，但他们提供来自传感器的彩色图像，这些图像自然同步并登记到事件中。这些图像可以用于为任何感兴趣的任务（使用传统的计算机视觉或手动注释）生成代理标签，这些任务可以传输到事件。图像重建是基于事件的视觉研究的一个活跃领域，它允许事件流的可视化，并使数十年的计算机视觉研究和事件数据的专业知识得以应用，而事件数据的原始形式是很好的工具（如卷积神经网络）无法获得的。此外，事件重建图像具有保持事件相机的期望质量的潜力，例如高动态范围、高时间分辨率和对运动模糊的免疫力。
本文来自知乎https://zhuanlan.zhihu.com/p/360961347
