【导读】随着各类终端应用场景愈发多元化,对视觉传感器的技术升级诉求,也不仅仅只停留在像素、进光量、白平衡等一些基础参数的改善,而是要求产品能更智能、更全面的应对复杂多变的外部环境。
例如:在AR/VR这类头显设备中,眼球追踪技术一直是终端升级的重要环节。一方面是由于每位用户的体征各不相同,常规的眼球追踪技术无法实现大规模适配;另一方面在注视点渲染这类场景当中,对传感器眼球追踪功能的低延迟、准确度以及可预测等效果提出了严苛的要求。
另外在智能手机领域,越来越多的用户希望能通过手机端完成光摄影、较暗室内环境拍摄、户外静态摄影等专业性较高的拍摄,甚至是对超高速运动中的物体进行实时摄影。这类应用不仅要求传感器提供足够大的动态范围,从而更全面、细致地实现场景覆盖;还要求传感器在拍摄对象高速运动时,能提供清晰、精确的图像处理结果。
除上述外,包括ADAS、机器视觉、物体追踪等多种应用为了进一步优化用户体验,同样需要一颗足够强大的视觉处理器,为其升级提供支持。
针对这些特定场景衍生出的需求,豪威集团近日发布了世界首款产品级CIS/EVS融合视觉芯片OV60B10。通过对两者的融合,在一颗芯片上集合两类传感器的特性。
EVS (Event-Based Vision Sensors) 是一种生物启发的新型视觉传感器,具备基于事件的视觉、可实现高动态范围、保持高速、低延迟、无运动模糊,且同时满足低数据率、低功耗的技术特点。 与广泛应用的CIS (CMOS Image Sensor)相比,事件相机的输出在空间和时间上具有连续性,其响应速度不受传统的曝光时间和帧率限制,可以检测到快如子弹的超高速运动,而使用CIS相机则需要以几千或几万帧/秒的速率才能捕捉得到;不受白平衡、感光度、曝光时间等统一成像参数影响,在图像过暗、过曝或急剧变化等情况下,依然可以触发事件来获取视觉信息。
技术亮点
1、3D Stack工艺
OV60B10芯片采用了3D Stack工艺制造,通过将CIS,EVS,ISP/ESP三层wafer整合到性能最优、体积最小的状态。wafer间通过混合键合技术实现高密度的像素级连接,该工艺由于探测器部分和电路部分各自独立,从而实现加工工艺的分别优化和像素单元尺寸的最小化。
2、像素级传感器融合
OV60B10芯片能够通过两种传感器共享焦平面,有多重信号交互,从而在时间和空间上高精度匹配,协同工作,并行输出(也能通过软件配置,分别独立工作)。
通过像素级传感器融合技术,将两种传感器优点做到最大化,充分利用图像中的冗余信息及互补信息,产生一幅满足特定应用需要的图像,通过这样的方式,对同一场景或目标进行更准确、更全面、更可靠的描述。
3、世界领先的EVS技术
OV60B10芯片采用豪威集团独有的in-pixel timestamp及相关的高速读出技术,相对于业界已有的 timestamping-during-readout方式,能大幅提高EVS的时间标精度,并降低时间标的抖动(jitter)。OV60B10也创新了噪声控制、多通道读出、事件编码和动态带宽等一系列技术。
每秒钟帧数越多,画面所显示的动作就会越流畅。通过独家的EVS技术,OV60B10对原始帧率仅有120FPS的画面进行重构后,帧率可达10000FPS,终端可借由这颗传感器用更少的数据、更小的计算量和更低的硬件成本捕捉高速图像。
4、优秀的CIS成像性能
OV60B10芯片还使用业界领先的CIS平台,兼具高分辨率(1500万像素)和大像素(2.2um)优势。
综上来看,OV60B10芯片让具有高效地捕捉场景变化、低延迟、低数据量等特质的事件相机与高分辨率和大像素的CIS各展所长,适用于超高速图像重构、高动态范围成像、ADAS、智能座舱、眼球追踪、物体追踪、SLAM等多种场景,以“组合拳”的方式让用户灵活应对手机、汽车、AR/VR等不同领域的拍摄需求。
站在终端的角度,这颗各项性能表现都十分突出的视觉传感器也能助其进行更深层次的产品开发和挖掘。
业界周知,“元宇宙”概念兴起再度让AR/VR设备受到高度关注,然而长期以来,这类设备的发展都受制于内容和交互体验的缺乏。眼下终端就可以借助OV60B10超高速图像重构、低延迟等功能实现高精度、高速度的动作捕捉,从而为用户提供更流畅、更沉浸、更丰富的游戏场景。更加深入“元宇宙”概念甚至可以发现,动作轨迹捕捉的精准度其实决定了用户动作、表情等指标实现数字化的程度,而数字化程度,也决定了用户能否在数字世界中呈现出自己独特的形象并实现交互。
推荐阅读: