通过传感器计算打造视觉雷达，下一代自动驾驶系统的关键构成

本文希望从技术角度客观分析和回答以下问题：自动驾驶等级提升需要解决什么关键问题？怎样的自动驾驶方案更加具有实现大规模无人驾驶的可能性？自动驾驶作为现实世界的AI问题，难点在哪里？以上问题促使我们理性客观地思考该如何去实现自动驾驶——这一承载了太多期望、不断挑拨大众神经的技术生产力变革，从而推动行业冷静且务实地向前发展。

1.自动驾驶的眼睛：基于高质量图像成像的视觉雷达

随着自动驾驶等级的不断提高，控制权和责任主体逐渐从驾驶员转换为车辆，智驾系统的定位也将由扩增人的感知能力到接管车辆自主驾驶。由此对智驾系统之于物理世界环境理解的要求完全不同，将由对物理世界部分信息的提取提升到事无巨细的全面感知与理解。而这种变化，首要就是对2D图像成像与3D建模的越来越高的要求：1）更高分辨率和环境适应度的2D图像成像；2）对物理世界准确且稠密的实时3D建模。

Camera是自动驾驶感知物理世界最重要的传感器，其分辨率的提升将极大的提升图像的信息承载量，使得自动驾驶系统能够感知更加细节和更远距离的行车环境。当前主流自动驾驶前视摄像头的分辨率已经到800万像素以上，而更高的分辨率也是未来必然发生的事情。自动驾驶汽车面临的是一个开放性的外部环境，除了分辨率的提升，还需要提升自动驾驶在各种行车路况下的图像成像质量，比如不同的光线环境，傍晚、夜晚等，不同的气候环境，雨雪雾天等。相对于传统汽车应用的车载成像，自动驾驶对于车载成像质量的要求将极大提升，如何通过成像计算获取更高质量的图像就成为一个要解决的关键性问题。

自动驾驶汽车在三维物理世界中运行，必然要求对物理世界进行更加深刻的三维理解。当前的高级别辅助驾驶在道路上不断出现各种各样的事故，这些事故的发生很大程度上是由于没有识别到未被样本库所覆盖的异形、非标等物体，比如一辆拉着一棵树的货车等，而这些corner case是无法被穷尽的。对于行车环境的实时稠密3D建模不仅可以识别异形和非标等物体，还能判断路面坑洼与起伏，这无疑将大大提升自动驾驶的安全级别。当前自动驾驶的3D环境感知，主要依赖激光雷达等主动投射测量装置，但其在分辨率上远低于Camera，也不具备颜色信息。随着深度学习的发展，单目深度估计、双目立体视觉、SFM、MVS等问题已经可以被深度神经网络所建模，从而可以基于多目视觉通过AI的方法实时生成3D点云，其视觉点云天然与图像对齐，并且其分辨率也能达到图像分辨率的级别。因此，如何通过多目视觉实现高分辨率的实时稠密3D建模，即视觉雷达，是另外一个要解决的关键性问题。

视觉传感器的信息承载量极高，目前远未被充分挖掘，但无论2D图像成像还是实时稠密3D建模都需要强有力的算法和算力进行支撑，这需要算法和算力进行协同设计。视觉传感器+算力+算法的传感器计算模式，将更加本质的推动解决自动驾驶当前面临的关键问题，即从2D和3D层面对物理世界进行事无巨细的感知与理解。

鉴智机器人核心团队拥有超过十年的图像处理、AI算法和算力设计的行业经验，将以视觉传感器为核心，通过解决车载ISP、视觉雷达等视觉传感器2D、3D成像的核心问题，打造更加强大的自动驾驶之眼，从而推动自动驾驶安全等级的提升。

1.1 从手机ISP到车载ISP

ISP（Image Signal Processor）是指通过一系列数字图像处理算法完成对数字图像的成像处理。在摄像机成像的整个环节中，ISP负责接收感光元件的原始信号数据，可以理解为整个摄像机图像输出的第一步处理流程。ISP在提高图像质量、增强数据的一致性等方面有着极其关键的作用。

得益于智能手机的发展和手机摄像头像素越来越高，手机ISP在过去几年得到了快速的发展和进步，手机拍照和录像的质量也越来越高，甚至到了惊艳的地步。比如在夜晚等场景，可以拍到比人眼看到的更清晰、光照更充足、色彩更丰富的照片；比如在进出隧道等光照变化剧烈的场景，也可以录制出比人眼表现更稳定、更清晰的视频。这些效果除了源于手机摄像头硬件上的升级，专门的AI ISP处理算法和处理芯片也起到了至关重要的作用。

随着自动驾驶对车载成像质量的阶跃式提升需求，车载ISP，特别是针对驾驶场景优化的AI ISP处理算法和处理芯片，将迎来爆发式的发展。AI在车载ISP整个流程中将变得越来越重要，特别是在降噪、去模糊、HDR等问题上，可以在夜晚、阳光直射、进出隧道等暗光、强光、高动态场景得到远超人眼的成像效果，同时最大程度上解决由Sensor引起的噪点、模糊等问题。将AI计算前置在ISP计算Pipeline中，通过流式计算，使得ISP的计算Pipeline不被打断，也将大大提升AI ISP的性能功耗比。

鉴智机器人拥有全链路的芯片级ISP IP的设计能力，将解决ISP特别是AI ISP在车载场景的核心问题，让车载摄像头成像更清晰，从而进一步提高视觉雷达点云生成和图像语义感知等后续任务的准确性。

图1：鉴智机器人拥有全链路的ISP算法和算法硬核化设计能力

1.2 从2D感知到视觉雷达

面对大规模自动驾驶，对3D点云的信息稠密程度、场景泛化性、性能可扩展性方面提出了更高的要求。基于视觉雷达，通过双目或者多目立体视觉计算，产生实时稠密的3D点云是更优的方式。

双目立体视觉是机器视觉的一种重要形式，与人眼类似，它是基于视差原理，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，和基于TOF、结构光原理的深度相机不同，它不对外主动投射光源，完全依靠拍摄的两张图片（彩色RGB或者灰度图）来计算深度。

传统的双目立体匹配算法针对弱纹理、反光等区域效果比较差，同时对于物体语义信息利用比较少，算法适用范围具有局限性，点云效果上限比较明显。随着深度学习技术的发展，基于CNN、Cost Volume、Transformer的立体匹配算法展现出来了极强的算法效果和潜力。目前知名自动驾驶数据集KITTI上的立体匹配任务排名靠前的基本都是基于深度学习的算法。基于深度学习的双目立体匹配算法对于计算芯片的AI算力提出了比较高的要求，对于研发模式也提出了新的要求，需要从传统的双目相机研发模式变成以AI为核心、软硬结合、数据驱动的研发模式。

从双目立体视觉更进一步，充分利用相机的运动信息和多个相机间的几何约束，通过相机姿态估计、深度估计、光流估计、MVS等算法，以及任务之间互相监督的一系列自监督算法，可以得到360度的点云数据，也就是视觉雷达，从而形成与图像分辨率相匹配的稠密点云。同时，以摄像头+算力+算法为核心的视觉雷达，还具有产业链成熟可控、成本可控、器件稳定性有保证、满足车规等优势，更容易实现大规模前装量产上车使用。

图2：鉴智机器人视觉雷达Roadmap

2. 自动驾驶的大脑：全流程数据驱动的强单车智能

自动驾驶的大脑负责从感知到决策的驾驶全流程，也是自动驾驶最复杂、最核心和难度最高的部分。传统的以规则为核心的软件1.0工程化系统，在可维护性、扩展性和进化性上都具有一定的局限性。以AI和软件2.0为核心，全流程数据驱动的感知、预测、规控算法和强单车智能的解决方案，无疑是实现大规模无人驾驶更可行的方案。

鉴智机器人核心团队在AI算法和应用、软件2.0的基础设施、数据驱动的大规模实践上拥有丰富的经验，将通过全流程数据驱动的自动驾驶大脑，建立强单车智能，从而降低对外部基础设施的依赖，更加利于自动驾驶的复制与推广。

2.1 深度学习带来的2D感知技术突破

感知是自动驾驶获取信息的第一步, 所谓感知是指通过摄像头或其他传感器识别所看到的物体并理解该物体是什么，这对自动驾驶是至关重要的环节。自动驾驶车辆首先是要识别车道线，然后还要识别红绿灯、标志牌，除此之外就是识别障碍物比如前后左右有没有车辆，有没有行人，才能够进一步规划行驶路线。

过去十年是人工智能技术的黄金十年，深度学习改变了计算机视觉整个领域，也带来了2D感知各个方向技术的突破。2D感知主要有图像分类、图像（物体）识别、细粒度识别（人脸识别）等方向，所采用的技术也从最早的模板匹配、线性分类到现在所广泛使用的深层卷积神经网络，再到最近刷新各大视觉任务榜单的Transformer。随着硬件计算能力的不断提升、算法范式的不断改进、可利用数据资源的不断增长，基于摄像头的2D感知已经成为了乘用车智能驾驶的主流方案，同时也成为了很多解决方案的核心差异点。

鉴智机器人核心团队在国内最早基于深度学习在2D视觉感知各个方向开展系统性研究和大规模落地应用，在众多全球最具影响力的2D感知AI比赛和评测中获得冠军，发表顶级会议和期刊论文几十余篇，在多个业务领域实现了人工智能2D感知技术的大规模应用落地。

图3：鉴智机器人在2D感知方向具有世界一流的核心能力

2.2 从2D感知到4D感知

如果说2D感知还是在平面上检测、识别、分割物体，那么加入深度信息后，基础的2D感知即转化为3D感知。如果进一步在3D的基础上加入时间这一维度，进化得到的则是4D感知。在自动驾驶领域，4D感知可以完整且连续的探测车辆周围的物体。

基于深度学习和三维视觉技术不断发展，随着Cost Volume、Optical Flow、differentiable Homography、Transformer等技术的成熟，以及多传感器融合、众包重建、稠密重建、自动标注等方向不断发展，可以高效率的提供高质量、大规模的4D场景数据，端到端的4D感知正在成为技术趋势。相比于传统的2D感知+后融合的方案，端到端的4D感知拥有很多优势，可以解决测距抖动较大、多摄像头拼接不准确、时序结果不稳定、迭代效率较低等一系列问题。

更进一步，基于端到端的4D感知，可以进行更好的4D预测，一方面可对于交通参与者进行更优的运动轨迹预测，从而实现性能更加优异的规划控制；另一方面可对于道路行驶区域预测更加精细的3D结构化信息，在线生成局部实时3D地图，降低对高精地图等基础设施的依赖。

图4：鉴智机器人针对复杂路口驾驶场景的4D感知结果

自动驾驶被认为是目前最重要的硬科技创新之一。在汽车行业百年未有之大变革的历史性时刻，中国由于在电动汽车领域的提前布局、全面开花，以及完整产业链的巨大优势，国内企业在自动驾驶方向拥有非常好的机会和产业优势，有机会通过电动化和智能化实现百年汽车工业这一最重要的支柱产业的超车和领先。但自动驾驶的发展速度仍然低于大众和市场的预期，这里存在若干影响自动驾驶等级提升的关键性问题亟待解决，鉴智机器人基于自身在AI算法、AI算力层面的积累，致力于解决自动驾驶成像计算和下一代自动驾驶方案的关键性问题，从而推动自动驾驶的创新发展。

作者简介

都大龙：鉴智机器人联合创始人，硕士毕业于中科院计算所，现清华大学创新领军博士在读。曾任某AI科技公司研发副总裁，地平线算法总监，百度IDL架构师。曾深度参与国内首款AI芯片的产品研发，并实现AI2B产品的大规模落地。因其在卷积神经网络、序列学习、神经网络训练框架方面的突出贡献，曾连续两次获得百度工程师最高荣誉-“百度百万美金最高奖”。发表数十篇AI领域国际顶级会议，并带领团队在MSCOCO、FRVT等多项AI比赛中获得世界一流成绩。

黄冠：鉴智机器人算法负责人，拥有十年的深度学习/机器学习/计算机视觉经验，在国内最早开始深度学习在目标检测、分割、关键点等方向的系统性研究和应用。多次获得FRVT、COCO等全球最具影响力AI比赛冠军，发布全球最大的公开人脸数据集WebFace260M，在人工智能顶级会议和期刊上发表论文十余篇，支撑了多个领域人工智能技术的大规模落地应用，拥有丰富的学术研究和产业落地经验。目前致力于研发全流程数据驱动的算法，用于下一代自动驾驶解决方案。