2017年5月21日，由中国人工智能学会、中文信息学会主办，亿欧承办的2017·全球人工智能技术大会在北京·国家会议中心拉开帷幕，学术界、工业界、高校师生参与其中，5月22日上午为智能驾驶分论坛，论坛将主要聚焦人工智能技术在汽车驾驶方面的应用，即智能驾驶，包括对行驶环境的感知和认知，决策与规划，控制等，而这些都是智能驾驶、乃至于未来自主式驾驶的关键技术。

主讲嘉宾包括斯坦福大学影像系统研究中心执行主任-Joyce Farrell、北京峰云视觉技术有限公司CEO-肖峰、东软睿驰汽车技术（沈阳）有限公司智能驾驶业务线高级研究员-刘伟、数据堂CTO-陈兰颖等。

东软睿驰汽车技术（沈阳）有限公司智能驾驶业务线高级研究员刘伟做了主题为“基于视觉的驾驶场景理解与自动驾驶集成”的演讲，本文为其演讲速记及主持人问答整理。

刘伟观点提炼：

1、东软睿驰国内唯一一家运用电力线载波技术的供应商；

2、基于视觉能解决什么问题，首先是车外的摄像头，包括车内感知和车外环境感知；

3、基于视觉的驾驶场景理解相关技术，在自动驾驶领域，目前提到的视觉解决方案，主要面向的是周围有什么的问题；

4、三代的产品会运用到深度学习和更高自动驾驶的组合，包括高速公路下的交通辅助功能。

以下是速记全文，有部分删减：

首先感谢邓老师邀请东软，让我们展示一下在自动驾驶方面前期的研究基础，以及现在对自动驾驶产业化的探索。首先简单介绍一下公司的业务，我们讲的没有那么学术，比较偏应用一点。

东软睿驰母公司是东软集团，是中国第一个上市的软件公司，在全球拥有2千多名员工，中国8个区域总部，10个软件研发基地，16个软件开发与技术支持中心，60多个城市建立营销与服务网络，全球包括美国、日本、瑞士、芬兰、罗马尼亚、德国、迪拜、秘鲁多有分公司。

业务涉及到汽车电子，医疗IT，交通，基本上各个领域都有，但是主要两个大的方向就是汽车电子和医疗IT。因为东软是做汽车电子起家的，之前和一些国际的供应商提供电子的软件，现在走上前线，提供汽车电子的产品。

东软汽车电子业务有25年面向全球汽车电子研发经验，在汽车软件全球TOP30的汽车品牌中80都有东软软件硬性，业务覆盖欧洲、日本、美国拥有4000多名员工。拥有多维客户，25家车厂，16家合作伙伴，11家内容提供商。中国最大的车联网整体端到端解决方案提供商，获得了CMMILI和软件开发的认证。

东软集团在汽车领域有一个BigCar业务途径，利用东软集团整体能力，创造以汽车为中心的整体平台业务，提供人、车、社会的整体解决方案，涉及到金融领域，包括汽车银行保险，还有车联网，云，通讯和客户管理方面，以及车辆的运营，用车，养车的系统，我们现在提供EV解决方案，包括和英特尔合作的自动驾驶坐舱的C4平台。

东软睿驰是东软集团在2015年底整合了电池、EV、CLOUD，ADAS领域，致力于在新能源，智能网联汽车领域，曾经一家拥有卓越技术的创新型企业，向全球市场优质的产品。核心优势就是专利，有100多项，有一些通过ISO26262标准，16949标准，也是ADAS国际标准委员会成员，ITS无标准委员会副主任委员，技术方面，有国际领先的智能识别技术，国内唯一一家运用电力线载波技术的供应商。

下面介绍一下ADAS业务线在图象处理和自动驾驶领域的业务。东软有25年汽车电子行业经验，18年多的图像处理的技术积累。2004年开始，连续12年专注于辅助驾驶核心技术的研发与产品化，拥有120名以上的核心技术研发人员，覆盖视频分析、嵌入式高性能计算，传感器融合等辅助驾驶系统相关领域。

智能视觉相关国内外专利60多项，也是标委会的成员。愿景是为人类的交通安全与便捷做出贡献，让更多的人享受我们提供的安全、便捷的产品及服务。我们提供多类对象检测识别技术，多传感器融合技术，基于多核的高性能计算技术，多学科知识融合技术。

基于视觉的驾驶场景理解相关技术，在自动驾驶领域，我们需要解决哪些问题？周边有什么环境？我们自己的车在哪里？我们的目的是什么？这块目前提到的视觉解决方案，主要面向的是周围有什么的问题，因为摄像头装在车上，感知的范围有限，所以主要是局部环境的理解。

有一些配置，包括摄像头、激光雷达，广播雷达，超声，V2X，Map Data。基于视觉能解决什么问题，首先是车外的摄像头，可以识别道路的环境，交通参与者，交通指示。

车内的感知，可以感知驾驶员身份，视线，手势，以及注意力。

车外环境的感知，包括几类，一方面是交通参与者，道路信息，还有道路上的指示信息，交通参与者包括行人，摩托车，自行车，车辆，动物，路面信息，包括车道线，路面标识，车位标识，指示信息，交通标志，信号灯，指示牌。

针对无自动驾驶L3，还是涉及到驾驶员的接管，它需要对车内驾驶员做一些监控，除了提到车外的撤职，对车内驾驶员状态的识别和工作状态也做了一些工作，包括驾驶员状态的监控、手势的识别、视线的跟踪，这块可以检测到驾驶员的姿势、朝向、状态、这是检测面部的关键点，判断驾驶员的状态，这是驾驶员视线的预估。

前面讲了一些应用，通过图像识别做了一些基础性的研究，能够识别车内车外的环境，怎么把这些技术应用到实际的车辆中，这里会涉及到一些集成的关键技术，包括深度学习，包括嵌入式高性能计算的探索。

深度学习有几个方向，首先我们用它对我们现在传统的机器学习做验证，另外深度学习可以对更复杂的场景理解，比如现在的自动驾驶空间的探索。深度学习要建立一个数据极，这是像素水平的标记，还有图像特征的标记，主要的研究领域，一方面是应用领域，一方面是自由空间探索。

这是传统的车道识别，通用物体识别，在目标检测里面它会有一些特殊的地方，比如它能够处理一些比较特殊的场景，比较复杂的，包括一些特殊车辆，多视角，包括前视，后视，测视，以及路面小物体的识别。

性能计算方面，和嵌入式高性能计算会有一些交叉，通过对深度学习算法的深入研究，对这些算法进行优化，让它适应嵌入式的平台，能够在产品中集成应用。深度学习它大概是这样一个过程，首先就是数据极的采集，通过深度学习，图像的工具，对数据极的特征进行集成，标记完以后有人工教研的过程，形成GT数据集，就可以对传统的图像处理的算法验证。

通过不断的迭代，让GT数据集不断变大，准确率不断提升，形成我们研发和应用的数据库，提升图像识别的精度，降低误报率，一方面是在通用的CPU上做这种探索研究，目前还是研究的阶段，去做一些自动驾驶空间的探索，做一些像素级的标的。

在应用方面可以做一些轻量化的深度学习算法，可以适用目前车载的CPU，提供一些行人车辆的识别算法，轻量化这块主要是面向应用的，这个是我们建立数据集的过程。还有一个关键的技术，我们使用了轻量化的CNN，这里有两个过程，一方面是对关键的参数硬化，另一方面裁剪网络，适应目前嵌入式平台的应用。

在深度学习领域，目前进展的情况，一些关键的技术，包括定制化的神经网络，降低误报率，提高准确率，还有就是小物体，对远距离，100米左右的车辆做一些标定和识别。

市场活动方面，我们在美国CES上，今年一月份支持了4家车厂，提供图像处理的算法，都实现了高性能预算情景的演示。

第二代产品是基于高清摄像头，使用SOC和MCU，做高性能的预算和控制功能的形态，提供车道保持，还是刚才预警类的功能，增加了ABLK控制的功能，一种是一体机的方案，一种是段焦和长焦摄像头分体的方案，可以支持前视和后视。

上面提到了一代和二代的产品，三代的产品会运用到深度学习和更高自动驾驶的组合，包括高速公路下的交通辅助功能。我们的优势呢，我们的硬件平台是完全可编程的ACU，它是开放标准的，不是定制化的硬件。软件是模块化和定制化的，客制化，功能提供了360度的覆盖的方案，包括前视后视，可配置，根据需求进行功能的组合，多传感器融合的支持。

在应用领域是低成本的解决方案，功耗方面是性能平衡，目前使用的芯片，设计之初就是面向车规的，性能通过APEX优化以后，对整个性能的提升，也是做到技术和产品应用的平衡。在可靠性方面，包括集成雷达、图像，这是融合的算法，软硬件的设计和功能安全的设计，这是一些优势。

以上就是我整个汇报的内容，涉及到了一些技术和我们的产品，谢谢大家。

提问：对于智能车有前后左右多个摄像头，有红外和激光雷达，我想问一下它的优先级是怎么样分配的，权值是怎么分配的？

刘伟：目前是基于视觉，因为视觉是做了很多年了，但是视觉它有自己的缺陷，比如说光照，比如刚才提到的阳光直射和夜晚对它的影响，所以我们在这个基础上，也在考虑和毫米波雷达的融合，在融合过程中怎么样考虑权值呢，首先考虑测量的特性，比如对宽度测量比较准，但是毫米波雷达对车辆的相对速度和距离比较准，我们的融合算法相当于增加了一类传感器，而不是融合后的结论。

我考虑了图像和雷达以后，我输出一个结果给大家，是串联的，我们最终的融合结果是并联传输给应用层，根据应用场景，就是每一个特征都有执行度，包括宽度，包括相对速度，这些特征本身都有执行度，你知道是来源于融合传感器还是雷达的，还是图像的，可能激光雷达的问题没有提到，目前只是产品阶段做到了图像和毫米波雷达。

邓伟文（主持人）：现在一方面是传感数据融合，另一方面是深度学习，它们对计算平台要求比较高，你们采用什么样的计算平台？

刘伟：刚才提到采用上面有GPU，ARM的芯片，还有比较关键的就是提到的APEX，通过APEX做一些功能的计算，加上对神经网络的裁剪和参数的整形化，就是达到一个平衡吧，因为这个芯片从设计之初就是面向车规的，我们基于它做一些应用集成，做一些性能的平衡。

时值技术大潮汹涌而至，冲击着百年汽车产业随之变革，培育新动能、改造旧动能亟为迫切，在新一轮科技革命和产业变革中，汽车产业中必将形成推动经济社会发展新动力，新技术、新产业、新业态、新模式随之而生。

2019年4月17日，科技出行产业内容服务平台亿欧汽车将主办“新动能时代 · GIIS 2019第二届智能网联产业创新峰会”，与引领汽车行业发展的风向标企业共迎产业新趋势，共创美好生活。

本文已标注来源和出处，版权归原作者所有，如有侵权，请联系我们。