作为全球下一轮科技革命与产业变革的关键领域，智能汽车已成为全球汽车产业发展的战略方向，高阶辅助驾驶、自动驾驶俨然已成为汽车产业的热门发展赛道，2021年也被视作智能驾驶元年。
在目前的自动驾驶技术发展路线中，汽车视觉感知是主要的发展路线，而ISP就是决定视觉图像质量的关键。智能视觉系统必须要有可靠的输入才能产生可靠的结果，这正是无法离开一颗强大的ISP的根本原因。
1
高性能ISP对智能驾驶的重要性
ISP 的全称 Image Signal Processor，即图像信号处理器，是车载摄像头的重要构成组件，主要作用是对前端图像传感器CMOS输出的信号进行运算处理，把原始数据“翻译”成人眼可以看懂的图像。
通俗地说，只有依赖于ISP，驾驶员才能借助摄像头“看”到现场细节。
在汽车视觉感知系统中，ISP可将传感器回传的电信号转换为能够让人所理解的图像信息。由于自然环境的不可抗力因素，自动驾驶汽车在日常使用中可能会面临弱光、强光、恶劣天气等极具挑战性的场景，图像传感器通过ISP的辅助，可对图像的颜色、清晰度、噪点进行处理输出令人满意的图像，进而提高自动驾驶的安全性。
例如，在自动驾驶方面，针对前视ADAS系统，ISP需要能够快速分析远处和近处的物体，镜头聚焦在一个远距离范围内，需要最大限度地提高系统的灵敏度。
在后视及环视应用方面，则需要ISP应用畸变校正算法和多图像的拼合。比如，采用预畸变的SFRplus测试图卡，应用于广角镜头的畸变和清晰度测试。对于超广角摄像头则需要增加超广角清晰度分析设备来进行测试。
在舱内监控方面，ISP可以用来监测驾驶员疲劳分心预警感知，主要是扫描驾驶员的面部和眼部位置，需要高精度成像来跟踪不同光线环境中的驾驶员状态识别。
2
ISP的发展路线之争
为了让自动驾驶在强光及弱光等人眼也“失灵”的场合下也能正常工作，业内对ISP的发展方向也产生了不同的看法，以特斯拉为代表的纯视觉路线派甚至喊出了干掉ISP的口号。
特斯拉创始人马斯克认为，为了做得“更好看”、更适合“给人看”，很多原本很有用的数据却在ISP负责的“后期处理”环节被处理掉了。但如果只是为了给机器看，这些被处理掉了的数据其实也是有用的，因此，如果“后期处理”这一步可以被省略，则有效信息量便会增加。为此，特斯拉去除了算法中为了“照顾”人眼所做的那部分数据处理，转而开发了用于增加摄像头在弱光下及强光等环境下的算法所需的数据及相应能力。
对此，业内还有一套解决方案，那就是为了人眼能看到，对摄像头的原始数据进行了各类算法处理和增强，从而在弱光、恶劣天气以及特殊条件下，解决目前摄像头感知能力的缺陷。在传统ISP中引入AI概念，则可以通过不断训练提升ISP的性能，并将传统关键的硬件模块转化为软件定义模式。
黑芝麻智能“算法+芯片”软硬结合新发展思路则采用了后者的技术路线，保障自动驾驶车辆在夜间及复杂场景下拥有更好的“视力”，完美诠释了让汽车“看得清”、“ 看得懂”、“ 看得远”。
以黑芝麻智能自动驾驶主控计算芯片华山二号系列为例，该芯片以 “CPU+GPU+ISP+DSP+NPU” 的 SoC 异构方案为主，主要包含控制单元、计算单元、AI 加速单元等模块，其中就包含了黑芝麻智能自研的两大核心IP——车规级图像处理器NeuralIQ ISP以及DynamAI NN车规级低功耗神经网络加速引擎。通过软硬件能力的协同提升，实现性能、成本和功耗三者之间的平衡，为L3-L4级自动驾驶的实现提供了可能。
3
让智能汽车看得清、看得懂、看得远
对于智能汽车来说，如何在高速运动的状态下，获取清晰准确的成像就成为车规级ISP需要解决的难点。
NeuralIQ ISP独有的算法和成像引擎能够在各种复杂光线环境下，能排除现场光线的干扰，给AI视觉算法输出稳定可靠的高品质视觉图像，尤其是在微弱光线下超越人眼的视觉成像能力，让摄像头在超低光和大逆光场景下清晰成像 ，感知到的信息在后端计算中更均一化，帮助自动驾驶解锁更加丰富的应用场景，让汽车“看得清”。
NeuralIQ ISP采用了更好的降噪技术和动态范围管理，通过调整帧的过暗或过亮区域，确保每个帧都能清晰和适当曝光，并且能够每秒处理36亿3曝光像素，12亿单曝光像素的高处理率管道，并且每个管道可并行在线处理两路视频，大大降低ISP的出错几率。而特斯拉第一代FSD 芯片，ISP 每秒仅能处理10 亿像素。
同时，和过去与摄像头数量成正比关系的ISP来说，NeuralIQ ISP能够处理多达12个实时摄像头，这意味着整体系统成本的下降，同时也会大幅降低摄像头的功耗。
NeuralIQ ISP搭配深度神经网络算法平台DynamAI NN引擎可以提供范围更广的深度检测和运动感知，可以让汽车不仅“看得懂”还能“看得远”。
神经网络加速器则针对深度学习算法，它的计算能力就是我们所常见的TOPS，它主要目标则是处理摄像头传感器的感知信息。通过NeuralIQ ISP图像信号处理器处理后的图片，将传递到深度神经网络算法平台DyanmAI NN引擎上。先将收集的新数据信息与计算平台存储的数据进行对比，再进行推理和决策，预测出周围环境可能会发生的变化，从而保证汽车“看得懂” 。
其后，通过与其他车、云、路互联协同，扩大有效感知范围 ，让汽车“看得远” 。
除此之外，黑芝麻智能还能够提供芯片、操作系统、中间件到算法等完全解耦的软硬件解决方案，核心部件和软件模块可以根据客户需求进行定制和替换。算法方面，黑芝麻智能自研了一系列神经网络自动优化工具、AI全栈工具链和感知算法，并且通过软件 SDK 和 API 接口的形式开放给客户，帮助客户降低算法开发门槛，快速移植模型和部署落地的一体化流程。
对于主机厂而言，采用黑芝麻智能解决方案，无论是在研发成本还是高级驾驶辅助系统BOM成本都能获得大幅度降低。
小结
无论是特斯拉的“纯视觉”路线，还是黑芝麻智能的软硬结合路线，汽车智能化无疑来到了大算力时代。对于黑芝麻智能来说，取得目前的成绩并不出人意料，毕竟创始人单记章曾在豪威率领团队打磨出业内最好的ISP，席卷了包括苹果在内的CMOS市场。如今手握ISP和NPU两大自研IP核心，我们可以期待黑芝麻智能在车规级ISP领域带给我们更多惊喜和期待。
| 留言与评论（共有 0 条评论） “” |
