2023 年 05 月 04 日

汽车零部件Ⅱ

AI 大模型在自动驾驶中的应用

Transformer 大模型在自动驾驶中应用趋势明确。Transformer 基于Attention 机制，凭借优秀的长序列处理能力和更高的并行计算效率，2021年由特斯拉引入自动驾驶领域。Transformer与 CNN 相比最大的优势在于其泛化性更强。CNN 只能对标注过的物体进行相似度的比对，通过不断学习完成对该物体识别的任务；而 Transformer 可以通过注意力层的结构找到更基本的元素与元素间之间多个维度的相关信息进而找到一种更泛化的相似规律，进而提高自动驾驶的泛化能力。同时，不同于 RNN 存在存储时间长度有限以及顺序依赖的问题，Transformer 模型具有更高的并行计算效率并且可以学习到长时间距离的依赖关系。目前，Transformer 主要应用在自动驾驶感知模块中从2D特征图向BEV鸟瞰图的视角转换。

城市领航辅助驾驶落地在即，AI 大模型助力实现“脱高精度地图”。目前，主机厂正逐步从高速场景向城市场景拓展，2023 年有望成为城市领航辅助驾驶的大规模落地的元年。相比于高速场景，城市场景所面临的Corner case 大幅提升，要求自动驾驶系统具备更强的泛化能力。目前已落地城市 NGP 主要基于高精度地图方案，高精地图能够提供超视距、厘米级相对定位及导航信息，在数据和算法尚未成熟之前，对于主机厂实现高级别自动驾驶具有重要意义。但高精度地图应用过程中无法做到实施更新、法规风险高、高成本的三大问题难以解决。BEV 感知算法通过将不同视角的摄像头采集到的图片统一转换到上帝视角，相当于车辆实施生成活地图，补足了自动驾驶后续决策所需要的道路拓扑信息，因而可以实现去高精度地图化。目前，小鹏、华为等头部自动驾驶厂商均明确提出“脱图时间表”，自动驾驶算法“重感知，轻地图”趋势明确。

大数据和大算力是大模型应用的重要前置条件。Transformer 大模型量变引起质变需要 1 亿公里的里程数据。并且，传感器采集得到的 raw-data 需进行标注后才可用于算法模型训练，自动标注工具可大幅提升数据处理速度。2018年至今，特斯拉数据标注从 2D 人工标注逐步发展至 4D空间自动标注；国内厂商中小鹏、毫末智行等亦相继推出自动标注工具大幅提升标注效率。除真实数据外，仿真场景是弥补训练大模型数据不足问题的重要解决方式。生成式 AI 有望推动仿真场景大幅提升泛化能力，帮助主机厂提升仿真场景数据的应用比例，从而提高自动驾驶模型的迭代速度、缩短开发周期。大算力是 Transformer 模型训练的另一重要条件，超算中心成为自动驾驶厂商重要的基础设施。特斯拉 AI 计算中心 Dojo 总计使用了 1.4 万个英伟达的 GPU 来训练 AI 模型，网络训练速度提升 30%，国内厂商中小鹏与阿里联合出资打造自动驾驶 AI 智算中心“扶摇”，将自动驾驶算法的模型训练时间提速170倍。

行业深度分析

关注标的：德赛西威，经纬恒润，寒武纪

风险提升：技术进步不及预期，法规风险,行业竞争加剧。

证券研究报告

投资评级领先大市-A

维持评级

首选股票目标价（元）评级

688326 经纬恒润-W 160 买入-A

行业表现

资料来源：Wind 资讯

升幅%	1M	3M	12M
相对收益	18.0	-8.9	13.5
绝对收益	-7.3	-12.5	16.2

徐慧雄分析师

SAC 执业证书编号：S1450520040002

xuhx@essence.com.cn

李泽分析师

SAC 执业证书编号：S1450523040001

lize@essence.com.cn

内容目录

AI大模型如何应用于自动驾驶算法中？ 4
1.1. 神经网络加快自动驾驶感知算法发展，小模型向大模型迭代趋势明确.
1.1.1.1. 深度神经网络 DNN 是人工智能的开端...
1.1.1.2. 卷积神经网络 CNN 广泛用于特征提取..
1.1.1.3. 循环神经网络RNN有效处理有时间序列信息..
1.1.2. Transformer 大模型的注意力机制成为自动驾驶感知算法的利器. ..8
1.2. 特征级融合逐步取代后融合，BEV+Transformer 为当前主流方案 .10
1.2.1. 自动驾驶感知技术从后融合向特征级融合迭代趋势明确 .10
1.2.2. Transformer 大幅提升 BEV 空间中的特征级融合效果. .12
AI大模型的应用对自动驾驶领域所带来的好处？ .15
2.1. 城市 NGP 落地在即，AI 大模型的应用驱动自动驾驶算法具备更强的泛化能力 ..15
2.2. 从特斯拉感知算法迭代历程看 AI 大模型对城市 NGP 的赋能方向.. .17
2.2.1. 第一阶段：BEV+transformer，实现“脱高精度地图”. .18
2.2.2. 第二阶段：升级到占用网络，实现“脱激光雷达”. ..21
2.2.3. 第三阶段：从感知到决策控制端到端的自动驾驶模型有望成为未来发展方向
.22
AI 大模型应用于自动驾驶中的前置条件？ ..23
3.1. 条件一：具备相当数量的里程数据，因而自动标注+仿真平台环节将尤为重要..23
3.2. 条件二：具备相当算力的云端训练平台，因而超算中心将成为主机厂必要基础设
施 ... ..26
关注标的... ..28
4.1. 德赛西威 ... .28
4.2. 经纬恒润 . .28
4.3. 寒武纪 .. .29
风险提示.. .29
图表目录
图 1. 自动驾驶系统分为感知、决策和执行三部分 4
图 2. 一个感知机就类似一个生物神经元 .. 5
图 3. DNN架构：不同层感知机全连接，逐层单向传递信号. 5
图 4. 人类能够通过观察特征高效判别人脸 . 6
图 5. CNN 相比于 DNN 在全连接层之前加入卷积/池化层 . . 6
图 6. CNN 通过卷积和池化操作提取图像特征并降低数据维度 . 7
图 7. 多次池化可能丢失特征位置信息，CNN 可能误判 . 7
图 8. RNN 借助循环核提取时间特征，实现连续数据预测 . . 8
图 9. Transformer 的目标是寻找元素间的权重关系 .
图 10. Vision Transformer 模型架构 ...
图 11. 注意力机制能够获得一个元素和其他元素多角度相关度的矩阵 . 9
图 12. 编码器-解码器架构 . . 9
图 13. transformer 架构... .10
图 14. 按照融合环节不同分为前-特征-后融合 .11
图 15. 后融合过程 .. 11
图 16. 前融合过程 12
本报告版权属于安信证券股份有限公司，各项声明请参见报告尾页。股份有限公司，各项声明请参见报告尾页。 2
图 17. 特征级融合过程 .12
图 18. 图像空间中的感知结果通过后融合投影到 BEV 空间中出现严重的失真. .13
图 19. BEV 感知框架.. .13
图 20. 英伟达 LSS算法基本架构 .14
图 21. 特斯拉基于 Transformer 的 BEV 空间转换架构 .14
图 22. BEV 转换过程. .15
图 23. 基于交叉注意力机制在 BEV 空间内做特征级融合的效果远好于基于规则的方法在
BEV空间内后融合 . ..15
图 24. 城市场景具有高频、刚需特征，落地价值凸显 .16
图 25. 高速场景自动驾驶 Corner case 较少 .17
图 26. 城市场景自动驾驶 Corner case 大幅提升 .17
图 27. 特斯拉自动驾驶算法迭代历程 . .18
图 28. BEV 鸟瞰图视角. .19
图 29. 特斯拉 BEV 语义地图 .20
图 30. 理想 BEV语义地图 ..20
图 31. XNet 感知架构重感知、轻地图. ..20
图 32. BEV与占用网络效果对比.. ..21
图 33. BEV 与占用网络效果对比. .22
图 34. 深度强化学习典型框架 . ..23
图 35. 车道保持功能的端到端训练框架 .23
图 36. 特斯拉数据引擎 .. ..24
图 37. 特斯拉自动标注系统迭代历程 .24
图 38. 毫末视频自监督大模型 ..25
图 39. 仿真场景中对同一路口生成不同街景进行场景泛化 .26
图 40. 对统一路口生成不同车道关系进行场景泛化 ..26
图 41. 特斯拉超算中心 .27
图 42. 搭载超算中心投资金额 ..28
图 43. 搭载超算中心时间周期 ..28
图 44. 经纬恒润自动驾驶域控制器产品 .29
表 1： 2023 年多家主机厂预计推出城市领航辅助驾驶 . .16
表 2：高精地图在城市道路覆盖度有限 . .18
表 3：传统地图与高精地图盈利模式的区别 .19
表 4：主要自动驾驶厂商宣布脱图时间 .21
表 5：自动驾驶厂商超算中心建设情况 .27

1.AI 大模型如何应用于自动驾驶算法中？

算法是决定自动驾驶车辆感知能力的核心要素。当前主流的自动驾驶模型框架分为感知、规划决策和执行三部分。感知模块是自动驾驶系统的眼睛，核心任务包括对采集图像进行检测、分割等，是后续决策层的基础，决定了整个自动驾驶模型的上限，在自动驾驶系统中至关重要。感知模块硬件部分主要为传感器，软件为感知算法，其中算法是决定自动驾驶车辆感知能力的核心要素。

图1.自动驾驶系统分为感知、决策和执行三部分

资料来源：安信证券研究中心绘制

1.1.神经网络加快自动驾驶感知算法发展，小模型向大模型迭代趋势明确

神经网络模型的应用驱动感知算法高速发展。早在上世纪 70 年代，学术院校和科研机构展开对自动驾驶技术的探索，早期的自动驾驶感知算法主要是基于传统计算机视觉技术，直到 2010 年之后随着深度学习技术的发展，神经网络被引入到自动驾驶感知算法中，自动驾驶汽车的感知效果有了质的提升。

应用于感知层面的神经网络模型可以分为两类，一类是以 CNN、RNN 为代表的小模型，另一类是 Transformer 大模型。神经网络是一种受生物神经元启发而产生的深度学习方法，由众多的感知机构成。感知机类似于生物学中的神经元，输入信号经过加权平均运算，若超过某一个阈值则向后传递信号，否则被抑制。不同的神经网络模型实际就是对感知机之间设定不同的逻辑关系。单个感知机工作的过程为：1）感知机前端相当于神经元树突，接受输入信号 x，可以以向量表示 x=（a，b，c），其中 a、b、c 分别来自上一个神经元或原始图像。2）输入信号与连接权重向量 w=（w1，w2，w3）进行内积运算，这实际是对输入信号进行加权平均。3）在相当于神经元轴突的感知机后端设定一个阈值 z，当加权平均值达到阈值即 xwT +z>0,则感知机被激活向后传递信号，否则感知机被抑制。4）此外，引入非线性因素保证输出连续，可以对 xwT +b整体施加一个激活函数。

图2.一个感知机就类似一个生物神经元

资料来源：，安信证券研究中心绘制

1.1.1.1.深度神经网络 DNN 是人工智能的开端

深度神经网络（DNN）又叫多层感知机神经网络，其中有三个基本类型的层：输入层、隐藏层（或者叫中间层，可以有多个）、输出层。不同层之间的感知机全连接，在推理时，前向（从输入层到隐藏层到输出层）传递信号得到推理结果。在学习时则将误差（真实值和推理值的偏差）反向传递（从输出层到隐藏层到输入层），实现对感知机参数（连接权重和阈值）的更新，直至找到使得误差最小的一组感知机参数。在自动驾驶感知模块中输入数据为图像，而图像具有高维数（对比时间序列通常只是一维向量），对其识别时需要设置大量输入神经元以及多个中间层，模型参数量大难以训练且消耗算力高，并可能带来过拟合的问题。

图3.DNN架构：不同层感知机全连接，逐层单向传递信号

资料来源：安信证券研究中心绘制

1.1.1.2.卷积神经网络 CNN广泛用于特征提取

DNN 识别图像的本质是对每一个像素点进行比对学习，因此效率较低。事实上，人类在对图像进行识别是并不需要对像素点进行逐个对比，而是通过图像的特征进行识别。例如识别人脸时，并不需要对每一个像素点都仔细观比对，而是先搜索脸部的轮廓以及眼睛、鼻子等特征，当这些特征同时出现，就可以判断图片中是一张人脸，基于这种思想， CNN 卷积神经网络应运而生，本质上是在信息传入传统神经网络前先做一个特征的提取并进行数据降维，因此 CNN图像处理高纬度向量的任务上更加高效。

图4.人类能够通过观察特征高效判别人脸

资料来源：安信证券研究中心绘制

CNN 能够高效率处理图像任务的关键在于其通过卷积层、池化层操作实现了降维，模型需要训练的参数量相比于 DNN 来说大幅降低，对硬件算力的要求也相对降低。CNN 的模型结构在DNN 的全连接层之前增加了卷积层和池化层，用于提取图像特征并降低数据维度。举例而言，对于一个 8×8（64 像素）的原始图片，CNN 模型中设置一个大小为 3×3 的滤波器（即卷积核），“覆盖”在原始图片相同大小的区域之后，对应位置元素相乘求和；完成一个位置计算后，向其他区域平移直到覆盖整个原始图片。上述这一过程即“卷积”操作，其中卷积核的值为模型所需要学习的参数。卷积操作的优势在于卷积核与原始图像每一区域进行运算的参数相同，降低了模型所需要学习的参数量。池化（Pooling）操作是为了提取一定区域的主要特征，并进一步减少后续输入全连接层的参数量。如对卷积后 6×6 的特征图，选取 2×2 大小的窗口进行 Maxpooling 操作（即窗口内取最大值）后，特征图的长和宽都缩小到原来的 1/2。

图5.CNN相比于 DNN在全连接层之前加入卷积/池化层但是 CNN 仍然存在一定的缺陷，多次池化会丢失一些的有价值信息，忽略局部与整体之间的关联性。例如进行面部识别时，多次池化位置信息有所损失，鼻子、眼睛、嘴特征同时出现，CNN就可能将其识别为人脸。因此 CNN存在误判的概率。

资料来源：安信证券研究中心绘制

图6.CNN通过卷积和池化操作提取图像特征并降低数据维度

资料来源：知乎《从此明白了卷积神经网络（CNN)》，安信证券研究中心

图7.多次池化可能丢失特征位置信息，CNN可能误判

资料来源：安信证券研究中心绘制

1.1.1.3.循环神经网络 RNN有效处理有时间序列信息

在自动驾驶场景下，感知还需要时序的信息来完成目标跟踪以及视野盲区预测等感知任务。循环神经网络 RNN 与 CNN 一样都是传统神经网络的扩展，相比于 CNN 在空间上进行拓展，RNN 是在时间上的扩展，可以用于描述时间上连续输出的状态。例如自动驾驶场景中可能会出现前方大卡车造成遮挡，如果要判断视野盲区里是否有行人就需要结合被卡车遮挡前的信息，由此需要引入循环神经网络 RNN 对时序信息进行处理。RNN 与 DNN 在结构上相近，区别在于 RNN 在隐藏层引入“循环”，即每一个隐藏层上的每一个记忆体（本质就是感知机）都与上一个时刻隐藏层上的所有记忆连接，这意味着某一时刻网络的输出除了与当前时刻的输入相关，还与之前某一时刻或某几个时刻的输出相关。引入了循环的隐藏层叫做循环核，RNN 借助循环核提取时间特征，从而引入了时序上的相关性实现连续数据的预测。但是RNN 的局限主要在于：1）循环核需要存储，意味着硬件需要具备更大的缓存。同时记忆体个数越多存储历史状态信息的能力越强、训练效果越好，但需要训练的参数量、消耗的资源也越多，二者共同制约 RNN，使其难以学到长时间距离的依赖关系。2）RNN 并行能力受限，由于某一时刻网络的输出不但与当前时刻的输入相关，还与上一时刻的输出结果相关，因此RNN无法进行并行计算，使得计算效率非常受限。

图8.RNN借助循环核提取时间特征，实现连续数据预测

资料来源：安信证券研究中心绘制

1.1.2.Transformer 大模型的注意力机制成为自动驾驶感知算法的利器

Transformer 模型的关键在于计算输入序列元素之间的关系权重，最早在 NLP 领域大放异彩，2020 年起在 CV 领域开始得到广泛应用。2017 年，谷歌在 NIPS 发表论文《》提出了 Transformer 网络结构，其基本思想为假设一个有逻辑的序列 a=(a1,a2, a3, ..., ai, ...)，如文章的文字序列、语音的声谱序列等，Transformer 模型的关键是为每个 token（元素）找到与其他 token 的关系权重。由此可见，Transformer 在处理NLP 这样的序列任务上具有天然的优势，并迅速成为 NLP 领域的主流模型。2020 年，VIT（ Vision Transformer）网络把一个图片按序切成一个个小片（ Patch ）后再应用Transformer 模型架构，标志着 Transformer 正式进军 CV 领域，并在目标检测、分割等任务中均表现出色。

图9.Transformer的目标是寻找元素间的权重关系

资料来源：安信证券研究中心绘制

图10.Vision Transformer 模型架构

资料来源:An Imageis Worth 16x16 Words:Transformers for ImageRecognitionatScale，安信证券研究中心

Transformer 成功的关键在于引入注意力（attention）机制。可以对注意力（attention）机制直观理解为“只关注重要的信息而非全部信息”，比如当我们视线扫过大片文字，注意力会停留在其中的关键词及关键词之间的逻辑关联上，而对其余信息则印象不深。神经网络模型中引入注意力记住的好处在于可以解决存储时间长度有限的问题（只关注过往信息中有用的而非全部），同时又没有重要信息的丢失。注意力机制可以通过运算得到一个矩阵，包含任一个元素和其他元素之间多角度的关联度的信息。如图所示，不同的颜色代表不同的维度，颜色越深代表在这个维度上两个元素关联度越高。举例而言，如果识别一个未知的物体 X（木床），这个矩阵就代表在材料维度物体和木桶关联度最高，在形状维度和铁床关联度最高，通过神经网络训练后可以得到正确的结果。（这里的例子仅为方便理解，attention机制在实际应用时可以给出更基本的元素之间的相关性信息）。

图11.注意力机制能够获得一个元素和其他元素多角度相关度的矩阵

	物体x	物体x
木桶
钢板
船
铁床
红色代表材料维度绿色代表形状角度

资料来源：安信证券研究中心绘制

Transformer 主要由编码器（Encoder）和解码器（Decoder）两部分组成，编码器负责把输入数据编码成一个向量表示，解码器则根据这个向量生成输出数据。其中编码器基于多头自注意力机制（Multi-Head Self-Attention），解码器基于多头交叉注意力机制（Multi-Head Cross-Attention）。在 Transformer 模型中，输入元素经过三次线性变换，分别得到查询向量 Q（Query）、键向量 K（Key）和值向量 V（Value）。这三个向量均代表了同一个输入元素，但经过不同的线性变换后，它们的表示和功能都有所不同。其中，查询向量 Q 用于检索与当前输入元素相关的其他元素；键向量 K 用于帮助查询向量找到与之相关的元素；值向量 V 用于表示输入元素的实际信息。输出向量可以表示为??????????????????(??, ??, ??) =?????????????? (??????√?? )??，具体的过程如下：1）计算查询向量与键向量的点积，得到注意力得分，

点积结果越大表明相似度越高，注意力得分越高。2）对注意力得分进行缩放和归一化为概率分布。3）用归一化后的注意力得分对值向量进行加权求和，得到输出向量。自注意力机制中，Q、K、V 三个参数来自于同一个输入序列，用序列中所有元素向量的加权和来代表某一个元素的向量，因此自注意力机制可以捕捉输入数据中的长距离依赖关系，常用于特征提取。所谓“多头注意力机制”是一种并行计算的注意力方法，它将输入数据分成多个部分（称为“头”），然后分别计算各部分的注意力得分。这样做的好处是，不同的头可以关注输入数据的不同部分，从而捕捉到更多的特征。交叉注意力机制与自注意力机制的计算过程类似，核心区别在于交叉注意力机制中 Q 和 K/V 的来源不同，因此常被用来做不同序列之间的转换。

图12.编码器-解码器架构

资料来源：安信证券研究中心绘制

图13.transformer 架构

资料来源：AttentionIsAllYouNeed，安信证券研究中心

Transformer 凭借优秀的长序列处理能力和更高的并行计算效率，2021 年由特斯拉引入自动驾驶领域。Transformer 与 CNN 相比最大的优势在于其泛化性更强。CNN 只能对标注过的物体进行相似度的比对，通过不断学习完成对该物体识别的任务；而 transformer 可以通过注意力层的结构找到更基本的元素与元素间之间多个维度的相关信息进而找到一种更泛化的相似规律，进而提高自动驾驶的泛化能力。同时，不同于 RNN 存在存储时间长度有限以及顺序依赖的问题，Transformer 模型具有更高的并行计算效率并且可以学习到长时间距离的依赖关系。

1.2.特征级融合逐步取代后融合，BEV+Transformer 为当前主流方案

自动驾驶感知模块通常配备多个传感器（甚至多种传感器）达到安全冗余和信息互补的作用，但不同传感器传递的信息存在相互冲突的可能性。举例而言，如果一个传感器识别到前方有行人要求汽车立即刹车，而另一传感器显示可以继续安全行驶，在这种情况下如果不对传感器信息进行融合，汽车就会“感到迷茫”，进而导致意外的发生。因此，在使用多种（个）传感器采集信息时必须进行信息交互、融合。

1.2.1.自动驾驶感知技术从后融合向特征级融合迭代趋势明确

感知可粗略分为获取数据、提取特征、完成感知任务三个环节，按照信息融合发生的环节自动驾驶感知技术可以分为前融合、特征融合以及后融合。后融合即目标级融合，指单个传感器分别完成感知任务后再进行融合，可理解为有多少个传感器即需要几套感知算法。前融合即数据级融合，指对不同传感器的原始数据进行空间和时间上的对齐，再从融合数据中提取特征向量进行识别，整套自动驾驶系统仅需要一套感知算法。而特征级融合是指对传感器采集的原始数据分别进行特征提取，再进行融合，进而实现对应的感知任务。

图14.按照融合环节不同分为前-特征-后融合

资料来源：安信证券研究中心绘制

后融合方案因易实现、对算力要求低等优势在自动驾驶发展早期成为主流方案。后融合方案由中每个传感器采集原始数据后独立进行特征提取和目标检测再由自动驾驶域控制器对进行预测结果融合。后融合方案具备三个显著的优势，1）主机厂在自身感知算法能力有限时可快速量产：后融合算法比较简单，每种传感器的识别结果输入到融合模块，融合模块对各传感器在不同场景下的识别结果，设置不同的置信度，最终根据融合策略进行决策。且不同传感器的感知算法可以交由供应商完成，例如 Mobileye 所提供的单目一体化解决方案即直接输出感知识别的结果，由此也可以帮助主机厂在自身感知算法能力有限时实现快速量产。2）对算力、带宽要求低：根据机器之心的数据，传感器后融合的策略对车端算力的要求仅在 100Tops 以内，同时因为传感器与域控制器之间只需要传输感知结果而非原始数据，对通信带宽的要求也大大降低。3）不同的传感器都独立进行目标识别，解耦性好，且各传感器可以互为冗余备份。在行业发展的早期阶段自动驾驶等级低，对感知精度要求不高，后融合方案凭借上述优势成为多家自动驾驶厂商的主流选择，如特斯拉在 2020 年之前就采用后融合方案。但随着自动驾驶的发展，由于后融合方案精度较低（后融合过程中低置信度信息会被过滤掉，产生原始数据的丢失，并且可能误差叠加），难以满足高级别自动驾驶的要求。同时，后融合是一种基于规则的方法，需要根据先验知识对传感器设定置信度，局限性明显。

图15.后融合过程

资料来源：安信证券研究中心绘制

前融合方案感知精度相比于后融合大幅提升，但对算法、车端算力要求大幅提升。前融合通过空间、时间对齐直接融合不同模态的原始传感器数据再从融合后的综合数据中提取特征向量进行识别。前融合方案优势明显，通过对原始数据进行融合因而可以保证数据不会丢失，感知精度较高。同时传感器无需对原始数据进行处理，原先置于传感器内部的 SoC芯片可以减配。但问题在于 1）需要足够优秀的融合算法，原始数据数据维度高，特征复杂，网络理解起来比较困难，因此对于算法的设计要求较高。2）对车端算力要求大幅提升，需要将原始数据噪声去除，在时间、空间上将数据对齐而后融合提取特征，这个过程需要消耗大量的算力，根据机器之心数据，车端至少需要 500-1000Tops 才可实现前融合（对比实现后融合只需 100Tops的算力）。

图16.前融合过程

资料来源：安信证券研究中心绘制

特征级融合方案相比于后融合数据损失小、相比于前融合的算力消耗低，自动驾驶感知技术从后融合向特征级融合迭代趋势明确，目前主流的方案是在 3/4D 空间中进行特征级融合。特征级融合是指在 3/4D 空间中融合跨模态数据。先从每个传感器提供的原始观测数据中提取代表性的特征，再把这些特征融合成单一的特征向量进而识别。根据机器之心数据，前融合需要 500-1000Tops 算力，而特征级融合仅需要 300-400Tops 算力。此外 transformer算法的发展大大提升了在 BEV 空间进行特征融合的效果，目前特征级融合成为主流的融合方案。

图17.特征级融合过程

资料来源：安信证券研究中心绘制

1.2.2.Transformer 大幅提升 BEV 空间中的特征级融合效果

BEV（Bird's Eye View）鸟瞰图也可以称之为“上帝视角”，是一种用于描述感知世界的坐标系，在BEV 空间中可以进行自动驾驶感知模块的前融合、特征级融合或者后融合。BEV 鸟瞰图仅是一种对感知世界的表达方式，因此其也可广泛应用在纯视觉方案、多传感器融合方案以及车路协同方案中。

在 BEV 空间中进行后融合转换主要为基于规则的方法。传统的 BEV 转换方法主要基于 IPM（逆透视变换）。摄像头所采集到的 2D 图像，因透视关系的存在会呈现出近大远小的情况，如真实世界中平行的车道线在 2D 透视图中会表现出不平行。IPM 就是利用相机成像过程中的坐标系转化关系，对其原理进行抽象和简化，得到真实世界坐标系和图像坐标系之间坐标的对应关系，并进行公式化描述，从而消除这种透视效应。但 IPM 方法依赖于严苛的假设，如地面是完美水平、相机和地面之间不存在相对运动，因此任何的车辆颠簸或者道路有高度变化都会打破这一假设，使得 BEV 输出的图像面临失真。同时，由于透视投影，在2D 图像中完成不错的感知结果投影到BEV空间中精度很差，尤其是远距离的区域。

图18.图像空间中的感知结果通过后融合投影到 BEV 空间中出现严重的失真

资料来源：特斯拉AIDay，安信证券研究中心

为了克服以上问题，当前主流的方案是在 BEV 空间中基于深度学习的方法做特征级融合。具体的流程如下：BEV 感知的基本过程为：1）特征提取：传感器采集原始数据（2D 透视图）输入到共享的骨干网络（Backbone），分别提取数据特征（feature）。2）空间变换+特征级融合：在 BEV 空间内，对分别提取到的特征进行融合，包括多个摄像头数据特征的融合和多种类传感器的数据融合，比如将像素级的视觉数据特征和激光雷达点云特征进行融合。3）融入时序形成 4D 空间：时序信息对于自动驾驶感知任务十分重要，通过时序信息可以判断面前的车是否出于移动状态并且可以连续预测。4）多任务输出：包括静态语义地图、动态检测和运动预测等，输出下游规控模块使用。

图19.BEV 感知框架

资料来源：安信证券研究中心绘制

在 BEV 空间中做特征级融合早期的代表性算法为英伟达 2020 年提出的 LSS 算法，是基于深度分布估计进行 BEV 空间转换的开山之作。摄像头所采集到的 2D 透视图缺失了深度信息，LSS 算法的基本思想是对 CNN 共享网络提取的特征图做深度估计，并且这里的深度估计并不是一个确定的值，而是给出一系列的概率分布，由此生成 3D 的视锥点云。最后再通过相机的内外参转换到 BEV空间中。

图20.英伟达 LSS算法基本架构

资料来源：Lift，splat，shoot:Encodingimages from arbitrarycamerarigsbyimplicitlyunprojectingto 3d，安信证券研究中心

Transformer 交叉注意力机制对于BEV空间转换任务适配性较高，目前成为特斯拉、小鹏等自动驾驶厂商主流的技术方案。与基于深度分布估计方法最显著的区别在于基于交叉注意力机制的方法没有显示的深度估计，而是用注意力机制直接进行不同序列（指 2D 特征图和BEV 视图）之间的转换。如前文所述，交叉注意力机制中的 Query 和 Key/Value 来源不同，因此天然适配于不同域之间的数据转换。在 2D 特征图向 BEV 空间转换的过程中，首先将BEV 空间分割成 3D 格栅，之后将它们编码成一组 Query 向量，去 2D 特征图中查询对应的点，从而实现空间的转换。根据 2021 年特斯拉 AI Day，通过 Transformer 交叉注意力机制在BEV空间内做特征级融合的效果远好于基于规则的方法在 BEV空间内后融合。

图21.特斯拉基于 Transformer 的 BEV 空间转换架构

资料来源：特斯拉AIDay，安信证券研究中心

图22.BEV 转换过程

资料来源：特斯拉AIDay，安信证券研究中心

图23.基于交叉注意力机制在BEV空间内做特征级融合的效果远好于基于规则的方法在 BEV空间内后融合

资料来源：特斯拉AIDay，安信证券研究中心

2.AI 大模型的应用对自动驾驶领域所带来的好处？

2.1.城市 NGP 落地在即，AI 大模型的应用驱动自动驾驶算法具备更强的泛化能力

自动驾驶向更高等级迈进，城市领航辅助驾驶落地在即。当前大多数主机厂实现了 L2 级别的自动驾驶，车辆可以在单一功能下实现车辆的横向和纵向控制，比如 TJA（交通拥堵辅助）、HWA（高速驾驶辅助）、APA（自动泊车辅助）等，根据高工智能汽车数据，2022 年我国 L2 级辅助驾驶（含 L2+）前装标配交付 585.99 万辆，同比增长 61.66%，前装搭载率升至 29.40%。2021-2022 年国内新势力和自主主机厂旗下新设的新能源品牌陆续落地高速领航辅助驾驶，达到了 L2+级别自动驾驶，能够在高速（+匝道）场景下由自动驾驶系统独立完成横纵向车身控制。目前，主机厂正逐步从高速领航辅助驾驶向城市领航辅助驾驶拓展，2021 年 7 月特斯拉率先在北美推送 FSD BetaV9 测试城市道路完全自动驾驶功能，国内主机厂中小鹏、理想、长城毫末、华为极狐等也于 2022-2023 年明确计划推出城市场景下的领航功能。

表1：2023 年多家主机厂预计推出城市领航辅助驾驶

主机厂	时间	描述
小鹏	2021年1月26日	正式推送高速NGP
	2022年9月27日	广州首发城市NGP（有高精度地图)
	2023年3月31日	G9 和P7iMax版车型上城市NGP新增开放广州、深圳、上海三地；无图城市能够带来红绿灯识别、启停，以及无车道线的绕行等场景。
	2023H2	大部分的无图城市都能够有接近城市NGP的能力
	2024	实现全场景（高速+城区+泊车）的领航辅助驾驶
蔚来	2020年10月	推送高速领航辅助驾驶NOP
蔚来	2023年1月	推送 NOP+Beta，高速领航辅助驾驶体验升级
理想	2021	标配高速NOA
	2022	AD Max 2.0视觉融合 Lidar，AD Pro 2.0 纯视觉高速NOA
	2023Q2	城市NOA（脱高精度）内测
	2023年底	城市NOA（脱高精度）覆盖100城
问界M5智驾版	2023Q2	华为城区NCA 落地5城(有高精度地图)
	2023Q3	华为城区NCA 落地15城（无高精度地图）
	2023Q4	华为城区NCA 落地45城(无高精度地图)
极狐阿尔法 S	2022年9月	在深圳开通城市 NCA功能
极狐阿尔法 S	2023年3月21日	在深圳、上海、广州三城开通城市NCA功能
上汽智己	2023年4月	L7推送5个城市高速NOA，年内推广至全国
上汽智己	2023年内	智己城市NOA领航辅助以及替代高精地图的数据驱动道路环境感知模型公测。

注：NGP、NOA、NCA、NOP均指领航辅助驾驶，各主机厂命名有所差异
资料来源：小鹏汽车2023技术架构发布会，理想汽车“双能战略”纯电解决方案发布会，2023华为智能汽车解决方案发布会等，安信证券研究中心

城市场景具有高频+刚需特征，城市领航系统的成熟应用可使得驾驶体验拥有质的提升。根据小鹏科技日公开数据，用户在用车过程中，途径城市场景的用户数量达到 100%，途径时长及里程的渗透率达到 90%和 71%，因此城市场景具备高频特征。此外城市场景交通复杂程度高，驾驶人注意力需要高度集中确保驾驶安全、同时交通堵塞等降低驾驶效率的情况不可避免，使得城市场景本身是驾驶人的痛点，在城市场景下实现自动驾驶具备刚需特征。

图24.城市场景具有高频、刚需特征，落地价值凸显

资料来源：小鹏科技日路演资料，安信证券研究中心

而从高速场景拓展到城市场景，意味着车辆所遇到的长尾问题（或者说是 Corner case）大幅提升。高速场景在特定路段下较为封闭，交通环境的标准化程度高；且高速驾驶规定对车辆的驾驶行为进行了明确的规范，交通参与者单纯不涉及到行人，并且驾驶状态的可预测性更强，因此高速 NOA 成为率先落地的场景。然而，城市场景下道路及路况复杂（红绿灯路口）、交通参与者多（行人、低速两轮车）、场景异质性强（不同城市甚至不同路段路况差异性大），自动驾驶遇到的 Corner case 大幅提升。因此，城市领航辅助驾驶的落地需求对自动驾驶模型的泛化能力提出更高的要求，同时考虑到商业化落地的成本约束，我们认为，应用 AI 大模型提高泛化能力+降低/控制车端硬件成本是自动驾驶算法演变的核心脉络。

图25.高速场景自动驾驶 Corner case 较少

资料来源：Vehicle公众号，安信证券研究中心

图26.城市场景自动驾驶 Corner case 大幅提升

资料来源：Vehicle公众号，安信证券研究中心

2.2.从特斯拉感知算法迭代历程看 AI 大模型对城市 NGP 的赋能方向

简单复盘特斯拉算法迭代历程：1）2018 年之前：后融合策略，在每个视角下处理多个task，将单个图片检测得到的结果再进行融合。3）2020-2021：多个摄像头输入多个 image，分别经过多个主干网络，抽取每个 image 特征，经过 BEVtransformer 转换，特征投影到BEV 视角，再完成很多个 task，实现特征级概念的融合。4）2022：从 BEV 升级到占用网络，达到“伪激光雷达”的效果。总结来看，特斯拉从“第一原则性”角度出发，坚持纯视觉方案。从特斯拉算法迭代方向来看，追求泛化，通过视觉的方案刻画真实的物理世界。2020 年 8 月马斯克发布推特称特斯拉正在重构自动驾驶底层算法，2021 年 7 月特斯拉正式推送 FSD Beta V9.0，通过重写感知算法让特斯拉只要用纯视觉就可以实现城市级别的完全自动驾驶；2022 年 11 月特斯拉开始推送 FSD Beta V11 版本，进一步提升占用网络算法，在近距离障碍物召回和恶劣天气条件下的精度，Transformer 空间分辨率提高了 4倍。

图27.特斯拉自动驾驶算法迭代历程

资料来源：CSDN，安信证券研究中心

2.2.1.第一阶段：BEV+transformer，实现“脱高精度地图”

高精地图能够提供超视距、厘米级相对定位及导航信息，在数据和算法尚未成熟到脱图之前，尤其针对国内的复杂路况，其对主机厂实现高阶自动驾驶功能具有重要意义，现阶段国内主机厂实现城市领航辅助驾驶落地的主要基于高精度地图+单车感知的方案。但高精度地图方案缺陷较为突出，在自动驾驶感知算法成熟之后，“脱高精度地图”趋势明确。高精度地图的生产流程，首先需要搭载高精度传感器的数据采集车进行数据采集，之后将采集的点云数据用 SLAM 算法拼接配准后，标注员把所有的地图中元素标注出来，这一流程与自动驾驶感知过程具有相似之处。在应用过程中最为突出的三个问题为：1）无法做到实施更新；2）法规风险；3）高成本。

难以实施更新：高精地图数据规模巨大，导致制图和更新都耗费较长时间。据统计高精地图中对于单条道路的采集需要 14 亿个数据点；仅以静态地图层为例，Waymo 单日数据采集量达到 1TB 也仅覆盖约 8h 车程。图商在采用专用采集车更新 1 次全国高速公路和城市快速路的高精度地图的频率约为 3 个月，通过（出租车）众包方式更新频率也仅能提升至月度频率。然而，道路环境的变化是实时发生的，不能做到实施更新的高精度地图可靠性大幅下降。

表2：高精地图在城市道路覆盖度有限

数据层次	内容	更新频率需求
永久静态数据	车道模型(包括车道线、曲率、坡度、横坡）、道路部件(斑马线、收费站、路面标志）等	月级
半永久静态数据	交通管制情况、道路施工情况、天气预报 (一段较长时间内)等信息	天级
半动态数据	道路拥堵情况、是否有交通事故、详细的天气情况(较短时间或局部地区) 等动态交通信息	分钟级
动态数据	车辆运动情况、行人数据、交通信号灯数据等	秒级

资料来源：九章智驾，安信证券研究中心

法规风险：高精地图提供精确至车道级的道路敏感信息，高精度和覆盖广泛的道路信息涉及国家信息安全问题，因此政府对高精地图的制图资格要求严格。2022 年 9 月自然资源部发布《关于促进智能网联汽车发展维护测绘地理信息安全的通知》，收紧高精地图测绘资质，重审换证后 2021年共31家企业拥有资质，2022年仅剩19 家。

高成本：根据汽车之心，高精度地图厂商的盈利模式主要采用 license+服务费模式，①主机厂在与图商确认开发高精地图时支付一笔开发费用（约几千万），②后续上车时收取单车license 授权费约 1000 元，③未来每年每车收取 100-500 元的服务费。这一模式下，对自动驾驶主机厂而言，无法实现规模效应。

表3：传统地图与高精地图盈利模式的区别

图商	盈利模式
传统图商	离线地图license 费用
高精地图图商	开发费+license 费+服务费
资料来源：汽车之心，安信证券研究中心	自动驾驶感知算法向 BEV+transformer架构升级，助力城市领航辅助驾驶脱高精度地图。自动驾驶车辆通过相机拍到的是透视视图，即 3D 世界在 2D 世界的投影，并且处于不同安装位置的相机提供的是不同视角下的投影，然而所有自动驾驶的决策和路径规划都是在车辆所在的 3D 世界下进行的，这样的维度不匹配就使得基于感知结果直接进行自动驾驶变得异常困难。以人类驾驶举例而言，新手学倒车时难以利用后视镜观察到的场景与车子与周围环境的 3D 空间联系，即缺乏从倒视镜图像平面到自车坐标系空间转换的空间理解，因此新手靠倒车镜很容易发生误操作造成刷蹭。2021年特斯拉AI Day 中提出 BEV 鸟瞰图感知技术就是为了解决这一问题。BEV鸟瞰图可以理解为在车辆正上方10-20 米的位置有一个直升机俯视车辆及周围环境的视角，从输入的不同视角的图片到 BEV鸟瞰图本质上就是一个坐

图28.BEV 鸟瞰图视角

资料来源：Vehicle公众号，安信证券研究中心

同时特斯拉 BEV 感知模型为特征级融合，极大的提高了模型在极端天气工况下的应对能力。在后融合中，由摄像头中的视频芯片判断采集数据是否合格并进行处理，再传到自动驾驶域控制器中，这里需要注意的时，摄像头中芯片判断采集数据是否合格的标准本质上是人的标准。在后融合模型下，如果遇到极限雨雪天极限天气工况，摄像头采集到的数据/视频流清晰度大幅下降，很难达到摄像头判断合格的标准，因此传递给后端做规划控制的结果大幅下降。与后融合模型不同，从不同视角的摄像头采集到的图片转换到 BEV 视角的过程中是特征级的融合，比如在极端天气工况下有一些光子信息依然反应了前方障碍物的情况可以用于后续的规划控制，在特征级融合的框架下感知模型对数据的利用率明显提升。

BEV 鸟瞰图相当于自动驾驶车辆实施生成“活地图”，因而可以实现去高精度地图化。相比于导航地图，高精度地图能够提供更多的道路拓扑信息，比如红绿灯、车道线、斑马线、坡度、曲率、车道数的精确信息，而导航地图会具有 10-20 米的误差。BEV 模型通过将不同视角的摄像头采集到的图片统一转换到上帝视角，相当于车辆实施生成活地图，补足了自动驾驶后续决策所需要的道路拓扑信息，因而可以实现去高精度地图化。

图29.特斯拉 BEV语义地图

资料来源：特斯拉AIDay，安信证券研究中心

图30.理想 BEV语义地图

资料来源：理想双能战略发布会，安信证券研究中心

一方面高精度地图方案在城市场景下缺陷明显，同时特斯拉 BEV+Transformer 方案为行业“脱图”提供了技术上的可行性，我们认为“轻地图，重感知”将成为行业发展的主流方向，小鹏等国内自动驾驶厂商均提出“脱图”时间表。在小鹏 1024 科技日中，负责人吴新宙多次强调未来 G9 搭载的 XNGP 自动驾驶系统将无需依赖高精地图，实现城市、高速和地下停车场的全场景应用，其主要的思路是在原有硬件基础上，推出新的视觉感知架构 XNet。其利用多相机多帧和雷达传感器数据的融合算法，直接输出 BEV 视角下交通参与者的静态和动态信息（状态、速度、行为预测等），具备实时生成高精地图的能力。与特斯拉不同，小鹏仍保留了激光雷达传感器提供感知冗余，预计将引领主机厂实现脱图技术上的突破，拓宽全场景领航驾驶的应用城市。

图31.XNet感知架构重感知、轻地图

资料来源：小鹏科技日资料，安信证券研究中心

表4：主要自动驾驶厂商宣布脱图时间

自动驾驶厂商	宣布“脱图时间”	新架构名称
小鹏	2022/10/24 Al Day	XNGP
毫末	2023/01/05 HA0MO AI DAY	毫末城市NOH
理想	2023/01/28 李想在“CE0致全体员工的一封信”中表示	AD Max 3.0
华为	2023/03/23 华为 2023 春季旗舰新品发布会	ADS 2.0
元戎启行	2023/3/22	DeepRoute-Driver 3.0
小马智行	2023/1/11	PonyClassic
		PonyPro
		PonyUItra
Momenta	2023/01/12 智己汽车IM TECH DAY	IM AD NOA
哪吒	2022/2/28	TA PILOT 4.0

资料来源：小鹏科技日，毫末AIDay，电动车百人大会等，安信证券研究中心

2.2.2.第二阶段：升级到占用网络，实现“脱激光雷达”

从 BEV 升级到占用网络，进一步提升泛化能力。特斯拉在 2022 年 AI Day 中展现了Occupancy Network 感知技术。基本的思想是将三维空间划分成体素 voxel（可以理解为微小立方体），再去预测每个 voxel 是被占用还是空闲，通过 0/1 赋值对 voxel 进行二分类：有物体的 voxel 赋值为 1，表示 voxel 被物体占据；没有物体的 voxel 被赋值为 0。实际中的赋值可以是概率值，表示 voxel 存在物体的概率。

图32.BEV与占用网络效果对比

Occupancy Volume

3D
资料来源：特斯拉AIDay，安信证券研究中心

占用网络感知技术本质上是为了解决更多的长尾问题。纯视觉方案被质疑的一大问题在于对于没有在训练集中出现过的物体，视觉系统则无法识别，比如侧翻的白色大卡车，垃圾桶出现的路中，传统视觉算法无法检测到。占用网络模型的基本思想是“不考虑这个物体到底是什么，只考虑体素是否被占用”，则从根本上避免了这一问题，大幅提升了模型的泛化能力。从特斯拉 AI Day 演示效果来看，特斯拉通过体积鸟瞰图、占用检测和体素分类使纯视觉方案已经达到“伪激光雷达”效果。

图33.BEV与占用网络效果对比

资料来源：特斯拉AIDay，安信证券研究中心

增配 4D 毫米波雷达，进一步保证安全性，彻底取代激光雷达。特斯拉 HW4.0 预留 4D 毫米波雷达接口，或将重启毫米波雷达，弥补纯视觉算法不足。对于纯视觉算法而言实际是缺乏高度信息，3D 信息依靠“近大远小”来估算，如果说前方道路上有一张画着立体卡车的画，视觉算法难以判断这是一张画还是真的有一辆车，而 4D 毫米波雷达能很好的解决这一问题。从成本来看，4D 毫米波雷达价格低于高线束激光雷达。根据焉知汽车数据，MEMS 激光雷达价格大概在 3000-9000 元不等，同时根据高工智能汽车数据，4D 毫米波雷达售价为1000-2000 元。

2.2.3.第三阶段：从感知到决策控制端到端的自动驾驶模型有望成为未来发展方向

在当前自动驾驶模型架构中将驾驶目标划分为感知、规划、控制三个大的模块，而端到端则打破模块之间的划分，直接输出最终的结果。现有的模型思路是感知模块输出 BEV 鸟瞰图（或者 Occupancy）的结果，规划和控制模块再依据 BEV 鸟瞰图结果进行预测和执行。而在端到端（end-to-end）模型中，输入数据是摄像头采集的到的视频流 raw-data，输出数据直接是如方向盘转角多少度的控制决策。端到端的思路更类似于人的驾驶过程，人的驾驶决策往往基于经验，司机驾驶车辆时并不会刻意对基于视觉/眼睛提供的信息进行分析，即不会去判断我看到了什么，也不会对看到的物体和状态做分析，驾驶员固有的“经验”所活跃的脑质皮层在一种“黑盒”的状态下，完成驾驶决策，并协调耳眼手脚，共同完成驾驶任务。

AI 技术将“场景-驾驶行为”的映射转变为“场景-车辆控制”的“端到端”式映射。深度强化学习（DRL）结合了深度学习算法的“感知能力”和强化学习算法的“决策能力”，为复杂驾驶场景的感知决策问题提供解决方案。其中，深度学习负责复杂驾驶场景的感知和特征提取如同人类的眼睛；强化学习部分通过马尔可夫决策过程完成推理、判断和决策如同人脑。DRL 的原理框架是一种是端到端感知和决策控制系统。

图34.深度强化学习典型框架

资料来源：安信证券研究中心，CSDN

目前部分自动驾驶参与者对于特定的功能已可以实现端到端。如 2016 年英伟达发表的论文中介绍了实现车道保持功能的端到端模型。CNN 深度神经网络在对于视觉信息处理之后（通过卷积层），会通过全连接层给出一个基于以前学习经验得出的方向盘角度（Steering command），而此时此刻真实的人类操作也将被引入与 CNN 的输出进行对比。对比的结果/偏差被送回 CNN 网络去矫正那个黑盒状态下的全连接层参数。这里需要特别注意的是，在整个端到端模型中，不存在单独的“图像识别检测”任务。

图35.车道保持功能的端到端训练框架

End to End Learning for Self-Driving Cars

端到端理论上可以更大程度的提高模型的泛化能力，有望成为自动驾驶模型进一步发展的趋势。我们对比当前 Occupancy 的输出结果和人驾驶时做判断的依据，可以发现 Occupancy依然具有信息的损失。举例而言，人在驾驶车辆时可以参考行人的姿势等来辅助决策，然而在现有感知模型输出 Occupancy 结果则丢失了这一信息。因此，相比于现有的感知、决策、归控区分模块的自动驾驶模型结果，端到端模型做出决策的依据信息量更大，模型自身的自由度也更大，因而具备更强大的泛化能力。

3.AI 大模型应用于自动驾驶中的前置条件？

3.1.条件一：具备相当数量的里程数据，因而自动标注+仿真平台环节将尤为重要

Transformer 大模型量变引起质变需要 1 亿公里的里程数据。相比于 CNN 小模型来说，Transformer 需要更大量的数据来训练模型。根据毫末智行 CEO 顾潍颢在毫末 AI DAY 上表示，训练出一个能输出高精度和准确度的自动驾驶大模型，自动驾驶测试里程数据需至少达到 1 亿公里。同时，训练 Transformer 大模型相比于 CNN 小模型来说所要求的数据颗粒度不同（如传感器配置、精度不同），因此在小模型时代所积累的数据存在部分无法用于大模型的训练。对于自动驾驶厂商而言，所积累的数据量、对数据的处理极大的影响自动驾驶模型的迭代速度。

自动驾驶训练所需要的真实数据来源主要包括采集车数据和众包数据。自动驾驶厂商具有专业的测试车队，搭载高性能的传感器用于采集真实场景的数据，这里需要注意的是，即便对于特斯拉这样纯视觉路线的厂商，采集车通常也搭载有激光雷达，用于测试中的真值校验。除此之外，对于有量产车的主机厂而言，可以通过“众包采集”的方式迅速收集数据。如特斯拉首创的“影子模式”，在有人驾驶状态下，系统包括传感器仍然运行但并不参与车辆控制，只是对决策算法进行验证——系统的算法在“影子模式”下做持续模拟决策，并且把决策与驾驶员的行为进行对比，一旦两者不一致，该场景便被判定为“极端工况”，进而触发数据回传。

图36.特斯拉数据引擎

资料来源：特斯拉AIDay，安信证券研究中心

其中，传感器采集得到的 raw-data 需进行标注后才可用于算法模型训练，自动标注工具可大幅提升数据处理速度。2018 年至今，特斯拉数据标注经历了 4 个发展阶段：1）第 1 阶段(2018 年之前)：只有纯人工的 2 维的图像标注，效率较低；2）第 2 阶段(2019)：人工进行3D 固定框的图像标注；3）第 3 阶段(2020)：采用 BEV 空间进行标注；4）第 4 阶段(2021)：首先对场景进行重建后在 4D 空间中进行标注，精度、效率都得到大幅提升。特斯拉自动标注系统可以取代 500万小时的人工作业量，人工仅需要检查补漏。

图37.特斯拉自动标注系统迭代历程

	image space(2018)	single trip (2019)	top-view(2020)	multi-trip (2021-)
3Dlabel	unknown	manual	aligned	reconstructed
reprojection	<1 pixel	<3 pixel	<7 pixel	<3 pixel
topology	local:	up to trajectory	unlimited	up to reconstruction
Labeling/clip	533 hrs	3.5hrs	<01 hr(avg)	<0.1 hrs (avg)
compute/clip	notneeded	1 hr	2 hrs	0.5 hrs (avg).
scalability	low	medium	high	veryhigh
eng.effort	low	medium	high	very high

资料来源：特斯拉AIDay，安信证券研究中心

国内厂商中小鹏、毫末智行等亦相继推出自动标注工具，在降低人工成本的同时，效率得到显著提升。根据小鹏科技日资料，小鹏推出的全自动标注系统将效率提升近 45,000 倍，以前 2,000 人年的标注量，现在 16.7 天可以完成。毫末智行在 AI Day 中表示毫末基于视觉自监督大模型，实现 4D Clip 的 100%自动标注，原先依靠的人工标注成本则降低 98%。图38.毫末视频自监督大模型

资料来源：毫末AIDay，安信证券研究中心

除了真实场景数据外，仿真场景是弥补训练大模型数据不足问题的重要解决方式。仿真场景通常由虚拟引擎构建，通过把构建的场景导出为虚拟标注数据集，并且在数据集中加入传感器噪声及增加雨雪等恶劣天气干扰因素后，可以用于感知训练数据增强，极大的丰富了训练数。相比于采集车数据和众包数据，仿真测试数据具有低成本、无需标注、可以构建边缘场景的优势：

1）低成本：仿真场景无需像真实场景的数据采集一样配套相应车队、传感器以及人工，因此数据获取成本大幅下降。根据元戎启行官方公众号，仿真测试成本仅为真实路测成本的 1%，且用 1天时间就可实现真实路测 1个月的里程积累。

2）无需标注：真实场景数据采集后需要被标注后才能用于人工智能训练，然而数据标注的过程耗时耗力、且无法排除隐私违规及人工偏差；而仿真数据是由构建好的仿真场景直接生成，省去标注过程。

3）可构建边缘场景：由真实世界采集而来的数据只能反映出已经发生的情况，可是偶然因素、极端条件或边缘情况采集难度大，具有偶然性，无法被大量采集到并有效地用于机器学习。而仿真场景可以通过人为添加干扰元素构建边缘场景。

目前仿真场景主要由游戏引擎生成，基于基础的现实世界数据保证仿真场景与真实场景之间的相似度，并依靠交通要素间的重新组合提高泛化能力。以特斯拉 Simulation WorldCreator 为例，1）由经自动标注的真实场景数据中提取隔离带边界、车道线、道路连接信息等来生成路面网格并进行车道线等渲染；2）植物通过丰富的素材库在路间和路旁随机生成植物房屋等来模拟真实世界中这些物体引起的遮挡效应；3）由导航地图提供信号灯、路牌等其他道路元素；4）加入车辆和行人等动态元素。在这一过程中，通过道路街景随机生成以及车道链接关系的随机生成提高了模型的泛化能力。

图39.仿真场景中对同一路口生成不同街景进行场景泛化

资料来源：特斯拉AIDay，安信证券研究中心

图40.对统一路口生成不同车道关系进行场景泛化

资料来源：特斯拉AIDay，安信证券研究中心

英伟达自动驾驶仿真平台 DRIVE Sim 通过 Replicator 合成数据工具来缩小仿真数据与真实数据之间差异并提高场景泛化能力。英伟达 DRIVE Sim 中的 DRIVE Replicator 提供了一个生成各种合成数据集，并具备真值标签的平台，其主要特点有以下两点：1）DRIVE Sim 对传感器输出数据的模拟更贴近真实情况，通过 RTX 光线追踪技术可以模拟传感器在真实物理环境下多次反射、多路径效应、滚动快门和镜头失真等问题；2）域随机化，常规的仿真平台随机发生器仅对仿真环境中的对象、行为进行随机，而 DRIVE Sim 还具有 3D 场景外观及光照情况进行随机化的能力，如可以对路面潮湿程度、太阳方位角及高度角等方面进行更改来增强场景的泛化能力。

生成式 AI 有望推动仿真场景大幅提升泛化能力，帮助主机厂提升仿真场景数据的应用比例，从而提高自动驾驶模型的迭代速度、缩短开发周期。当前仿真场景对实际路测中所遇到的边缘案例主要通过人工进行泛化，如量产车在影子模式下遇到某一个 corner case 并进行数据回传后，在虚拟引擎中进行场景重建，再通过人为添加要素，如增添雨雾环境、增加交通参与人数等方式对原始场景进行梯度泛化。但对场景的泛化能力依赖于工程师对于场景的理解，且存在经由手动添加元素后的场景与真实场景的拟合度不高的问题。生成式 AI有望在针对真实场景中的 corner case 进行场景泛化的过程中取代人工，可以迅速泛化出大量的、与真实世界高拟合度的虚拟场景，进而提高自动驾驶模型的迭代速度。

3.2.条件二：具备相当算力的云端训练平台，因而超算中心将成为主机厂必要基础设施

自动驾驶 Transformer 大模型应用对算力的需求来自于两个方面，分别是云端算力和车端算力。云端算力需求体现在大模型的预训练环节，可以理解为寻找模型参数值的过程，同时仿真测试中的场景渲染和搭建也对算力提出较高要求，上述过程均要求海量的算力需求并且通常是集中训练。车端算力用于量产车上自动驾驶模型推理的过程，可以理解为将训练好的自动驾驶模型部署在车端，输入自动驾驶汽车实时采集的图像输入到训练好的模型中，依据模型参数算出结果的过程。毫末 CEO 顾潍颢在毫末 AI Day 中表示，基于Attention 的大模型会将大量的“关注”放在弱关联（与所求结果关联度不高的参数）运算上，导致 Transformer 所需算力是 CNN 所需算力的 100 倍。

超算中心是自动驾驶整车厂重要的基础设施。算力资源是直接影响开发速度的硬性因素，算力集群底层架构的优化能够以月为单位缩短系统的开发周期，直接决定了品牌是否能够在新兴领域占领高地。特斯拉 AI 计算中心 Dojo 总计使用了 1.4 万个英伟达的 GPU 来训练AI 模型，今年 AI Day 上表示，其需要使用 14 亿帧画面才能训练一个神经网络，对应的是10 万个 GPU 工时，使用 Dojo 组成的 AI 计算集群，可提升 30%的网络训练速度。相比于租用公有云来说，自建超算中心的整车厂更具备优势：1）成本视角：随着模型复杂度的提升，租用公有云边际成本上升；2）技术角度，云服务商提供的设备内部所使用的 CPU、GPU/AI加速器、内存的型号与规格都相对固定，很难与车企和自动驾驶公司的算法形成最佳匹配。另一方面，云服务厂商对自动驾驶算法的了解程度不高，其使用的管理软件在调度 AI 计算设备集群时难免会出现损耗和效率不高的问题。这导致在理论算力一定的情况下，其训练

AI 模型需要更多的时间。3）数据安全视角，数据作为自动驾驶厂商的核心资产之一，自建超算中心具有天然的数据闭环，数据安全性更高。

图41.特斯拉超算中心

资料来源：特斯拉AIDay，安信证券研究中心

超算中心初始投入高，小鹏自动驾驶基础设施建设国内领先。根据 IDC 数据，主机厂及一级供应商对搭建人工智能计算中心的预算普遍超过 1 亿人民币，超过 2 亿人民币投入的主机厂占比超过 20%；从超算中心的部署周期来看，通常需要 3 个月左右的时间。小鹏是国内最先布局超算中心的整车厂。2022 年 8 月小鹏汽车成立自动驾驶 AI 智算中心“扶摇”，由小鹏和阿里联合出资打造。据小鹏汽车 CEO 何小鹏介绍，该中心具备 60 亿亿次浮点运算能力（60000TFLOPs），可将自动驾驶算法的模型训练时间提速 170 倍，并且未来还具备10\~100倍的算力提升空间。

表5：自动驾驶厂商超算中心建设情况

公司名称	超算中心	发布时间	算力	应用领域	说明
特斯拉	Dojo超算中心	2021.08	180亿亿次/秒浮点运算	人工智能学习，训练自动驾驶视觉技术等	可将自动驾驶算法使用的神
小鹏	扶摇	2022. 08	60亿亿次/秒浮点运算	专用于自动驾驶模型训练	经网络模型训练时间提速 170 倍，基于阿里云智能计算平台。拥有419万台服务器。
蔚来		2022.11 腾讯与蔚来达成合作		自动驾驶云，智能驾驶地图，数字生态社区	与腾讯合作开发
吉利汽车	星睿智算中心	2023. 01	81 亿亿次/秒浮点运算	智能网联、智能驾驶、新能源安全、试制实验等业务领域	能提升吉利整体20%研发效率，预计到2025年算力将扩充到120亿亿次/秒
毫末智行	雪湖·绿洲（MANA OASIS）	2023.01	67亿亿次/秒浮点运算	自动驾驶领域大模型训练	毫末智行和火山引擎联合打造，自动驾驶模型训练成本降低62%，训练速度提升 110%。每台服务器配置了8 个GPU卡，一期已部署了超
智己汽车	云上数据超级工厂	2022. 06			过2000个GPU 携手阿里云共同打造
百度	昆仑芯智算中心	2022.09	20亿亿次/秒浮点	为自动驾驶全链路开发提供支持服	江苏移动盐城分公司联合百
百度	阳泉智算中心	2022.12	运算 400亿亿次/秒浮	务大搜索，人工智能，智能驾驶等	度建设
商汤	AIDC	2022. 01	点运算 491 亿亿次/秒浮	自动驾驶：超大模型自动标注

点运算

资料来源：佐思汽研，高工智能汽车，特斯拉AIDay，小鹏科技日，安信证券研究中心

图42.搭载超算中心投资金额

资料来源：IDC，安信证券研究中心

图43.搭载超算中心时间周期

资料来源：IDC，安信证券研究中心

4.关注标的

4.1.德赛西威

德赛西威是国内汽车智能化领域的头部 Tier1，深度绑定英伟达这一高算力芯片供应商资源，随着高阶自动驾驶落地对主芯片算力需求的提升将进一步夯实其在自动驾驶域控制器领域的核心地位。公司 2016 年开始前瞻性布局自动驾驶领域业务，2022 年实现 25.7 亿元营收，同比增长达 83.07%，营收占比 17.22%。目前公司已量产的自动驾驶域控制器包括 IPU01 至IPU04。其中，IPU01 和 IPU02 主打高性价比方案，主要搭载于中低端车型，实现 L1 和 L2级别的驾驶辅助功能。根据公司官方公众号，公司基于英伟达 Xavier/Orin 开发的 IPU03和 IPU04 域控制器主打高算力、高性能，能够满足 L2+的高阶自动驾驶需求，并且已经分别获得小鹏、理想等头部主机厂的量产支持，未来随着 L2+智能车放量自动驾驶域控制器有望为公司持续贡献业绩增量。

4.2.经纬恒润

经纬恒润是国内唯一覆盖 L4 以下全域自动驾驶场景的智能驾驶龙头。公司智能驾驶产品覆盖 L4 级及以下自动驾驶场景，覆盖智能泊车、智能行车、安全预警三大领域。其中，公司ADAS 系列产品前四代基本覆盖 L2 及以下所有自动驾驶场景（自适应巡航、交通拥堵辅助、自动紧急制动等），ADCU 域控制器开始覆盖部分 L2+/L3 级自动驾驶场景（高速自动驾驶、交通拥堵自动驾驶等），HPC 则可涵盖 L4 级自动驾驶场景（自主代客泊车等），目前仅应用于港口、园区等封闭式场景。除此之外，公司具备提供自动驾驶仿真测试服务，根据公司招股说明书，公司开发了深度覆盖测试需求的场景库，包括法规标准场景、功能覆盖场景、经验测试场景、事故和测试问题的极端测试场景等各类场景超过 3 万条，可以有效满足智能驾驶测试对不同路况场景的需要。

图44.经纬恒润自动驾驶域控制器产品

资料来源：经纬恒润招股说明书，安信证券研究中心

4.3.寒武纪

寒武纪是国内 AI芯片龙头，2021 年成立子公司行歌科技正式进军车载芯片领域。随着自动驾驶从小模型向大模型迭代，对车端推理和云端训练算力需求均大幅提升，公司将充分受益于这一行业趋势。根据寒武纪董事长陈天石博士在 2022 世界人工智能大会上的演讲，寒武纪行歌产品布局将覆盖 L2+\~L4 全系列芯片组合，覆盖不同档位算力需求的计算平台。其中，SD5223 是面向 L2+自动驾驶市场的产品，最大算力超过 16 TOPS，单颗 SOC 可以实现行泊一体的功能，适配 8M IFC/5V5R/10V5R 等多产品形态。SD5226 针对 L4 市场、支持车端训练产品，采用 7nm 制程，AI 算力超过 400 TOPS，CPU 最大算力超过 300K+DMIPs。同时，行歌科技的自动驾驶芯片可以与寒武纪的云端训练产品形成协同。2022 年公司云端产品线发展迅速，思元 290、思元 370 等产品在包括阿里云在内的多家头部企业的成功实现规模化销售，并且，公司新一代云端训练芯片思元 590 正快速迭代，浮点运算能力较上一代 290 产品有较大提升。寒武纪高性能 AI 训练芯片负责处理车端收集的海量数据并进行复杂模型训练，再通过 OTA 推送到车端，通过车云协同，能够将车端的数据快速回传，实现 AI 模型的快速迭代升级。

5.风险提示

技术进步不及预期：2022-2023 年之前我国自动驾驶主要参与者算法均依赖于高精度地图，从小模型向 Transformer 大模型需要对底层算法进行重构并需要大量数据进行迭代优化。特斯拉从 2020 年 8 月份重构底层算法，经过近一年的时间，至 2021 年 7 月才推送城市领航辅助驾驶功能。目前国内自动驾驶主要参与者均明确提出城市领航辅助驾驶及大模型推送时间表，若技术进步不及预期，将影响国内城市NOA落地节奏。

法规风险：我国关于自动驾驶车辆的相关管理办法尚未明确，目前城市领航辅助驾驶依然属于L2+级别。若后续法规、政策落地不及预期，将影响高级别自动驾驶商业化落地节奏。

竞争加剧的风险：目前造车新势力、传统主机厂以及百度、华为等科技大厂纷纷布局自动驾驶，并且不断有新的自动驾驶初创公司参与竞争，未来竟然可能进一步加剧。

行业评级体系

收益评级：

领先大市 —— 未来6 个月的投资收益率领先沪深300指数 10%及以上；

同步大市 —— 未来6 个月的投资收益率与沪深 300 指数的变动幅度相差-10%至 10%；

落后大市 —— 未来 6 个月的投资收益率落后沪深 300 指数 10%及以上；

风险评级：

A —— 正常风险，未来6个月的投资收益率的波动小于等于沪深300指数波动；

B —— 较高风险，未来6个月的投资收益率的波动大于沪深300指数波动；

分析师声明

本报告署名分析师声明，本人具有中国证券业协会授予的证券投资咨询执业资格，勤勉尽责、诚实守信。本人对本报告的内容和观点负责，保证信息来源合法合规、研究方法专业审慎、研究观点独立公正、分析结论具有合理依据，特此声明。

本公司具备证券投资咨询业务资格的说明

安信证券股份有限公司（以下简称“本公司”）经中国证券监督管理委员会核准，取得证券投资咨询业务许可。本公司及其投资咨询人员可以为证券投资人或客户提供证券投资分析、预测或者建议等直接或间接的有偿咨询服务。发布证券研究报告，是证券投资咨询业务的一种基本形式，本公司可以对证券及证券相关产品的价值、市场走势或者相关影响因素进行分析，形成证券估值、投资评级等投资分析意见，制作证券研究报告，并向本公司的客户发布。

免责声明

任何机构或个人接收到本报告而视其为本公司的当然客户。

本报告基于已公开的资料或信息撰写，但本公司不保证该等信息及资料的完整性、准确性。本报告所载的信息、资料、建议及推测仅反映本公司于本报告发布当日的判断，本报告中的证券或投资标的价格、价值及投资带来的收入可能会波动。在不同时期，本公司可能撰写并发布与本报告所载资料、建议及推测不一致的报告。本公司不保证本报告所含信息及资料保持在最新状态，本公司将随时补充、更新和修订有关信息及资料，但不保证及时公开发布。同时，本公司有权对本报告所含信息在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。任何有关本报告的摘要或节选都不代表本报告正式完整的观点，一切须以本公司向客户发布的本报告完整版本为准，如有需要，客户可以向本公司投资顾问进一步咨询。

在法律许可的情况下，本公司及所属关联机构可能会持有报告中提到的公司所发行的证券或期权并进行证券或期权交易，也可能为这些公司提供或者争取提供投资银行、财务顾问或者金融产品等相关服务，提请客户充分注意。客户不应将本报告为作出其投资决策的惟一参考因素，亦不应认为本报告可以取代客户自身的投资判断与决策。在任何情况下，本报告中的信息或所表述的意见均不构成对任何人的投资建议，无论是否已经明示或暗示，本报告不能作为道义的、责任的和法律的依据或者凭证。在任何情况下，本公司亦不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任。

本报告版权仅为本公司所有，未经事先书面许可，任何机构和个人不得以任何形式翻版、复制、发表、转发或引用本报告的任何部分。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并注明出处为“安信证券股份有限公司研究中心”，且不得对本报告进行任何有悖原意的引用、删节和修改。

本报告的估值结果和分析结论是基于所预定的假设，并采用适当的估值方法和模型得出的，由于假设、估值方法和模型均存在一定的局限性，估值结果和分析结论也存在局限性，请谨慎使用。

安信证券股份有限公司对本声明条款具有惟一修改权和最终解释权。

安信证券研究中心

深圳市

地址：深圳市福田区福田街道福华一路 19 号安信金融大厦 33 楼

邮编： 518026

上海市

地址：上海市虹口区东大名路 638号国投大厦 3 层

邮编： 200080

北京市

地址：北京市西城区阜成门北大街 2 号楼国投金融大厦 15 层

邮编： 100034

AI 大模型在自动驾驶中的应用

行业表现

相关报告

内容目录

1.AI 大模型如何应用于自动驾驶算法中？

1.1.神经网络加快自动驾驶感知算法发展，小模型向大模型迭代趋势明确

1.1.1.2.卷积神经网络 CNN广泛用于特征提取

1.1.2.Transformer 大模型的注意力机制成为自动驾驶感知算法的利器

1.2.特征级融合逐步取代后融合，BEV+Transformer 为当前主流方案

1.2.1.自动驾驶感知技术从后融合向特征级融合迭代趋势明确

1.2.2.Transformer 大幅提升 BEV 空间中的特征级融合效果

2.AI 大模型的应用对自动驾驶领域所带来的好处？

2.1.城市 NGP 落地在即，AI 大模型的应用驱动自动驾驶算法具备更强的泛化能力

2.2.从特斯拉感知算法迭代历程看 AI 大模型对城市 NGP 的赋能方向

2.2.1.第一阶段：BEV+transformer，实现“脱高精度地图”

2.2.2.第二阶段：升级到占用网络，实现“脱激光雷达”

2.2.3.第三阶段：从感知到决策控制端到端的自动驾驶模型有望成为未来发展方向

3.AI 大模型应用于自动驾驶中的前置条件？

3.1.条件一：具备相当数量的里程数据，因而自动标注+仿真平台环节将尤为重要

3.2.条件二：具备相当算力的云端训练平台，因而超算中心将成为主机厂必要基础设施

4.关注标的

4.1.德赛西威

4.2.经纬恒润

4.3.寒武纪

5.风险提示

行业评级体系

分析师声明

本公司具备证券投资咨询业务资格的说明

免责声明

安信证券-汽车零部件行业深度分析：AI大模型在自动驾驶中的应用-230504.pdf