2023年06月29日

智能汽车系列深度（十)：自动驾驶算法篇一一大模型助力，自动驾驶有望迎来奇点

中小盘研究团队

中小盘策略专题

任浪（分析师）

赵旭杨（联系人）

renlang@kysec.cn

zhaoxuyang@kysec.cn

证书编号：S0790519100001

证书编号：S0790121100001

·自动驾驶算法是感知、预测、规划控制的结合体

自动驾驶算法由感知、预测、规划控制构成。数据和仿真则通过数据驱动助力整个算法体系的成熟和完善。整个自动驾驶行为包含诸多组成部分，而市场努力的方向在于将这些环节不断优化。

·大模型横空出世，自动驾驶算法有望迎来奇点

《定增供给维持高位，重点跟踪景业智能、绿的谐波一中小盘增发并购月报》-2023.6.25

《AIGC势头强劲，算力、数据、算法、应用端需求空间广阔一中小盘周报》-2023.6.25

感知：BEV+Transformer横空出世，大模型推动自动驾驶迈向“平民化”

《次新股说：本批华虹宏力等值得重点跟踪（2023批次23、24、25）一中小盘IPO专题》-2023.6.18

2021年特斯拉第一次推出BEV+transformer 算法架构，用神经网络将多个2D 的图像和传感器信息综合成为三维的向量空间方便下游规控模块处理，开启了自动驾驶新时代。该算法优势显著：（1）解决2D图像转换成3D空间深度预测难点，感知性能提升。（2）完美实现多摄像头、多传感器信息融合。（3）更易融入时序信息，让模型拥有“记忆”。（4）拥有实时建图能力，摆脱对高精度地图的依赖。

规控：算法由基于规则迈向基于神经网，大模型开始靳露头角

规划控制算法中，目前行业仍以基于规则的方式为主，但泛化性不足仍面临诸多长尾问题，同时不断“打补丁”完善算法会导致最终代码量庞大且难以维护。领军公司已开始将大模型引入其中，进而拥有更强的泛化能力和更好的驾乘体验。

端到端（感知决策一体化)：大模型为自动驾驶彻底实现带来希望

感知、预测、规划、控制组合模块化部署模式，一方面，容易累计误差，另一方面，不同模块之间全局优化存在困难，因此端到端感知决策一体化算法成为自动驾驶行业共识的目标。英伟达、Uber、Wayve等公司进行了诸多探索。

数据：大模型推动数据闭环和仿真落地

数据闭环通常包含数据采集、挖掘、数据标注等环节，如何实现自动化运行同时降本增效是关键。目前行业推动大模型助力数据挖掘和自动标注，将加速产业成熟。仿真方面，逼真的仿真环境可替代实车数据的采集，是减少Cornercase的有效手段，大模型亦帮助实现自动化的场景生成等，完美提升模型自我迭代能力。

·算法变局推动L3级自动驾驶加速到来

大模型时代，得算力者得天下。大模型可通过仿真、自动标注等方式显著提升车厂算法能力，车企纷纷加码数据中心。芯片格局有望受大模型影响而重塑。Transformer大模型具有大参数、计算复杂等特点，芯片需要针对性开发加速器以实现在推理端良好运行，前瞻拥抱产业趋势的玩家有望在竞争中占得先机。最后，大模型推动下，L3级自动驾驶正加速到来，诸多车企推出自己的大模型解决方案，并有望迅速实现城市辅助驾驶落地，全产业链玩家均有望持续受益。

·重点关注：德赛西威、经纬恒润、中科创达、华阳集团、北京君正、美格智能、晶晨股份、均胜电子

·风险提示：技术发展进度不及预期、市场需求不及预期。

每日免费获取报告 □

每日微信群内分享7+最新重磅报告；

每日分享当日华尔街日报、金融时报;

√ 行研报告均为公开版，权利归原作者所有，起点财经仅分发做内部学习。

1、自动驾驶—数据驱动下的算法迭代
1.1、自动驾驶算法是感知、预测、规划、控制的结合体. ...5
1.1.1、感知：感知外部世界. ...5
1.1.2、预测：理解外部环境和当前状态. ...6
1.1.3、规划：思考如何行动.. .6
1.2、数据：算法的养料，现实与虚拟的交织. ….7
2、大模型横空出世，自动驾驶奇点来临 ...8
2.1、BEV+Transformer 横空出世，大模型推动自动驾驶迈向普及. ..8
2.1.1、BEV 感知助力成为感知外部世界标准范式..
2.1.2、 Transformer 大模型为构建BEV空间提供最优解. .….9
2.1.3、特斯拉引领打开自动驾驶天花板. ..10
2.1.4、BEV+Transformer 大模型提供远强于传统自动驾驶算法的感知能力， ...12
2.2、占用网络提供3D世界感知，形成通用障碍物识别能力.. ..5
2.3、规控算法由基于规则迈向基于神经网，大模型开始靳露头角， .16
2.3.1、人工智能逐步渗透进入规控算法... ·············································.· ..17
2.3.2、大模型赋能，车道线预测等复杂任务得以实现 ..18
2.4、端到端（感知决策一体化)：大模型为自动驾驶彻底实现带来希望. ....20
2.4.1、回归自动驾驶第一性原理，端到端自动驾驶成为市场远期共识. ...20
2.4.2、工业界已经开启探索，迈向完全自动驾驶， ..20
2.4.3、大模型的思考，自动驾驶或许并非终点.. ..21
2.5、数据端：大模型推动数据闭环和仿真落地... ..22
2.5.1、数据闭环：自动化运行，降本增效推升规模是关键， .22
2.5.2、仿真：从提升效率到不可或缺... ..24
3、自动驾驶算法变革引领产业链变化.. ..29
3.1、兵马未动粮草先行，云端算力军备竞赛开启. ..29
3.1.1、特斯拉自研算力平台Dojo，2024年冲刺100EFlops 算力. ..29
3.1.2、国内自动驾驶领先玩家亦积极布局，算力成为自驾竞争"入场券”. ..30
3.2、自动驾驶芯片格局有望被重塑， ..31
3.2.1、Transformer 大模型对芯片架构提出新的要求.. ...31
3.2.2、芯片玩家开始着力加大产品对 Transformer的适配度. ..32
3.3、自动驾驶产业加速成熟，配套公司全面受益. ..32
3.3.1、BEV+Transformer 大模型的自动驾驶算法构建形式被市场广为接受. ..32
3.4、受益标的... ...33
4、风险提示.. ..34

图表目录

图1：自动驾驶算法框架包含感知、预测、规划、控制.. ..5
图 2：百度Apollo视觉算法模块包含诸多视觉处理任务.. ..5
图3：百度Apollo 的算法中，预测模块包含场景理解、评估、预测等环节. ..6
图4:规划部分决定汽车将如何行动. ..6
图5：自动驾驶长尾问题出现概率较低. .7
图6: 毫末智行认为自动驾驶能力与数据量直接相关.. ...
图7: 数据可显著改善自动驾驶的CornerCase 情况.. ...
图8:
图9:
图10: BEV视角更加直观，便于规划和决策驾驶路径和行为.. ...9
图11: Transformer可将多张2D图像和传感器信息融合并转化为3D视角 ...0
图12: 特斯拉采用"九头蛇”算法架构.
图13: 特斯拉开创性的采用 Transformer 来实现二维图像到三维空间的转换..
图14: 特斯拉为感知部分加入时序信息已增强其“记忆”.
图15: 利用 Transformer 实现视角转换的效果显著提升.. ...3
图16: 传感器融合方式多种多样，大体分为前融合和后融合两类..
图17: 传统算法做后融合拼接很容易出现误检或漏检..
图18: 时序融合能大幅提高遮挡情况下的感知效果..
图19: 高精度地图拥有详细的地图信息. ...15
图20: HDMAPnet等神经网络可实现实时建图.
图21: 特斯拉采用占用网络处理数据...
图22:
图23: 占用网络亦可机.器人领域使用..
图24: 自动驾驶的目标：安全、舒适、效率. ..17
图25: 复杂场景下基于规则的规控算法难以应对.. ..7
图26:
图27: 特斯拉采用混合传统优化算法和神经网络的规划方案.
图28: 复杂路口的车道拓普结构识别难度较高.. ...19
图29: 车道线网络是嫁接在感知网络上的一个解码器...
图30: 车道线网络采用语言模型的形式判断拓扑结构..
图31: 理想汽车采用 NPN神经先验网络处理复杂路口..
图32: NPN 神经先验网络可更加稳定的还原路口结构... ..20
图33:
图34: UniAD 实现端到端的自动驾驶模型构...
图35: Wayve 的自动驾驶1.0架构采用模块化部..
图36:
图37:
图38: GPT 带来了业界对自动驾驶算法构建的新思考. .22
图39:
图40:
图41: 特斯拉数据引擎包含完整的数据闭环流程.. ..23
图42:
图43: 虚幻引擎支持高精度仿真场景重.
图44: Carla平台支持多种交通主体仿真.. ...24
图45: 场景库丰富素材能够满足不同测试需求. ...25
图46: 通过泛化能够生成不同路况的仿真场..
图47: 自动驾驶仿真架构包含三维场景重建、海量仿真场景库和车辆动力学模型
图48: 场景构建数据来源于三大方面，实现三个维度的目标..
图49: DRIVE Sim场景编辑能力强..
图50: DRIVE Sim 能够满足多传感仿真的需求... ...77
图51：使用三代OVX搭建高性能数据中心. .28
图52: DRIVE Sim 能够快速生成复杂的数据集.. ..28
图53: 51 Sim-One 实现数据驱动闭环云仿真.. ..28
图54: 云端并发仿真技术大大缩短测试时间.. ..28
图55: DIL 仿真测试水平业界领先. ..28
图56: 51 Sim-One操作界面贴近国内使用习惯，
图57: 自动标注和占用网络训练合计占据模型50%. ..29
图58: Dojo 计算瓦为AI训练而生.. ...30
图59: ExaPOD超级计算机拥有1.1EFLOP算力. ...30
图60: 特斯拉算力需求将迎来快速增长... ..30
图61:传统卷积神经网络所需要的计算和Transformer 差别较大 ..31
表1：2D视角到3D视角通采用四大类方式.. ..12
表2：仿真软件产品众多，产品特点不一 ..26
表3：本土厂商积极布局算力构建， ...30
表4:领先汽车芯片玩家开始着手加强对 Transformer 算法的适配. ...32
表5: BEV+Transformer算法被业界广泛采用 ..32
表6：城市辅助驾驶迎来井喷， ..33
表7：受益公司盈利预测与估值 ..33

1、自动驾驶一一数据驱动下的算法迭代

1.1、自动驾驶算法是感知、预测、规划、控制的结合体

自动驾驶算法反应了工程师们根据人的思维模式，对自动驾驶所需处理过程的思考。通常包含感知、预测、规划模块，同时辅助一些地图、定位等模块，实现自动驾驶功能的落地。

图1：自动驾驶算法框架包含感知、预测、规划、控制

资料来源：Apollo开发者社区公众号、开源证券研究所

1.1.1、感知：感知外部世界

感知模块主要解决四类任务：（1）检测：找出物体在环境中的位置；（2）分类：明确对象是什么，如分辨不同类别交通标志；（3）跟踪：随着时间的推移观察移动物体，通常采用跨帧追踪对象（将不同帧中检测到的对象进行匹配）、BEV加入时序信息等实现；（4)语义分割：将图像中的每个像素与语义类别匹配，如道路、天空、汽车等，用于尽可能详细了解环境。

以 Apollo感知算法框架为例，其算法包含预处理、神经网络模型、后处理等模块。首先图像预处理主要是对图像进行调整、畸变校正等，使之更符合机器学习的要求。其次分别对红绿灯、车道线、障碍物等特征进行检测，其中红绿灯通过检测边框、颜色等进行进一步的识别；障碍物则经过2D到3D的转换，得出真实的信息坐标，再融合车道线检测信息、外部传感器信息等得出真实世界的障碍物信息。该部分通常采用全卷积神经网络或者YOLO等算法实现。

图2：百度Apollo视觉算法模块包含诸多视觉处理任务

资料来源：Apollo开放平台

1.1.2、预测：理解外部环境和当前状态

预测模块实际上是算法对外部环境和自车状态的理解。预测模块首先收集感知模块输入的车道线、障碍物、红绿灯、地图、定位等信息对主车的状况进行判断。其次场景感知模块对外部障碍物的优先级、路权等外部环境对主车的影响进行感知。评估器则会根据场景信息和障碍物信息判断出障碍物的轨迹或意图。预测器则根据短期的预测轨迹和意图判断障碍物等外部环境相对长期的轨迹。这将为未来汽车的规划提供重要的参考。算法层面通常以RNN为主。

图3：百度Apollo 的算法中，预测模块包含场景理解、评估、预测等环节

资料来源：Apollo开发者社区公众号、开源证券研究所

1.1.3、规划：思考如何行动

规划指找到合理路径来到达目的地。规划通常分为全局路径规划、行为规划与运动规划几个部分。其中，全局路径规划指智能汽车依靠地图规划出理想状态下到达目的地的路径。行为规划则是主车在实际行驶的过程中，面临实时的交通环境，做出的各类驾驶行为，如跟车、换道、避让等。运动规划生成与驾驶行为对应的驾驶轨迹，包含路径规划和速度规划。最后再采用一些优化方式让变道加速等行为变得平顺以满足舒适性要求。算法层面，通常采用基于规则的规划决策算法，前沿的玩家也开始引入机器学习等方式，以提升决策效能。

图4：规划部分决定汽车将如何行动

资料来源：《智能网联汽车》、开源证券研究所

1.2、数据：算法的养料，现实与虚拟的交织

算法、算力和数据是人工智能的三大要素，数据在模型训练中拥有不可忽视的影响。一方面，Transformer等大模型在大体量数据集训练下才能表现更佳的特性带来其对训练端数据的要求激增，特斯拉在2022年AIDAY上曾表示，训练其占用网络采用了14亿帧图像数据。另一方面，由于自动驾驶面临的场景纷繁复杂，诸多长尾问题需要在现实或虚拟场景中获取。因此数据闭环在自动驾驶领域弥足重要。毫末智行将数据作为“自动驾驶能力函数”的自变量，认为是决定能力发展的关键，Momenta也曾表示，L4要实现规模化，至少要做到人类司机的安全水平，最好比人类司机水平高一个数量级，因此需要至少千亿公里的测试，解决百万长尾问题。

图5：自动驾驶长尾问题出现概率较低

资料来源：纽励科技公众号

图6：毫末智行认为自动驾驶能力与数据量直接相关

资料来源：毫末智行公众号

数据挖掘和针对性的训练能显著减少CornerCase。以特斯拉为例，在面临一个看起来像临时停车但实际上是永久停车的场景时，最初算法会将其判定为临时停车。当特斯拉通过数据挖掘在训练集中增加了1.4万个类似场景的视频并训练模型后,神经网络便理解了这辆车里面没有司机，将其判别为永久停车。

图7：数据可显著改善自动驾驶的CornerCase 情况

资料来源：特斯拉官网

2、大模型横空出世，自动驾驶奇点来临

早期自动驾驶方案采用激光雷达+高精度地图为主。早期市场以传统计算机视觉和专家系统为基础构建辅助驾驶功能，随后人工智能的蓬勃发展让深度学习在自动驾驶领域被广泛使用，以 waymo 为代表的自动驾驶先驱玩家开创了激光雷达+高精度地图的感知范式，Cruise、百度等巨头纷纷效仿。该方案中，对道路结构、车道线等静态环境元素的感知强依赖高精度地图，而实时的动静态障碍物信息则强依赖激光雷达。高精地图成为一项“基础设施”，将很多在线难以解决的问题提前存储到地图数据中，行车时作为一项重要的感知数据来源，减轻传感器和控制器的压力。由于该方案只能在有图地区行驶，也被一些人形象的称为“有轨电车”。

图8:Cruise等公司采用高精度地图+激光雷达解决方案

资料来源：Cruise官网

图9：Waymo无人驾驶出租车拥有先进的传感器

资料来源：太平洋汽车

高昂的单车成本和高精度地图成为自动驾驶大规模推广瓶颈。Robotaxi成本高昂（Yole统计早期Waymo为代表的的自动驾驶汽车改装成本约为20万美元），高精度地图采集制作以及合规要求繁杂（量产落地过程中，高精度地图面临：采集成本高；人工修图制图费时费力；地图鲜度不足；国内法规严格等困难），带来该方案的泛化性较差。经过数十年的发展，Robotaxi的使用范围仍被限制在特定区域，使用对象也仅局限在商用车领域。市场亟待出现一种单车性能强大、成本低廉的自动驾驶解决方案。

2.1、BEV+Transformer 横空出世，大模型推动自动驾驶迈向普及

2021年特斯拉推出BEV+transformer、重感知轻地图的自动驾驶解决方案，开启了自动驾驶行业新的篇章。

2.1.1、BEV感知助力成为感知外部世界标准范式

BEV全称为Bird'sEye-View（鸟瞰图），即通过神经网络将各个摄像头和传感器获取的信息进行融合，生成基于俯视的“上帝视角"的鸟瞰图，同时加入时序信息，动态的对周边环境进行感知输出，便于后续预测规划模块使用。正如人类一样，驾驶行为需要将各处观察到的信息综合到统一的空间中，来判别什么地方是可以行驶的区域。究其原因，驾驶行为是在3D空间中的行为，而鸟瞰图则是将2D的透视空间图像转换为3D空间，不存在距离尺度问题和遮挡问题，使得算法可以直观的判断车辆在空间中的位置以及与其他障碍物之间的关系。

图10：BEV视角更加直观，便于规划和决策驾驶路径和行为

摄像头视角：2D图像的透视空间，结果不易于被规控使用，存在遮挡等问题
资料来源：特斯拉AIDAY2021、开源证券研究所

BEV视角：鸟瞰视角，车道线、障碍物等元素一目了然，易于被预测规划模块使用

2.1.2、Transformer大模型为构建BEV空间提供最优解

2021年特斯拉在AIDay上第一次将BEV+transformer的算法形式引入到自动驾驶，开启了自动驾驶的崭新时代。首先BEV空间的构建，实际上就是寻找一种恰当的方式，将多个2D的图像和传感器信息综合转化成为一个3D的向量空间。经过多次尝试，特斯拉最终引入了Transformer大模型来实现这一转换。

Transformer大模型是近年人工智能领域的热门算法，其主要通过注意力机制来分析关注元素之间的关系进而理解外部世界。早年被应用于自然语言处理领域，后续延展到计算机视觉等多个方向。算法的优势显著：

具有更好的全局信息感知能力：Transformer 模型更关注图像特征之间的关系，因此会跟多关注整个图像的信息，卷积神经网络更多关注固定大小区域的局部信息，因此Transformer在面对图像中长程依赖性的问题拥有更好的表现。

天花板高企适用于大规模数据训练场景：在图像识别能力方面，Transformer拥有更高的上限，随着训练数据量的增长，传统CNN模型识别能力呈现饱和态势，而Transformer则在数据量越大的情况下拥有更好的表现。而自动驾驶洽洽为面向海量的数据场景，要求有足够好的精度的场景。

V 拥有多模态感知能力：Transformer 可实现多模态数据的处理，应对图像分类、目标检测、图像分割功能，并实现对3D点云、图像等数据的融合处理。

灵活、较好的泛化性能：Transformer可适用于不同大小的输入图像，同时外部环境包含扰动的情况下仍能保持较好的检测性能。

但CNN网络在提取底层特征和视觉结构方面有比较大的优势，而在高层级的视觉语义理解方面，需要判别这些特征和结构之间的如何关联而形成一个整体的物体，采用Transformer更加自然和有效。同时CNN也拥有更好的效率，可以采用更低的算力实现效果。因此业界通常会将CNN和Transformer结合来进行物体识别。

图11:Transformer可将多张2D 图像和传感器信息融合并转化为3D视角

资料来源：《Attention Is All You Need》（Ashish Vaswani 等）、《Safety-Enhanced Autonomous Driving Using Interpretable Sensor FusionTransformer》（Hao Shao 等）、开源证券研究所

2.1.3、特斯拉引领打开自动驾驶天花板

特斯拉的自动驾驶算法结构中，首先将摄像头信息无损采集，送入卷积神经网络Regnet来提取不同尺度的图像特征，接着使用BiFPN进行特征融合，然后将这些特征送入Transformer模块，利用Transformer中的多头注意力机制来实现2D图像特征到三维向量空间的转换和多摄像头特征系信息的融合，之后接入不同的“头”如交通标志检测、障碍物检测等，来实现不同任务的处落地，形成一套优雅的，可完美实现数据驱动的感知算法。由于不同的“头”之间采用了共享的特征提取网络，因此被特斯拉起名为“九头蛇”算法架构。

图12：特斯拉采用“九头蛇”算法架构

资料来源：特斯拉AIDAY2021、开源证券研究所

特斯拉的BEV+Transformer 算法中两个环节尤为关键：

（1）2D图像到3D空间的转换以及图像融合：

在 2D 图像到3D向量空间转换的环节,特斯拉在行业内首次引入了Transformer。具体而言，先构建一个想要输出的三维的栅格空间，并对其进行位置编码成为查询向量(Query),然后将每个图像和自己的特征输出相应的查询键码(Key)和值(Value）,最终输入到注意力机制中输出想要的结果。类似于每个图像中的特征都广播自己是什么物体的一部分，而每个输出空间的位置像素像拼图一样，寻找对应的特征，最终构建出希望输出的向量空间。（Query、Key、Value 分别为Transformer 算法中的参数，通过将外部世界转化为参数而实现信息处理和任务输出）

图13：特斯拉开创性的采用Transformer来实现二维图像到三维空间的转换

资料来源：特斯拉AIDAY 2021

（2）加入时序信息，让算法拥有“记忆”：

为了让自动驾驶算法拥有类似一段时间内“记忆”的能力，特斯拉在感知网络架构中加入了时空序列特征层。通过引入惯性导航传感器获取的包含速度和加速度等自车运动的信息，算法模型可获取时间和空间的记忆能力。具体而言，特斯拉给算法加入特征队列模块（FeatureQueue），他会缓存一些特征值（包含历史帧的 BEV特征、惯导传感器信息等)，便于了解车辆行动，这个序列包含时间和空间记忆。然后引入视频模块（Video Module）使用空间循环神经网络（SpatialRNN）/transformer等算法将前述缓存的特征进行融合，关联前后时刻信息，使得模型具有记忆能力，让自动驾驶汽车将同时能够记住上一段时间和上一段位置的检测信息。

图14:特斯拉为感知部分加入时序信息已增强其“记忆”

资料来源：特斯拉AIDAY2021、开源证券研究所

2.1.4、BEV+Transformer大模型提供远强于传统自动驾驶算法的感知能力

（1）改善2D-3D空间转换过程中深度预测难点，感知性能大幅提升

引入BEV+Transformer后,模型对于2D空间向3D空间转换的精度大幅提高。构建BEV模型一大重要任务是实现2D图片到3D空间的转换，通常业内有四大类方式实现2D-3D视角转换：早期通常以基于相机内外参数（焦距、光芯、俯仰角、偏航角和地面高度）的几何变换的IPM（逆透视变换）实现，由于该方式基于地面纯平、俯仰角一定的假设，约束条件实现难度高；后续英伟达推出BEV行业的开山之作LSS算法,但由于其计算量庞大以及精度仍然有限,难以支撑BEV的真正落地;其后学界业界探索了众多方案，包含基于神经网络,通过监督学习数据驱动实现BEV空间构建等方式，但深度估计的精度均不尽人意。2021年，特斯拉首次将Transformer应用于BEV空间的构建，在多摄像头视角下，相比传统感知方式，大幅提升了感知精度，该方案推出后也迅速被业界广泛追捧。

表1：2D视角到3D视角通采用四大类方式

企业名称	示意图	原理	优点	缺点
IPM （逆透视变换）	40 35 品 30 25	将透视空间的特征反向映射到 BEV 空间。类似于小孔成像，通过相机的内参（焦距、光心）、外参（俯仰角、偏航角和地面高度）, 在一定的条件下可以估算出环境	简单易用	需要基于地平线是完美平面的假设
LSS 算法（Lift-Splat -shoot）	Parallel Add Add Add Add Processing! ImageFeature BEVFeature	将2D图片特征“拖拽”（Lift）到相机的视锥体特征，即对每个像素点的不同距离的概率进行估计，并在BEV视角上进行“拍平” （Splat），实现转换	精度相比 IPM更高，可使用数据驱动	每个像素预测了一系列的深度概率，计算量大精度有限
MLP（多层感知机/神经网络）	Expand along esamsleto FC F Birds-eye-v Image features Beterek PoarBEy	通过MLP自行学习（多层感知机实现简单，易性能相比 /神经网络）相机透视空间到 BEV 于在车端部Transformer 空间的映射关系	署	系列天花板低
Transformer 系列	Multi-CameraFeaturesF, Current BEV Det&Seg Add&Norm Feed For Add&Nor 空间交叉注意力机制 BEVQueriesQ History BEVBt-1 多视角图像在T时间输入整体架构暂时自注意模型	通过交叉注意力机制（cross-attention，Transformer 的精度高、上限解码器中的模块）来实现图像的高、泛化性强空间变换		训练难度高模型部署难度高

资料来源：小鹏汽车官方公众号、《Predicting Semantic Map Representations from Images using Pyramid Occupancy Networks》（ThomasRoddick等）、开源证券研究所

图15：利用Transformer实现视角转换的效果显著提升

资料来源：特斯拉AIDAY2021、开源证券研究所

（2）完美实现多摄像头、多传感器的信息融合，极大方便后续规控任务

BEV+Transformer实际上引入“特征级融合”（中融合）方式。通常自动驾驶汽车拥有6-8个摄像头以及其他多种传感器，在感知过程中，需要将各类传感器的信息进行融合。传感器融合大体可分为几大类：

数据级融合（前融合)：直接将传感器采集的数据如图像和点云融合。该方案优势在于数据损失少，融合效果好，但时间同步、空间同步要求达到像素级别，难度较高，需要对每个像素计算，对算力消耗大，目前少有使用。

目标级融合（后融合)：将每个传感器采集信息并处理后的目标进行融合。该方案是此前自动驾驶主流采用的方案，被广泛应用于摄像头之间、不同传感器之间的信息融合。优势在于算法简单、解耦性好即插即用。但也存在致命问题，由于融合前的处理损失了大量关键信息，影响感知精度，融合结果容易冲突或错误。此外后融合中的融合算法仍然基于规则，无法进行数据驱动，存在局限性。

特征级融合（中融合)：则将原始传感器采集的数据经过特征提取后再将特征向量进行融合。该方案的优势在于，数据损失少、将目标“分解”为特征，更容易在不同相机和传感器之间关联，融合效果好。在BEV+transformer算法中实际上均采用中融合的方式。

图16:传感器融合方式多种多样，大体分为前融合和后融合两类

资料来源：《智能网联汽车》、开源证券研究所

以路过大型卡车场景为例，障碍物某个时刻在5个摄像头中同时出现，且每个摄像头只能观察到车的某个部分。传统算法通常会分别在每个摄像头内完成检测，再融合各摄像头的结果。通过部分信息识别出卡车整体的特征及其困难，且一旦完成物体检测，相当于“脑补”了看不到的部分，误差较大拼接困难，经常会识别为多个目标或漏检。而 BEV+Transformer 通过特征级融合，完美生成鸟瞰视角下的场景，并且识别精度更高。

图17：传统算法做后融合拼接很容易出现误检或漏检

资料来源：特斯拉AIDAY2021、开源证券研究所（注：轮子、油箱等特征为示意）

单帧网络的感知结果视频模块（带有时序信息的网络）的感知结果

（3）更易融入时序信息，模型拥有“记忆”，避免遮挡等问题

感知算法中，时序融合能够大幅提升算法连续性，对障碍物的记忆可解决遮挡问题，更好的感知速度信息，对于道路标志的记忆可提升驾驶安全和对汽车车辆行为预测的准确度，增强算法的可靠性和精度。在BEV+transformer算法中，由于所有的感知被统一到3D鸟瞰图空间，通过将不同时间和不同位置的特征关联可很容易的实现时序信息的融合。如在面对遮挡场景时，带有时序信息的自动驾驶算法感知效果远优于基于单帧图像感知的算法。同时也更便于下游的规划控制算法实现对障碍物的追踪。

图18：时序融合能大幅提高遮挡情况下的感知效果

无遮挡情况下感知结果接近

部分遮挡情况下视频模块能准确预测障碍物位置，而单帧感知结果飘忽

完全遮挡情况下视频模块能准确预测障碍物位置，而单帧感知退出感知
资料来源：特斯拉AIDAY2021、开源证券研究所

（4）汽车拥有实时建图能力，摆脱对高精度地图的依赖

BEV+Transformer算法可在车端实时构建媲美高精地图的高精度局部地图，能够在任意常规道路条件下，实现自动驾驶所需的静态场景深刻理解，然后以此为基础，端到端的输出障碍物的轨迹和速度、车道线信息等，实现复杂场景下的自动驾驶应用，而不需要依赖高精地图。使得算法的泛化性大幅提升，成本也大幅下降。

图19：高精度地图拥有详细的地图信息

资料来源：HERE官网

图20:HDMAPnet等神经网络可实现实时建图

资料来源：《HDMapNet:An Online HD Map Construction andEvaluation Framework》（QiLi等）

2.2、占用网络提供3D世界感知，形成通用障碍物识别能力

占用网络构建通用障碍物感知体系，提升对未知物体感知效果。直接在矢量空间产生统一的体积占用数据，对于车子周围任意的一个3D位置，它预测了该位置被占用的概率，对每个位置它还会产生一定的语义信息比如路边、汽车、行人、或者路上的碎片等等，用不同的颜色标出，同时观测速度信息，形成“占用栅格”＋“栅格流（描述速度信息)”+弱语义的表达形式。对特斯拉而言，即将原有Transformer算法输出的2DBEV+时序信息的向量空间增加高度信息，形成3DBEV+时序信息的4D 空间表达形式。网络在FSD上每10ms 运行一次，即以100FPS的速度运行，模型检测速度大幅提升。

图21：特斯拉采用占用网络处理数据

资料来源：特斯拉AIDAY 2022

占用网络优势显著：（1）其改变了神经网络算法先“认识”才能“识别”的特性，形成了动静态物体统一的障碍物感知方式，可大幅减少Cornercase，提升安全性。（2）摆脱检测框的约束，对不规则外形障碍物的感知能力大大增强。（3）对特斯拉来说，通用障碍物感知能力可以复用到其他产品如机器人上，形成了统一的算法框架。

图22：占用网络感知物体对空间网格的占据情况

资料来源：特斯拉AIDAY 2022

图23：占用网络亦可在机器人领域使用

资料来源：特斯拉AIDAY 2022

占用网络的构建并非单独算法上得演进，而是体系能力的提升。3D空间的距离真值获取实际上较为困难，即使拥有激光雷达，其稀疏的点云信息仍然难以满足占用网络的训练需求，而由于仿真环境中距离真值信息可以直接获取，因此占用网络的构建几乎和强大的仿真场景构建相辅相成。

2.3、规控算法由基于规则迈向基于神经网，大模型开始蕲露头角

2.3.1、人工智能逐步渗透进入规控算法

发力安全性、舒适性和效率，规控算法成为当前头部玩家主攻方向。人能够基于非常有限的感知信息完美实现驾驶行为，很大程度因为人类拥有强大的“规控”能力。对自动驾驶而言，采取一种让安全性、舒适性和效率都达到最大化的驾驶策略无疑是各大厂商不懈追求的目标。而该环节也直接决定了自动驾驶功能的消费者体验，目前头部玩家已经将主攻方向转移到规控算法领域。

图24：自动驾驶的目标：安全、舒适、效率

资料来源：特斯拉AIDAY 2021

“拟人化”、强泛化性，人工智能推动自动驾驶“老司机”上线。规控算法的难度较高，存在诸多非确定（如辅路与干道没有绿化带隔离，辅路的车辆可随时进入干道）、强交互（如多个物体在同一场环境下决策会相互影响，存在一定博弈性）强主观（如驾驶员的驾驶风格，很难用有限标准量化表示）的场景。同时涉及交通法规等一系列问题。早年的算法通常采用基于专家知识和规则的模式为主，由于基于规则的系统需要不断补充新的规则以实现对各类环境的良好应付，日积月累代码量庞大，占用算力资源，且不易维护。因此依靠数据驱动的基于人工智能的规控算法日益走向台前。面对复杂的外部环境，人工智能模型能够更加平滑的以“类人"的方式对驾驶行为进行处理，泛化能力强、舒适性好，应对复杂场景的能力大幅提升。

图25：复杂场景下基于规则的规控算法难以应对

资料来源：车右智能公众号

图26：人工智能逐步在算法的各个环节中崭露头角

资料来源：智能车情报局公众号

兼顾“安全”和“性能”，神经网络和基于规则结合有望成为一段时期内规控算法的主流。小鹏汽车自动驾驶负责人吴新宙曾表示，基于大数据和深度学习的算法在规控领域的渗透会越来越深，预计未来整个框架都将基于深度学习为基础，但基于规则的算法也会长期存在，因为规控算法的可解释性很重要。基于神经网络的规控算法有诸多优势，但目前如训练过程中数据的清洗、一致性；面向一些小场景特定的算法调整；可解释性差等问题仍客观存在。因此诸多玩家目前仍采用以人工智能和基于规则结合的方式来部署规控算法，制定一些规则来对人工智能产生的行为进行兜底，实现较好的规控效果，未来随着人工智能能力的提升，规控算法人工智能化已经成为大势所趋。

交互搜索+评估模型，特斯拉规控算法行止有效。在规控方面，特斯拉采用交互搜索+评估模型的方式实现舒适、有效以及传统搜索算法和人工智能的结合的算法。具体如下：（1）决策树生成：首先根据车道线、占用网络、障碍物等得到候选目标，生成一些候选目标；（2）轨迹规划：通过传统搜索和神经网络的方式同步构建抵达上述目标的轨迹;（3)交互决策：预测自车以及场景中其他参与者之间的相互作用，形成新的轨迹，经过多次评估选择最后轨迹。在轨迹生成阶段，特斯拉采用了基于传统搜索算法和基于神经网络两种形式，之后根据碰撞检查、舒适性分析、驾驶员接管可能性和与人的相似程度等对生成的轨迹打分，决定走哪条路线。基于这种方式有效的将道路参与者的博弈考虑在内，同时完美将基于规则和基于人工智能结合，呈现出强大竞争力。

图27：特斯拉采用混合传统优化算法和神经网络的规划方案

资料来源：特斯拉AIDAY2022、开源证券研究所

2.3.2、大模型赋能，车道线预测等复杂任务得以实现

复杂道路的车道拓普结构识别难度较高。自动驾驶车辆在行驶过程中需要明确自车的道路情况和车道线拓扑情况，以此来决定如何规划自己的行驶轨迹。但当车道线模糊，或者十字路口等场景下，需要算法自己计算出车道线情况，来指导自身的自动驾驶行为。我们看到一些玩家针对这样的场景做出了优化，来完美应对各类突发情况，产业算法不断进化和成熟。

图28：复杂路口的车道拓普结构识别难度较高

资料来源：特斯拉AIDAY2022

特斯拉采用训练语言模型的形式来训练车道线网络模型。车道线网络实际上是嫁接在感知网络上的一个Transformer 的解码器（Decoder）。参考自然语言处理任务中的形式，让模型用自回归（综合上个环节的结果输出下个环节的内容）的方式输出车道线的预测结果。具体而言，将车道线包含节点位置、节点属性（起点、终点、中间点等）、分叉点、交叉点等进行编码，形成类似语言模型中单词的属性，输入Transformer解码器中，将信息转化成为“车道线语言”，去生成下个阶段的结果，进而形成整个路网的车道线的拓扑结构。

图29：车道线网络是嫁接在感知网络上的一个解码器

资料来源：特斯拉AIDAY 2022

图30：车道线网络采用语言模型的形式判断拓扑结构

资料来源：特斯拉AIDAY 2022

理想汽车在理想家庭日上也展示了其用于增强路口性能的算法 NPN神经先验网络。为了解决大模型在十字路口不稳定的问题，对复杂路口，提前进行路口的特征提取和存储，当车辆再次行驶到路口时刻，将过去提取好的特征和BEV感知大模型融合，形成更加完美的感知结果。

图31：理想汽车采用NPN神经先验网络处理复杂路口

资料来源：理想汽车官网

图32：NPN神经先验网络可更加稳定的还原路口结构

资料来源：理想汽车官网

2.4、端到端（感知决策一体化)：大模型为自动驾驶彻底实现带来希望

2.4.1、回归自动驾驶第一性原理，端到端自动驾驶成为市场远期共识

模块化的自动驾驶算法设计存在诸多问题。前述文章中提到的感知、预测、规划等环节的算法称为模块化算法设计，这些方案中每个模块独立负责单独的子任务，这种方案具备简化研发团队分工，便于问题回溯，易于调试迭代等优点。但由于将不同任务解耦，各个模块之间容易产生信息损失问题，且多个模块间优化目标不一致，最后模块间产生的误差会在模型中传递。

端到端自动驾驶解决方案回归自动驾驶第一性原理。因此业界也一直在探索端到端的自动驾驶算法形式，即设计一个算法模型，直接输入传感器感知的信息，输出控制结果。端到端的自动驾驶算法拥有非常明显的优势：（1）其遵循了自动驾驶的第一性原理：即无论感知、规划、决策模块如何设计，最终是为了实现更好的自动驾驶效果，因此现有的方法聚焦单独某个模块的优化，对整体的效果提升未必有效。（2）端到端的方式可避免极联误差，去掉冗余信息，提升视觉信息的表达。（3）传统模块化的算法中需要面临模型之间的多个编解码环节，带来的计算的冗余浪费。（4)规则驱动彻底转变为数据驱动，理想状态下让汽车自动驾驶模型训练变得简洁。

图33：端到端的自动驾驶解决方案接收传感器信息，直接输出控制信号或策略

资料来源：开源证券研究所

2.4.2、工业界已经开启探索，迈向完全自动驾驶

目前全球无论学术界还是工业界均对该方案进行了不懈探索。如英伟达2016年即提出端到端的自动驾驶解决方案，而Uber更多次发相关的论文探索有关算法。最新的CVPR2023上商汤、OpenDriveLab、地平线等联合发布的端到端的自动驾驶算法UniAD，获得了当年的最佳论文。其采用Transformer将感知、决策、规划、控制模块都融入到一个模型中，端到端的处理自动驾驶问题，能够呈现出最佳的运行效果。

图34:UniAD实现端到端的自动驾驶模型构建

资料来源：清华大学智能产业研究院公众号

目前英国初创公司Wayve亦致力于开发端到端的自动驾驶系统，致力于让汽车通过自己的计算机视觉平台“自己看世界”，同时可以根据它所看到的东西做出自己的决定。马斯克也曾在推特上表示，其FSDV12版本将是一个端到端的自动驾驶模型。

图35:Wayve的自动驾驶1.0架构采用模块化部署

资料来源：科创板日报公众号

图36:Wayve的自动驾驶2.0架构采用端到端的算法

资料来源：科创板日报公众号

2.4.3、大模型的思考，自动驾驶或许并非终点

通识知识和强泛化能力助力人类轻松学会驾驶。人类可以在短时间内学会驾驶，但机器则需要海量的数据和训练。可能的原因在于人类在学习驾驶之前就已经充分对整个世界有了全面的认知，并可以将这些认识泛化到各类场景下。如在学校附近应该减速、遇到老人应当小心等，面对形状怪异的红绿灯人类几乎不加思考就可理解其想表达的意思。通识知识，强泛化能力可以对自动驾驶行为产生重大帮助。

GPT受到市场追捧，也引发了自动驾驶界对模型构建方式的思考。前文提到的英国公司 Wayve 亦在尝试构建一个世界模型，通过使用与驾驶本身无关的数据，如一些文本数据预训练模型进而提升模型的驾驶性能。此外，公司亦在尝试将自动驾驶模型和自然语言结合，让自动驾驶模型能够描述自己的行为，进而增强模型的性能和可解释性。国内毫末智行等也在做出相应的尝试，建立大参数的模型，并将海量驾驶场景编码成语料，投喂给模型进行无监督学习，接着再加入人类反馈强化学习帮助其掌握驾驶员的行为，进而让模型拥有接近人的自动驾驶能力。大语言模型的风靡也让市场对自动驾驶模型构建的方式有了新的想象空间，DriveGPT未尝不是一种可以尝试的方向。

图37：Wayve尝试让人工智能描述自己的行驾驶行为

资料来源：Wayve官网

图38：GPT带来了业界对自动驾驶算法构建的新思考

资料来源：HiEV视频号

世界模型浮上水面，面向通用场景，解决通用问题。在最新的CVPR2023会议上，特斯拉提出了世界模型，即构建一个模型，可观察所有需要观察的事物，并将其转化为向量空间，链接各类丰富的下游任务。该模型不止用于汽车，还可用于机器人等等嵌入式人工智能场景。通过该模型可预测未来、构建仿真场景，通过语言提示，让它生成各类场景如直行、向右变道等。

图39：特斯拉提出世界模型实现多种任务

资料来源：Tesla CVPR2023 Workshop

图40：世界模型不仅可被用于汽车

资料来源：Tesla CVPR2023 Workshop

2.5、数据端：大模型推动数据闭环和仿真落地

神经网络只决定了算法的上限，而是否能让神经网络发挥其效能，数据起到了决定性的作用，因此如何寻找纯净且多样化的海量数据集相比算法而言同等重要。

2.5.1、数据闭环：自动化运行，降本增效推升规模是关键

完整的数据闭环系统，通经常包含数据采集、数据挖掘、数据标注、模型训练等环节。其对自动驾驶功能实现的重要性不言而喻，但当前自动驾驶车型传感器越来越高端，据dSPACE 的数据，若采用 4k800 万像素的摄像头，每秒产生的数据将达到3GB，叠加激光雷达毫米波雷达等传感器，整车每秒将产生的40G数据，每小时产生19Tb数据，对整车厂的数据处理能力提出考验。

数据采集：通常自动驾驶算法会采取一定的触发（Trigger）机制来开启数据上传。如出现人类驾驶和自动驾驶不一致的情况，或不同传感器之间一致性不同的情况，或者不同算法出现冲突，以及某些指定的特殊场景如近距离跟车、加塞、光照急剧变化、阴影车道线等等。特斯拉在2022AIDAY上表示其拥有221种触发器。

数据清洗/挖掘：数据清洗和挖掘实际上是数据处理的过程，通常采集的数据包含大量的无用数据，这里需要算法将训练模型所需要的数据提取出来，以实现有效的数据收集，同时修正部分错误数据。这其中对于数据处理的“内功”要求深厚。

数据标注：挖掘到有价值的数据后，需要采用人工标注或自动标注的方式，叠加部分仿真数据，形成数据集来实现对算法的训练和迭代。这其中涉及2D标注、3D标注、车道线标注、语义分割等，工作量大，同时影响着车企自动驾驶算法的迭代,是数据闭环中的重中之重。

图41：特斯拉数据引擎包含完整的数据闭环流程

资料来源：特斯拉AIDAY2022、开源证券研究所

数据闭环收益显著但成本不可忽视，降本增效是关键。数据标注方面，据特斯拉AIDAY描述公司曾经组建了超过千人的团队，早期通过人工在2D图片上进行精细标注，但效率低下；后改进为在向量空间完成标注，再通过投影投射到8个摄像机里面，效率大幅提升；再之后特斯拉即建立了自动标注系统，通过离线大模型实现自动标注，大幅提升标注效率。此外特斯拉通过多车辆联合优化等方式来提升标注的精确度，起到了良好的效果。行业其他玩家亦开发自动标注工具以降本增效，据小鹏汽车描述，采用自动化标注工具后，公司能够在17天内完成原本需要200 个人年才能完成的标注任务。数据闭环方面，特斯拉、小鹏、理想汽车均提到了各自的自动化数据闭环体系，能够全自动完成数据的采集、挖掘、标注、存储等环节，大大提升模型的训练和迭代效率。

图42：特斯拉标注工作逐步向自动标注演进

资料来源：特斯拉AIDAY2022

2.5.2、仿真：从提升效率到不可或缺

仿真是自动驾驶系统构建不可或缺的环节。将数据采集过程中的实车数据经过聚类、场景提取、泛化与筛选，构筑用于测试的虚拟世界，自动驾驶算法控制车辆，与虚拟世界产生交互，并将交互结果输出，在自动驾驶领域优势明显：

（1）当数据极端难以获取的时候，仿真可以生成大量的场景供模型训练;

（2）天然带有标注信息。当数据难以标注的时候，如几百万人过马路，标注成本极高且效率低下容易产生错误，但仿真场景下不存在上述难点;

（3）仿真可以给规控算法以安全的实验环境;

（4）仿真的价格低廉，效率高。

理论上完美的仿真能够取代实车测试，进而以较低成本达到安全测试效果，缩短自动驾驶算法研发周期，是自动驾驶开发迭代的重要环节。

图43：虚幻引擎支持高精度仿真场景重建

资料来源：Unreal Open Day 2020

图44:Carla平台支持多种交通主体仿真

资料来源：Carla官网

图45：场景库丰富素材能够满足不同测试需求

资料来源：51sim、开源证券研究所

图46：通过泛化能够生成不同路况的仿真场景

资料来源：51sim、开源证券研究所

不同的算法对仿真环境的构建提出不同要求。通常自动驾驶核心算法包括感知算法、决策规划算法、控制算法三大环节，其中感知算法仿真需要高还原度的三维重建场景和精准的传感器模型；决策规划算法仿真需要大量的场景库为支撑；控制算法需要引入精准的车辆动力学模型。虚拟场景构建方面，通常需要模拟出与真实世界一致的静态、动态交通运行场景。静态场景通常包含道路、车道线、减速带、交通标志、路灯、车站、周围建筑等等，通常使用高精度地图和三维重建技术构建（通常需要回执高精度地图并进行三维建模)；动态场景包含动态指示设施、机动车行为、非机动车行为、行人行为、通信环境、气象变化、时间变化等。感知系统仿真方面，包含摄像头仿真（生成逼真的图像并添加色彩和光学属性等通常采用游戏引擎来构建，如百度阿波罗采用Unity3D、腾讯TADSim引入了虚幻引擎）、毫米波雷达仿真、激光雷达仿真。车辆动力学仿真方面，通常基于多体动力学搭建模型，其中包含车体、悬架系统、转向系统、制动系统、动力系统、传动系统等多个真实部件的车辆模型。

图47：自动驾驶仿真架构包含三维场景重建、海量仿真场景库和车辆动力学模型

资料来源：《中国自动驾驶仿真蓝皮书》、51World官网、开源证券研究所

对仿真工具而言，其能够覆盖的场景范围越大，自动驾驶可行驶边界就越广泛。因此评价自动驾驶算法最重要的标准就是测试其是否能够处理足够多的场景库。通常仿真模型会以真实采集的数据、模拟数据、以及根据真实场景合成的仿真数据为数据源，对场景的几何形状、物理运动规律、以及场景中各个元素如车流、行人等

符合逻辑规律，以实现更好的仿真效果。

图48：场景构建数据来源于三大方面，实现三个维度的目标

资料来源：《中国自动驾驶仿真蓝皮书》、51World官网、开源证券研究所

自动驾驶仿真平台市场竞争激烈，促使平台仿真性能提升。自驾仿真平台布局主体众多，可以划分为科技公司、自驾解决方案商、仿真软件企业、车企、高校及科研机构五大类。科技公司拥有大数据优势，软件开发经验丰富；自驾解决方案商多针对自研发需要,较少对外提供仿真服务；不同仿真软件企业经验积累程度不同，传统企业积累深厚，初创企业积累薄弱；车企能够将路测和仿真测试同步结合，但限于自身软件开发能力，多与外部仿真平台提供商合作进行自动驾驶汽车开发；高校及科研机构主要对自驾仿真软件进行前瞻、基础性研究。自驾仿真平台参与者众，市场竞争激烈，具备更快迭代速度、更强仿真能力、更完善服务支持的仿真平台将快速成长。

表2：仿真软件产品众多，产品特点不一

	企业名称	仿真软件	应用特点
	MathWorks	MATLAB SIMULINK	实现系统建模、感知算法、路径规划算法、数学分析
	Mechanical Simulation	CarSim	支持 SIL、MIL、HIL、DIL仿真及动力学仿真，包含10种车型的数据集，安装方便易操作
传统仿真软件企业	IPG	CarMaker、	CarMaker:支持车辆动力学仿真，车辆参数任意设定
	PTV	TruckMaker PTV Vissim	TruckMaker：可应用于卡车及大型客车的动力学仿真专注微观交通流仿真，可对车辆和行人等交通参与者及不同交通方式进行交方式互仿真
	MSC	Adams、	Adams:多体动力学仿真，可分析车辆系统性能
		VTD	VTD：可生成复杂道路网及交通场景，用于ADAS、主动安全和驾驶模拟器
	TESIS	TESIS	支持 Simulink、RSIM、NI等多种仿真平台，可构建复杂的3D道路模型，传感器仿真数量无限制，具备自动测试并生成测试报告功能
仿真软件初创企业	PanoSim	PanoSim	支持场景、车辆、传感器编辑，可进行道路、交通、天气、光照等环境仿真
	51WORLD Tass	51Sim-One	可进行大规模城市级仿真及加速仿真，支持OpenX标准格式动静态场景
	International	PreScan	支持ADAS 仿真，环境仿真以及MIL、SIL、HIL仿真，可用于设计和评估V2X、V2I 等通信应用
	RightHook	RightHook	支持高精地图自动重建虚拟场景，交通参与者模型，以及天气、时间、动力学和传感器
	的模拟
	Cognata	Cognata	利用人工智能、深度学习和计算机视觉模拟创建真实的交通流量环境和交通模型
	Metamoto	Metamoto	支持传感器仿真、自动驾驶场景设计编辑，提供基于云的、可扩展的模拟即服务 (Simulation as aService)，通过测试边缘场景增加系统可靠性
	微软	AirSim 拟	开源仿真平台，使用虚幻引擎，可以创建高逼真的交通环境，实现车辆及传感器仿真模
	英伟达	DRIVE Sim	基于Omniverse平台，使用神经重建引擎，具有完整仿真工具链与强大的拓展性
	腾讯	TAD Sim	游戏技术和真实数据双擎驱动，内置高精度地图，支持云端运行与完整的MIL、SIL、 HIL等仿真
	百度		Apollo-AADS 基于 Unity引擎的虚拟仿真环境，为端到端的自动驾驶提供仿真工作自动驾驶云服务，具有丰富的仿真场景，高并发实例处理能力，每日虚拟测试里程可超
	华为	Octopus	过500万公里
	阿里巴巴	测试平台难度	混合式仿真使用真实路测数据自动生成仿真场景，还可通过人为随机干预，实时模拟加大避障训练

资料来源：《2022中国自动驾驶仿真蓝皮书》、英伟达官网、开源证券研究所

DRIVESim:Nvidia自动驾驶研发生态体系重要一环。DRIVESim是由英伟达开发的端到端仿真平台，能够进行大规模多传感器仿真。DRIVE Sim功能强大，能够提供核心模拟和渲染引擎，生成逼真的数据流，创建各种测试环境，模拟暴雨和暴雪等各种天气条件，以及不同的路面和地形，还可以模拟白天不同时间的眩目强光以及晚上有限的视野，达到"照片级逼真且物理精确"的传感器仿真。

图49:DRIVE Sim场景编辑能力强大

资料来源：英伟达官网

图50:DRIVESim能够满足多传感仿真的需求

资料来源：英伟达官网

DRIVESim具有完善的工具链支持,融入英伟达自动驾驶开发生态。DRIVE Sim可以在Omniverse云平台上运行，也可以在OVX服务器组成的本地数据中心甚至单颗RTX3090上运行。DRIVESim具有开放式、模组化分特点，拥有良好的可拓展性：（1)支持神经重建引擎(NER),该 AI工具可以将真实世界的数据直接带入仿真中，开发者可在仿真环境中修改场景、添加合成对象，并应用随机化技术，大大增加真实感并加快生产速度。（2）使用NVIDIAOmniverseKit SDK，DRIVE Sim允许开发人员构建自定义模型、3D内容和验证工具，或与其他模拟进行交互。（3)支持DRIVEReplicator生成与合成传感器数据对应的真值数据，用于训练自动驾驶汽车DNN。DRIVESim已融入英伟达完整的软硬协同生态，支持从概念到部署的自动驾驶汽车开发及验证。

图51：使用三代OVX搭建高性能数据中心

资料来源：英伟达官网

图52:DRIVESim能够快速生成复杂的数据集

资料来源：英伟达官网

51Sim-One:本土仿真系统助力中国自动驾驶量产落地。Sim-One是51World全栈自研的云原生仿真平台。（1）场景方面，Sim-One具有丰富的场景生成方式，特别是能基于语义泛化工具链能够实现场景的快速定义；与第三方场景库达成合作，扩充场景数量，提高仿真测试质量。（2）平台方面，Sim-One具有丰富的功能，包括静态和动态数据导入、测试场景案例编辑、各类仿真、测试与回放、虚拟数据集生成以及各类在环测试；Sim-One 基于原生云架构仿真平台，支持大规模并发仿真技术，日测试里程可达十万公里。（3）评价方面，Sim-One具备丰富的指标库可供用户自行选择进行评价，涵盖安全性、违规性、舒适性、高效性、经济能耗性、控制准确性等多个维度，并且支持多场景并发评价。

图53:51Sim-One 实现数据驱动闭环云仿真

资料来源：51Sim官网

图54:云端并发仿真技术大大缩短测试时间

资料来源：51Sim官网

图55：DIL仿真测试水平业界领先

资料来源：51Sim官网

图56:51Sim-One操作界面贴近国内使用习惯

资料来源：51Sim官网

AI应用于仿真系统，能够有效辅助自动驾驶系统升级。（1)在场景库构建方面，从传感器数据中利用AI进行自动化、大规模三维重建，构建现实世界对象和背景的几何形状、外观和材料属性；使用大量路采数据训练 AgentAI，使之模仿道路场景中的主体，赋予虚拟场景强交互性；利用已有场景库与生成式AI，自动生成无需标注的各种交通场景数据。（2）在车辆仿真测试过程中，使用AI识别自动驾驶系统的弱点，并自动创建对抗性场景，同时自驾系统使用AI算法自动从错误中学习，自动迭代更新，无需密集手动调整算法，适应更快节奏、更大规模的训练。AI能使仿真系统更有针对性，使自动驾驶算法调整自动化，加速自驾技术在现实世界落地。

3、自动驾驶算法变革引领产业链变化

3.1、兵马未动粮草先行，云端算力军备竞赛开启

对自动驾驶而言，大量的数据处理、训练、自动标注、仿真等工作需要完成，算力成为车企打造自动驾驶能力的核心，决定着车企的算法迭代效率和上限。特斯拉表示其总算力在2024年将冲刺100EFlops，而国内领先玩家亦不遑多让，纷纷构建自有的数据中心，自动驾驶的算力军备竞赛从车端蔓延到云端。

3.1.1、特斯拉自研算力平台D0jo，2024年冲刺100EFlops算力

特斯拉在应对海量训练和仿真需求时构建了庞大的算力体系。据特斯拉在2021年 AIDAY介绍，特斯拉为了移除自动驾驶系统对毫米波雷达的依赖，从250万个视频剪辑中生成了超过100亿个标签，需要庞大的离线神经网络和引擎。而硬件方面，特斯拉在2021年AIDAY 期间就拥有接近1万块GPU，2022年AIDAY上这一数字提升到1.4万片，其中约50%的负载用来实现云端自动标注和车载占用网络的训练。

图57：自动标注和占用网络训练合计占据模型50%

资料来源：特斯拉AIDAY 2022

自研D1芯片和Dojo超级计算机布局算力。为了进一步提升算力水平，2021年起特斯拉开始自研D1人工智能芯片和Dojo超级计算机。将25颗自研的D1芯片封装成Dojo训练模块,再将120个训练模块结合Dojo接口处理器等组件融合形成Dojo主机，目前10机柜的Dojo ExaPOD超级计算机将拥有1.1EFlops算力，并且拥有强扩展能力，借助特斯拉强大的软件能力，将有效提升其在算法领域的迭代速率。

图58:Dojo计算瓦为AI训练而生

资料来源：特斯拉AIDAY 2022

图59：ExaPOD超级计算机拥有1.1EFLOP算力

资料来源：特斯拉AIDAY 2021

而据特斯拉AI官方账号显示，特斯拉将在2024年1月将拥有等效10万片英伟达 A100GPU的算力，在2024年的10月拥有100EFlops算力，等效30万片英伟达A100GPU算力。

图60：特斯拉算力需求将迎来快速增长

资料来源：IDC圈公众号

3.1.2、国内自动驾驶领先玩家亦积极布局，算力成为自驾竞争“入场券”

国内玩家亦快速布局算力领域，为自身算法和数据的迭代和积累铺平道路。2022年8月，小鹏汽车与阿里云共同宣布在内蒙古乌兰察布建成自动驾驶智算中心“扶摇”，用于自动驾驶。“扶摇”的算力可达到600PFLOPS，据何小鹏在小鹏科技日上描述，智算中心将小鹏汽车的自动驾驶模型训练效率提升百倍以上。毫末智行则联合火山引擎推出雪湖·绿洲智算中心，拥有670PFLOPS 算力。此外 2023年1月吉利汽车也联合阿里云推出吉利星睿智算中心，理想汽车在2023年同样与火山引擎合作在山西布局智算中心，蔚来等诸多车厂亦积极推动自有或云端算力的构建。

表3：本土厂商积极布局算力构建

公司名称	地点	算力（PFLOPS）	内容
小鹏汽车	乌兰察布	600	与阿里云在内蒙古乌兰察布建成自动驾驶智算中心“扶摇”，用于自动驾驶，大幅提升自动驾驶训练效率
理想汽车	山西	1200	2023 年与火山引擎合作建立自由的智算中心。

公司名称	地点算力（PFLOPS）	内容
毫末智行	670	2023 年与火山引擎联合推出雪湖·绿洲智算中心，支撑毫末智行模型训练、仿真、自动化标注等需求，基于对算力的优化，大幅提升产品迭代速率
吉利汽车	湖州 81	2023 年与阿里云合作建立星睿智算中心，承载智能网联、智能驾驶、新能源安全等算力需求，预计到2025年算力扩充至1200PFLOPS

资料来源：CDCC公众号、IDC圈公众号、开源证券研究所

3.2、自动驾驶芯片格局有望被重塑

3.2.1、Transformer大模型对芯片架构提出新的要求

Transformer大模型对芯片架构提出新的要求。芯片架构决定着算法运行效率，近年随着Transformer算法风靡AI界，特斯拉引领下，Transformer在自动自动驾驶行业行业被广泛使用，芯片对Transformer适配性将影响未来芯片的竞争格局。与传统卷积神经网络（CNN）架构相比，Transformer算法拥有显著的不同：

（1）算法对算力要求较高。Transformer通常计算量较大，且在大参数和大数据量的基础上才能展现出更优异的模型性能，这对芯片的算力提出新的要求。

（2）对芯片的运算精度存在一定要求。考虑到算力的限制，目前的推理侧芯片通常采用int8（整型）精度算力（int8为运算数精度单位，Int8指8位整型数，即用8bit来表示一个整数数字；相应的FP16为半精度浮点数，即用16bit表示一个小数，精度更高），而对 Transformer 来说，由于其内部算子较为复杂，更适合于在采用浮点运算的平台运行。

（3）算子复杂度高，和卷积神经网络显著不同。相比传统卷积神经网络算法中更多以较为规则的卷积矩阵乘法运算而言，Transformer中算子复杂度高，有较多访存密集型算子，对访存带宽和存储容量要求较高。而传统AI芯片多基于卷积神经网络等算法优化，难以实现和Transformer 的良好适配。

图61：传统卷积神经网络所需要的计算和Transformer差别较大

卷积神经网络大部分运算为矩阵的加法乘法
Transformer运算复杂、访存频率高、不规则数据搬运多
资料来源：机器之心公众号、《Attention IsAllYou Need》（AshishVaswani等）、开源证券研究所

3.2.2、芯片玩家开始着力加大产品对Transformer的适配度

鉴于上述特点,不少芯片厂商推出了可针对Transformer加速的芯片产品。未来，能够良好适配Transformer算法并帮助其在车载平台落地的公司有望占得先机。

表4:领先汽车芯片玩家开始着手加强对Transformer算法的适配

公司名称	地点	内容
Thor	英伟达	拥有新一代的 Transformer 引擎，支持FP8（8位浮点）和Int8（整型）两种数据格式。是英伟达基于拥有 Transformer 加速器的 Hopper 架构 GPU 打造的车载产品。
征程5	地平线	支持 Swin-Transformer 算法，同时拥有配套工具链。同时地平线推出下一代纳什计算架构，针对大参数量 Transformer 和大规模交互式博弈优化。
C1200	黑芝麻	BEV 模型可部署于C1200芯片上，同时也可部署在 A1000芯片上

资料来源：英伟达官方公众号、地平线官方公众号、黑芝麻智能官方公众号、开源证券研究所

3.3、自动驾驶产业加速成熟，配套公司全面受益

3.3.1、BEV+Transformer大模型的自动驾驶算法构建形式被市场广为接受

特斯拉发布 BEV+Transformer 的算法以来，行业广泛认可，我们看到诸多玩家积极跟进，推出自己的大模型算法。理想汽车在最新的理想家庭科技日上宣布自动驾驶已经进入大模型时代,而通勤NOA和城市NOA将成为未来消费者的刚需配置。

表5:BEV+Transformer算法被业界广泛采用

品牌名称	类型	进展
小鹏	OEM	2021年下半年起，小鹏开始搭建基于 Transformer 大模型的 BEV视觉感知系统 Xnet；可以不依赖高精度地图，覆盖范围进一步扩大。
理想	OEM	理想采用具有 Transformer 大模型+BEV 算法架构，以及占用网络，搭配用来识别红绿灯的 TIN网络与识别城市复杂路口的 NPN特征网络，能够实现无高精地图的城市 NOA。
上汽智己	OEM	2021年布局 Transformer 模型和时序 BEV（俯视图)，2023 年发布 Transformer 架构的 D.L.P.人工智能模型。
长城魏牌	OEM	采用毫末智行自研BEVTransfomer重感知轻地图算法，用于解决城市路况的各种挑战。
赛力斯问界	OEM	搭载华为 ADS 2.0 方案，已搭载基于 Transformer 的 BEV 架构与GOD 网络。
比亚迪	OEM	感知模型的开发已经实现100%数据驱动，并研发了拥有多相机的 BEV 模型，计划年内做到量产；决策规划大模型将采用 Transformer 架构。
蔚来	OEM	2021年开始搭建BEV+Transformer 的技术架构；BEV+Transformer 模型将于 2023 年6月下旬向用户推送。 HUAWEIADS 1.0 已实现基于 Transformer 的 BEV 架构；HUAWEIADS 2.0 在融合 BEV 感知能力基础上,
华为	Tier1	使用GOD 网络，实现更为精确的多模态感知与车身控制。
毫末智行	Tier1	在 MANA感知架构中，毫末智行采用了BEV融合感知（视觉Camera+Lidar）技术，利用自研的 Transformer 算法，实现对纯视觉信息的 BEV转化以及即跨模态 raW data 的融合。
纽励科技	Tier1	行泊一体方案MaxDrive使用 BEV+Transformer技术架构，在感知层面可同时融合空间、时间信息，多传感器、多任务之间高效协同。
智驾科技	Tier1	MAXIPILOT?2.0-Pro 与 MAXIPILOT?3.0-Max 均使用 BEV+Transformer 算法。
商汤科技	Tier1	布局 BEV+transformer 大模型的算法, 2022年，Apollo 团队推出了第二代纯视觉感知系统Lite++，Transformer 把前视特征转到 BEV 直接输出三维
百度Apollo	Tier1	感知结果；2023年1月，推出车路一体的端到端感知解决方案UniBEV，更易实现多模态、多视角、多时间上的时空特征融合。
地平线	Tier1	基于 BEV+Transformer 的算法，已经在征程5上闭环验证，纯视觉 BEV 动静态环境感知等即将量产。
智行者科技	Tier1	基于 Transformer 的多传感器特征和多视角特征融合机制，得到当前时刻的 BEV 特征。
Momenta	Tier1	Momenta 很早就已经量产 BEV+Transformer，目前在研发下一代的技术方案 DD4D（Data-Driven 4D Model）
觉非科技	Tier1	发布面向城市 NOA、记忆通勤/泊车的“基于BEV的数据闭环融合智能驾驶解决方案”,其中BEV+Transformer 的算法训练数据由地图数据库通过自研数据中心迭代生成
大疆车载	Tier1	惯导立体双目+BEV全向感知，可实现匝道、复杂城市路口、磨损车道线等场景的实时道路拓扑重建
轻舟智行	Tier1	时序多模态特征融合的大模型OmniNet能够在线建图，以一个神经网络即可实现视觉、激光雷达、毫米波雷达在 BEV空间和图像空间上输出多任务结果，达到高精地图的精度。
小马智行	Tier1	自研BEV感知算法，仅用导航地图实现高速与城市NOA功能。

资料来源：小鹏官方公众号、上汽智己官方公众号等、开源证券研究所

模型算法的落地代表着功能逐步走向成熟。2023年以来，我们将陆续看到各大车企纷纷落地自己的城市辅助驾驶相关车型，行业呈现百花齐放的状态。这无疑将助力整个自动驾驶产业链走向繁荣。

表6：城市辅助驾驶迎来井喷

品牌	城市辅助驾驶功能	城市辅助驾驶进度
小鹏	XNGP	2023Q1上海、深圳、北京、广州推送有图版本，2023年下半年实现去高精度地图
理想	AD MAX3.0	2023Q2 推送内测，年底推送 100城
上汽智己	IM AD	2023年去高精度地图的DDLD公测
长安阿维塔	NCA	223Q3 阿维塔11全系迭代华为ADS2.0
北汽极狐		即将升级华为 ADS2.0版本
问界	NCA	2023Q3实现15个无图城市落地，Q4实现45个无图城市落地
毫末智行	HPilot3.0	2024年落地100个城市，实现点点互达
小马智行	PonyPro/PonyUltra	2023 城区NOA整体方案正式上市
华为	ADS2.0	2023Q3实现15个无图城市落地，Q4实现45个无图城市落地
百度	Apollo City Driving Max	2023年相关车型实现交付
元戎启行	DeepRoute-Driver 3.0	2023 年下半年预计推向市场

资料来源：理想汽车官方公众号、毫末智行官方公众号等、开源证券研究所

3.4、受益标的

产业链公司均有望充分受益。本土领先零部件如德赛西威、经纬恒润、华阳集团、北京君正、晶晨股份、美格智能、均胜电子、华测导航、瀚川智能、炬光科技、源杰科技、长光华芯等均值得关注。

表7：受益公司盈利预测与估值

股票代码公司简称	最新收盘价（元）		总市值（亿元）	EPS				P/E		评级
				2023E	2024E	2025E	2023E	2024E	2025E	买入
002920.SZ	德赛西威	149.99	832.74	2.86	3.99	5.46	52.4	37.6	27.5	买入
688326.SH	经纬恒润	152.34	182.81	3.08	4.30	5.96	49.5	35.4	25.6	买入
002906.SZ	华阳集团	33.62	160.14	1.08	1.46	1.97	31.1	23.0	17.1	买入
300223.SZ	北京君正	86.76	417.81	1.49	2.33	3.40	58.2	37.2	25.5	买入
688099.SH	晶晨股份	86.70	360.83	0.12	2.63	3.37	737.0	33.0	25.7	买入
002881.SZ	美格智能	34.83	90.96	0.82	1.17	1.62	42.5	29.8	21.5	买入
600699.SH	均胜电子	17.21	235.45	0.60	0.87	1.23	28.7	19.8	14.0	买入

数据来源：Wind、开源证券研究所（注：收盘日期2023年6月27日，盈利预测均来自开源证券研究所）

4、风险提示

技术发展进度不及预期、市场需求不及预期。

特别声明

《证券期货投资者适当性管理办法》、《证券经营机构投资者适当性管理实施指引（试行)》已于2017年7月1日起正式实施。根据上述规定，开源证券评定此研报的风险等级为R4（中高风险），因此通过公共平台推送的研报其适用的投资者类别仅限定为专业投资者及风险承受能力为C4、C5的普通投资者。若您并非专业投资者及风险承受能力为C4、C5的普通投资者，请取消阅读，请勿收藏、接收或使用本研报中的任何信息。

因此受限于访问权限的设置，若给您造成不便，烦请见谅！感谢您给予的理解与配合。

分析师承诺

负责准备本报告以及撰写本报告的所有研究分析师或工作人员在此保证，本研究报告中关于任何发行商或证券所发表的观点均如实反映分析人员的个人观点。负责准备本报告的分析师获取报酬的评判因素包括研究的质量和准确性、客户的反馈、竞争性因素以及开源证券股份有限公司的整体收益。所有研究分析师或工作人员保证他们报酬的任何一部分不曾与，不与，也将不会与本报告中具体的推荐意见或观点有直接或间接的联系。

股票投资评级说明

	评级	说明
证券评级	买入（Buy）	预计相对强于市场表现20%以上;
	增持（outperform）	预计相对强于市场表现5%～20%;
	中性（Neutral）	预计相对市场表现在-5%～+5%之间波动;
	减持（underperform）	预计相对弱于市场表现5%以下。
行业评级	看好（overweight）	预计行业超越整体市场表现;
	中性（Neutral）	预计行业与整体市场表现基本持平;
	看淡（underperform）	预计行业弱于整体市场表现。
备注：评级标准为以报告日后的6~12个月内，证券相对于市场基准指数的涨跌幅表现，其中A股基准指数为沪深300 指数、港股基准指数为恒生指数、新三板基准指数为三板成指（针对协议转让标的）或三板做市指数（针对做市转让标的）、美股基准指数为标普500或纳斯达克综合指数。我们在此提醒您，不同证券研究机构采用不同的评级术语及评级标准。我们采用的是相对评级体系，表示投资的相对比重建议；投资者买入或者卖出证券的决定取决于个人的实际情况，比如当前的持仓结构以及其他需要考虑的因素。投资者应阅读整篇报告，以获取比较完整的观点与信息，不应仅仅依靠投资评级来推断结论。

分析、估值方法的局限性说明

本报告所包含的分析基于各种假设，不同假设可能导致分析结果出现重大不同。本报告采用的各种估值方法及模型均有其局限性，估值结果不保证所涉及证券能够在该价格交易。

法律声明

开源证券股份有限公司是经中国证监会批准设立的证券经营机构，已具备证券投资咨询业务资格。

本报告仅供开源证券股份有限公司（以下简称“本公司”）的机构或个人客户（以下简称“客户”）使用。本公司不会因接收人收到本报告而视其为客户。本报告是发送给开源证券客户的，属于商业秘密材料，只有开源证券客户才能参考或使用，如接收人并非开源证券客户，请及时退回并删除。

本报告是基于本公司认为可靠的已公开信息，但本公司不保证该等信息的准确性或完整性。本报告所载的资料、工具、意见及推测只提供给客户作参考之用，并非作为或被视为出售或购买证券或其他金融工具的邀请或向人做出邀请。本报告所载的资料、意见及推测仅反映本公司于发布本报告当日的判断，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。在不同时期，本公司可发出与本报告所载资料、意见及推测不一致的报告。客户应当考虑到本公司可能存在可能影响本报告客观性的利益冲突，不应视本报告为做出投资决策的唯一因素。本报告中所指的投资及服务可能不适合个别客户，不构成客户私人咨询建议。本公司未确保本报告充分考虑到个别客户特殊的投资目标、财务状况或需要。本公司建议客户应考虑本报告的任何意见或建议是否符合其特定状况，以及（若有必要）咨询独立投资顾问。在任何情况下，本报告中的信息或所表述的意见并不构成对任何人的投资建议。在任何情况下，本公司不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任。若本报告的接收人非本公司的客户，应在基于本报告做出任何投资决定或就本报告要求任何解释前咨询独立投资顾问。

本报告可能附带其它网站的地址或超级链接，对于可能涉及的开源证券网站以外的地址或超级链接，开源证券不对其内容负责。本报告提供这些地址或超级链接的目的纯粹是为了客户使用方便，链接网站的内容不构成本报告的任何部分，客户需自行承担浏览这些网站的费用或风险。

开源证券在法律允许的情况下可参与、投资或持有本报告涉及的证券或进行证券交易，或向本报告涉及的公司提供或争取提供包括投资银行业务在内的服务或业务支持。开源证券可能与本报告涉及的公司之间存在业务关系，并无需事先或在获得业务关系后通知客户。

本报告的版权归本公司所有。本公司对本报告保留一切权利。除非另有书面显示，否则本报告中的所有材料的版权均属本公司。未经本公司事先书面授权，本报告的任何部分均不得以任何方式制作任何形式的拷贝、复印件或复制品，或再次分发给任何其他人，或以任何侵犯本公司版权的其他方式使用。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。

开源证券研究所

地址：上海市浦东新区世纪大道1788号陆家嘴金控广场1号
楼10层
邮编：200120
邮箱：research@kysec.cn
北京
地址：北京市西城区西直门外大街18号金贸大厦C2座9层
邮编：100044
邮箱：research@kysec.cn

深圳

地址：深圳市福田区金田路2030号卓越世纪中心1号
楼45层
邮编：518000
邮箱：research@kysec.cn
西安
地址：西安市高新区锦业路1号都市之门B座5层
邮编：710065
邮箱：research@kysec.cn

START YOUR FINANCE

起点财经，网罗天下报告

中小盘策略专题：智能汽车系列深度（十），自动驾驶算法篇_大模型助力，自动驾驶有望迎来奇点-20230629-开源证券-36页