【亿欧智库】汽车行业：2023中国智驾大模型应用研究报告

更懂中国智能电动汽车的第三方研究机构

•随着特斯拉在2021年AIDay上发布了BEV+Transformer的架构后，国内的智驾相关企业也逐步开始研发基于BEV架构下的Transformer模型，超大参数的智驾大模型开始在自动驾驶行业内盛行起来。至2023年，智驾相关大模型开始大量出现，如华为盘古大模型、百度文心大模型、毫末DriveGPT等。•基于上述背景，为了更深入地了解智驾大模型的定义、技术应用现状、产业竞争格局以及遇到的挑战等，亿欧智库撰写了《2023中国智驾大模型应用研究报告》，并针对中国智驾大模型应用进行深入地研究和分析。•目前，智驾大模型没有一个公允定义，并且产学研不同领域的专家对智驾大模型的定义也不一样，但结合各专家的观点来看，智驾大模型具备多模态输入、自监督学习、端到端学习范式以及大规模参数的特征。但是，相比于通用类大模型，智驾大模型的主要差异在于：部署难度高、数据维度广以及模型设计复杂。•亿欧智库认为，智驾大模型指的是在云边端一体化的架构下，利用云端算力优势训练大规模多模态数据，然后再结合边端的计算能力，通过多任务的学习和分布式训练为车辆提供更有效的感知融合效果与实时建图方案，最终让车端实现与人类司机行为和思维一致的感知、预测、规划等能力。•智驾大模型最重要的应用是数据闭环，相比于传统数据闭环而言，当前的数据闭环对自动驾驶系统赋能最多的主要是数据挖掘、自动标注、模型训练、仿真测试四个应用方向。从感知侧的数据采集开始，会先根据筛选器的设置来进行数据挖掘，随后通过自动化标注来对数据打标签，再对原模型反复训练并经过仿真测试后，最后对车端小模型进行优化，在经过反复地不断迭代循环后，使得整个数据闭环能力能够不断提升。•对于已布局或正将布局的企业，智驾大模型玩家主要可分为四类，其中新势力主机厂以自研为主，而传统主机厂持有保守观望的态度；科技企业凭借强大的AI技术背景和资本实力，构建了以云服务为基础的垂直服务体系；Tier1以自研基于BEV感知的垂域大模型为主；芯片企业主要是优化芯片的开发生态，以便客户能在自家芯片上更容易地部署BEV+Transformer等大规模参数的模型。•目前，智驾大模型没有一个公允定义，并且产学研不同领域的专家对智驾大模型的定义也不一样，但结合各专家的观点来看，智驾大模型具备多模态输入、自监督学习、端到端学习范式以及大规模参数的特征。但是，相比于通用类大模型，智驾大模型的主要差异在于：部署难度高、数据维度广以及模型设计复杂。•亿欧智库认为，智驾大模型指的是在云边端一体化的架构下，利用云端算力优势训练大规模多模态数据，然后再结合边端的计算能力，通过多任务的学习和分布式训练为车辆提供更有效的感知融合效果与实时建图方案，最终让车端实现与人类司机行为和思维一致的感知、预测、规划等能力。•智驾大模型最重要的应用是数据闭环，相比于传统数据闭环而言，当前的数据闭环对自动驾驶系统赋能最多的主要是数据挖掘、自动标注、模型训练、仿真测试四个应用方向。从感知侧的数据采集开始，会先根据筛选器的设置来进行数据挖掘，随后通过自动化标注来对数据打标签，再对原模型反复训练并经过仿真测试后，最后对车端小模型进行优化，在经过反复地不断迭代循环后，使得整个数据闭环能力能够不断提升。•对于已布局或正将布局的企业，智驾大模型玩家主要可分为四类，其中新势力主机厂以自研为主，而传统主机厂持有保守观望的态度；科技企业凭借强大的AI技术背景和资本实力，构建了以云服务为基础的垂直服务体系；Tier1以自研基于BEV感知的垂域大模型为主；芯片企业主要是优化芯片的开发生态，以便客户能在自家芯片上更容易地部署BEV+Transformer等大规模参数的模型。•目前，智驾大模型没有一个公允定义，并且产学研不同领域的专家对智驾大模型的定义也不一样，但结合各专家的观点来看，智驾大模型具备多模态输入、自监督学习、端到端学习范式以及大规模参数的特征。但是，相比于通用类大模型，智驾大模型的主要差异在于：部署难度高、数据维度广以及模型设计复杂。•亿欧智库认为，智驾大模型指的是在云边端一体化的架构下，利用云端算力优势训练大规模多模态数据，然后再结合边端的计算能力，通过多任务的学习和分布式训练为车辆提供更有效的感知融合效果与实时建图方案，最终让车端实现与人类司机行为和思维一致的感知、预测、规划等能力。•智驾大模型最重要的应用是数据闭环，相比于传统数据闭环而言，当前的数据闭环对自动驾驶系统赋能最多的主要是数据挖掘、自动标注、模型训练、仿真测试四个应用方向。从感知侧的数据采集开始，会先根据筛选器的设置来进行数据挖掘，随后通过自动化标注来对数据打标签，再对原模型反复训练并经过仿真测试后，最后对车端小模型进行优化，在经过反复地不断迭代循环后，使得整个数据闭环能力能够不断提升。•对于已布局或正将布局的企业，智驾大模型玩家主要可分为四类，其中新势力主机厂以自研为主，而传统主机厂持有保守观望的态度；科技企业凭借强大的AI技术背景和资本实力，构建了以云服务为基础的垂直服务体系；Tier1以自研基于BEV感知的垂域大模型为主；芯片企业主要是优化芯片的开发生态，以便客户能在自家芯片上更容易地部署BEV+Transformer等大规模参数的模型。•目前，智驾大模型没有一个公允定义，并且产学研不同领域的专家对智驾大模型的定义也不一样，但结合各专家的观点来看，智驾大模型具备多模态输入、自监督学习、端到端学习范式以及大规模参数的特征。但是，相比于通用类大模型，智驾大模型的主要差异在于：部署难度高、数据维度广以及模型设计复杂。•亿欧智库认为，智驾大模型指的是在云边端一体化的架构下，利用云端算力优势训练大规模多模态数据，然后再结合边端的计算能力，通过多任务的学习和分布式训练为车辆提供更有效的感知融合效果与实时建图方案，最终让车端实现与人类司机行为和思维一致的感知、预测、规划等能力。•智驾大模型最重要的应用是数据闭环，相比于传统数据闭环而言，当前的数据闭环对自动驾驶系统赋能最多的主要是数据挖掘、自动标注、模型训练、仿真测试四个应用方向。从感知侧的数据采集开始，会先根据筛选器的设置来进行数据挖掘，随后通过自动化标注来对数据打标签，再对原模型反复训练并经过仿真测试后，最后对车端小模型进行优化，在经过反复地不断迭代循环后，使得整个数据闭环能力能够不断提升。•对于已布局或正将布局的企业，智驾大模型玩家主要可分为四类，其中新势力主机厂以自研为主，而传统主机厂持有保守观望的态度；科技企业凭借强大的AI技术背景和资本实力，构建了以云服务为基础的垂直服务体系；Tier1以自研基于BEV感知的垂域大模型为主；芯片企业主要是优化芯片的开发生态，以便客户能在自家芯片上更容易地部署BEV+Transformer等大规模参数的模型。

4.1智驾大模型面临的挑战4.2智驾大模型未来发展建议

◆1950年，基于深度学习的AI技术概念被提出，AI正式进入大众视野。1998年，以卷积神经网络为架构的LeNet-5深度学习模型诞生，奠定了大模型发展的基础。2006年-2019年，以Transformer为代表的卷积神经网络模型开始出现，模型的性能开始加速上升。2020年之后，卷积神经网络模型的参数量或模型层数急剧上升，多个通用类模型出现，其中，以GPT-4为主的多模态预训练大模型引起了广泛的关注。◆2021年，特斯拉提出了BEV+Transformer的大模型，该模型也成为了之后国内玩家布局大模型的基础。至2023年，智驾相关大模型开始大量出现，如华为盘古大模型、百度文心大模型、毫末DriveGPT等。

◆从多传感器的融合趋势来看，目标级融合（后融合）是当前行业内主流的融合方案，虽然算法开发难度较低，但融合精度较低、关键信息易缺失，不适合未来融合趋势的发展。数据级融合（前融合）是行业发展的目标，但技术壁垒高，短期内方案落地较难。所以，在不丢失关键信息的基础上，特征级融合（中融合）成为了一种合适的中间过渡形态，也更适合在当前流行的Bev+Transformer模型架构下，实现大规模多模态数据的融合。◆基于规则算法的目标级融合方案，只能识别出目标物的部分特征，甚至会出现无法识别目标物的情况，导致在最终融合结果上出现误报、漏报等情况。相反，基于BEV+Transformer的特征级融合方案，可以通过注意力机制提取目标物特征，并在鸟瞰图下“脑补”出完整的目标物信息，有利于提高整体感知融合精度。◆从多传感器的融合趋势来看，目标级融合（后融合）是当前行业内主流的融合方案，虽然算法开发难度较低，但融合精度较低、关键信息易缺失，不适合未来融合趋势的发展。数据级融合（前融合）是行业发展的目标，但技术壁垒高，短期内方案落地较难。所以，在不丢失关键信息的基础上，特征级融合（中融合）成为了一种合适的中间过渡形态，也更适合在当前流行的Bev+Transformer模型架构下，实现大规模多模态数据的融合。◆基于规则算法的目标级融合方案，只能识别出目标物的部分特征，甚至会出现无法识别目标物的情况，导致在最终融合结果上出现误报、漏报等情况。相反，基于BEV+Transformer的特征级融合方案，可以通过注意力机制提取目标物特征，并在鸟瞰图下“脑补”出完整的目标物信息，有利于提高整体感知融合精度。

◆自动驾驶产业在数据处理层面，面临着低效率和高成本的双重问题，比如cornercase的挖掘效率低、自动化数据处理程度低、数据标注和存储成本高等，这些因素阻碍了自动驾驶技术迈向高阶自动驾驶。然而，数据是驱动自动驾驶算法迭代的必要属性，能够利用好数据的公司，才可能进入自动驾驶赛道下半场的角逐。◆高效使用数据的最佳途径是打造一套数据闭环系统，而数据闭环也是智驾大模型发展的必要条件之一，通过数据采集、数据回流、数据分析、数据标注、模型训练、测试验证的一系列闭环流程，为主机厂进行降本增效。◆自动驾驶产业在数据处理层面，面临着低效率和高成本的双重问题，比如cornercase的挖掘效率低、自动化数据处理程度低、数据标注和存储成本高等，这些因素阻碍了自动驾驶技术迈向高阶自动驾驶。然而，数据是驱动自动驾驶算法迭代的必要属性，能够利用好数据的公司，才可能进入自动驾驶赛道下半场的角逐。◆高效使用数据的最佳途径是打造一套数据闭环系统，而数据闭环也是智驾大模型发展的必要条件之一，通过数据采集、数据回流、数据分析、数据标注、模型训练、测试验证的一系列闭环流程，为主机厂进行降本增效。

◆自动驾驶系统存在着一个“恐怖谷”理论，即当自动驾驶能力从L2迈入L3后，将行成一个下陷的形态，此时人类对于自动驾驶技术的接受程度会降低，导致安全感急剧下降。其原因在于L3功能下，感知和定位的工作将会转移至车端，而驾驶员成为了辅助，促使系统需要具备较强的处理复杂场景的能力。◆在面临感知和定位的双重挑战下，基于规则的感知算法和基于高精地图的定位方案在技术或商业化层面，已经无法突破至更高阶的智驾功能。为了提高自车对周围环境的理解以及对复杂场景的处理能力，智驾大模型将凭借端到端的自主学习能力和环境适应能力，成为实现高阶智驾功能的关键。◆自动驾驶系统存在着一个“恐怖谷”理论，即当自动驾驶能力从L2迈入L3后，将行成一个下陷的形态，此时人类对于自动驾驶技术的接受程度会降低，导致安全感急剧下降。其原因在于L3功能下，感知和定位的工作将会转移至车端，而驾驶员成为了辅助，促使系统需要具备较强的处理复杂场景的能力。◆在面临感知和定位的双重挑战下，基于规则的感知算法和基于高精地图的定位方案在技术或商业化层面，已经无法突破至更高阶的智驾功能。为了提高自车对周围环境的理解以及对复杂场景的处理能力，智驾大模型将凭借端到端的自主学习能力和环境适应能力，成为实现高阶智驾功能的关键。

◆目前智驾大模型没有一个公允定义，并且产学研不同专家对智驾大模型的定义也不一样，但结合产学研专家的观点来看，智驾大模型具备多模态输入、自监督学习、端到端学习范式以及大规模参数的特征。但是，相比于通用类大模型，智驾大模型的主要差异在于：部署难度高、数据维度广以及模型设计复杂。◆智驾大模型由于受到了车端算力的限制，参数较大的模型无法直接部署在车端，只能部署在云端。所以，智驾大模型无法像ChatGPT一样，通过通用类大模型解决所有自动驾驶的工程化问题，而是需要一个更系统的部署方式。

◆在智驾领域内，大模型被应用于云端、边端和车端。在云端，大模型凭借云端存储和超算优势来增加模型参数量，从而完成数据标注、数据挖掘、仿真建模等工作。在边端，通过垂域的BEV+Transformer模型来完成多模态数据融合和实时建图工作。在车端，主要是先利用云端已预处理并标注的真值数据和仿真生成的数据来训练和优化边缘端垂域模型，然后投喂给车端的小模型。◆亿欧智库认为，智驾大模型指的是在云边端一体化的架构下，利用云端算力优势训练大规模多模态数据，然后再结合边端的计算能力，通过多任务的学习和分布式训练为车辆提供更有效的感知融合效果与实时建图方案，最终让车端实现与人类司机行为和思维一致的感知、预测、规划等能力。

◆在云端，智驾大模型将通过通用类大模型来处理文本、语音、图像、视频等数据，训练边端的垂域智驾大模型；在基础功能层，数据管理、数据标注、模型训练、仿真测试组成了云端的主要基础功能；在平台架构层，由云服务器支持四个主要的平台工具链。◆在边端，通过BEV+Transformer的垂域感知大模型，将2D图像转为3D鸟瞰视角后，实现实时局部建图和3D识别检测；在基础功能层，分别通过3DBEV架构下的特征提取后，来实现建图和识别检测功能；在平台架构层，BEV技术可以提供全局视角的环境感知，有助于提高自动驾驶系统在复杂场景下的表现，而Transformer作为基于自注意力机制的深度学习模型，提高了自动驾驶的系统性能。◆在车端，保留了单个模块小模型的模式，逐步建立端到端的一体化模型；在基础功能层和平台架构层，仍然是基础小模型和相关软硬件架构来支持。◆在边端，通过BEV+Transformer的垂域感知大模型，将2D图像转为3D鸟瞰视角后，实现实时局部建图和3D识别检测；在基础功能层，分别通过3DBEV架构下的特征提取后，来实现建图和识别检测功能；在平台架构层，BEV技术可以提供全局视角的环境感知，有助于提高自动驾驶系统在复杂场景下的表现，而Transformer作为基于自注意力机制的深度学习模型，提高了自动驾驶的系统性能。◆在车端，保留了单个模块小模型的模式，逐步建立端到端的一体化模型；在基础功能层和平台架构层，仍然是基础小模型和相关软硬件架构来支持。

◆对于主机厂来说，过往的智驾系统开发时，数据管理、数据标注、模型训练、仿真测试等模块平台都是各自自行开发，使用不同的工具链，会造成开发成本高、开发周期长且效率低。◆随着智驾数据规模扩大、数据类型增多，分布式的开发模式已经无法满足未来高阶智驾功能的需求，并且车端芯片的存储和计算性能也无法满足智驾系统的部署，所以，未来整个智驾开发体系将逐步转向云端。目前，主机厂对于云服务的底层需求，已经不局限于满足单一的数据存储，而是更偏向于将自动驾驶系统研发工作也放置在云端。

◆自动驾驶感知算法现在从基于神经网络的算法逐步替代基于规则的算法，而神经网络主要用于感知环节，其原因是现有的自动驾驶算法主要是模块化部署，每个模块拥有独立的优化目标，所以主流模型优化路径是从感知端逐步渗透到规控端，最终提高系统整体的鲁棒性。故此，当前流行的BEV+Transformer架构主要解决的是感知端的问题，包括3D识别检测和语义分割，而占用网络模型更进一步地提升感知效率。◆在打通感知垂域大模型后，自动驾驶系统将更高效地识别静态、动态以及通用障碍物，然而自动驾驶不仅仅只有感知，更重要的是如何像人类驾驶员一样做出最优地驾驶决策行为。自监督认知大模型是在进行大量数据训练后，使得模型具备自我学习能力，而非基于规则的决策规划算法。

◆若要充分实现智驾大模型的模型能力，首先，模型的参数量规模必须达到一定的规模，从现有的研究来看，百亿参数是模型具备涌现能力的门槛，千亿参数的模型将具备较好的涌现能力；其次，需要对模型进行充分的训练，每个参数量需要训练20个token。当前千亿规模的大模型预计需要10倍的数据进行训练，才能保证模型效果达到较好的水平。◆对于如此庞大的参数规模和训练要求，车端芯片计算能力和存储能力几乎无法支持，所以车端的端到端感知决策一体化模型，需要将模型压缩并通过OTA的方式才能部署在车端，常见的方式包括设计更高效的网络结构、将模型的参数量变少、将模型的计算量减少，同时提高模型的精度，比如剪枝、Nas、量化以及蒸馏。千亿参数的模型将具备较好的涌现能力；其次，需要对模型进行充分的训练，每个参数量需要训练20个token。当前千亿规模的大模型预计需要10倍的数据进行训练，才能保证模型效果达到较好的水平。◆对于如此庞大的参数规模和训练要求，车端芯片计算能力和存储能力几乎无法支持，所以车端的端到端感知决策一体化模型，需要将模型压缩并通过OTA的方式才能部署在车端，常见的方式包括设计更高效的网络结构、将模型的参数量变少、将模型的计算量减少，同时提高模型的精度，比如剪枝、Nas、量化以及蒸馏。•剪枝：类似“化学结构式的减肥”，将模型结构中对预测结果不重要的网络结构剪裁掉，使网络结构变得更加”瘦身“。比如，在每层网络，有些神经元节点的权重非常小，对模型加载信息的影响微乎其微。如果将这些权重较小的神经元删除，则既能保证模型精度不受大影响，又能减小模型大小。•神经网络架构搜索（Nas）：类似“化学结构式的重构”，以模型大小和推理速度为约束进行模型结构搜索，从而获得更高效的网络结构。•量化：类似“量子级别的减肥”，神经网络模型的参数一般都用float32的数据表示，但如果将float32的数据计算精度变成int8的计算精度，则可以牺牲一点模型精度来换取更快的计算速度。•蒸馏：类似“老师教学生”，使用一个效果好的大模型指导一个小模型训练，因为大模型可以提供更多的软分类信息量，所以会训练出一个效果接近大模型的小模型。•剪枝：类似“化学结构式的减肥”，将模型结构中对预测结果不重要的网络结构剪裁掉，使网络结构变得更加”瘦身“。比如，在每层网络，有些神经元节点的权重非常小，对模型加载信息的影响微乎其微。如果将这些权重较小的神经元删除，则既能保证模型精度不受大影响，又能减小模型大小。•神经网络架构搜索（Nas）：类似“化学结构式的重构”，以模型大小和推理速度为约束进行模型结构搜索，从而获得更高效的网络结构。•量化：类似“量子级别的减肥”，神经网络模型的参数一般都用float32的数据表示，但如果将float32的数据计算精度变成int8的计算精度，则可以牺牲一点模型精度来换取更快的计算速度。•蒸馏：类似“老师教学生”，使用一个效果好的大模型指导一个小模型训练，因为大模型可以提供更多的软分类信息量，所以会训练出一个效果接近大模型的小模型。•剪枝：类似“化学结构式的减肥”，将模型结构中对预测结果不重要的网络结构剪裁掉，使网络结构变得更加”瘦身“。比如，在每层网络，有些神经元节点的权重非常小，对模型加载信息的影响微乎其微。如果将这些权重较小的神经元删除，则既能保证模型精度不受大影响，又能减小模型大小。•神经网络架构搜索（Nas）：类似“化学结构式的重构”，以模型大小和推理速度为约束进行模型结构搜索，从而获得更高效的网络结构。•量化：类似“量子级别的减肥”，神经网络模型的参数一般都用float32的数据表示，但如果将float32的数据计算精度变成int8的计算精度，则可以牺牲一点模型精度来换取更快的计算速度。•蒸馏：类似“老师教学生”，使用一个效果好的大模型指导一个小模型训练，因为大模型可以提供更多的软分类信息量，所以会训练出一个效果接近大模型的小模型。•剪枝：类似“化学结构式的减肥”，将模型结构中对预测结果不重要的网络结构剪裁掉，使网络结构变得更加”瘦身“。比如，在每层网络，有些神经元节点的权重非常小，对模型加载信息的影响微乎其微。如果将这些权重较小的神经元删除，则既能保证模型精度不受大影响，又能减小模型大小。•神经网络架构搜索（Nas）：类似“化学结构式的重构”，以模型大小和推理速度为约束进行模型结构搜索，从而获得更高效的网络结构。•量化：类似“量子级别的减肥”，神经网络模型的参数一般都用float32的数据表示，但如果将float32的数据计算精度变成int8的计算精度，则可以牺牲一点模型精度来换取更快的计算速度。•蒸馏：类似“老师教学生”，使用一个效果好的大模型指导一个小模型训练，因为大模型可以提供更多的软分类信息量，所以会训练出一个效果接近大模型的小模型。

◆若要建立一套智驾大模型，就必须要先做好数据闭环，其原因是智驾大模型需要大规模多模态数据，并且对数据处理的算力需求和模型计算效率要求也较高。数据闭环并不是一个较新的概念，早期自动驾驶产业已经开始出现了数据闭环的概念，但痛点在于不高效和高成本，比如数据标注多采用人工标注为主，在如今AI技术的加持下，数据闭环中的一些环节可以实现全自动或者半自动化的工作，使得整体的效率大幅提升、成本下降。◆相比于传统数据闭环而言，现有的数据闭环系统对自动驾驶系统赋能最多的主要是数据挖掘、自动标注、模型训练、仿真测试四个应用。从感知侧的数据采集开始，会先根据筛选器的设置来进行数据挖掘，随后通过自动化标注来对数据打标签，再对原模型反复训练并经过仿真测试后，最后对车端小模型进行优化，反复地不断迭代循环后，使得整个数据闭环能力能够不断提升。◆若要建立一套智驾大模型，就必须要先做好数据闭环，其原因是智驾大模型需要大规模多模态数据，并且对数据处理的算力需求和模型计算效率要求也较高。数据闭环并不是一个较新的概念，早期自动驾驶产业已经开始出现了数据闭环的概念，但痛点在于不高效和高成本，比如数据标注多采用人工标注为主，在如今AI技术的加持下，数据闭环中的一些环节可以实现全自动或者半自动化的工作，使得整体的效率大幅提升、成本下降。◆相比于传统数据闭环而言，现有的数据闭环系统对自动驾驶系统赋能最多的主要是数据挖掘、自动标注、模型训练、仿真测试四个应用。从感知侧的数据采集开始，会先根据筛选器的设置来进行数据挖掘，随后通过自动化标注来对数据打标签，再对原模型反复训练并经过仿真测试后，最后对车端小模型进行优化，反复地不断迭代循环后，使得整个数据闭环能力能够不断提升。自动驾驶发展初期的数据闭环较为简单，只是简单的通路构建，主要在测试车上发现问题并上传，由工程师们分析错误报告，以找出问题原因，进而修改代码并在下次更新后予以解决。这是传统的、简单的数据闭环，但效率不高，多个环节需要人工辅助。

◆数据挖掘的第一步是做好数据采集，而当前数据采集的方式共有两种，即数据采集车或者量产车来采集数据，两种方式各有优缺点，但当前量产车受制于合规和传输成本等因素，使得模型冷启动仍然需要依靠采集车来获取基础数据。随着越来越多的cornercase逐步从“未知”转化成“已知”后，量产车由于受限于车队规模，能挖掘出的cornercase将越来越少，采集载体也将从采集车转移到量产车。◆无论是采集车还是量产车来采集数据，最关键的是做好筛选器的设计，减少无效数据的采集。如无法高效挖掘数据，首先会增加数据存储成本，车端的存储芯片容量有限，不可能无限的增加车端储存芯片数量，并且云端的数据储存成本也较高；其次会增加数据传输成本，量产车一般通过4G/5G的车联网技术来传输数据，单车每月需要非常高的流量成本（约40~50GB），该成本将成为主机厂一项较重的负担。

◆由于深度学习在整个自动驾驶产业的渗透率逐渐提升，大量的语义图像数据，使得数据标注成为了智驾系统不可获取的一部分。从人工标注到半自动，再到全自动化标注，自动标注提升了标注整体的效率和精度，能够处理更大规模的数据集，提升人机协作的能力以及适用多个应用场景。◆随着BEV感知技术的出现，图像特征开始从2D的透视图转换到了3D空间，输出车体世界坐标系下的3D静态或者动态的结果，而BEV需要的真值数据并且动态物体还需要考虑时序信息，由此4D标注技术成为了未来BEV+Transformer架构发展不可或缺的一部分。动，再到全自动化标注，自动标注提升了标注整体的效率和精度，能够处理更大规模的数据集，提升人机协作的能力以及适用多个应用场景。◆随着BEV感知技术的出现，图像特征开始从2D的透视图转换到了3D空间，输出车体世界坐标系下的3D静态或者动态的结果，而BEV需要的真值数据并且动态物体还需要考虑时序信息，由此4D标注技术成为了未来BEV+Transformer架构发展不可或缺的一部分。如今，特斯拉自动标注系统可以取代500万小时的人工作业量，人工仅需要检查补漏。

◆经过标注后的数据将被用于后续的模型训练，而模型训练主要可分为预训练与微调两个阶段。模型训练会将处理好的数据输入到模型中进行训练，通过不断调整权重和偏置等参数，使模型逐渐拟合数据，达到预期的性能和准确率。然而，整个模型训练过程需要具备较高的计算性能，也需要处理海量的数据，并且模型运行的功耗也会提升，所以超算中心（HPC）成为了解决大规模数据处理、高算力需求以及高功耗的关键。◆未来高阶自动驾驶功能的开发，必然离不开超算中心，部分主机厂和自动驾驶相关企业已建成或正在布局自己的超算中心。从长期来看，超算中心的价值不仅在于提供强大的计算能力，还在于可以大大减少开发者部署硬件设施时所需消耗在测试与优化上的时间成本。

◆随着高阶智驾功能的渗透率不断提升，对于仿真测试的要求也从物理实物测试（动力学测试），进阶到了云仿真。为了能通过模型泛化能力来测试更多的cornercase场景，仿真模型的参数和计算效率要求都在提高，云仿真可以提升场景泛化能力、降低数据标注成本以及提升云端规控仿真测试效果。仿真测试的关键在于场景真实度和模型泛化能力，通过积累原始数据，让仿真模型能够实现冷启动，建立基础场景库。其次，通过和主机厂仿真项目合作的经验积累，不断去调整模型策略，从而扩大场景库中的cornercase场景数据。◆仿真测试的技术趋势是如何实现端到端的闭环测试，以UniSim为例，凭借高度逼真、闭环测试、可扩展的优点，打通自动驾驶的仿真测试闭环。

◆智驾大模型玩家分布在整个自动驾驶产业链中，目前主要的四类玩家包括主机厂、科技企业、Tier1以及芯片企业，每类玩家参与到智驾大模型环节中的角色也不同。其中，主机厂是智驾大模型的核心用户；科技企业将利用AI技术和云服务的算力优势提供通用类大模型；智驾Tier1将利用自动驾驶算法开发方面的优势，继续研发垂域的智驾大模型；芯片企业基于自身芯片的软硬一体方案，为主机厂或者Tier1提供合适的开发工具和开放的开发生态。◆智驾大模型仍然处于行业发展初期，需要继续打磨商业模式闭环，现有的四类玩家更多的是形成互补关系，而不是竞争关系，产业的上下游合作是未来整体竞争格局的趋势。

◆特斯拉方面已公布最新的FSDV12，可实现端到端的AI自动驾驶，并且实现WorldModel技术，可谓是真正地实现了无高精地图的感知定位技术。同时，国内主机厂也开始逐步追随特斯拉的技术路线，对于已开通或者将要开通城市NOA功能的主机厂，都有布局相关智驾大模型，比如BEV+Transformer，这已然成为了能解决“去地图”或者“轻地图”路线下感知侧重要的垂域大模型。◆从目前已开通城市NOA功能的车端芯片方案来看，除了特斯拉外，国内主机厂若要实现BEV+Transformer在车端的部署，芯片算力基本需要百TOPS以上才可支持相应功能需求，英伟达的Orin-X、地平线的征程5、华为的麒麟芯片等都成为了国内车企布局BEV+Transformer架构的首选。◆特斯拉方面已公布最新的FSDV12，可实现端到端的AI自动驾驶，并且实现WorldModel技术，可谓是真正地实现了无高精地图的感知定位技术。同时，国内主机厂也开始逐步追随特斯拉的技术路线，对于已开通或者将要开通城市NOA功能的主机厂，都有布局相关智驾大模型，比如BEV+Transformer，这已然成为了能解决“去地图”或者“轻地图”路线下感知侧重要的垂域大模型。◆从目前已开通城市NOA功能的车端芯片方案来看，除了特斯拉外，国内主机厂若要实现BEV+Transformer在车端的部署，芯片算力基本需要百TOPS以上才可支持相应功能需求，英伟达的Orin-X、地平线的征程5、华为的麒麟芯片等都成为了国内车企布局BEV+Transformer架构的首选。

◆科技企业拥有强大的资本实力，凭借自己在智驾算法的技术积累、图商资质、数据运营服务经验等优势，大部分都布局了自己的云服务基建。以华为云为例，主要是以打造自动驾驶数据闭环的模式来赋能产业，其云服务能够有效打通底层元数据管理模式，构建统一数据治理底座，同时创新存算架构，基于连通共享的数据底座实现数据治理和AI开发的相互融合，打造数据与AI相互赋能、共同加速数据闭环的正向循环。再者，腾讯云基于云、图一体化的模式，结合自身在高精地图方面的优势，为客户提供云端多程建图，实现要素级、最快分钟级的在线更新。

◆基于BEV架构的感知方案已经成为了各家智驾Tier1新技术方向，另外，随着自动驾驶整体迈向高阶智驾，相关高阶功能（如城区NOA）的后续迭

◆当前主要的垂域大模型基本以BEV+Transformer架构为主，难点在于Transformer算法的开发与部署，由于Transformer相比于CNN卷积而言，具备算力要求较高、运算精度要求较高及算子复杂度较高的特点，所以在开发部署时，就需要选取合适的芯片。国内外芯片厂商在开发后续芯片时，都会侧重于更好地让芯片去适配Transformer算法，在相关算子加速器的开发生态上都做了有意识的部署。◆以目前主流的英伟达OrinX芯片为例，无论是在算力的大小还是在Transformer算子的开发生态方面，都具备一定的优势。国内芯片厂商也开始认识到了开发生态的重要性，例如地平线，其下一代自研的BPU纳什架构，对Transformer等大规模参数的模型进行了针对性设计。◆当前主要的垂域大模型基本以BEV+Transformer架构为主，难点在于Transformer算法的开发与部署，由于Transformer相比于CNN卷积而言，具备算力要求较高、运算精度要求较高及算子复杂度较高的特点，所以在开发部署时，就需要选取合适的芯片。国内外芯片厂商在开发后续芯片时，都会侧重于更好地让芯片去适配Transformer算法，在相关算子加速器的开发生态上都做了有意识的部署。◆以目前主流的英伟达OrinX芯片为例，无论是在算力的大小还是在Transformer算子的开发生态方面，都具备一定的优势。国内芯片厂商也开始认识到了开发生态的重要性，例如地平线，其下一代自研的BPU纳什架构，对Transformer等大规模参数的模型进行了针对性设计。

◆随着自动驾驶等级的提升，智驾系统所需要的数据也会越来越多，但自动驾驶数据合规处理难度却越来越高，两者形成了强烈的矛盾关系。自动驾驶合规需要对隐私类和测绘类的数据进行合规处理，而数据合规方面同样会对整个自动驾驶赛道带来一定挑战，一方面是自动驾驶的数据合规离不开图商资质；另一方面是数据合规需贯彻整个数据全生命周期。

◆除了法律法规限制外，智驾大模型在技术、工程化等方面都遇到了一些挑战。首先，在技术层面，较为突出的挑战是4D标注方面，如4D标注的时序对齐难度高、无法完全实现自动化、容易造成丢帧等问题，而4D标注无法落地，也就等于后续仿真测试环节的场景库闭环无法落地；其次，在工程化层面，智驾大模型主要会遇到部署和迁移方面的问题，由于不同车型之间传感器的布置位置差异、芯片算力差异等，导致模型部署存在一定的挑战；最后，智驾大模型投入成本较高、盈利模式不确定以及人才储备不足等问题也是阻碍其发展落地的一些因素。

◆智驾大模型未来或许将构建双层平台，以“双力”来推动整个智驾大模型的产业发展，其中，工具层将作为支撑力，为智驾大模型提供软硬件服务；数据层将作为驱动力，为智驾大模型提供模型所需要的数据。◆为了更好地推动智驾大模型产业发展，建议行业需要在四个方面做进一步地发展，如加强技术研发、加强安全性和可靠性、推动数据开放共享、加强产业协同发展。智驾大模型的发展仍然需要有待验证，尤其是模型的有效性及可持续开发迭代性。◆智驾大模型未来或许将构建双层平台，以“双力”来推动整个智驾大模型的产业发展，其中，工具层将作为支撑力，为智驾大模型提供软硬件服务；数据层将作为驱动力，为智驾大模型提供模型所需要的数据。◆为了更好地推动智驾大模型产业发展，建议行业需要在四个方面做进一步地发展，如加强技术研发、加强安全性和可靠性、推动数据开放共享、加强产业协同发展。智驾大模型的发展仍然需要有待验证，尤其是模型的有效性及可持续开发迭代性。

◆随着通用类语言模型的热度已延续到智驾赛道，越来越多的自动驾驶企业开始提出了自己的大模型理念，智驾大模型已经成为了通往高阶自动驾驶的关键钥匙，未来智驾大模型会在感知侧和决策侧共同发力，提升智驾系统认知模型的效率。◆整个智驾大模型将会在云边端进行系统化的布局，在云端，将构建以数据采集、数据标注、模型训练、仿真测试为基础的工具链平台；在边端，形成以BEV+Transformer的为主导的感知垂域大模型；最后在车端实现感知决策一体化的端到端的AI大模型。◆智驾大模型产业是上下游各类玩家协同发展的竞争格局，每类玩家凭借着各自的优势，在云边端三方面分别做出了各自的布局，所以智驾大模型产业的生态需要每个参与者协同发展。◆由于时间与精力所限，本报告对于中国智驾大模型应用的研究与讨论难免存在疏漏与偏差，敬请谅解。在此特别感谢美行科技、毫末智行、觉非科技、轻舟智航、鉴智机器人、商汤绝影、龙猫数据、整数智能、澳鹏数据、柏川数据、如祺出行、地平线、犀赛科技、沛岱汽车、上汽等企业对本报告给予的支持，为报告撰写输出了宝贵的专业观点与建议。◆未来，亿欧智库将持续密切关注智能电动汽车产业发展，通过对行业的深度洞察，持续输出更多有价值的研究成果。欢迎读者与我们交流联系，共同助力中国智能电动汽车产业的持续创新发展。◆随着通用类语言模型的热度已延续到智驾赛道，越来越多的自动驾驶企业开始提出了自己的大模型理念，智驾大模型已经成为了通往高阶自动驾驶的关键钥匙，未来智驾大模型会在感知侧和决策侧共同发力，提升智驾系统认知模型的效率。◆整个智驾大模型将会在云边端进行系统化的布局，在云端，将构建以数据采集、数据标注、模型训练、仿真测试为基础的工具链平台；在边端，形成以BEV+Transformer的为主导的感知垂域大模型；最后在车端实现感知决策一体化的端到端的AI大模型。◆智驾大模型产业是上下游各类玩家协同发展的竞争格局，每类玩家凭借着各自的优势，在云边端三方面分别做出了各自的布局，所以智驾大模型产业的生态需要每个参与者协同发展。◆由于时间与精力所限，本报告对于中国智驾大模型应用的研究与讨论难免存在疏漏与偏差，敬请谅解。在此特别感谢美行科技、毫末智行、觉非科技、轻舟智航、鉴智机器人、商汤绝影、龙猫数据、整数智能、澳鹏数据、柏川数据、如祺出行、地平线、犀赛科技、沛岱汽车、上汽等企业对本报告给予的支持，为报告撰写输出了宝贵的专业观点与建议。◆未来，亿欧智库将持续密切关注智能电动汽车产业发展，通过对行业的深度洞察，持续输出更多有价值的研究成果。欢迎读者与我们交流联系，共同助力中国智能电动汽车产业的持续创新发展。◆随着通用类语言模型的热度已延续到智驾赛道，越来越多的自动驾驶企业开始提出了自己的大模型理念，智驾大模型已经成为了通往高阶自动驾驶的关键钥匙，未来智驾大模型会在感知侧和决策侧共同发力，提升智驾系统认知模型的效率。◆整个智驾大模型将会在云边端进行系统化的布局，在云端，将构建以数据采集、数据标注、模型训练、仿真测试为基础的工具链平台；在边端，形成以BEV+Transformer的为主导的感知垂域大模型；最后在车端实现感知决策一体化的端到端的AI大模型。◆智驾大模型产业是上下游各类玩家协同发展的竞争格局，每类玩家凭借着各自的优势，在云边端三方面分别做出了各自的布局，所以智驾大模型产业的生态需要每个参与者协同发展。◆由于时间与精力所限，本报告对于中国智驾大模型应用的研究与讨论难免存在疏漏与偏差，敬请谅解。在此特别感谢美行科技、毫末智行、觉非科技、轻舟智航、鉴智机器人、商汤绝影、龙猫数据、整数智能、澳鹏数据、柏川数据、如祺出行、地平线、犀赛科技、沛岱汽车、上汽等企业对本报告给予的支持，为报告撰写输出了宝贵的专业观点与建议。◆未来，亿欧智库将持续密切关注智能电动汽车产业发展，通过对行业的深度洞察，持续输出更多有价值的研究成果。欢迎读者与我们交流联系，共同助力中国智能电动汽车产业的持续创新发展。◆随着通用类语言模型的热度已延续到智驾赛道，越来越多的自动驾驶企业开始提出了自己的大模型理念，智驾大模型已经成为了通往高阶自动驾驶的关键钥匙，未来智驾大模型会在感知侧和决策侧共同发力，提升智驾系统认知模型的效率。◆整个智驾大模型将会在云边端进行系统化的布局，在云端，将构建以数据采集、数据标注、模型训练、仿真测试为基础的工具链平台；在边端，形成以BEV+Transformer的为主导的感知垂域大模型；最后在车端实现感知决策一体化的端到端的AI大模型。◆智驾大模型产业是上下游各类玩家协同发展的竞争格局，每类玩家凭借着各自的优势，在云边端三方面分别做出了各自的布局，所以智驾大模型产业的生态需要每个参与者协同发展。◆由于时间与精力所限，本报告对于中国智驾大模型应用的研究与讨论难免存在疏漏与偏差，敬请谅解。在此特别感谢美行科技、毫末智行、觉非科技、轻舟智航、鉴智机器人、商汤绝影、龙猫数据、整数智能、澳鹏数据、柏川数据、如祺出行、地平线、犀赛科技、沛岱汽车、上汽等企业对本报告给予的支持，为报告撰写输出了宝贵的专业观点与建议。◆未来，亿欧智库将持续密切关注智能电动汽车产业发展，通过对行业的深度洞察，持续输出更多有价值的研究成果。欢迎读者与我们交流联系，共同助力中国智能电动汽车产业的持续创新发展。◆随着通用类语言模型的热度已延续到智驾赛道，越来越多的自动驾驶企业开始提出了自己的大模型理念，智驾大模型已经成为了通往高阶自动驾驶的关键钥匙，未来智驾大模型会在感知侧和决策侧共同发力，提升智驾系统认知模型的效率。◆整个智驾大模型将会在云边端进行系统化的布局，在云端，将构建以数据采集、数据标注、模型训练、仿真测试为基础的工具链平台；在边端，形成以BEV+Transformer的为主导的感知垂域大模型；最后在车端实现感知决策一体化的端到端的AI大模型。◆智驾大模型产业是上下游各类玩家协同发展的竞争格局，每类玩家凭借着各自的优势，在云边端三方面分别做出了各自的布局，所以智驾大模型产业的生态需要每个参与者协同发展。◆由于时间与精力所限，本报告对于中国智驾大模型应用的研究与讨论难免存在疏漏与偏差，敬请谅解。在此特别感谢美行科技、毫末智行、觉非科技、轻舟智航、鉴智机器人、商汤绝影、龙猫数据、整数智能、澳鹏数据、柏川数据、如祺出行、地平线、犀赛科技、沛岱汽车、上汽等企业对本报告给予的支持，为报告撰写输出了宝贵的专业观点与建议。◆未来，亿欧智库将持续密切关注智能电动汽车产业发展，通过对行业的深度洞察，持续输出更多有价值的研究成果。欢迎读者与我们交流联系，共同助力中国智能电动汽车产业的持续创新发展。