【东方证券】大模型率先落地，生态能力持续巩固.pdf

1.1国内搜索引擎龙头，AI引领公司发展

百度是国内中文搜索引擎龙头，拥有数万研发工程师，掌握着世界上最为先进的搜索引擎技术， 业务涉及流媒体、社区论坛、手机助手等互联网诸多领域。百度成立于 2000 年，2005 年在纳 斯达克上市，2022 年年度收入达到 1237 亿元。纵观百度成立以来的发展历程，标志着中国互联 网的发展趋势和用户习惯的迁移，大致可以分为三个阶段： 1） 第一阶段 2000 年至 2010 年，百度致力于搜索引擎的发展，开拓国内细分市场，最终市占 率超 70%，随之 Google 黯然退出国内市场，百度确定“国内搜索霸主”地位。这个期间 百度攻克搜索引擎技术，陆续推出图片、新闻搜索，移动端百度 WAP 搜索，百度百科，全 方位、多角度夯实搜索地位。

2） 第二阶段 2011 年至 2016 年，中国移动互联网时代来临，细分化多元化互联网产品层出不 穷，百度逐步布局流媒体、在线旅行、外卖网站、手机助手等细分领域，在此基础上，不断 夯实移动搜索。期间，收购爱奇艺——国内头部流媒体网站，2013 年收购 91 无线（后改为 百度手机助手）——国内前三的第三方应用市场，在多细分领域取得骄人成绩。 3） 第三阶段 2017 年起，前者——阿里系电商地位不可动摇，腾讯系产品矩阵完善、黏性强； 后者——今日头条发力信息流及短视频，百度面临压力剧增。公司长远布局 AI 和自动驾驶， 并对传统现金牛业务革新，“移动化”、“信息流化”不断推进。

目前公司已经形成了三个核心业务增长引擎。分别为移动生态、智能云以及智能驾驶三大业务板 块：移动生态 ：主要包括百度 App、好看视频及百度贴吧，提供开放平台，通过 AI 支柱整合广 泛的第三方长尾内容及服务，帮助社区链接并分享知识与信息。智能云 ：提供 AI 解决方案而与众不同的全套云服务及解决方案，包括 PaaS、SaaS 及 IaaS；智能驾驶：（自动驾驶服务（包括高精地图、自主泊车及自动导航）、智能电动汽车及 robotaxi 车队）及搭载 DuerOS 智能助手的小度智能设备及 AI 芯片开发。

1.2广告业务贡献稳定现金流，AI相关业务保持高增长

在线营销发展稳健，创新业务增长较快。公司核心收入依然来自在线营销业务，22 年实现收入 695 亿元（yoy-5.9%），主要受到外部宏观环境的负面影响，占比百度核心业务的 73%。非 营销业务逆势增长，实现收入 259 亿元（yoy+22%），占比百度核心业务 27%，增长动力来自 于智能云以及 AI 相关产品服务。毛利率较为稳健，边际上强化降本增效。20 年互联网行业整体受疫情冲击小，经济活动下半年快 速复苏下，公司广告业务恢复增长，毛利率超过 60%，随着长期疫情影响下，行业整体需求减弱，毛利率同比有所下滑。22 年开始可以看到公司加强成本管控，费用率从 Q2 整体呈现下降趋势。 在 AI 等领域的持续投入同时，公司依然保持着 15%左右的经营利润率，基本盘稳健。

2.1移动生态功能完善，闭环体系成熟

百度 APP 为核心移动端产品，月活已经超过 6 亿。结合 QM 的数据统计，百度旗下公司拥有三 款过亿月活的 APP 产品，百度 app、百度地图、百度输入法，另外百度网盘月活超过 9000w。 其中百度 APP 为核心流量来源，2021 年 12 月，百度 App 的 MAU 及 DAU 分别达 6.22 亿及 2.18 亿，每日登录用户占比超过 80%。结合 QM 的数据来看，22 年公司在互联网行业时长占 比平均 5.7%，仅次于腾讯系，字节系和快手。

百家号、小程序和托管页承接用户内容消费，服务交付，营销转化的核心功能。百家号主要承接 内容创作，截止 21Q1 创作者达到 420 万（yoy+40%）。智能小程序于 2018 年 7 月推出，用 户数量增长迅速，智能小程序主要承接生态内产品服务，21Q1 月活跃用户达 4.16 亿 （yoy+17.5%）。托管页为网站商家提供移动端完成的建站服务、数据营销服务，已经成为公 司重要的广告收入来源，托管页收入 22 财年占比 48%（21 年为 40%）。综上，我们可以看到百度在移动端的战略转型已经逐步成熟，百家号成为内容分发的重要阵地， 小程序实现了将商家运营留在 APP 内，托管页保证广告规范性和营销的效率，构建起从触达-转 化-运营的闭环生态，奠定了公司长期发展的基础。

2.2周期性成为主要特征，融合AI科技竞争力稳固

长周期来看，竞争格局和经济周期是公司广告收入的核心变量。历史数据来看，百度经历了两次 比较大的收入增速下滑，第一个阶段为 16 年左右，公司重心在完成从网页向移动端转型。第二阶 段为短视频高速增长阶段，对公司广告增长形成了挤压。边际来看，互联网平台内容模式时长占 比趋稳，头部平台广告加载率和流量增长逐步坚定，竞争格局趋缓，百度收入增速与宏观经济基 本同步，20 年以来尤为显著。百度搜索流量依然稳固，加持语言大模型技术竞争力强。根据 statcounter 的数据来看，国内移动 端搜索流量约 80%来自于百度搜索，公司在搜索端龙头地位依然稳固。AI 技术有望提升用户搜索端体验，微软在将 GPT 融合进搜索后，路透社的报告显示，从 2023 年 2 月 7 日到 3 月 20 日， 必应页面浏览量增加了 15%。百度文心一言产品不断成熟，将进一步巩固公司搜索领域的领先地 位。

概况来讲，百度整体的 AI 体系，主要由智能云服务和智能驾驶板块构成，是公司长期研发投入的 积累的成果，在国内国外都具有领先地位和差异化优势。

3.1“云智一体，深入产业”，构建“云智一体3.0”架构

百度智能云架构层次体系完善，从提供基础的海量运算到针对性的产品服务。其中第三层，“百 度 AI 大底座”由 AI IaaS 层（百舸 AI 异构计算平台）、AI PaaS 层（AI 中台）两大部分组成，这 两部分是百度 AI 能力的核心体现。第一层是深耕行业、聚焦场景，选择切入几个重点行业里的核心场景；第二层是 AI 通用产品，把不同行业的通用需求做到通用的 AI 产品中，打造成标准化产品， 例如智能客服、数字人等；第三层由 AI IaaS 和 AI PaaS 组成的“AI 大底座”，面向企业 AI 开发和应用提供完整解决方 案；第四层是通用云，满足海量的计算需求。

ChatGPT 出圈之后，百度 PaaS 下的文心一言受到市场关注。基于飞桨深度学习平台，百度打造 了产业级知识增强文心大模型。从最新的文心全景图可以看到，文心大模型已经形成“模型层+ 工具与平台层+产品与社区层”的整体布局。全新发布 11 个大模型，包括 5 个基础大模型、1 个 任务大模型、5个行业大模型；全面升级文心大模型开发套件、文心 API；新发布和升级基于文心 大模型的 2 大产品，AI 作画产品“文心一格”和产业级搜索系统“文心百中”。

3.2百度大模型体系成熟，紧跟海外脚步

3.2.1语言大模型，文心一言国内地位领先持续迭代

百度研发团队跟进迅速，文心 ERNIE 持续迭代。2019 年 3 月，百度提出知识增强的语义理解框 架文心（ERNIE）。文心 ERNIE 目前已迭代到 3.0 版本，具备跨模态、跨语言的深度语义理解与 生成能力，参数规模达到 2600 亿。文心 ERNIE 经历了三次重要的产品迭代：ERNIE1.0：在预训练阶段，增加了 phrase level （短语）和 entity level masking（实体），ERNIE2.0：采用了一种交替式的多任务学习方式，通过多个预训练任务用来捕获不同方面 的信息。word-aware tasks 捕获词汇信息，structure-aware tasks 捕获句法信息，semanticaware tasks 捕获语义信息。ERNIE3.0：扩大参数量和样本量的同时，在预训练模型中增加了知识图谱，框架上实现基 础语义层的共享，并兼具生成和理解，为 3 月 16 日发布文心一言基础。

基于 ERNIE3.0 ，在应用领域持续打磨。鹏城-百度·文心基于百度知识增强大模型 ERNIE 3.0 全 新升级，模型参数规模达到 2600 亿，相对 GPT-3 的参数量提升 50% 。在应用上，首创大模型 在线蒸馏技术，大幅降低了大模型落地成本，并针对医疗健康、金融、跨语言等领域进行了细化。百度产品已经实现商业化应用效率显著提升。文心 ERNIE 大模型已在百度百余个产品中应用，其 中包括：百度搜索中问题分类、网页排序；Feed 流中的新闻推荐、新闻去重；好看视频中的视频 推荐；百度地图里的 POI 检索以及小度智能屏中的意图理解等，都使用到了文心 ERNIE 大模型。

3.2.2跨模态领域，ERNIE-ViLG2.0为公司AIGC的基础

文心 ERNIE-ViLG 2.0 为公司在跨模态领域的核心产品。该模型能够根据文字描述，精准地生成 现实世界中没有的具有创造性的图像。对比同类模型，在文本生成图像权威集合 MS-COCO 上取 得了当前最好效果，在图文相关性和图像保真度两个维度的人工评估上，ERNIE-ViLG 2.0 相对 DALL-E 2 和 Stable Diffusion 同样具有较大优势。跨模态能够提升多行业的内容生产能力。文心 ERNIE-ViLG 2.0 可应用于工业设计、动漫设计、 游戏制作、摄影艺术等场景，激发设计者创作灵感，提升内容生产的效率。通过简单的描述，模 型便可以在短短几十秒内得到图像，极大地提升了设计效率、降低商业出图的门槛。

4.1工业界研究持续推进，关键节点工业界具有重要贡献

技术路径持续迭代，工业界引领技术进步。在自然语言处理和多模态领域，工业界在模型迭代上 表现突出。从论文数量来看，对比 16 和 20 年产业界占比提升近 20%。从 Top10 大模型占比来 看，2016 年后，AI 领域 10 大模型几乎全来自产业界。优质论文持续迭代，并可以快速部署，市场迅速反应。从大模型数量可以看到，22 年大模型实现 了持续迭代，23 年前三月模型数量已经超过 21 年的水平，各家公司军备竞赛激烈。论文也保持 较高的更新度，可以看到 Transformer 类目下的仍在快速更新和推进。里程碑的研究大多出自产业界。从论文排名来看，谷歌、META 等公司也处于业内领先地位， Open AI 在 21/22 头部论文数量也快速增长。从模型来看，谷歌和 Open AI 多个大模型，带动行 业快速发展，两家模型相辅相成，快速迭代，持续推动工业界前沿。

4.2大语言模型关键点梳理，行业发展持续精进

4.2.1Transformer提升预训练能力，奠基语言大模型基础

Transformer 奠定了并行计算能力的基础。2017 年谷歌在论文《Attention is All You Need》提出 了 Transformer 模型，放弃了原有的 RNN 或者 CNN 模型，提升模型的并行计算能力，面对长期 依赖问题也非常有效。Open AI 在该技术的启发下，奠定预训练基本方法。自然语言理解包括各 种各样的任务，如文本蕴涵、问题解答、语义相似性评估和文档分类。虽然大量的未标记的文本 语料库非常丰富，但是用于学习这些特定任务的标记数据却非常稀缺，因此 GPT 提出了自监督的 学习方式，后续语言模型都采用了预训练的模式。

4.2.2模型参数持续扩大，预算量同比扩大并加入人工标注

参数扩大效果显著，体现涌现能力。涌现能力的定义为：在小模型上没有，但是会出现在大模型 上的能力。5 个语言模型的 8 种涌现能力，当模型规模达到某个阈值之前效果 基本等于随机，超过该阈值够则会显著的改善，因此从工业界我们能看到大模型的参数量指数级 提升。训练数据集也显著增加。从 GPT1 到 instructGPT，从维基百科、图书数据到网页爬虫数据，预算 量样本的数量持续提升。同时也可以清楚地看到，不仅仅在预训练数据的增加，大模型微调过程 中也开始补充人工标注。

4.2.3前期为完全无监督学习，后期加入微调手段

通过 in-context learning 能力，任务迁移能力得以实现。Open AI 在 GPT3 发现 in-context learning 能力，通过 few-shot 可以实现更好的模型效果，而不通过微调需要重新进行的模型的训 练，降低对训练量的要求。微调方法加入人工标注，适配大模型规模。随着大模型涌现能力的发现，资源投入的确定性显著 提升，可以看到大模型追求 no-finetune 到使用强化学习微调过程。这一趋势可以从 GPT1- instruct GPT 得以观察，在最新的谷歌的 FLAN 的模型中，微调的数据手段加入 COT 的人工数据， 对模型效果提升显著。

4.2.4硬件持续升级，工程技术加速效率提升

大模型参数提升带动预训练成本持续提升。大模型运算在资金和时间层面都需要较高的投入。根 据英伟达的报告显示，具有 1750 亿个参数的 GPT-3 模型的单次训练运行，仅在预训练一次花费 超过 12 万美元，按照下表的数据随着模型扩大，云计算成本逐步提升。软硬件结合共同提升运算效率。硬件 GPU 持续升级迭代，在 BERT 和 GPT-2 运算速度上，A100 是上一代 V100 运算速度的 2 倍以上。英伟达 21 年 9 月的论文中展示了如何将张量、pipeline 和 数据并行度扩展到数千个 GPU，并通过交错流水线调度的方法进一步提升效率方法。同 样参数下，在大规模集群场景，使用 PTD Parallelism 可以将耗时最多缩短 2 倍以上。截止 21 年 1T 参数，450 亿 token 的模型，使用 3072 个 A100 GPU 训练时间下降到 84 天。

4.3语言大模型是多模态的基础

输入和输出依然以本文形式为主。以视频生成模型 GEN-2 为例，主要有三个模式，文字生成视频、 提示词、图片生成视频，其中文本都是重要人机交互的表达。PaLM-E 在形成指令的过程，也是 通过文本图生成实现的，因此文本是多模态实现重要中介。 大语言模型成为多模态的模型组成部分。21 年 2 月 Open AI 推出 CLIP 的方法，实现在无监督文 本与图片进行预训练，实现文本向图片的多模态生成。后面可以持续看到多个模型在这技术的更 迭，近期谷歌的 PaLM-E，更是将大语言模型、图像感知和机器手臂实体进行映射，实现了真实 世界的感知。在视频生成领域，Runway 的 GEN-2 模型融合图文基础上，利用 Stable Diffusion 向 视频延伸。

5.121年以来国内跟进迅速，百度处于领先地位

海外催化下，国内各家机构快速跟进。21 年 4 月华为推出 PanGu-α，创建中文预训练数据集， 使用的是双向 Transformer，并实现 2000 亿参数模型的训练。21 年 7 月百度语言大模型升级到 3.0 阶段，以双向 Transformer 为基础，并在任务层兼顾理解和生成，整体效果在国内处于领先地 位。22 年百度进一步升级 ERNIE 3.0 Zeus，ERNIE 3.0 Zeus 提出了层次化提示（Prompt）学习 技术，预训练数据集进一步精进。

5.2百度ERNIE模型底层逻辑与海外对比研究

梳理百度 ERNIE 历史模型迭代，对比海外，我们认为差距主要体现在 22 年迭代的微调方法上， 在预训练数据基础、基础模型框架和算力能力上已经在多年积累形成了基础能力。百度尝试的创 新有以下几个方面：Transformer 的 mask 策略上，增加字、短语、实体的预测，并在后续进一步升级为词、句、 语义的预训练策略。预训练数据集引入了知识图谱，模型尝试分别服务于自然语言理解和自然语言处理，最新的 ERNIE3.0 Zeus 在预训练的过程中加入了层次化的 Test prompt 库。

百度主要与海外公司的差距体现在预训练数据集、微调方法、微调策略上。22 年 5 月公司推出的 ERNIE 3.0 Zeus，在核心模型策略上与主流模型差异不大。海外头部公司后续创新主要体现在三 个方面：Instruct GPT 引入强化学习模型，在微调过程中加入人工标准数据；发现 COT 数据通过提示/预训练可以提升模型效果；模型参数持续扩大，大模型数据的预训练能力持续增强。文心一言已经快速迭代，持续升级。文心一言自发布一月以来已完成 4 次技术迭代，相较最初版 本推理效率提升了 10 倍，模型算力利用率提升了 1 倍，在模型性能和成本实现了大幅优化。我 们预计随着研发的持续投入，百度文心一言产品有望快速追赶上同类竞品。

6.1GPT引领C端服务，海外落地迅速

GPT 快速落地用户数快速提升。22 年 11 月 30 日，ChatGPT 上市。2022 年 12 月 5 日，OpenAI 创始人宣布 ChatGPT 的用户已经突破 100 万人，仅用时 5 天。2023 年 1 月末，ChatGPT 用户数 突破 1 亿，已经成为史上用户数增长最快的 TOC 应用。GPT-4 进行四大提升，在众多场景实现落地服务。Open AI 创建了更强大的语言模型 GPT-4，具 体进行四大提升：创造力、视觉输入、更长的上下文及超越 ChatGPT的高级推理能力；六种已落 地应用和服务模式分别为：多邻国—推出 Role Play 和 Explain my Answer 以增强产品、Be My Eyes—开发新虚拟志愿者、Stripe—简化用户体验并打击欺诈行为、摩根士丹利—优化财富管理 知识库、可汗学院—为人工智能驱动的助手提供动力、冰岛政府—保护冰岛语。

新 AI 功能 Copilot 嵌入 Microsoft 365，创造全新工作方式。微软于 3 月 16 日发布 GPT-4 平台 支持的新 AI 功能—Copilot，适用于 Word、PowerPoint、Excel 等 Microsoft 365 商业软件。在人 工提示的基础上，用户可用自动生成的文本完成文档。Copilot 通过扫描 Microsoft Graph 中的数 据以支持大语言模型改进回答，针对性地帮助客户高效工作。谷歌也开始面向 C 端提供服务。Bard 首先向英美地区开放测试，未与搜索引擎直接结合。3 月 21 日，谷歌宣布向英美地区部分用户开放聊天机器人 Bard。大型语言模型 LaMDA 赋能 Bard 从 高质量信息源提取回答，Bard 为每个问题提供三种回复草稿，由用户选择更符合其需求的答案。 与微软相反，Bard 并未嵌入搜索引擎，而作为独立页面存在，或是为了避免其搜索引擎广告业务 受到威胁。

Stable Diffusion 实现文本到图像的智能生成，代码完全免费开源。该应用由 Stability AI 公司推 出，是一种可以将文本转换为图像的生成式 AI 模型，能够根据文本描述，短至数秒即可产生详细 图像。目前，所有 Stable Diffusion 完全免费开源，所有代码公开，所有用户在同意相关协议下均 可免费使用。22 年 12 月 Auto-Photoshop-Stable Diffusion-Plugin 已经可以在 Photoshop 使用， 23 年 2 月公司与 Krikey AI 合作提供 AI 动画制作服务。

6.2文心一言抢占身位，企业和消费者促进产品升级

百度抢先发布文心一言，展现国内大模型能力。今年 3 月 16 日，百度在发布会上结合案例演示 文心一言的五类能力：文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。在全 球范围内的大公司中，百度是第一个发布以对标 chatGPT 与 GPT-4 为目标的企业。文心一言出身于 ERINE 系列模型，应用 PLATO 对话技术，并基于百度知识图谱与深度学习平台 飞桨发展。其核心技术涉及六大模块：有监督精调、人类反馈强化学习、提示、知识增强、检索 增强、对话增强，其中后三项为百度特有技术。文心一言的特色是面向中文，有别于全球流行的 其他模型。B 端率先落地，文心一言应用切入企业实践中。在百度发布文心一言的一个月内，已有 650 家企 业宣布接入文心一言生态，其中包括东软集团、宇信科技、汉得信息、天娱数科、国光电器等。 当前百度智能云已经推出相关大模型产品公司企业端使用，B 端落地迅速，有望带动云服务收入 提升。

（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）