GPT产业复盘(2022)：推出ChatGPT

华泰研究

2023年2月19日丨中国内地

专题研究

溯源GPT发展：2022年ChatGPT面世，LLM里程碑式胜利

梳理GPT系列模型的演进过程，可以看到 2022 年是GPT 系列模型围绕GPT-3、GPT-3.5 加速版本迭代的重要节点，2022年11月，ChatGPT成功面世，成为历史上用户增长最快的消费者应用。与Google、FaceBook等公司不同，OpenAI 从初代模型 GPT-1 开始，始终贯彻只有解码器（Decoder-0nly）的技术路径，2018-2022年GPT系列模型几乎按照每年一代的速度,不断迭代升级。我们认为,2022年ChatGPT的成功,是OpenAl公司GPT系列模型的阶段性胜利，也是大语言模型LLM的里程碑式胜利，后续围绕LLM的技术升级、应用拓展有望加速开启，AI产业发展或将提速。

ChatGPT：引入人类反馈，模型训练 SFT、RM、PPO三步走

ChatGPT、InstructGPT分别是基于GPT-3.5、GPT-3微调得到的新版本模型，其核心目标是实现模型输出与人类预期的需求对齐（alignment)，人类反馈强化学习 RLHF 成为模型需求对齐的重要技术支持。ChatGPT、InstruCtGPT的模型训练主要包括三步：1）有监督微调SFT：通过指示学习对模型进行有监督微调；2）奖励模型 RM训练：借助人工标注员对模型输出进行排序，反馈训练得到奖励模型，此步是人类反馈的重要体现；3)近段策略优化PPO 强化学习：通过监督学习策略生成 PPO 模型，优化、迭代原有模型参数。总结来看，RLHF让模型输出更加符合用户预期。

ChatGPTVSInstructGPT：核心是基础大模型的不同

对比ChatGPT与 InstructGPT的训练方法，可以发现，两者的训练方法基本一致，核心区别在于InstructGPT、ChatGPT分别基于GPT-3、GPT-3.5进行模型微调。与GPT-3相比，GPT-3.5增加了代码训练与指示微调：1)代码训练（Code-training)：让GPT-3.5模型具备更好的代码生成与代码理解能力，同时间接拥有了复杂推理能力；2）指示微调（Instruction-tuning)：让GPT-3.5模型具备更好的泛化能力，同时模型的生成结果更加符合人类的预期。作为基于GPT-3.5的模型微调产物，ChatGPT具备更好的问答能力，更加遵循人类的价值观。

OpenAl VS Google：OpenAl 贯彻 Decoder-only 路径，技术集大成者 UpenAIvSGoogie：UpenAI贯彻Decoaer-onIy 路径，技术渠大成首

通过梳理Google与OpenAl在LLM领域的布局，可以看到，OpenAl具备两大突出特点：1）贯彻Decoder-only技术路线：从GPT-1到ChatGPT,OpenAI的LLM均采用Decoder-only 架构，单一架构的持续深耕与模型参数的不断扩大，让OpenAI的GPT系列模型具备强大的学习能力与文本生成能力；2）技术集大成者：ChatGPT的发展不仅得益于GPT模型参数、训练数据的持续优化，也得益于各类LLM新技术的融会贯通，OpenAI博采众长，加速 Instruction-tuning、RLHF、思维链等新技术在GPT系列模型中的深度应用，ChatGPT是现有技术的集大成者。

风险提示：宏观经济波动；下游需求不及预期；本报告内容均基于客观信息整理，不构成投资建议。

计算机

增持 (维持）

研究员

谢春生

SAC No. S0570519080006 xiechunsheng@htsc.com

SFC No. BQZ938

+(86) 21 2987 2036

联系人

袁泽世，PhD

SAC No. S0570122080053

yuanzeshi@htsc.com

+(86) 21 2897 2228

行业走势图

资料来源：Wind，华泰研究

每日免费获取报告

1、每日微信群内分享7+最新重磅报告；

2、每日分享当日华尔街日报、金融时报；

3、每周分享经济学人

4、行研报告均为公开版，权利归原作者所有，起点财经仅分发做内部学习。

扫一扫二维码
关注公号
回复：研究报告
加入“起点财经” 微信群。。

正文目录

GPT发展之2022：ChatGPT成功面世，LLM里程碑式胜利...
ChatGPT/InstructGPT：增加人类反馈强化学习（RLHF）
优化目标：从提示学习到指示学习，聚焦需求对齐(alignment) ..4
训练过程：“三步走”实现人工反馈强化学习． ..5
步骤一：有监督微调（SFT）训练.. ..6
步骤二：奖励模型（Reward Model，RM）训练. .8
步骤三：近端策略优化（PPO）强化学习. ..9
论文结论：RLHF是GPT需求对齐的重要支撑. .10
ChatGPTVS InstructGPT：核心是基础大模型的不同.. ...1
演化：从GPT-3到GPT-3.5，基础大模型能力再升级. ..11
对比：增加代码训练与指示微调，GPT-3.5具备三大优势. ..12
OpenAl VS Google:OpenAl 贯彻 Decoder-only 路径，技术集大成者.. ..14
特点一：贯彻 Decoder-only 技术路径. ..14
特点二：LLM相关技术集大成者. ..14
总结：厚积薄发，ChatGPT引发AI 产业范式革命. ..16
风险提示... ..16

GPT 发展之2022： ChatGPT成功面世，LLM里程碑式胜利

2022年是OpenAI公司GPT系列模型演进的重要节点。2022年11月，OpenAl发布生成式对话机器人ChatGPT，上线仅2个月，月活用户数已突破1亿，成为历史上用户增长最快的消费者应用。回顾大语言模型（Large Language Model，LLM）的发展历史，可以发现，与Google、FaceBook 等公司不同，OpenAl 从GPT-1 开始始终贯彻 Decoder-only 的技术路径，2018-2022年GPT系列模型几乎按照每年一代的速度，不断升级迭代。我们认为，2022年ChatGPT的成功面世，是LLM里程碑式的胜利，未来围绕LLM的技术升级、应用拓展有望加速开启。

2022年OpenAI加速GPT模型的版本迭代，ChatGPT融合多技术优势。通过梳理GPT系列模型的演进过程，可以看到2022年是GPT系列模型围绕GPT-3、GPT-3.5加速版本迭代的年份；2022年3月，基于GPT-3微调的InstructGPT发布，验证了人类反馈强化学习 RLHF对模型输出对齐(alignment)的重要作用;2022年4-6月,基于Codex、InstructGPT,OpenAI加速迭代形成GPT-3.5模型;2022年11月，基于GPT-3.5微调的ChatGPT发布，成为 Instruction-tuning、RLHF、思维链等LLM 相关技术的集大成者。我们认为，ChatGPT是OpenAI基于GPT系列模型的阶段性成果，未来随底层大模型的持续拓展，AI产业发展或将提速。

图表1：2017-2022年基于Transformer的LLM梳理及2022年GPT模型的版本迭代

资料来源：OpenAI官网、Google 官网、CSDN、华泰研究

ChatGPT/InstructGPT：增加人类反馈强化学习（RLHF) 优化目标：从提示学习到指示学习，聚焦需求对齐 (alignment)

从模型微调到提示学习再到指示学习，GPT 模型零次学习能力不断提升。2022年论文《Finetuned Language Models Are Zero-Shot Learners》提出指示学习 (Instruction-tuning)思想，以提升模型的零次学习能力。对比来看：1）模型微调（Fine-tuning)：以GPT-1为代表，需要大量的微调数据集样本，特定模型解决特定任务；2）提示学习(Prompt-learning)：以 GPT-3 为代表，需要少量的微调数据样本，模型小样本学习(few-shot Learning)能力更强;3)指示学习(Instruction-learning):以FLAN、InstructGPT、ChatGPT为代表，模型通过下游多类型任务的指示微调，零次学习(zero-shot Learning)能力更强；同时，提示学习与指示学习均为一个模型解决多类任务。

图表2：模型微调（Fine-tuning）、提示学习（Prompt-learning）、指示学习（Instruction-tuning）对比

资料来源：《Finetuned Language Models are Zero-shot Learners》，Jason Wei（2022）、华泰研究

聚焦模型输出与人类需求对齐，引入人类反馈强化学习。GPT系列模型发展至GPT-3，已经在翻译、问答、摘要等任务上取得了良好的性能，研究者开始更加关注模型生成内容的有用性（Helpful)、真实性（Honest)、无害性（Harmless)，希望实现模型输出内容与人类偏好内容的需求对齐（alignment)。为提升模型的“3H”特性，从 InstructGPT 开始，InstructGPT、ChatGPT均引入人类反馈强化学习（Reinforcement Learning from HumanFeedback，RLHF)，实现基于人类反馈的模型微调，让模型输出更符合人类期待。

图表3：InstructGPT的“3H”优化目标

资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

人类反馈可作为强化学习的奖励，通过引入语言模型微调，可使模型输出与人类需求对齐。从技术原理来看，强化学习通过奖励（ReWard）机制来指导模型训练，奖励机制可视为传统训练机制的损失函数；同时，奖励的计算要比损失函数更灵活、多样（例如AIphaGO 的奖励是对局的胜负)，代价是奖励计算不可导，不能直接用来做反向传播；强化学习的思路是通过对奖励的大量采样来拟合损失函数，从而实现模型的训练。类似的，人类反馈也不可导，也可以作为强化学习的奖励，从而产生基于人类反馈的强化学习。

图表4：人类反馈强化学习（RLHF）基本原理

资料来源：《Deep Reinforcement Learning from Human Preferences》，Paul F Christiano（2017）、华泰研究

训练过程：“三步走”实现人工反馈强化学习

ChatGPT与InstructGPT的训练方法基本一致。了解ChatGPT与InstructGPT的优化目标之后，我们需要进一步梳理模型的具体训练过程。对比论文《Training language modelsto follow instructions with human feedback》（2022）中的 InstructGPT 训练方法与 OpenAl官方发布的ChatGPT训练方法，我们看到,ChatGPT与InstructGPT的训练方法基本一致，区别在于InstructGPT、ChatGPT分别基于GPT-3、GPT-3.5进行模型微调。考虑到ChatGPT尚未有官方论文发布，我们以 InstructGPT论文为基准，对 InstructGPT的训练过程进行了详细梳理，具体可分为有监督微调、奖励模型训练、PPO强化学习三个步骤。

图表5：ChatGPT与InstructGPT的训练方法基本一致

注：图中蓝色部分为InStructGPT训练示意、粉色部分为ChatGPT训练示意
资料来源：OpenAl 官网、《Training language models to follow instructions with human feedback》，Long Ouyang （2022）、华泰研究

步骤一：有监督微调（SFT）训练

使用人工标注数据对GPT-3进行有监督微调（Supervisedfine-tuning，SFT）训练。由于GPT-3是基于提示学习的生成模型，因此SFT模型的数据集也是由提示-答复对组成的样本。为实现模型从提示学习向指示学习跨越，OpenAI 采用人工编写多类别提示的方法，对GPT-3模型进行有监督微调。首先，OpenAI委托标注员（40人标注团队）人工设计了包含三类内容(简单任务、few-shot任务、基于用户需求的任务)的提示样本prompt dataset;其次，委托标注团队对 promptdataset 进行标注（本质上是人工回答问题)，由此构成提示-答复对数据集；最后，用标注过的数据集微调GPT-3，得到SFT模型。

图表6：有监督微调（SFT）训练过程示意图

资料来源：《Ilustrating Reinforcement Learning from Human Feedback (RLHF)》，Nathan Lanmbert （2022）、华泰研究

SFT数据集数据量较小，数据质量、多样性更加重要。根据InStructGPT论文中提供的数据显示，SFT数据集一部分来自使用OpenAI的 PlayGround 的API用户，另一部分来自OpenAI雇佣的40名标注员（labeler)，其中训练数据大小仅约为13K（来自标注员的数据约为11.3K、来自API用户的数据约为1.4K)。考虑到InstructGPT是在GPT-3的基础上进行模型微调，GPT-3已经具备较好的文本生成能力，SFT数据集的质量、多样性对于提升模型性能来说更为重要。

图表7：有监督微调（SFT）数据集来源及大小

SFT数据集
分类	来源	大小
训练数据	标注员	11,295
训练数据	API用户	1,430
	标注员	1,550
验证数据	API用户	103

	RM数据集
分类	来源	大小
训练数据	标注员	6,623
训练数据	API用户	26,584
验证数据	标注员	3,488
验证数据	API用户	14,399

PPO数据集
分类	来源	大小
训练数据	API用户	31,144
验证数据	API用户	16,185

资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

1）数据多样性：以InstructGPT论文披露的奖励模型RM数据集为例（未披露SFT数据集任务分类占比)，RM数据集包括文本生成、开放式问答、头脑风暴、对话、改写、摘要、分类等10类任务，任务类型多样且占比不同；以RM数据集为推测依据，SFT数据集作为初始种子数据集，为提升模型的泛化能力，通常具备更好的数据多样性；

图表8：奖励模型（RM）数据集分类占比

资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

2）数据质量：作为初始的种子数据集，SFT数据集大部分数据来自标注团队，而非 API数据采样，因此SFT数据集具有更好的数据质量;同时OpenAI在标注团队的人员组成上，充分考虑了性别、身份、国籍、年龄、学历等因素的差异性。

图表9：标注团队按性别分类

资料来源：《Training language models to follow instructions with humanfeedback》，Long Ouyang（2022）、华泰研究

图表10：标注团队按国籍分类

资料来源：《Training language models to follow instructions with humanfeedback》，Long Ouyang（2022）、华泰研究

图表11：标注团队按年龄分类

资料来源：《Training language models to follow instructions with humanfeedback》，Long Ouyang（2022）、华泰研究

图表12：标注团队按学历分类

资料来源：《Training language models to follow instructions with humanfeedback》，Long Ouyang（2022）、华泰研究

步骤二：奖励模型（Reward Model，RM）训练

通过RLHF的思路训练奖励模型。这一阶段的主要目标，在于借助标注员的人工反馈，训练出更符合人类意愿的奖励模型，为监督策略建立评价标准。训练奖励模型的过程同样可以分为三步：1）任务采样：抽样出一个prompt 问题及 SFT模型的k个输出结果；2）结果排序：标注员将这k个结果按质量好坏排序，形成C组训练数据对（{sample,reward}pairs)；3）RM训练：使用C组训练数据对（{sample,reward}pairs）训练奖励模型，让奖励模型更加理解人类偏好。

图表13：奖励模型（RM）训练过程示意图

资料来源：《Ilustrating Reinforcement Learning from Human Feedback (RLHF)》，Nathan Lanmbert （2022）、华泰研究

两两对比，最大化“更喜欢”和“更不喜欢”的差值。为了更加清晰地理解此轮步骤中排序和训练，我们针对InStructGPT论文介绍的方法，进行了更为通俗的解释。针对一个Prompt任务，SFT模型输出k个结果，排序过程即对这k个结果进行两两对比，并根据结果的好坏进行排序；为了让RM更好地学习人类偏好，可先通过C组分别计算IoSS损失函数值，再将C组结果求和取均值，损失函数的目标是最大化更喜欢的结果和更不喜欢的结果之间的差值；通过loSS 函数的梯度回传，RM 模型逐渐学会给更喜欢的结果打高分，给更不喜欢的结果打低分，从而实现了人类偏好的模仿。

图表14：LoSs损失函数拆解

资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

步骤三：近端策略优化（PPO）强化学习

通过训练好的 RM 模型和近端策略优化 PPO 算法优化 SFT 模型策略。近端策略优化（Proximal Policy Optimization，PPO）是一种强化学习算法，核心思路在于将 PolicyGradient 中 On-policy 的训练过程转化为 Off-policy，即将在线学习转化为离线学习。具体来说，就是再次让SFT模型去回答 promptdataset某个问题，通过PPO 算法产生输出；然后，不再借助人工评估结果好坏，而是利用步骤二训练的 RM 模型去对 SFT模型的预测结果进行打分排序，即用“AI 训练AI”。此阶段可以循环多次，从而得到参数质量更好的模型。

图表15：近端策略优化（PPO）强化学习示意图

资料来源：《Ilustrating Reinforcement Learning from Human Feedback (RLHF)》，Nathan Lanmbert （2022）、华泰研究

人类反馈主要体现在RM阶段。总结来看，InstructGPT以及ChatGPT的训练过程可概括为：首先通过人工标注数据 prompt dataset对原始模型VO（GPT-3或GPT-3.5）进行有监督微调，得到模型V1；其次，让模型V1对一个prompt进行多个输出，并通过人工进行输出结果排序并训练奖励模型RM；最后，继续训练模型V1，给定一个prompt，得到输出后由奖励模型RM继续完成打分，反复迭代后得到最终的 InstructGPT或ChatGPT。人类标注员参与SFT训练与RM训练两个过程，其中人类反馈主要体现在RM阶段。

图表16：人工主要参与SFT、RM，人类反馈主要体现在RM阶段

资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

论文结论：RLHF是GPT需求对齐的重要支撑

RLHF有效优化了模型输出，输出结果更加符合人类意愿。InstructGPT论文中分别训练了13 亿、60 亿、1750亿三个参数规模的InstructGPT模型，实验证明：13亿参数规模的InstructGPT模型（PPO-ptx）在多场景下的输出效果均优于1750亿参数规模GPT-3模型。人类反馈强化学习RLHF方法的引入，一方面能够尽可能地对齐（Alignment）GPT的输出，让GPT具备对用户更加友好的语言逻辑，微调出用户友好型GPT；另一方面，人工反馈的引入，帮助模型更好的理解人类思维和意图，训练结果更符合人类的需求。

图表17：InstructGPT更好地实现了模型输出与人类需求对齐

资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

模型的“3H”特性显著提升，输出内容更有用、更真实、更无害。为了衡量InstructGPT模型的有用性（Helpful)、真实性（Honest)、无害性（Harmless)是否得到改善，InstructGPT论文在公开可用的数据集上使用现有指标，对比了InstructGPT与GPT-3的模型性能。与GPT-3 相比，根据TruthfulQA指标，InstructGPT产生的模仿性错误更少；根据RealToxicity指标，InstructGPT输出的毒性更小；根据API提示分布进行人工评估，发现InstructGPT更少地编造事实（"幻觉")，并生成更合适的输出。总结来看，InstructGPT模型输出内容的有用性、真实性、无害性均得到一定程度的提升。

图表18：InstructGPT模型的有用性、真实性、无害性显著提升

注：毒性、致幻性得分越低越好，真实性、适当性等分越高越好
资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

ChatGPTVS InstructGPT：核心是基础大模型的不同

演化：从GPT-3到GPT-3.5，基础大模型能力再升级

训练方法基本一致，核心区别是基础大模型的不同。对比OpenAI官网介绍的ChatGPT训练方法与InStructGPT论文介绍的InstructGPT训练方法，两者的训练方法基本一致，核心区别在于InstructGPT、ChatGPT分别基于GPT-3、GPT-3.5进行模型微调。为了充分理解ChatGPT与InstructGPT的能力差异，我们梳理了从GPT-3到GPT-3.5发展过程。

1) GPT-3元年(2020):2020 年7月，OpenAl 发表论文《Language Models are Few-ShotLearners》，开启GPT-3元年；与GPT-2 相比，GPT-3进一步扩大模型参数与训练数据量，并用 few-shot取代zero-shot，模型泛化能力得到进一步提升；

2)GPT-3 系列(2021.08-2022.03):2021 年8 月,论文《Evaluating Large Language ModelsTrained on Code》发表，基于GPT-3进行代码训练微调，得到Codex通用代码生成模型，对应 OpenAl APl 中的 code-cushman-001; 2022 年3月，论文《Training language modelsto follow instructions with human feedback》发表，基于GPT-3 模型，经过 SFT 训练+RM训练+PPO 强化学习，得到 InstructGPT 模型，其中 SFT 部分对应了 OpenAI API 中的davinci-instruct-beta、text-davinci-001;

3）GPT-3.5系列（2022.04-2022.6)：2022年4月，兼具语言模型、代码训练、指示微调的 code-davinci-002 模型面世,仍称其为 Codex,对应 OpenAl APl中的 code-davinci-002;2022 年 5-6 月，基于 code-davinci-O02 的有监督指令微调 (supervised instruction tuned)模型 text-davinci-002发布，此次指令微调降低了模型的上下文学习能力，但增强了模型的零次学习能力；

4）ChatGPT时代（2022.11)：2022年11月，基于 text-davinci-002 进行RLHF 指令微调的两种变体模型出现，分别为 text-davinci-O03、ChatGPT；其中 text-davinci-003 恢复了text-davinci-O02中丢失的部分上下文学习能力，同时得益于RLHF进一步改进了零次学习能力；ChatGPT则具备了建模对话历史的能力。

图表19：GPT3及GPT3.5系列模型演进路径

资料来源：《How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources》，Yao Fu （2022）、华泰研究

对比：增加代码训练与指示微调，GPT-3.5具备三大优势

与GPT-3相比,GPT-3.5增加代码训练(Code-training)与指示微调(Instruction-tuning)。根据上文对GPT-3及GPT-3.5系列模型的发展梳理，不难看出以code-davinci-002（用于代码生成）、text-davinci-002（用于文本生成）为代表的GPT-3.5模型，与GPT-3 模型相比增加了代码训练、指示微调两个训练步骤。1）代码训练：经过前期的代码训练，GPT-3.5模型具备更好的代码生成与代码理解能力，同时间接拥有了使用思维链进行复杂推理的能力；2）指示微调：经历 Instruction-tuning，GPT-3.5具备更好的模型泛化能力，同时模型的生成结果更加符合人类的预期。

图表20：与GPT-3相比，GPT-3.5增加代码训练与指示微调

资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

GPT-3.5具备三大优势，ChatGPT实现优势融合。基于模型训练的持续优化，与GPT-3相比，GPT-3.5具备三大优势：更强的复杂推理能力，更好的人类指令响应，更全面的文本、代码生成能力。作为基于GPT-3.5的模型微调产物，ChatGPT实现了Code-training、Instruction-tuning、RLHF等训练的优势整合，我们针对ChatGPT优势进行能力溯源：

1）预训练大模型：ChatGPT具备的语言生成能力、基础世界知识、上下文学习能力等基本能力均来源于基于Transformer的模型预训练；大量知识的存储能力依托于庞大的模型参数（GPT-3模型参数为1750亿）;

2）代码训练：ChatGPT具备较好的代码生成与代码理解能力，同时具备执行复杂推理的能力，主要得益于代码训练Code-training的引入；初代GPT-3未进行过专门的代码训练，因此在代码生成、理解方面能力相对较差，同时推理（思维链）能力也较差；因此可以判断，代码训练是ChatGPT上述能力的重要来源；

3）人类反馈强化学习：ChatGPT具备更好的问答能力，同时可以拒绝不当的问题、拒绝知识范围之外的问题，这些在对话问答上的突出表现，得益于人类反馈强化学习RLHF 的训练，让ChatGPT更加遵循人类的价值观，同时拥有了建模对话历史、增加对话信息量等能力。

图表21：ChatGPT优势能力潮源

资料来源:《How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources》,Yao Fu(2022)、华泰研究

OpenAl VS Google:OpenAl 贯彻 Decoder-only 路径，技术集大成者

ChatGPT领先发布，OpenAI打开大语言模型新局面。2022年11月30日，ChatGPT正式上线，仅花费5天时间用户数超100万，据Similarweb数据显示,2023年1月,ChatGPT平均每天约有1300 万独立访客。面对ChatGPT的领先发布与热烈反响，2022年2月8日，Google 在发布会上开启对话机器人Bard 首秀，相较于ChatGPT的突出表现，Bard的表现则稍显逊色。2022年2月15日,Google 首席执行官桑达尔皮查伊(Sundar Pichai)呼呼员工进行 Bard 的内部测试、优化。

Decoder-only+技术博采众长，两大特点助力ChatGPT成功面世。通过梳理2017年起，Google 与OpenAI 在LLM 领域的布局可以看到，OpenAI 具备两大突出特点：1）贯彻Decoder-only 技术路线：从 GPT-1 到 ChatGPT，OpenAl 的 LLM 均采用 Decoder-only架构，单一架构领域的持续深耕与模型参数的不断扩大，让OpenAI的GPT系列模型具备强大的学习能力与文本生成能力；2）技术集大成者：ChatGPT的发展不仅得益于GPT模型参数、训练数据的持续优化，也得益于各类LLM新技术的融会贯通，OpenAI博采众长，加速新技术在GPT系列模型中的深度应用。

图表22：OpenAl与Google在LLM领域的布局（2017年6月-2023年2月）

注：红框内浅粉色高亮的三种预训练语言模型是2019年三类典型模型资料来源：OpenAI官网、Google官网、CSDN、华泰研究

特点一：贯彻 Decoder-only 技术路径

Decoder-only具备文本生成优势，OpenAI深耕布局。OpenAl自2018年的GPT-1起，在模型架构上始终坚持Decoder-only 的技术路径,得益于Decoder-only 架构在文本生成上的天然性优势（具体分析可参考华泰计算机2023年2月14日发布的报告《GPT产业复盘(2019)：大容量路线》),ChatGPT在对话、翻译等文本生成任务中更具优势；对比来看，Google2018 年、2019 年推出的 BERT、T5 分别采用 Encoder-only、Encoder-Decoder技术方案，直至2021年10 月推出的FLAN模型才采用 Decoder-only方案；

特点二：LLM相关技术集大成者

ChatGPT是LLM领域的技术集大成者。从ChatGPT的技术路径演进过程来看，其底层技术可视为 Transformer+Prompt-Learning+Instruction-tuning+RLHF+PPO+思维链的融合。

1）Tansformer：2017 年 6 月，Google 发布论文《Attention Is All You Need》，提出Transformer模型；

2）RLHF：2017年7月，DeepMind（Google 旗下人工智能企业）与OpenAl联合发布论文《Deep Reinforcement Learning from Human Preferences》，提出人类反馈强化学习RLHF方法；

3）PPO：2017 年8月，OpenAl 发表论文《Proximal Policy Optimization Algorithms》,提出对TRPO 算法的改进 PPO 算法；

4) Prompt-Learning :2020 年7月，OpenAl 发布论文《Language Models are Few-ShotLearner》，开启基于Prompt的NLP新学习范式的研究热潮；

5) Instruction-tuning:2021 年9 月，Google 发布论文《Finetuned Language Models areZero-shot Learners》，提出指示微调（Instruction-tuning）方法；

6）思维链：2022 年 4月 Google 发布论文《Pathways:Asynchronous Distributed Dataflowfor ML》，提出 Pathways Language Model(PaLM）模型，并提出思维链（Chain-of-ThoughtPrompting）技术;

从各项技术的提出时间和提出者来看，ChatGPT融合的各项技术不仅由OpenAI公司独立提出，还包括Google、DeepMind等公司的研究成果；OpenAl博采众长，广泛实现了先进技术与GPT模型的有机融合，这也成为ChatGPT优势能力的重要来源。

图表23：ChatGPT实现多项技术融合

资料来源：Google官网、OpenAl官网、华泰研究

总结：厚积薄发，ChatGPT引发AI 产业范式革命

我们认为，2022年是GPT系列模型厚积薄发的阶段性胜利之年，基于GPT-3.5微调产生的ChatGPT在模型演变与模型应用上均有较大突破：

1)模型演变上：ChatGPT是基于GPT-3.5大模型微调生成的专注对话式生成的语言模型，其本质上是GPT系列模型多年来厚积薄发的产物。GPT系列模型从2018到2020年，沿着大模型参数、多训练数据的方向持续演进，到GPT-3时代已经具备了较强的模型泛化能力。2022年，GPT-3.5（GPT-3经过代码训练、指示微调的产物）成为新一代大模型基础，基于GPT-3.5 的强大文本生成能力，OpenAl进一步引入Instruction-tuning、RLHF等技术，迭代生成ChatGPT模型。我们认为，ChatGPT模型的成功具有重要的引导意义，单一大模型或为未来 AI 训练主流方向。

2）模型应用上：相比过去的AI产品，ChatGPT在应用领域、商业化等层面呈现出新的特点。应用领域方面：ChatGPT 属于生成式AI，相比于分析型 AI，ChatGPT不局限于已有的内容，在文艺创作、代码处理、营销等众多创造性场景内有更为突出的表现。商业化方面：ChatGPT在商业化方面彰显出强于以往AI 应用的潜力，一方面得益于用户数快速增长，另一方面得益于微软为代表的科技巨头支持。

风险提示

宏观经济波动。若宏观经济波动，产业变革及新技术的落地节奏或将受到影响，宏观经济波动还可能对IT投资产生负面影响，从而导致整体行业增长不及预期。

下游需求不及预期。若下游数字化需求不及预期，相关的数字化投入增长或慢于预期，致使行业增长不及预期。

本报告内容均基于客观信息整理，不构成投资建议。

图表24：提及公司列表

公司代码	公司简称
GOOGL US	谷歌
未上市	OpenAl
未上市	DeepMind

资料来源：Bloomberg、华泰研究

免责声明

分析师声明

本人，谢春生，兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见；彼以往、现在或未来并无就其研究报告所提供的具体建议或所表达的意见直接或间接收取任何报酬。

一般声明及披露

本报告由华泰证券股份有限公司（已具备中国证监会批准的证券投资咨询业务资格，以下简称“本公司"）制作。本报告所载资料是仅供接收人的严格保密资料。本报告仅供本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。

本报告基于本公司认为可靠的、已公开的信息编制，但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。

本报告所载的意见、评估及预测仅反映报告发布当日的观点和判断。在不同时期，华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来，未来回报并不能得到保证，并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。

本公司不是 FINRA 的注册会员，其研究分析师亦没有注册为 FINRA 的研究分析师/不具有 FINRA 分析师的注册资格。

华泰力求报告内容客观、公正，但本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求，在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况，并完整理解和使用本报告内容，不应视本报告为做出投资决策的唯一因素。对依据或者使用本报告所造成的一切后果，华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。

除非另行说明，本报告中所引用的关于业绩的数据代表过往表现，过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现，分析中所做的预测可能是基于相应的假设，任何假设的变化可能会显著影响所预测的回报。

华泰及作者在自身所知情的范围内，与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下，华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易，为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该公司招揽业务。

华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。

本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员，也并非意图发送、发布给因可得到、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。

本报告版权仅为本公司所有。未经本公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并需在使用前获取独立的法律意见，以确定该引用、刊发符合当地适用法规的要求，同时注明出处为“华泰证券研究所”,且不得对本报告进行任何有悼原意的引用、删节和修改。本公司保留追究相关责任的权利。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。

中国香港

本报告由华泰证券股份有限公司制作，在香港由华泰金融控股（香港）有限公司向符合《证券及期货条例》及其附属法律规定的机构投资者和专业投资者的客户进行分发。华泰金融控股（香港）有限公司受香港证券及期货事务监察委员会监管，是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。在香港获得本报告的人员若有任何有关本报告的问题，请与华泰金融控股（香港）有限公司联系。

香港-重要监管披露

·华泰金融控股（香港）有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员。

·有关重要的披露信息，请参华泰金融控股（香港）有限公司的网页 https://www.htsc.com.hk/stock_disclosure其他信息请参见下方“美国-重要监管披露”。

美国

在美国本报告由华泰证券（美国）有限公司向符合美国监管规定的机构投资者进行发表与分发。华泰证券（美国）有限公司是美国注册经纪商和美国金融业监管局（FINRA）的注册会员。对于其在美国分发的研究报告，华泰证券（美国）有限公司根据《1934年证券交易法》（修订版）第15a-6条规定以及美国证券交易委员会人员解释，对本研究报告内容负责。华泰证券（美国）有限公司联营公司的分析师不具有美国金融监管（FINRA）分析师的注册资格，可能不属于华泰证券（美国）有限公司的关联人员，因此可能不受FINRA关于分析师与标的公司沟通、公开露面和所持交易证券的限制。华泰证券（美国）有限公司是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。任何直接从华泰证券（美国）有限公司收到此报告并希望就本报告所述任何证券进行交易的人士，应通过华泰证券（美国）有限公司进行交易。

美国-重要监管披露

·分析师谢春生本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员、董事或顾问。分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益。本披露中所提及的“相关人士”包括FINRA 定义下分析师的家庭成员。分析师根据华泰证券的整体收入和盈利能力获得薪酬，包括源自公司投资银行业务的收入。

·华泰证券股份有限公司、其子公司和/或其联营公司，及/或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券 (包括衍生品)。

·华泰证券股份有限公司、其子公司和/或其联营公司，及/或其高级管理层、董事和雇员可能会持有本报告中所提到的任何证券（或任何相关投资）头寸，并可能不时进行增持或减持该证券（或投资)。因此，投资者应该意识到可能存在利益冲突。

评级说明

投资评级基于分析师对报告发布日后6至12个月内行业或公司回报潜力（含此期间的股息回报）相对基准表现的预期（A股市场基准为沪深300 指数，香港市场基准为恒生指数，美国市场基准为标普 500 指数)，具体如下：

行业评级

增持：预计行业股票指数超越基准

中性：预计行业股票指数基本与基准持平

减持：预计行业股票指数明显弱于基准

公司评级

买入：预计股价超越基准15%以上

增持：预计股价超越基准5%\~15%

持有：预计股价相对基准波动在-15%\~5%之间

卖出：预计股价弱于基准15%以上

暂停评级：已暂停评级、目标价及预测，以遵守适用法规及/或公司政策

无评级：股票不在常规研究覆盖范围内。投资者不应期待华泰提供该等证券及/或公司相关的持续或补充信息

法律实体披露

中国：华泰证券股份有限公司具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J香港：华泰金融控股(香港)有限公司具有香港证监会核准的“就证券提供意见”业务资格，经营许可证编号为：AOK809美国：华泰证券（美国）有限公司为美国金融业监管局（FINRA）成员，具有在美国开展经纪交易商业务的资格，经营业务许可编号为：CRD#:298809/SEC#:8-70231

华泰证券股份有限公司
南京
南京市建邮区江东中路228号华泰证券广场1号楼/邮政编码：210019

电话：86 25 83389999/传真：86 25 83387521电子邮件：ht-rd@htsc.com

深圳
深圳市福田区益田路5999号基金大厦10楼/邮政编码：518017
电话：86 755 82493932/传真：86 755 82492062
电子邮件：ht-rd@htsc.com

华泰金融控股（香港）有限公司

香港中环皇后大道中99号中环中心58楼5808-12室
电话：+852-3658-6000/传真：+852-2169-0770
电子邮件：research@htsc.com
http://www.htsc.com.hk

华泰证券（美国）有限公司

美国纽约公园大道280号21楼东 (纽约10017)
电话：+212-763-8160/传真：+917-725-9702
电子邮件:Huatai@htsc-us.com
http://www.htsc-us.com

北京
北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层/
邮政编码：100032
电话：86 10 63211166/传真：86 10 63211275
电子邮件：ht-rd@htsc.com
上海
上海市浦东新区东方路18号保利广场E栋23楼/邮政编码：200120
电话：862128972098/传真：862128972068
电子邮件：ht-rd@htsc.com

START YOUR FINANCE

起点财经，网罗天下报告

计算机行业GPT产业复盘（2022）：推出ChatGPT-20230219-华泰证券-19页