GPT产业复盘（20-21）：走向应用

华泰研究

2023年2月19日丨中国内地

专题研究

溯源GPT发展：20-21年参数量继续加大，应用于代码生成领域

2019 年问世的GPT-2，证明了大训练参数量和数据集能获得很好的训练结果，明确了GPT发展的大容量路线，并开始尝试泛化能力更强的zero-Shot学习（零次学习）。在此基础上，2020年5月，OpenAI发表论文《LanguageModels are Few-Shot Learners》推出GPT-3，将模型参数量提高到1750亿,达到GPT系列模型的最大规模,训练数据集大小超570GB。此外,GPT-3将GPT-2采用的zero-shot更换为few-shot,进一步提高了模型的训练效果。2021年，基于GPT-3，OpenAI推出通用代码生成模型Codex。竞争对手微软和谷歌也于2020 年分别提出了T-NLG 和ELECTRA模型。

GPT发展之2020：模型参数提升到1750亿

GPT-3模型延续了GPT-2模型“更多训练数据+更大的网络参数可以有效地提升模型的泛化能力”的理念，其特点在于：1）与GPT2采用几乎同样的架构，模型参数由GPT-2的15亿增加到1750亿，提升超100 倍。2）与GPT-2一样舍弃了针对不同任务进行的微调，转而用feW-shot来实现下游任务，兼顾了训练效果与成本。3)GPT-3训练数据集为多种数据集的混合，包括Common Crawl以及质量更高的WebText2、Wikipedia,大小超570GB。

GPT发展之2021：在代码生成领域的应用一Codex

Codex 是在 GPT-3上基于GitHub 公开代码进行微调的代码生成模型。OpenAl 从 Github 上搜集了 5400 万个公共软件库代码，集合而成大小159GB的代码训练数据集。Codex即是参数量12B的GPT-3基于该数据集微调得到的模型。在进行模型评估时，OpenAi构造了HumanEval数据集，包含164原创的、手工设计的编程问题。与类似的代码生成模型相比，120亿参数的Codex准确率最高可达72.31%，性能优异。

T-NLG追求大规模，ELECTRA注重训练效率

微软T-NLG问世时是规模最大的自然语言生成模型，训练参数达170亿，能够完成开放式文本任务、直接生成问题答案、输出文档摘要等任务，并在许多 NLP任务上均优于当时的 SOTA 技术。其演化版本MT-NLG 参数达5300亿，再次刷新NLP模型规模记录。谷歌ELECTRA模型基于替换 token检测任务训练得到，更注重提高预训练效率而非参数规模。参数规模最小的14MELECTRA-SmalI训练结果能够超过模型规模更大的GPT-1模型。

模型对比：GPT-2vsT-NLG/ELECTRA

(M)T-NLG 和GPT相比，最大特点在于模型参数量巨大，其中的逻辑在于微软和合作方NVIDIA分别在软件和硬件上更具优势，有利于发展大规模模型。ELECTRA与GPT-3的区别主要在架构和训练策略上。1)架构上:GPT-3采用的是Transformer的解码器架构，ELECTRA是Transformer编码器架构。2）策略上：ELECTRA 坚持了小型模型的道路，通过改善预训练方法来提高效果，不追求大规模的训练参数，同样获得了性能优异的模型。

风险提示：宏观经济波动，下游需求不及预期。本报告内容均基于客观信息整理，不构成投资建议。

计算机

增持 (维持）

研究员

谢春生

SAC No. S0570519080006 xiechunsheng@htsc.com

SFC No. BQZ938

+(86) 21 2987 2036

联系人

袁泽世，PhD

SAC No. S0570122080053

yuanzeshi@htsc.com

+(86) 21 2897 2228

行业走势图

资料来源：Wind，华泰研究

每日免费获取报告

1、每日微信群内分享7+最新重磅报告；

2、每日分享当日华尔街日报、金融时报;

3、每周分享经济学人

4、行研报告均为公开版，权利归原作者所有，起点财经仅分发做内部学习。

扫一扫二维码
关注公号
回复：研究报告
加入“起点财经” 微信群。。

正文目录

GPT发展之20-21：参数量继续加大，应用于代码生成领域， .3
GPT发展之2020：模型参数提升到1750亿.. ...4
GPT-3：模型参数达1750亿，few-shot进一步提高性能！ ..4
模型特点：大参数量+大训练集+few-shot. ..4
特点一：架构基本不变，参数量大大增加.. .4
特点二：采用few-shot学习完成下游任务.. ..6
特点三：预训练数据集达570GB以上.. ...7
论文结论：Few-shot在多种NLP 数据集上实现了较好性能.. ..8
GPT 发展之2021：代码生成领域的应用一Code.x..
Codex：基于GPT-3的代码生成工具. ...9
模型对比：GPT-2vST-NLG/ELECTRA... ...11
T-NLG：问世时最大规模的自然语言生成模型. ..11
MT-NLG：与NVIDIA合作推出 5300亿参数模型 ..12
对比：(M)T-NLG 相比GPT-3更注重利用软硬件上的优势. ...14
ELECTRA：注重提高预训练效率的“小而美”模型. ...15
对比：ELECTRA相比GPT-3 更注重小规模、更有效的预训练.. ….17
总结：2020-2021年是GPT发展的关键阶段.. ..17
风险提示.... ...18

GPT发展之20-21：参数量继续加大，应用于代码生成领域

20-21年，GPT-3模型参数量达到1750亿，并在代码生成领域成功应用。2019年问世的GPT-2，证明了更大的训练参数量和数据集能获得很好的训练结果，明确了GPT发展的大容量路线，并开始尝试泛化能力更强的zero-shot学习（零次学习）。在此基础上，2020 年5月，OpenAl 发表论文《Language Models are Few-Shot Learners》推出 GPT-3，将模型参数量提高到1750亿，达到GPT系列模型的最大规模，训练数据集大小超570GB。此外，将GPT-2采用的 zero-shot 更换为 few-shot,进一步提高了模型的训练效果。2021年，基于GPT-3，OpenAI推出通用代码生成模型Codex。

微软与谷歌也分别提出了自然语言处理模型T-NLG和ELECTRA。T-NLG与GPT-2同样采用Transformer解码器架构，其最大特点在于训练参数远高于同时期的其他模型，得益于微软在软件和算力资源上的优势。ELECTRA最大特点在于不再追求大规模的参数，转而通过提高预训练效率来训练“小而美”的模型。

图表1：2017-2022年主要自然语言模型梳理

资料来源：各公司官网、各模型论文、华泰研究

GPT发展之2020：模型参数提升到1750亿

GPT-3：模型参数达1750亿，few-shot进一步提高性能

GPT-3将训练参数量扩大到1750亿。2020 年5月，OpenAl发表论文《LanguageModelsare Few-ShotLearners》，提出GPT-3模型。GPT-3模型的参数量达1750 亿，是GPT史上最大的参数规模。在GPT-2的 zero-shotlearning(零次学习)基础上,GPT-3在 zero-shot、one-shot（一次学习）和few-shot（少量学习，通常10-100次）方面均进行了评估，取得了较好的训练结果：例如，GPT-3在zero/one/few-shot设置下CoQA(测试阅读理解能力）分别达到81.5、84.0、85.0F1(F1分数是统计学中用来衡量二分类模型精确度的一种指标，值越大意味着模型越好)；在在 zero/one/few-shot 设置下TriviaQA（测试闭卷问答能力）分别达到64.3%、68.0%、71.2%的准确度，部分结果甚至超过微调模型。OpenAI指出，GPT-3也可以在传统的微调设置中进行评估。

GPT-3模型延续了GPT-2模型“更多训练数据+更大的网络参数可以有效地提升模型的泛化能力”的理念，将模型参数提升到新高度。同时与GPT-2一样舍弃了针对不同任务进行的微调，转而用few-shot来实现下游任务，兼顾了训练效果与成本。

图表2：《Language Models are Few-Shot Learners》论文标志 GPT-3 问世

资料来源：Language Models are Few-Shot Learners、华泰研究

模型特点：大参数量+大训练集+few-shot

特点一：架构基本不变，参数量大大增加

GPT-3延续了GPT-2的大容量发展路线。GPT-2已经证明，通过更多的训练数据+更大的网络参数能够让模型具备zero-shot学习能力，并取得了一定的效果，由此确立了GPT模型向更大容量演进的发展路线。GPT-3延续了这一路线，将模型参数由GPT-2的15亿增加到1750亿，提升幅度超100倍。

图表3：GPT模型演进路径—GPT-3

资料来源：OpenAI官网、华泰研究

GPT-3共有8种不同参数大小的模型，“GPT-3”特指规模1750 亿的模型。OpenAl共搭建了8种GPT-3模型，主要区别在于参数规模和架构层数。参数规模从小到大分为125M、350M、760M、1.3B、2.7B、6.7B、13.0B和175.0B。通常“GPT-3”专指参数量为175.0B，即 1750亿的模型。不同模型架构上的区别包括模型层数nlayer、每层中的单元数dmodel、每个注意力头的维度dhead等。

图表4：GPT-3的8种不同大小模型的参数

Model Name	nparams	nlayers	dmodel	nheads	dhead	Batch Size	Learning Rate
GPT-3 Small	125M	12	768	12	64	0.5M	6.0×10-4
GPT-3 Medium	350M	24	1024	16	64	0.5M	3.0×10-4
GPT-3 Large	760M	24	1536	16	96	0.5M	2.5×10-4
GPT-3 XL	1.3B	24	2048	24	128	1M	2.0×10-4
GPT-3 2.7B	2.7B	32	2560	32	80	1M	1.6 ×10-4
GPT-3 6.7B	6.7B	32	4096	32	128	2M	1.2 ×10-4
GPT-3 13B	13.0B	40	5140	40	128	2M	1.0×10-4
GPT-3 175B or"GPT-3"	175.0B	96	12288	96	128	3.2M	0.6×10-4

Table 2.1: Sizes,architectures,and learning hyper-parameters (batch size in tokens and learning rate) of the models which we trained.All models were trained for a total of 3oo billion tokens.
资料来源：Language Models are Few-Shot Learners、华泰研究

大训练参数能明显提高GPT-3模型准确性。从上下文学习能力训练结果准确率来看，对于GPT-3模型，当模型参数量较低时，模型准确率较低，例如参数量1.3B的模型准确率不超过10%。当模型参数提升10倍至13B时，最高准确率接近30%。当模型参数达到最大175B时，准确率最高接近70%，进一步验证了GPT-2大容量路线的正确性。

图表5：大训练参数显著提高GPT-3准确率

Figure 1.2: Larger models make increasingly efficient use of in-context information. We show in-context learning performance on a simple task requiring the model to remove random symbols from a word, both with and without a natural language task description (see Sec.3.9.2). The steeper“in-context learning curves" for large models demonstrate improved ability to learn a task from contextual information.We see qualitatively similar behavior across a wide range of tasks.
资料来源：Language Models are Few-Shot Learners、华泰研究

GPT-3和GPT2采用几乎同样的架构。GPT-3和GPT-2模型和架构基本相同，包括修改后的初始化、预归一化和可逆标记化，唯一区别在于将 transformer中注意力模式替换成了类似 SparseTransformer 的稀疏注意力模式。

图表6：GPT-3采用和GPT-2同样的架构

2.1Model and Architectures

We use the same model and architecture as GPT-2[RWC+19], including the modified initialization, pre-normalization, and reversible tokenization described therein, with the exception that we use alternating dense and locally banded sparse attention patterns in the layers of the transformer, similar to the Sparse Transformer[CGRS19].To study the dependence

资料来源：Language Models are Few-Shot Learners、华泰研究

特点二：采用few-shot学习完成下游任务

FeW-shot取代zero-shot，训练效果得到进一步加强。GPT-2模型中，在下游训练时采用zero-shot学习理念，在执行各类子任务时不给任何样例，属于较为极端的情况。虽然在GPT-2 在某些测试中取得了不错的效果，但在一些任务上结果不达预期。因此，OpenAl引入了feW-shot，即对于特定任务仅给予少量的样例（10-100个)，没有任何梯度更新或微调，任务和feW-shot示例均通过与模型的文本交互指定。从多种训练基准综合训练结果来看，few-shot 能够取得比zero-shot更好的准确度。

图表7：Zero-shot、one-shot和few-shot随着模型参数增加准确度越来越高

Figure 1.3:Aggregate performance for all42 accuracy-denominated benchmarks While zero-shot performance improves steadily with model size,few-shot performance increases more rapidly,demonstrating that larger modelsare moreproficientatin-contextlearning.SeeFigure 3.8 foramore detailed analysison SuperGLUE,a standard NLP benchmark suite.
注：图中为多种训练基准综合的结果
资料来源：Language Models are Few-Shot Learners、华泰研究

微调、zero-shot、one-shot和few-shot区别在于给定的任务示例多少。

1）微调：常会使用数千到数十万个标记示例。微调的主要优点是在许多基准测试上都有很强的性能，缺点是每个任务都需要一个新的大型数据集，导致模型泛化能力不佳，训练质量可能受训练数据集影响。GPT-3没有采用微调，但原则上能够适用微调。

2)FeW-shot：指的是在推理时给模型一些任务演示作为条件，但不进行权重更新的设置。GPT-3给定的few-shot数量为1-100个。Few-shot的主要优点是大大减少了对特定于任务的数据的需求，并减少了从大而窄的微调数据集中学习过于狭窄的分布的可能性。不过其结果往往不如微调。

3）One-shot：与 Few-shot 类似，只是仅提供一个任务演示给模型。

4）Zero-shot：不提供给模型任何的任务演示，只提供描述任务的自然语言指令。该方法提供了最大的便利性、潜在的稳健性，并且不会受训练数据集质量的影响。该方法问题在于，没有任何预先示例，对于人类尚且不易，模型实现会更加困难。GPT-2采用该方法。

图表8：微调、zero-shot、one-shot 和 few-shot 比较

资料来源：Language Models are Few-Shot Learners、华泰研究

特点三：预训练数据集达570GB以上

GPT-3训练数据集为多种数据集的混合。数据集以CommonCrawl为基础,其大小为45TB。但 CommonCrawl 数据集的质量低于更精确的数据集，为了保证数据集质量，一方面对CommonCrawl进行过滤，大小压缩到570GB，另一方面增加了质量更高的数据集，如WebText2、Wikipedia等。在训练期间，数据集的采样并不与其大小成比例，而是质量更高的数据集采样频率更高，因此CommonCrawl 和 Books2 数据集在训练期间采样次数少于一次，其他更高质量的数据集采样次数为2-3次，以换取更高质量的训练数据。比较来看,GPT-1和GPT-2的训练书籍及大小分别为5GB和40GB,GPT-3数据集大小超GPT-210倍以上。

图表9：GPT-3训练数据集组合

Dataset	Quantity (tokens)	Weight in training mix	Epochs elapsed when training for 300B tokens
Common Crawl (filtered)	410 billion	60%	0.44
WebText2	19 billion	22%
Books1	12 billion	8%	2
Books2	55 billion	8%	0.43
Wikipedia	3 billion	3%	3.4

Table 2.2: Datasets used to train GPT-3.“Weight in training mix” refers to the fraction of examples during training that are drawn from a given dataset,which we intentionally do not make proportional to the size of the dataset.As a result,when we train for 3OO billion tokens,some datasets are seen up to 3.4 times during training while other datasets are seen less than once.

资料来源：Language Models are Few-Shot Learners、华泰研究

论文结论：Few-shot在多种NLP数据集上实现了较好性能

GPT-3在许多NLP数据集上实现了强大的性能。GPT-3在包括语言建模、翻译、问答和完形填空任务，以及一些需要动态推理或领域适应的任务，例如解读单词、在句子中使用新单词或执行3位算术等方面均有不错的表现。在阅读理解、自然语言推理方面表现一般。此外，GPT-3可以生成人类评估人员难以区分的新闻文章样本，这为ChatGPT优秀的交互式问答表现奠定了基础。

图表10：GPT-3的测试任务及完成情况

任务名称	训练数据集	结果	结果评价	说明
语言建模、完形填空和完成任务（Language Modeling, Cloze,and Completion Tasks）语言建模 Penn Tree Bank (PTB) 比最好结果（state-of-the-art，SOAT）的困好
		感度高15分		标，其基本思想是给测试集赋予较高概率值的语言模型较好，且较小的困惑度意味着模型对新文本有较好的预测作用
LAMBADA	LAMBADA	GPT-3 显著改善了 LAMBADA 上的 SOTA 好 GPT-3在one-shot 中达到78.1%的准确度，较好		测试文本中的长期依赖关系，模型被要求预测需要阅读一段上下文的句子的最后一个词 HellaSwag 数据集测试为一个故事或
		在 few-shot设置中达到79.3%的准确度，低于经过微调的多任务模型 ALUM 所达到的 SOTA 85.6% zero-shot 设置中达到 83.2%，在few-shot射较好		一组指令选择最佳结局
		击设置中达到87.7%(70次示例）。比 SOTA 低4.1%，比以前的 zero-shot 结果提高了大约10% 在 TriviaQA 数据集上，GPT-3 的 one-shot 较好
（ Closed Answering) 翻译 (Translation)	BookQuestion WebQuestions、TriviaQA WMT'14 Fr←→En	与开放域微调 SOTA 相匹配。在其他两个数据集上，接近闭卷 SOTA性能提供一个示例的情况下,结果与之前的工作接好		GPT-3 在翻译成英语时明显优于之前
Winograd 类型任务	WMT'16 De←→En WMT'16 Ro←En 等 Winograd，Winogrande	近。在few-shot设置下，与无监督NMT（神经网络机器翻译）平均性能相近。在 Winograd 数据集上,GPT-3在 zero-shot、较好 one-shot 和 few-shot 设置下分别达到了		的无监督NMT，但在其他语言翻译时表现欠佳 Winograd Schemas Challenge 涉及代词的指定问题
常识推理		88.3%、89.7%和88.6%，仅比 SOAT和人类表现略低；在更难的Winogrande 数据集上，表现一般 PIQA、ARC 和 OpenBookQA 在 PIQA 数据集上超过 SOTA，在其他数据集较好
(Common Sense Reasoning) 阅读理解	CoQA、DROP、QuAC、	上仍有差距在 CoQA上表现最好，在QuAC表现最差。一般
(Reading Comprehension) SuperGLUE	SQuADv2、 RACE等 SuperGLUE benchmark	整体结果落后于SOAT GPT-3 在不同任务中的表现差异很大。在一般 COPA 和 ReCoRD 上，GPT-3 实现了接近 SOAT 的性能，在WSC上性能相对较强，在		SuperGLUE 是 Facebook 人工智能研究中心、Google DeepMind、华盛顿大学以及纽约大学在 2019 年
自然语言推理 (Natural Language Inference)	RTE、ANLI	上较差与 SOAT 差距较大。对于语言模型来说，NLI一般仍然是一项非常困难的任务		语义理解AI的基准测试 NLI 关注理解两个句子之间关系的能力
综合和定性任务 ( Synthetic and Qualitative Tasks)		GPT-3表现出熟练的中等复杂算术能力；文较好字置乱和操作任务表现一般；在 SAT 类比上超过大学申请人的平均得分；GPT-3 能产生		SAT是美国大学入学考试

资料来源：Language Models are Few-Shot Learners、华泰研究

GPT发展之2021：代码生成领域的应用一Codex

Codex：基于GPT-3的代码生成工具

Codex是在GPT-3上基于GitHub公开代码进行微调的代码生成模型。Codex的模型结构和 GPT-3相同。OpenAl从Github上搜集了5400 万个公共软件库代码，集合而成训练数据集，包含179GB的Python文件，每个文件小于1MB。同时过滤了部分可能是自动生成的文件，最终的数据集大小为159GB。Codex即是参数量12B的GPT-3基于该数据集微调得到的模型。在进行模型评估时,OpenAl构造了HumanEval数据集，包含164 原创的、手工设计的编程问题，避免问题出现在基于GitHub的训练数据集中。

OpenAl还训练了Codex-S和Codex-D.Codex-S基于格式类似HumanEval的SupervisedFine-Tuning（有监督微调）数据集进行训练，训练出的模型效果比Codex 更好。将Supervised Fine-Tuning 数据集中的“<函数头><函数体>”格式调换成“<函数头><函数体>”格式，再微调得到的模型为Codex-D，即实现模型根据代码写注释的功能。

图表11：Codex模型家族图谱

资料来源：Evaluating Large Language Models Trained on Code、华泰研究

与类似的代码生成模型相比，120亿参数的Codex准确率最高可达72.31%。基于HumanEval评估数据集，对比了GPT-NEO、GPT-J、Tabnine等类似的代码生成模型的结果Pass@k(可以解释为评估k个样本中最优的结果)。Codex的最大版本拥有120亿参数，其Pass@100达到了72.31%，远大于其余模型的最好结果。

图表12：120亿参数的Codex准确率最高可达72.31%

Table1.Codex,GPT-Neo,& TabNine evaluations for HumanEval We find that GPT-J pass@1 is between Codex-85Mand Codex 300M performance.
	k=1	PASs@k k=10	k =100
GPT-NEO 125M	0.75%	1.88%	2.97%
GPT-NEO 1.3B	4.79%	7.47%	16.30%
GPT-NEO 2.7B	6.41%	11.27%	21.37%
GPT-J6B	11.62%	15.74%	27.74%
TABNINE	2.58%	4.35%	7.59%
CoDEX-12M	2.00%	3.62%	8.58%
CODEX-25M	3.21%	7.1%	12.89%
CODEX-42M	5.06%	8.8%	15.55%
CODEX-85M	8.22%	12.81%	22.4%
CODEX-300M	13.17%	20.37%	36.27%
CODEX-679M	16.22%	25.7%	40.95%
CODEX-2.5B	21.36%	35.42%	59.5%
CODEX-12B	28.81%	46.81%	72.31%

注：k代表每个问题生成k个代码样本
资料来源：Evaluating Large Language Models Trained on Code、华泰研究

Codex-S的表现性能比Codex更进一步，远好于GPT-3。从基于HumanEval数据集的通过率看，当为每个问题生成单个样本时（k=1)，GPT-12B 通过率为0,Codex 解决了28.8%的问题，Codex-S 解决了37.7%的问题。更进一步，1）每个问题生成100 个样本，并选择具有最高平均对数概率的样本得到Codex-S mean logp reranking；2）选择通过单元测试的示例得到Codex-S oracle reranking，分别解决了高达44.5%和77.5%的问题。

图表13：Codex和Codex-S的性能表现情况

资料来源：Evaluating Large Language Models Trained on Code、华泰研究

Codex能基于用户输入的自然语言生成代码。从Codex使用界面看，用户需要将自己的需求，以自然语言的形式描述给模型，模型即根据用户意图，自动生成相关代码。Codex 支持用户在同一界面下，对输入需求进行修改。

图表14：Codex代码生成界面和使用过程示例

资料来源：OpenAI官网、华泰研究

模型对比：GPT-2vs T-NLG/ELECTRA

T-NLG：问世时最大规模的自然语言生成模型

T-NLG问世时是规模最大的自然语言生成模型，训练参数达170亿。T-NLG（图灵自然语言生成）是微软的ProjectTuring（图灵计划）于2022年2月提出，其训练参数高达170亿，远超同时期的其他自然语言模型。T-NLG能够完成开放式文本任务、直接生成问题答案、输出文档摘要等任务，并在许多NLP任务上均优于当时的SOTA技术。T-NLG仍采用Transformer架构，架构层数为78，并以多任务方式训练，与GPT-2类似。

图表15：T-NLG成为当时参数最大的语言模型

资料来源：Deep Contextualized Word Representations、华泰研究

在标准语言任务上，T-NLG性能优异。基于预训练的T-NLG 模型，在WikiText-1O3（困惑度，数值越低越好）和LAMBADA（下一个单词预测准确性，数值越高越好）数据集上，与 GPT-2和NVIDIA 发布的Megatron-LM进行了对比。结果显示，在两种训练集上,T-NLG均取得了最好的结果。

图表16：T-NLG与Mrgatron 和GPT-2的表现对比

	LAMBADA (acc) strict	WikiText-103 (test adj.ppl)
Open AI GPT-2 1.5B	52.66 (63.24)*	17.48
Megatron-LM8.3B	66.51	10.81
T-NLG 17B	67.98	10.21

资料来源：微软官网、华泰研究

在问题回答方面，T-NLG能够用完整的句子给出直接答案。T-NLG将用完整的句子直接回答用户的提问。此外，T-NLG 采取与GPT-2 类似的 zerO-shot学习策略，模型仅依靠在预训练期间获得的知识来生成答案，能够在没有上下文的情况下进行问题回答。

图表17：T-NLG能够直接用完整的句子和没有上下文的情况下回答问题

When did ww2 end?	WW2ended in1945.
Howmany people live in the Us?	Thereare over 30omillionpeople living in the Us.

资料来源：微软官网、华泰研究

在抽象摘要生成方面，能为各种文本文档编写类似人类书写的摘要。T-NLG能够不通过复制现有内容，而是像人类一样进行摘要编写，包括电子邮件、博客文章、Word文档、Excel表格和PoWerPoint 演示文稿。为了使T-NLG尽可能多地用于总结不同类型的文本，微软在几乎所有公开可用的摘要数据集上以多任务方式微调了T-NLG模型，总计约400万个训练实例。与之前 SOAT 对比，T-NLG 能够在arXiv、WikiHow、BilISum 数据集上实现超越，并在WikiSum 数据集上逼近SOAT。

图表18：T-NLG在无监督的抽象摘要上有良好表现

Rouge-L	T-NLG	Previous SOTA	PEGASUS Large
arXiv	30.8	23.6	25.7
WikiHow	31.5	26.5	33.4
BillSum	41.6	33.7	45.8
WikiSum	36.0	38.8	-

资料来源：微软官网、华泰研究

MT-NLG：与NVIDIA合作推出5300亿参数模型

MT-NLG是微软与NVIDIA合作推出的自然语言生成模型。MT-NLG（MegatrOn 图灵自然语言生成模型）在T-NLG 的基础上，将模型参数扩大到 5300 亿，再次刷新了模型规模的记录。MT-NLG使用了Transformer的解码器架构，模型层数达到105。MT-NLG在zero、one、feW-Shot设置上对现有SOAT模型进行了改进，在模型规模和质量方面为大型语言模型设定了新标准。MT-NLG 能够完成预测、阅读理解、常识推理、自然语言推理、词义消歧等任务。

图表19：更大的参数量是高性能自然语言模型的发展趋势

资料来源：微软官网、华泰研究

MT-NLG的训练数据集是以Pile数据集为基础的多种数据集集合。训练集上，从Pile训练集中选择了相对质量最高的数据集子集为基础，增加了经过滤的CommonCrawl（CC）快照、ReaINews 和CC Stories 数据集。构建训练数据集时，使用模糊重复数据消除，保证不同数据集中内容不同；使用了基于数据集质量的优先级顺序；从训练数据集中移除了下游任务数据，避免数据污染。

图表20：用于训练MT-NLG的数据集

数据集	数据集来源	Tokens (billions)	权重 (%)	时期Epochs
Bo0ks3	Pile dataset	25.7	14.3	1.5
OpenWebText2	Pile dataset	14.8	19.3	3.6
Stack Exchange	Pile dataset	11.6	5.7	1.4
PubMed Abstracts	Pile dataset	4.4	2.9	1.8
Wikipedia	Pile dataset	4.2	4.8	3.2
Gutenberg (PG-19)	Pile dataset	2.7	0.9	0.9
BookCorpus2	Pile dataset	1.5	1.0	1.8
NIH ExPorter	Pile dataset	0.3	0.2	1.8
Pile-Cc	Pile dataset	49.8	9.4	0.5
ArXiv	Pile dataset	20.8	1.4	0.2
GitHub	Pile dataset	24.3	1.6	0.2
CC-2020-50	Common Crawl (CC) snapshot	68.7	13.0	0.5
CC-2021-04	Common Crawl (CC) snapshot	82.6	15.7	0.5
RealNews	RealNews	21.9	9.0	1.1
CC-Stories	Common Crawl (CC) stories	5.3	0.9	0.5

资料来源：微软官网、华泰研究

MT-NLG在多个NLP下游任务中取得了优秀结果。评估涉及8个任务，涵盖5个不同的领域。1）在文本预测任务LAMBADA中，模型预测给定段落的最后一个单词；2）在阅读理解任务RACE-h和BoolQ中，模型根据给定的段落生成问题的答案；3）在常识推理任务PiQA、HellaSwag 和Winogrande 中，每一项任务都需要一些超出语言统计模式的常识知识才能解决；4）在自然语言推理任务ANLI-R2 和HANS 中，主要针对过去模型的典型失败案例进行评估；5）在词义消歧任务WiC 中，评估模型对上下文中多义词的理解能力。在以上测试中，MT-NLG均取得了不错的准确度，在PiQA和LAMBADA上表现突出。

图表21：MT-NLG在LAMBADA的表现上超过了GPT-3

Model	LAMBADA (acc)
Model	Zero-shot	One-shot	Few-shot
GPT-3	76.20	72.50	86.40
Gopher	74.50
MT-NLG (ours)	76.56	73.06	87.15

Table 2:LAMBADA zero-shot, one-shot and few-shot accuracy. MT-NLG outperforms previous models across different settings and establishes new SOTA for all 3 settings.We did not find any recent strong supervised baseline for LAMBADA,hence we omit the comparison with supervised models here.
资料来源：微软官网、华泰研究

图表22：MT-NLG在多个NLP下游任务中的准确度

任务类别	任务	Zero-shot	One-shot	Few-shot
文本预测	Lambada	0.766	0.731	0.872
阅读理解	BoolQ	0.782	0.825	0.848
阅读理解	RACE-h	0.479	0.484	0.479
常识推理	PIQA	0.820	0.810	0.832
常识推理	HellaSwag	0.802	0.802	0.824
常识推理	WinoGrande	0.730	0.737	0.789
自然语言推理	ANLI-R2	0.366	0.397	0.396
自然语言推理	HANS	0.607	0.649	0.702
词义消歧	WiC	0.486	0.513	0.585

资料来源：微软官网、华泰研究

对比：(M)T-NLG相比GPT-3更注重利用软硬件上的优势

(M)T-NLG和GPT相比，最大特点在于模型参数量巨大。从架构上看，(M)T-NLG和GPT均基于Transformer 的解码器架构，没有本质区别；训练方法上，均采用了 zero-shot、feW-Shot等理念。我们认为，两者最大区别在体现在训练参数量上。T-NLG与GPT-2相比，参数量从15亿提高到170亿，MT-NLG与GPT-3相比，参数量从1750亿提高到5300亿。我们认为，这其中的逻辑在于，相比OpenAI，微软和NVIDIA在软硬件上更具优势，通过充分利用软硬件资源扩大模型训练参数量是其主要手段。

T-NLG时期，微软在技术设施上突破了大模型训练。微软指出，任何参数超过13亿的模型都无法用单个GPU进行训练（即使是32GB 内存的GPU)，因此模型必须在多个GPU之间并行化或拆分。微软在软硬件上进行了设置：1）利用 NVIDIADGX-2 硬件设置和InfiniBand 连接，加速GPU之间的通信；2）应用张量切片在NVIDIAMegatronLM框架上的四个NVIDIAV100 GPU上分割模型；3）使用 ZeRO 的 DeepSpeed 降低模型并行度，将每个节点的批量大小增加四倍，训练时间减少三倍。

微软DeepSpeed和ZeRO大大提高了模型训练速度。DeepSpeed是微软发布的开源库，通过提高规模、速度、成本和可用性，极大地推进了大型模型训练，最大支持训练1000亿参数模型，支持 PyTorch（与深度学习相关的Python 程序库)。DeepSpeed 库的一部分是并行优化器 ZeRO（零冗余优化器)，ZeRO 消除了数据和模型并行训练中的内存冗余，同时保持了低通信量和高计算粒度，能够大大减少模型和数据并行所需的资源，同时增加可训练的参数数量，能够在400个GPU上以超线性加速训练超过100B参数的大型模型，实现15Petaflops吞吐量。微软指出，在如今的硬件条件下，ZeRO有可能扩展到超过1万亿的参数。

图表23：微软推出DeepSpeed+ZeRO 加速大模型训练

资料来源：微软官网、华泰研究

MT-NLG时期，微软和NVIDIA联手提供了性能更强的训练基础设施。大规模训练基础设施以NVIDIAA100TensorCoreGPU和HDRInfiniBand 网络为基础，由超级计算集群（如NVIDIA Selene 和 Microsoft Azure NDv4）提供足够算力。此外，软件上，基于NVIDIAMegatronLM和微软DeepSpeed，创建了高效且可扩展的3D并行系统，对于5300亿规模的模型，能够使用 DeepSpeed 的数据并行性扩展到数千个GPU。硬件上，模型基于NVIDIADGXSuperPOD的Selene 超级计算机，以混合精度完成，每个DGXA100 配备8个 NVIDIAA100 80GBTensor Core GPU，通过 NVLink 和 NVSwitch 实现完全连接。

我们认为，OpenAI在2019年7月、2023年1月分别得到微软10亿美元和100亿美元的投资，并在技术上与微软有更深入的合作。未来，OpenAI 或能借助微软的软件和算力资源优势，进一步提升“GPT系列”产品的性能。

ELECTRA：注重提高预训练效率的“小而美”模型

ELECTRA模型更注重提高预训练效率而非参数规模。ELECTRA（Efficiently Learning anEncoder that ClassifiesToken Replacements Accurately）由谷歌提出，其理念是以相对较少的计算量获得更好的结果。传统的掩码语言模型（MLM）预训练方法，如 BERT，通过用“MASK”替换一些输入token 来破坏输入，然后训练一个模型来重建原始 token，通常需要较大的计算量。为了提高训练效率、较少训练量,谷歌基于Transformer的编码器架构，提出了更有效的样本预训练任务一替换 token 检测（Replaced token detection）任务，并得到了优于MLM的结果。

图表24：替换token检测预训练的性能优于MLM预训练

Figure 1: Replaced token detection pre-training consistently outperforms masked language model pre-training given the same compute budget.The left figure is a zoomed-in view of the dashed box.
注：左图是虚线框的放大视图
资料来源：Electra:Pre-TrainingText Encoders As Discriminators Rather Than Generators、华泰研究

替换token检测任务由生成器和判别器（ELECTRA）组成。替换token检测任务训练生成器和判别器两个神经网络，每个神经网络主要由Transformer编码器组成。生成器用来预测被屏蔽 token 的原始 token，判别器用来区分数据输出中的token 是否被生成器生成的样本替换。生成器可以是在 token 上产生输出分布的任何模型，通常使用与判别器联合训练的小型掩码语言模型(MLM)。预训练完成后，即可以放弃生成器，转而用判别器(ELECTRA)执行下游任务。

图表25：替换token检测示意图

Figure 2:An overview of replaced token detection. The generator can be any model that produces an output distribution over tokens,but we usually use a small masked language model that is trained jointly with the discriminator. Although the models are structured like in a GAN,we train the generator with maximum likelihood rather than adversarially due to the difculty of applying GANs to text.After pre-training，we throw out the generator and only fine-tune the discriminator (the ELECTRA model) on downstream tasks.
资料来源：Electra:Pre-TrainingText Encoders As Discriminators Rather Than Generators、华泰研究

ELECTRA的小型、大型模型均有良好表现性能。1）ELECTRA小型模型：与其他使用更多计算和参数的方法相比，获得了更高的GLUE（通用语言理解评估）分数，例如，得分比可比的BERT-SmaII模型提高5分，甚至超过了更大的GPT-1模型；中等大小的ELECTRA-Base 性能优于BERT-Base 和BERT-Large。2）ELECTRA大型模型：ELECTRA-400K的性能与RoBERTa和XLNet相当，且训练缩短到不到1/4。ELECTRA-1.75M性能超过了大多数模型，且需要的预训练计算更少。

图表26：GLUE开发集中的小型模型比较

Model	Train /Infer FLOPs	Speedup	Params	Train Time+Hardware	GLUE
ELMo	3.3e18 /2.6e10	19x /1.2x	96M	14d on 3 GTX 1080 GPUs	71.2
GPT	4.0e19 /3.0e10	1.6x /0.97x	117M	25d on 8 P6000 GPUs	78.8
BERT-Small	1.4e18 /3.7e9	45x/8x	14M	4d on 1V100 GPU	75.1
BERT-Base	6.4e19 /2.9e10	1x/1x	110M	4d on 16 TPUv3s	82.2
ELECTRA-Small	1.4e18 /3.7e9	45x/8x	14M	4d on 1 V100 GPU	79.9
50% trained	7.1e17/3.7e9	90x/8x	14M	2d on 1V100 GPU	79.0
25% trained	3.6e17 /3.7e9	181x/8x	14M	1d on 1V100 GPU	77.7
12.5% trained	1.8e17 /3.7e9	361x/8x	14M	12h on 1 V100 GPU	76.0
6.25% trained	8.9e16/3.7e9	722x/8x	14M	6h on 1V100 GPU	74.1
ELECTRA-Base	6.4e19 /2.9e10	1x/1x	110M	4d on 16 TPUv3s	85.1

Table 1:Comparison of small models on the GLUE dev set.BERT-Small/Base are our implementation and use the same hyperparameters as ELECTRA-SmallBase.Infer FLOPs assumes single length-128 input.Training times should be taken with a grain of salt as they are for different hardware and with sometimes un-optimized code.ELECTRA performs well even when trained on a single GPU, scoring 5 GLUE points higher than a comparable BERT model and even outscoring the much larger GPT model.

资料来源：Electra:Pre-TrainingText Encoders As Discriminators Rather Than Generators、华泰研究

图表27：GLUE开发集中的大型模型比较

Model	Train FLOPs	Params	CoLA	SST	MRPC	STS	QQP	MNLI	QNLI	RTE	Avg.
BERT	1.9e20 (0.27x)	335M	60.6	93.2 88.0		90.0	91.3	86.6	92.3	70.4	84.0
RoBERTa-100K	6.4e20 (0.90x)	356M	66.1	95.6	91.4	92.2	92.0	89.3	94.0	82.7	87.9
RoBERTa-500K	3.2e21 (4.5x)	356M	68.0	96.4 90.9		92.1	92.2	90.2	94.7	86.6	88.9
XLNet	3.9e21 (5.4x)	360M	69.0	97.0	90.8	92.2	92.3	90.8	94.9	85.9	89.1
BERT (ours)	7.1e20 (1x)	335M	67.0	95.9	89.1	91.2	91.5	89.6	93.5	79.5	87.2
ELECTRA-400K	7.1e20 (1x)	335M	69.3	96.0 90.6		92.1 92.4		90.5	94.5	86.8	89.0
ELECTRA-1.75M 3.1e21(4.4x)		335M	69.1	96.9 90.8		92.6 92.4		90.9	95.0	88.0	89.5

Table 2: Comparison of large models on the GLUE dev set. ELECTRA and RoBERTa are shown for different numbers of pre-training steps,indicated by the numbers after the dashes.ELECTRA performs comparably to XLNet and RoBERTa when using less than 1/4 of their pre-training compute and outperforms them when given a similar amount of pre-training compute. BERT dev results are from Clark et al. (2019).
资料来源：Electra:Pre-TrainingText Encoders As Discriminators RatherThan Generators、华泰研究

对比：ELECTRA相比GPT-3更注重小规模、更有效的预训练

ELECTRA与GPT-3 的区别主要在架构和训练策略上。1）架构上：GPT-3采用的是Transformer的解码器架构，而 ELECTRA采用的是Transformer的编码器架构。2）策略上：从GPT-2开始，OpenAI确定了GPT的大容量路线，模型参数和训练数据集大小均不断上升，GPT-3的参数从GPT-2的1.5B提高到了175B。而ELECTRA坚持了小型模型的道路，通过改善预训练方法来提高效果，其中 ELECTRA-Small 参数仅14M，最大的ELECTRA 参数仅1.75M，远小于GPT-2和GPT-3。

总结：2020-2021年是GPT发展的关键阶段

我们认为，2020-2021年是GPT发展的关键阶段：

1）模型演变上：2020 年OpenAI提出的GPT-3 延续了GPT-2的大容量路线。一方面，训练参数量从GPT-2的15亿提升到1750亿，规模大大增加；另一方面训练数据集从40GB提升到超570GB。此外，针对GPT-2采用zerO-Shot学习无法较好应对部分下游任务的情况，GPT-3采用了feW-shot学习方法，对于下游任务不做梯度更新和微调，任务和feW-shot示例均通过与模型的文本交互指定，取得了比zero-shot更好的训练结果。

2）模型应用上：2021年，基于GPT-3，OpenAl发布了代码生成工具Codex。该模型是在参数量120亿的GPT-3基础上，基于代码数据集微调得到。该代码数据集由OpenAI从Github上搜集的5400万个公共软件库代码集合而成，包含179GB的Python文件，每个文件小于1MB。同时过滤了部分可能是自动生成的文件，剩下的数据集大小为159GB。Codex能基于用户输入的自然语言生成代码，准确率最高可达72.31%。

同时期，微软和谷歌分别发布了T-NLG和ELECTRA模型。这两种模型采用了相反的训练策略，T-NLG 注重构建大模型提升训练结果，ELECTRA 注重提高与训练效率并缩小模型规模。T-NLG问世时是规模最大的自然语言生成模型，训练参数达170亿，能够完成开放式文本任务、直接生成问题答案、输出文档摘要等任务，并在许多NLP任务上均优于当时的 SOTA 技术。其演化版本 MT-NLG 参数达 5300 亿，再次刷新 NLP 模型规模记录。ELECTRA模型基于替换 token检测任务训练得到，参数规模最小的14MELECTRA-Small训练结果能够超过模型规模更大的GPT-1模型，训练效率得到较大提高。

图表28：提及公司列表

公司代码	公司筒称
MSFT US	微软
GOOGL US	谷歌
未上市	OpenAl

资料来源：Bloomberg、华泰研究

风险提示

宏观经济波动。若宏观经济波动，产业变革及新技术的落地节奏或将受到影响，宏观经济波动还可能对IT投资产生负面影响，从而导致整体行业增长不及预期。

下游需求不及预期。若下游数字化需求不及预期，相关的数字化投入增长或慢于预期，致使行业增长不及预期。

本报告内容均基于客观信息整理，不构成投资建议。

免责声明

分析师声明

本人，谢春生，兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见；彼以往、现在或未来并无就其研究报告所提供的具体建议或所表达的意见直接或间接收取任何报酬。

一般声明及披露

本报告由华泰证券股份有限公司（已具备中国证监会批准的证券投资咨询业务资格，以下简称“本公司"）制作。本报告所载资料是仅供接收人的严格保密资料。本报告仅供本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。

本报告基于本公司认为可靠的、已公开的信息编制，但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。

本报告所载的意见、评估及预测仅反映报告发布当日的观点和判断。在不同时期，华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来，未来回报并不能得到保证，并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。

本公司不是 FINRA 的注册会员，其研究分析师亦没有注册为 FINRA 的研究分析师/不具有 FINRA 分析师的注册资格。

华泰力求报告内容客观、公正，但本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求，在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况，并完整理解和使用本报告内容，不应视本报告为做出投资决策的唯一因素。对依据或者使用本报告所造成的一切后果，华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。

除非另行说明，本报告中所引用的关于业绩的数据代表过往表现，过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现，分析中所做的预测可能是基于相应的假设，任何假设的变化可能会显著影响所预测的回报。

华泰及作者在自身所知情的范围内，与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下，华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易，为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该公司招揽业务。

华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。

本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员，也并非意图发送、发布给因可得到、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。

本报告版权仅为本公司所有。未经本公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并需在使用前获取独立的法律意见，以确定该引用、刊发符合当地适用法规的要求，同时注明出处为“华泰证券研究所”,且不得对本报告进行任何有悼原意的引用、删节和修改。本公司保留追究相关责任的权利。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。

中国香港

本报告由华泰证券股份有限公司制作，在香港由华泰金融控股（香港）有限公司向符合《证券及期货条例》及其附属法律规定的机构投资者和专业投资者的客户进行分发。华泰金融控股（香港）有限公司受香港证券及期货事务监察委员会监管，是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。在香港获得本报告的人员若有任何有关本报告的问题，请与华泰金融控股（香港）有限公司联系。

香港-重要监管披露

·华泰金融控股（香港）有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员。

·有关重要的披露信息，请参华泰金融控股（香港）有限公司的网页 https://www.htsc.com.hk/stock_disclosure其他信息请参见下方“美国-重要监管披露”。

美国

在美国本报告由华泰证券（美国）有限公司向符合美国监管规定的机构投资者进行发表与分发。华泰证券（美国）有限公司是美国注册经纪商和美国金融业监管局（FINRA）的注册会员。对于其在美国分发的研究报告，华泰证券（美国）有限公司根据《1934年证券交易法》（修订版）第15a-6条规定以及美国证券交易委员会人员解释，对本研究报告内容负责。华泰证券（美国）有限公司联营公司的分析师不具有美国金融监管（FINRA）分析师的注册资格，可能不属于华泰证券（美国）有限公司的关联人员，因此可能不受FINRA关于分析师与标的公司沟通、公开露面和所持交易证券的限制。华泰证券（美国）有限公司是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。任何直接从华泰证券（美国）有限公司收到此报告并希望就本报告所述任何证券进行交易的人士，应通过华泰证券（美国）有限公司进行交易。

美国-重要监管披露

·分析师谢春生本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员、董事或顾问。分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益。本披露中所提及的“相关人士”包括FINRA 定义下分析师的家庭成员。分析师根据华泰证券的整体收入和盈利能力获得薪酬，包括源自公司投资银行业务的收入。

·华泰证券股份有限公司、其子公司和/或其联营公司，及/或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券 (包括衍生品)。

·华泰证券股份有限公司、其子公司和/或其联营公司，及/或其高级管理层、董事和雇员可能会持有本报告中所提到的任何证券（或任何相关投资）头寸，并可能不时进行增持或减持该证券（或投资)。因此，投资者应该意识到可能存在利益冲突。

评级说明

投资评级基于分析师对报告发布日后6至12个月内行业或公司回报潜力（含此期间的股息回报）相对基准表现的预期（A股市场基准为沪深300 指数，香港市场基准为恒生指数，美国市场基准为标普 500 指数)，具体如下：

行业评级

增持：预计行业股票指数超越基准

中性：预计行业股票指数基本与基准持平

减持：预计行业股票指数明显弱于基准

公司评级

买入：预计股价超越基准15%以上

增持：预计股价超越基准5%\~15%

持有：预计股价相对基准波动在-15%\~5%之间

卖出：预计股价弱于基准15%以上

暂停评级：已暂停评级、目标价及预测，以遵守适用法规及/或公司政策

无评级：股票不在常规研究覆盖范围内。投资者不应期待华泰提供该等证券及/或公司相关的持续或补充信息

法律实体披露

中国：华泰证券股份有限公司具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J香港：华泰金融控股(香港)有限公司具有香港证监会核准的“就证券提供意见”业务资格，经营许可证编号为：AOK809美国：华泰证券（美国）有限公司为美国金融业监管局（FINRA）成员，具有在美国开展经纪交易商业务的资格，经营业务许可编号为：CRD#:298809/SEC#:8-70231

华泰证券股份有限公司
南京
南京市建邮区江东中路228号华泰证券广场1号楼/邮政编码：210019

电话：86 25 83389999/传真：86 25 83387521电子邮件：ht-rd@htsc.com

深圳
深圳市福田区益田路5999号基金大厦10楼/邮政编码：518017
电话：86 755 82493932/传真：86 755 82492062
电子邮件：ht-rd@htsc.com

华泰金融控股（香港）有限公司

香港中环皇后大道中99号中环中心58楼5808-12室
电话：+852-3658-6000/传真：+852-2169-0770
电子邮件：research@htsc.com
http://www.htsc.com.hk

华泰证券（美国）有限公司

美国纽约公园大道280号21楼东 (纽约10017)
电话：+212-763-8160/传真：+917-725-9702
电子邮件:Huatai@htsc-us.com
http://www.htsc-us.com

北京
北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层/
邮政编码：100032
电话：86 10 63211166/传真：86 10 63211275
电子邮件：ht-rd@htsc.com
上海
上海市浦东新区东方路18号保利广场E栋23楼/邮政编码：200120
电话：862128972098/传真：862128972068
电子邮件：ht-rd@htsc.com

START YOUR FINANCE

起点财经，网罗天下报告

计算机行业GPT产业复盘（20_21）：走向应用-20230219-华泰证券-21页