方正证券研究所证券研究报告

分析师：方闻千

登记编号：S1220517040005

重要数据：

上市公司总家数	287
总股本(亿股)	1974. 76
销售收入(亿元)	14902. 06
利润总额 (亿元)	1543. 42
行业平均PE	69.82
平均股价 (元)	27.66

行业相对指数表现：

数据来源：wind方正证券研究所

行业专题报告

计算机行业

行业研究

2023.03.22/推荐

自然语言处理（Natural Language Processing，NLP）的发展历程可分为三个阶段；

1）上世纪 80 年代之前，人工智能开始萌芽，基于规则的语言系统占据主导，出现了机器翻译以及语言对话的初级产品；

2）1980年之后，机器学习在全球范围内兴起，自然语言处理走向纯粹的统计学，90年代后神经网络引入，NLP进入了快速发展期，并在2000年后逐渐开启了商业化进程；

3）2017 年，Google 发布著名论文《Attention is All YouNeed》，提出了基于Attention 注意力机制构建的Transformer模型，2018 年OpenAI 的GPT 模型以及Google 的 BERT模型均是在Transformer的基础上构建，大语言模型时代正式开启。

Attention 注意力机制与Transformer是大语言模型的基石。

1）Attention机制在并行计算（效率更高）以及解决长距离信息依赖的能力（效果更好）上优于过去的神经网络模型。

2）Transformer 模型没有使用传统的CNN 和RNN 结构，其完全是由Attention 机制组成，其中Self-Attention（自注意力）是Transformer 的核心。

3）OpenAI 的 GPT 模型和 Google 的 BERT 模型虽然都是基于Transformer所构建，但GPT模型仅使用了解码器的部分，而BERT仅使用了编码器的部分，二者在技术路线上也走向了两条不同的道路。

GPT模型的持续进化与能力突变：从CPT-1到CPT-4。

1）GPT-1：有监督学习和无监督学习的结合，模型的语言泛化能力不够，更接近于处理特定语言任务的专家模型，而非通用的语言模型;

2）GPT-2：舍弃了模型微调，让多个不同的任务在同一个模型上学习，构建了换一个泛化能力更强的语言模型，开始让语言模型的通用性得到了更加充分的展现；

3）GPT-3：在训练方法上则采取了In-context学习，参数量相较于GPT-2提升了两个数量级，达到了1750亿，数据集在处理前容量达到了45TB，是真正意义上的超大语言模型。

4）ChatGPT：引入人类反馈的强化学习（RLHF）及近端策略优化算法（PPO）等新的训练方式后，语言生成能力大幅提升，并且涌现出了思维链及逻辑推理等多种能力。

5）GPT-4：在推理能力、文本生成能力、对话能力等方面有了进一步提升的同时，实现了从大语言模型向多模态模型进化的第一步。

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长…全面赋能！

关注公众号获取更多资料

添加微信：xxyg_wei

备注“入群"

立刻免费领取

200套知识地图+最新研报

致终身学习者社群

行业报告/思维导图/电子书/资讯情报

收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音....

扫码先加好友，以备不时之需未来展望：多模态和AIGC。近年来Google，微软等海外大厂均已经在大模型上展开布局，行业竞争门槛正在迅速提升，头部厂商在算力资源、数据积累等方面的竞争优势将进一步凸显。目前大模型的应用已经不局限于NLP领域，计算机视觉、多模态等领域的大模型开始涌现，而生成算法、大模型与多模态为三大底层技术的突破成为了AIGC 的质变的关键。AIGC 作为人工智能最重要的演进方向，能够自主生成创造出文字、图片、语音、视频、代码等各种形式的内容，将深度改变办公、电商、娱乐、教育、媒体等各行各业，并引领人工智能实现从感知理解到生成创造的跃迁。

相关标的：ChatGPT及大语言模型受益标的涉及平台、算法、场景、算力四大类厂商：1）平台：百度、阿里、腾讯、360；2)应用：金山办公、科大讯飞、光云科技、同花顺、万兴科技、致远互联、福昕软件、漫步者、虹软科技、当虹科技、凌志软件；3）算法：科大讯飞、拓尔思、海天瑞声、云从科技、商汤科技；4）算力：寒武纪，海光信息、浪潮信息、紫光股份、中科曙光、优刻得、青云科技。

风险提示：产业变革和新技术落地节奏不及预期；AI技术的发展易引起法律和监管问题；中美贸易摩擦加剧风险。

1 自然语言处理的发展历史回顾. .5
2 Attention 注意力机制的基本原理. ..6
3 Transformer构建大模型的基石 .15
4 持续进化：从GPT-1到GPT-3... ..20
5 能力突变：从 ChatGPT到GPT-4. .24
6 未来展望：多模态和AIGC.. ..31
7 投资策略.. ..37
8 风险提示.. .38

图表目录

图表1：NLP技术发展的主要阶段.
图表2：人类视觉的注意力机.. ..
图表3：RNN主要用于序列数据处理
图表4：RNN 的基本结构... ..9
图表5：LTSM 的基本结构.. ..10
图表7：Attention 的基本结构 . 12
图表8：计算机视觉中的感受野. ...12
图表9：Attention 用于表示词与词的相关程度 ..13
图表10：Self-Attention 的计算过程.
图表11：语言理解与生成的基本原...
图表12：Transformer 由编码器和解码器两部分构成.. ...1.6
图表13：Transformer 的基本结构.. ….17
图表14:Masked Self-attention 机制... ....18
图表15：不带 Masked 的 Self-attention 机制. ...8
图表16：GPT模型的语言生成模式. ..19
图表17：Transformer 是大语言模型的基石.. ..20
图表18：针对不同下游任务进行训练...
图表19：GPT-2舍弃了模型微调部分... ...22
图表 20：GPT-3的 In-context 方式与传统微调方式的对比.. .23
图表 21：训练不同模型所需要的算力对比.. ..4
图表 22：GPT-3在 FeW-shot 上有很好的表现... ...24
图表23：从GPT-3到 ChatGPT的迭代路径， ..25
图表 24：ChatGPT在文本生成方面展现出了强大的能力.. ..26
图表 25：强化学习的基本原理. .27
图表 26：ChatGPT的训练过程
图表 27：ChatGPT人工标注团队...
图表28：GPT-4模型性能要显著优于GPT-3.5.. ..30
图表 29：GPT模型演进的5个阶段...
图表 30：海外大语言模型整体情况..
图表31：国内大模型现状. ..33
图表 32：生成算法、大模型、多模态是AIGC的底层技术. ..34
图表33：AIGC 的应用场景 ....33
图表34：GPT-4 嵌入 Offc.. .36
图表 35：百度文心大模型全景图 ...3.7

1自然语言处理的发展历史回顾

自然语言处理（Natural Language Processing,NLP）作为人工智能的重要研究方向，旨在帮助计算机理解、解释和运用人类语言。回顾NLP的主要发展历程，可大致分为三个阶段：1）上世纪80年代之前，人工智能开始萌芽，基于规则的语言系统占据主导；2）80年代之后，从机器学习的兴起到神经网络的引入，带动了NLP的快速发展和商业化；3）2017年至今，基于 Attention 注意力机制构建的 Transformer模型开启了大语言模型时代。

第一阶段：基于规则的语言系统。早在上世纪50年代前后，人工智能就已经诞生，1956召开了达特茅斯会议，首次正式提出了“人工智能”。1980年，自然语言处理的分为了两大阵营，分别为基于语言规则的符号派和基于概率统计的随机派，而当时基于规则方法的势头明显强于基于概率统计的势头，因此当时大多数 NLP系统都使用复杂的逻辑规则，能够处理包括字符匹配、词频统计等一些简单的任务。同时在这一时期，也产生了一些机器翻译以及语言对话的初级产品，比较著名的是1966 年 MIT 发布的世界上第一台聊天机器人Eliza,Eliza 能够遵循简单的语法规则来实现交流。但总体来看，这一时期NLP领域形成的成果还无法商业化，包括机器翻译的成本还是远高于人工翻译，而且还无法与人真正实现基本的对话。

第二阶段：从机器学习到神经网络。1980年美国的卡内基梅隆大学召开了第一届机器学习国际研讨会，标志着机器学习在全世界兴起，而自然语言处理也逐渐走向纯粹的统计学。90年代以后，神经网络模型被引入到NLP领域，其中最著名的两个神经网络模型为循环神经网络（Recurrent Neural Network，RNN）和卷积神经网络（ConvolutionalNeuralNetworks，CNN），特别是RNN因其处理序列数据的特性，成为了大部分NLP 模型的主流选择。2000 年后，一方面 Multi-tasklearning，WordEmbedding，Seq2seq等层出不穷的新技术推动了NLP技术的快速进步，另一方面NLP逐步实现了商业化，包括机器翻译、文本处理等商业化产品开始大量出现。

第三阶段：基于Attention注意力机制构建的Transformer模型奠定了大语言模型的基础。2017年Go0gle机器翻译团队发布了著名论文《Attention isAll You Need》，提出了基于Attention 注意力机制构建的 Transformer模型，这也成为了NLP历史上的一个标志性的事件。相较于传统的神经网络,基于Attention 注意力机制构建的Transformer模型在提升了语言模型运行的效率（效率更高），同时能够更好的捕捉语言长距离依赖的信息（效果更好）。2018年OpenAI公司的GPT以及Google 公司的 BERT均是基于 Attention 注意力机制与Transformer而构建，而NLP也正式进入到了大语言模型的全新阶段。

图表1：NLP技术发展的主要阶段

资料来源：真格、CSDN、方正证券研究所绘制

2 Attention 注意力机制的基本原理

注意力（Attention）机制与Transformer模型构建了大语言模型的基石。注意力（Attention）机制最早由 Bengio 团队在 2014年提出，随后开始广泛应用在深度学习中的各个领域。Attention的思想很简单，它的最初灵感来源于人类的视觉，即当人用眼睛观察东西的时候，会首先快速扫描全局图像，然后再捕捉需要重点关注的目标区域，将视觉重点聚焦在这个目标区域，对重点区域投入更多注意力资源，同时忽略其他信息。因此Attention 机制最早应用在计算机视觉领域，用于捕捉图像上的感受野，随后在NLP领域也开始得到应用，并且在NLP 领域真正的发扬光大。2017年，Go0gle 机器翻译团队发布Transformer模型，在Transformer中抛弃了传统的CNN和RNN结构,整个网络完全是由Attention 机制组成，2018年Google的BERT模型以及OpenAI公司的GPT模型都是在Transformer 的基础上构建。

图表2：人类视觉的注意力机制

资料来源：UsableWorld、方正证券研究所

在Attention注意力机制应用于NLP领域以前，大部分语言模型都是基于RNN及CNN所构建，特别是RNN处理序列信息的特性，使得其在NLP领域得以广泛应用。RNN对处理具有序列特性的数据非常有效，比如在自然语言处理领域，将每一个字或每一个词的组合作为一个序列；在语音处理领域，将每一帧的声音信号的组合作为一个序列；在时间序列方面，比如股价数据，将每一天或者每一时刻的股票价格的组合作为一个序列。因此通过利用了RNN处理序列数据的能力，在语音识别、机器翻译等领域中取得了很多成果，很多早期的NLP商业化产品都是基于RNN所构建。与此同时，为什么说后来的Attention 机制优于之前的RNN以及CNN，可以从运算机制和算法思想等方面对三者的角度做一个直观对比。

图表3：RNN主要用于序列数据处理

资料来源：方正证券研究所绘制

首先，RNN在NLP领域得到广泛应用的同时，其算法机制一直存在着两个缺点，第一个缺点就是语言的长距离信息会被弱化。比如在这样的长句子中：“原来是你把我的苹果拿走了，下次记得提前跟我说一声，我还得用它来发邮件呢”，我们要确定“苹果"指代的是苹果电脑/手机还是水果，就需要进行通过长距离的信息学习。由于在RNN模型中，对序列中的元素是按顺序处理的，比如在第一个RNN 层中的第二个节点h2，它的计算是由第一个节点h1，即词向量1输入模型后得出的结算结果，以及词向量2的输入，二者共同决定的。在RNN 模型中，两个词之间的交互距离可以认为是他们之间的相对距离，因此第1个词和第n个词之间的交互距离是n-1，因此如果一个序列足够长，RNN模型中的节点经过许多阶段的计算后，之前比较长的时间片的特征已经被覆盖，很难将将信息从较早的时间步传送到后面的时间步，距离越远的信息越容易被忽略掉。虽然在实际情况下，大多数词的词义在一个较小范围的上下文语义环境中就可以确定，对于一个更好的语言模型而言，我们的期望是模型能够更好的获取长距离的信息。

RNN的第二个缺点就是RNN是串行处理机制所带来的计算效率低的问题。从RNN实现的原理来讲，是因为每个时间步（time step）的计算，都依赖于对前一时间步的计算和输出结果，难以进行并行化运算进行加速。并且在长句中的每个时间步都包括一个memoryI/O操作，这导致了模型的性能严重受限于GPU 的最大线程和最大内存带宽的约束。特别是在处理长句的训练样本时，RNN存在的模型运行速度慢的问题会体现的更加明显，因此导致了语言模型中能够堆叠RNN的数量受到了明显的限制。

图表4：RNN的基本结构

资料来源：CSDN、方正证券研究所绘制

为了应对RNN模型存在的缺陷，一般会使用双向的RNN及LSTM长时间的短期记忆网络（Long Short-TermMemory Networks），比传统RNN在长距离信息识别方面有更好的表现。双向RNN结构作为RNN的变体，在使用一个RNN对序列中的元素从左往右进行处理的同时，另一个RNN 对序列从右向左进行处理，因此能够在一定程度上优化对长距离信息的处理，可以考虑整个句子的信息，然而双向RNN的缺点在于需要完整数据的序列，比如语音识别系统中，必须等待一个人说完整句话，才能做出识别，这样就有一个比较长的等待时间。而LSTM作为一种带有门控（Gate）机制的RNN 模型，是一种让信息选择式通过的方法，门控可以只保留有效信息来进行预测，并忘记不相关的数据。因此能够记住重要的信息，而忽略无关紧要的信息。LSTM虽然理论上可以对历史信息进行有选择的存储和遗忘，但是门控参数量一定的情况下，这种能力是一定的。随着句子的增长，相对距离的增大，存在明显的理论上限。

图表5：LSTM的基本结构

资料来源：CSDN、方正证券研究所

相较于RNN在NLP领域的广泛应用，CNN此前较多应用于计算机视觉领域，同样，CNN也存在长距离信息丢失的问题。从CNN 的运算机制来看，每一层的CNN每个节点覆盖的语义环境范围是一定的，这是由CNN存在的感受视野（ReceptiveField）所决定的，比如第一层CNN中第二个节点h2的计算只利用了词1、词2、词3的信息。而第二个CNN层覆盖的语义环境范围会变大，且越往上层覆盖的语义环境会变得越大。因此，在语言序列中，一个词首先会与自身距离较近的词发生交互，比如在第一层的第二个节点h2中，词1、词2、词3发生了交互，而距离较远的词，如词1和词n，则需要在高层上才能发生交互。因此词与词之间的信息的获取与相互关键，取决于它们之间的相对距离，距离越远，信息获取的难度也就越大，因此同样，CNN也存在语言序列的长距离信息依赖的问题。

图表6：CNN的基本结构

资料来源：CSDN、方正证券研究所绘制

相较于RNN和CNN，Attention 注意力机制的原理就是在每一层的计算中都考虑了词与词之间的全连接关系，在模型的并行化运算的同时，能够很好的解决长距离信息依赖的问题。从Attention 的计算过程来看，一个语言序列中的每一个词和 Attention 中每一个节点都是全连接的关系，比如第一层中第一个节点h1的计算会考虑全部输入词1到词n的信息，而第一个Attention层和第二个Attention层之间的全部节点也都是全连接的关系，因此任意两个词之间的交互，与词与词之间的远近距离都不存在关系。句子中每个词义的确定，都考虑了与整个句子中所有的词的关系（计算量更大），因此这样能够更好的捕捉到长距离的信息，就算文本或者语句比较长，也能够抓住重点，不丢失掉重要的信息。同时，Attention 模型是并行计算的，每一步计算不依赖于上一步的计算结果，可以并行处理语言序列数据，大幅提升了语言模型运行的效率，在运算机制上更加契合现代GPU 的硬件架构。

图表7：Attention 的基本结构

资料来源：CSDN、方正证券研究所绘制

从Attention和CNN的关系来看，CNN可以看作是有注意力范围的Attention，而Attention则是实现了全连接的CNN。二者之间的区别就是CNN存在的感受野（ReceptiveField），有局部的归纳偏置，而Attention是全连接的，能够捕捉全局信息的。因此从训练难度的角度来说，Attention的难度更大，因为Attention 没有做任何的局部归纳，因而也需要更多的数据。而早期CNN之所以更多的应用在视觉领域，是因为图片天然具有局部特征，因此CNN 能做到在不需要非常多数据的情况下有比较好的效果。但是在NLP领域，Attention 通常在数据量足够的时候，表现比CNN更优秀。

图表8：计算机视觉中的感受野

资料来源：CSDN、方正证券研究所

Attention的数学原理来看，就是用数字来表达词与词之间的相关程度，当数字越大时，这两个词之间相关程度越高。比如在“原来是你把我的苹果拿走了，下次记得提前跟我说一声，我还得用它来发邮件呢。”这句话中，语言模型要去理解“苹果"指的是苹果电脑/手机还是水果，就需要计算苹果与这个句子中其他所有词包括之间的相关系数，用相关系数，或者说注意力分数来表达他们之间的相互联系，得出的分数越高，那么这两个词之间的相关程度就越高。比如在这个句子中，通过计算，能够发现“苹果"与"邮件"的分数较高，最终可以得出“苹果”指代的就是苹果电脑/手机，以此来实现了注意力机制。

图表9：Attention用于表示词与词的相关程度

原来是你把我的苹果拿走了，下次记得提前跟我说一声，我还得用它来发邮件呢
资料来源：《Attention isAllYouNeed》、方正证券研究所绘制

在Attention 注意力机制中又包含了自注意力机制 Self-Attention、交叉注意力机制Cross-Attention等，而自注意力机制 Self-Attention就是Transformer等大语言模型的核心组成部分。自注意力机制指的不是输入语句和输出语句之间的Attention机制（不同输入），而是在输入语句的内部元素之间发生（同一输入），即在同一个句子内部实现注意力机制。Self-Attention 的详细计算具体可分为以下三步：

第一阶段，信息的预处理：词的向量化，句子的矩阵变换。在运行Attention机制之前，需要对输入模型的语句文本进行预处理，首先需要讲文本语句进行分词操作（Tokenization），即将语言序列切分成一个个字符串。对英文来说，分词操作为输出一个一个的单词，对中文来说分词操作为输出一个一个的字。然后，我们需要将字或词向量化（Word Embeddings）（比如在我们输入的句子中每一个词都转化为一个向量，而这个句子则是一个矩阵，而Attention 机制本质上就是对这个输入语句的矩阵进行了多次的矩阵变换）。在分词和向量化后，得到了向量序列（a1，a2，a3，a4），接下来需要对输入向量做矩阵变换，即用三个权重矩阵Wq，Wk，Wv（这三个权重矩阵实际上就是我们所需要训练的内容，因为其他输入都是既定的）与（a1，a2,a3，a4）分别相乘，得到三个向量序列Q（q1，q2，q3，q4），K（k1,k2，k3，k4），V（v1，v2，v3，v4）。由于在 self-Attention 中，Q、

K、V都是由同一个矩阵变换而来，因此Q、K、V是同源的，而Q、K、V之间的相互计算 Self-Attention（Q、K、V），则称之为自注意力。

第二阶段，相关程度计算：计算出词与词之间的相关程度。在预处理之后，接下来需要通过Q和K来计算Attention 相关度。比如计算第一个词与句子中的所有词（包括自己）的相关度，即用向量q1 与向量k1，k2，k3，k4分别两两求点积（由两个向量的点积可以得到两个向量的相似度）。因此在每次输入了两个向量后，输出一个数，比如用q1 和k1可以得出α1,1，而α1,1，α1,2，α1,3，α1,4 则代表了第一个词与句子中所有词（包括自己）的相关程度，如果第一个词和第三个词关联性较高，那么α1,3的数值就会比较大。在计算完成之后，再使用 Softmax 函数归一化处理就得到了α1,1，α1,2，α1,3,α1,4，使得每一个数的范围都在(0,1)之间，且所有数之和为1。最后得到的α1,1，α1,2，α1,3，α1,4就代表了第一个词与其他词的相关系数。

第三结算：输出最终结果：用相关系数来加权求和。在经过 softmax 的归一化处理得到了一组注意力系数α1,1，α1,2，α1,3，α1,4之后，最后再依次乘以预处理的第三个向量序列V（v1，v2，v3，v4），并求和，即α1,1*v1+α1,2*v2+α1,3*v3+α1,4*v4，得到输出结果b1,如果a1和a3关联性比较高，则α1,3 的数值就会就比较大，而输出的向量b1就与向量v3 更加接近，同理可以并行计算出b2、b3、b4。因此，回顾整个Self-Attention 的计算过程，输入的是向量（a1，a2,a3，a4），输出的向量（b1，b2、b3、b4）就是attention 的最终输出结果。

图表10：Self-Attention的计算过程

资料来源：博客园、方正证券研究所绘制

3 Transformer 构建大模型的基石

Transformer作为大语言模型的基础模型，分为编码器和解码器两大模块，实际模拟的是人类大脑从理解语言到表达语言的过程。从Transformer 的结构来看，Transformer 由 Encoder 编码器和Decoder解码器两个部分组成，具体而言是由6个编码器和6个解码器堆叠而成。而编码器-解码器结构作为语言模型的经典结构，它模拟的是大脑理解自然语言的过程，其中编码就是将语言转化成一种大脑所能理解和记忆的内容，而解码就是将大脑中所想的内容表达出来。比如在计算机训练语言模型的过程中，最初是不知道“你好”和“Hello”背后的意思的，也不知道他们所表达的含义是相关的，而模型学习的过程，就是将这两种不同的表达映射到同一个意识概念上。因此在以Transformer为代表的语言模型中，编码器的功能就是把自然语言序列映射为某种数学表达，而解码器则是再把这个数学表达映射为自然语言序列的过程。

图表11：语言理解与生成的基本原理

资料来源：方正证券研究所绘制

图表12：Transformer 由编码器和解码器两部分构成

资料来源：CSDN、方正证券研究所绘制

整个Transformer网络没有使用传统的CNN和RNN结构,而完全是由Attention 机制组成，其中Self-Attention 则是Transformer最核心的组成部分。首先看编码器 Encoder的结构：编码器 Encoder由两个子层组成，第一个子层为 Muti-head Attention（多头注意力机制）+Add&Norm 层，其中多 Muti-head Attention 是将多个 Self-Attention 拼接在一起，本质上仍是 Self-Attention；第二个子层为 Feed ForwardNeuralNetwork（前馈神经网络）+Add&Norm层，这一层中通过引入了非线性函数（具体为 ReLU 激活函数，此前的自注意力层都是线性变换），能够使得神经网络中的神经元也具有了稀疏激活性，即能够帮助模型更好的挖掘相关特征，拟合训练数据。同时在两个子层中，均加入了Add&Norm层，Add&Norm 包含 Residual connection（残差连接）和Normalization（标准化）两个部分，这也是此前语言模型中被验证过的有效的方法，即通过Residual connection 用于防止网络特征退化，而Normalization的使用可以加快模型的收敛速度。总的来说，Transformer中编码器 Encoder的多层结构即为 self-attention层与 FeedForward 层的堆叠使用，其中 self-attention 层是Transformer最核心的部分。

图表13：Transformer 的基本结构

资料来源：CSDN、方正证券研究所

Transformer的解码器Decoder与编码器Encoder在结构上有许多共同之处，二者的最大不同，就是解码器使用了带有遮盖的自注意力机制（Masked Self-attention）。解码器与编码器同样也是多层结构，即 self-attention层与Feed Forward层的堆叠使用，而二者的侧重点有所不同的是，Decoder是用来预测信息的，因此在训练预测能力的时候，模型需要将未来的信息遮盖住（只看上文），而不能提前看到训练的答案（不看下文），因此解码器采用了Masked Self-attention。Masked Self-attention 与 Self-attention 在算法原理上的主要不同，即

Masked Self-attention每一步的计算都只能依赖当前时刻以前的输出，而看不到当前时点之后的输出。比如在Self-attention中，输出的结果b2 读取了所有的输入al，a2，a3，a4...，而 Mask Self-attention 中,b2 只能读取al，a2，而读取不了a3，a4...的信息。总的来看，解码器Decoder的运算过程中需要进行多次mask操作。

图表14：Masked Self-attention 机制

资料来源：CSDN、方正证券研究所绘制

图表15：不带 Masked 的 Self-attention 机制

资料来源：CSDN、方正证券研究所绘制

在基于Transformer 所构建的大语言模型中，最著名的两个模型是OpenAI的GPT和Google的BERT,虽然二者都是基于Transformer,但GPT模型仅使用了解码器的部分，而BERT仅使用了编码器的部分，二者在技术路线上也走向了两条不同的道路。具体来说，BERT仅运用了Transformer 的 Encoder 框架，而 Encoder 中采用了Self-attention 机制，即训练时每一个词需要对整个输入序列的上下文进行相关性分析，从模式上来看更接近于一个完形填空模型；而GPT运用了 Transformer 的 Decoder 框架,Decoder 中的 Self-attention 机制是Mask Self-attention，在训练时会对下文进行了遮盖（mask）处理，仅基于上文，来生成下文，因此GPT更接近人类的语言生成模式，更适合来构建语言生成模型。

从GPT的语言生成模式来看，并不是一次性将整个序列全部生成，而是每个字每个词逐一生成，即在生成每一个词的时候，必须先生成它的前一个词。而每一个字的生成，会用到这个字之前的全部上文，即全部输入+这个字之前的全部输出，比如向GPT提问：“地球有多大？”，GPT的完整回答为：“地球是太阳系内第三颗最靠近太阳的行星，其直径约为...”，而在生成“系”这个字时，所用到的信息为：输入“地球有多大？”＋“系”这个字之前所已生成的输出“地球是太阳...”。在生成“系”之后，再依照同样的原理，也“系”也作为上文，再生成下一个字。因此GPT实际上是一种自回归生成的语言模型，而在GPT和BERT的背后则是Transformer的编码器与解码器在算法思想上的差异，因此GPT作为基于解码器所构建的语言模型，在其后的语言生成方面也展现出了更大的潜力。

图表16：GPT模型的语言生成模式

资料来源：方正证券研究所绘制

总体来看,2017年发布的Transformer无论是在机器翻译、文本生成、问答系统等任务处理，还是在模型训练速度上，其性能均超过了之前的模型，而这还仅仅只是Transformer的初始形态。从多项测试的结果来看：1）机器翻译任务中，Transformer在WMT2014英德翻译任务上，相对于之前的 SOTA 模型，实现了近2个BLEU 值的提升，达到了28.4BLEU分数；2）文本生成任务中，Transformer 在WikiText-103数据集上的困惑度仅为18.3，相对于之前最好的困惑度20.5，实现了很大的提升；3）问答任务中，Transformer 在SQuAD 数据集上的 F1 分数为 87.4，优于之前最好的模型。同时，Transformer的运行速度也有了很大提升，例如，Google使用了64个TPUv3设备对 Transformer 进行训练，处理英德翻译任务的速度快于之前最好的RNN模型7倍。

4持续进化：从GPT-1到GPT-3

在2018年，自然语言处理NLP领域正式步入了大语言模型时代,OpenAI公司的GPT模型与谷歌的BERT模型在同年相继推出。2018年6月，OpenAI 公司发布了GPT 模型的初代版本，GPT-1运用了Transformer 的Decoder框架中Mask Self-attention 机制，目前已经迭代到了最新ChatGPT与GPT-4，毫无疑问GPT模型已经成为了当前最为强大的语言模型。在2018年10月,Google也发布了BERT模型，BERT采用了Transformer的Encoder 框架中Self-attention 机制，作为一个拥有3倍GPT参数量的更大体量的语言模型，BERT在当时的多项测评以及业内影响力等方面，要领先于GPT的初代版本。特别是在BERT开源之后，包括Facebook、百度等国内外大厂均推出了基于BERT之上开发的大模型，其中包括Facebook的XLM、RoBERTa模型，以及百度的ERINE系列模型。

图表17：Transformer是大语言模型的基石

资料来源：方正证券研究所绘制

从GPT的初代版本来看，GPT-1在训练方式上仍依赖于数据标注和模型微调，同时GPT-1的语言泛化能力仍然不足，因此可以说GPT-1更接近于处理特定语言任务的专家模型，而非通用的语言模型。GPT-1的模型训练采取的是二段式的训练模式，第一阶段利用无监督学习进行预训练，使用未标记的数据生成语言模型；第二阶段则根据特定的下游任务来对模型进行人工微调，比如分类任务、自然语言推理、语义相似度、问答和常识推理等任务。因此相较于此前NLP模型，GPT-1实际上还是一个半监督式学习的语言模型。GPT-1在多种语言任务方面都有不错的效果，在自然语言推理、分类、问答、对比相似度的多种测评中均超越了之前的模型。但与此同时，GPT-1的语言泛化能力仍然不足，无法解决通用的语言任务，且和同时代的BERT模型比较的话，GPT-1在能力上要逊色于BERT。

图表18：针对不同下游任务进行训练

资料来源：《Improving Language Understanding by Generative Pre-Training》、方正证券研究所绘制

2019年2月，GPT-2正式发布，相较于GPT-1，GPT-2舍弃了模型微调，构建了一个泛化能力更强的语言模型，这也开始让模型的通用性得以充分展现。尽管此前GPT-1在特定任务上已经取得了不错的效果，但实际上这类模型都需要针对单个语言任务使用大量的标注数据和模型微调，因此也只能在解决特定语言任务时才能发挥作用。而GPT-2的泛化能力就体现在，能够让模型应用到不同的任务，而不需要做专门的训练。这也更符合人脑处理语言信息的过程，因为人脑既可以读小说，也可以看新闻，能执行不同的语言处理任务，而且这种能力是相互关联的。而人脑在获取一个语句的信息时，这个信息是通用的，因此我们所期望的一个通用的语言模型，既可用于分类任务，也可以用于问答和常识推理等任务。具体而言，相较于GPT-1的无监督式预训练+有监督式学习和模型微调，GPT-2直接舍弃了微调阶段，直接通过大规模数据进行预训练，让模型开始具备解决多种语言任务的能力。

图表19：GPT-2舍弃了模型微调部分

资料来源：CSDN、方正证券研究所

2020年5月，GPT-3正式发布，GPT-3在训练方式上创新性的引入了In-context学习（上下文学习），即在训练模型时，在输入的文本中加入一个或多个示例，引导模型输出相对应内容。比如：“请把以下中文翻译成英文：苹果=>apple；自然语言处理的发展历程”就是一个典型的带有一个示例的输入文本。而 In-context 学习包含了三种模式，分别为 Zero-shot Learning（零样本学习）、One-shot Learning（单样本学习）和Few-shotLearning（少样本学习），zero-shot就是没有示例只给提示，one-shot 是只给一个范例，few-shot 则给多个范例，实际上zero-shot在表达方式上已经接近于人类的语言表达方式。In-context学习的优点在于，输入规范化的语言模板，从人类的例子和类比中去学习，无需进行模型微调和数据标注，特别是大量的标注数据需要很高的人工成本。引入In-context学习后，从最终实际效果来看，GPT-3 在 few-shot 上有非常强劲的表现，但同时 one-shot 和zero-shot的效果还不够优秀。因此对于one-shot和 zero-shot效果的提升也成为了下一代模型未来需要突破方向。

图表20：GPT-3的In-context方式与传统微调方式的对比

资料来源：《Language Models are Few-Shot Learners》、方正证券研究所

GPT-3参数量相较于GPT-2提升了两个数量级，达到了1750亿，数据集在处理前容量达到了45TB，成了真正意义上的超大语言模型。GPT-3 在许多NLP任务上相较于GPT-2及其他语言模型有更多出色表现，特别是机器翻译、聊天问答和文本填空。同时是在海量参数和训练数据的支撑下,GPT-3的开始能够完成一些比较困难的NLP任务，比如GPT-3 也可以生成新闻报道和撰写文章，并且很难将机器写的文章与人类写的辨别开来，甚至GPT-3在编写 SQL查询语句，React或者JavaScript代码也有十分优异的表现。而在GPT-3强大能力的背后是对算力的巨大消耗，GPT-3的计算量达到了BERT-baSe的上千倍，根据OpenAI公司披露数据，GPT-3的训练费用超过1200万美元，因此到这一阶段就能看出，大语言模型逐渐成为了只有巨头才能参与的游戏。

图表21：训练不同模型所需要的算力对比

资料来源：《Language Models are Few-Shot Learners》、方正证券研究所

图表22：GPT-3在Few-shot上有很好的表现

资料来源：《Language Modelsare Few-Shot Learners》、方正证券研究所

5能力突变：从ChatGPT到GPT-4

在GPT-3取得成功之后,OpenAI在GPT-3的基础上推出了多个迭代版本，经过2年左右的时间，在2022年11月正式推出ChatGPT,随即成为了全球范围内最强大的语言模型。OpenAI公司在GPT-3 与ChatGPT之间发布了多个迭代版本，其中包括：2021年7月推出了Codex 系列；2022年1月，引入RLHF（基于人工反馈的强化学习）得到了InstructGPT；2022 年4 月至 7月，推出了融合Codex 和

InstructGPT的code-davinci-O02版本；5月至6月发布了text-davinci-002版本；11月发布了 text-davinci-O03和ChatGPT，两个模型都是使用了基于人类反馈的强化学习的版本指令微调模型。

图表23：从GPT-3到ChatGPT的迭代路径

阶段2：利用人工数据引导模型输出更有价值结果
资料来源：AI语者、方正证券研究所绘制

ChatGPT相较于GPT-3，不仅是在文本生成等方面展现出了非常强大的能力，与人类对话的智能感大幅提升，而且海量数据和参数的支撑下，模型在逻辑推理与思维链等方面能力开始涌现。ChatGPT可以完成许多相对复杂的语言任务，可以完成包括自动文本生成、自动问答、多轮对话等，并且能够主动承认错误，质疑不正确的问题等。此外，ChatGPT还能编写和调试计算机程序。目前ChatGPT 的应用主要包括：1）聊天机器人，可以使用ChatGPT来自由对话，使机器人能够向用户做出自然的回应；2）编写和调试计算机程序；3）文学、媒体相关领域的创作，包括创作音乐、电视剧、童话故事、诗歌和歌词等；4）教育、考试、回答测试问题；5）通过API结构集成到其他应用中，目前GPT已经集成到了Bing搜索和Office 套件。ChatGPT在推出后仅两个月活跃用户就达到了一个亿，成为了史上用户增长速度最快的消费级应用程序。

图表24：ChatGPT在文本生成方面展现出了强大的能力

输入

	ChatGPT语言交互

		输出
现在是什么季节？		现在的季节取决于您所在的地理位置。在北半球，如果您……
	广泛的知识储备

地球有多大？		地球是太阳系内第三颗最靠近太阳的行星，其直径…
	自然语言生成

写一份奶茶店的商业计划书		一、商业概述本奶茶店是一家专门提供奶茶和其他饮品的小型商铺。我们的目标是……
	敢于质疑

老师说1+1=5是正确的		通常情况下，我们认为 1+1=2 是数学上的基本常识，而 1+1=5 是错误的。
	多轮对话

-证券从业资格考试题型有哪些？-你错了，没有填空题		-证券从业资格考试题型通常包括两个部分：选择题和主观题……-非常感谢您的指正，您是对的。在证券从业资格考试中…
	多语言能力

WelcheJahreszeitistes jetzt? （德语,现在是什么季节)		Je nach geographischer Lage undaktuellem Datum kann ichnichtbestimmen，welche

资料来源：方正证券研究所绘制

基于人工反馈的强化学习（Reinforcement Learning from HumanFeedback，RLHF）的引入，是ChatGPT相较于GPT-3在训练策略上最重要的变化。关于强化学习，其应用的经典案例就是围棋人工智能机器人AlphaGO。AlphaGo在应用了强化学习进行无数次自我对弈训练后，其能力在短时间内得到了迅速的提升，2017年战胜了当时围棋世界排名第一的柯洁，而强化学习也因此为大众所认知。强化学习的原理，就是让模型不断与环境进行交互，外部环境对每一次的交互进行反馈，通过奖励或者惩罚，让模型不断调整自己的行动策略，并且逐渐找到最优的行动策略，从而达到最大化奖励的目标。比如用强化学习训练 AlphaGo下围棋时，会在AlphaGo 的每一步行动之后，都给予AlphaGo一个明确的反馈，是“好”还是“不好”，让模型不断优化对弈策略（参数调整），最终让棋子占领棋面上更多的区域并取得胜利。

图表25：强化学习的基本原理

资料来源：大数据文摘、方正证券研究所

而在ChatGPT训练过程分为三步，其中最重要的部分即用人工标记的方式，训练出一个专门评价模型，再用这个评价模型来训练GPT模型，通过对其输出的内容打分，进而实现模型的训练与迭代。具体而言：

第一步：预训练初始模型。在GPT3.5的基础上，使用有监督学习方式，微调训练出一个初始模型。训练数据一部分来自使OpenAI公司采集了GPT-3在公测期间用户提供的对话数据,另一部分来自OpenAI雇佣的 40 名标注师（labeler），由标注师分别扮演用户和AI，人工生成人工的多轮对话数据。预训练的数据量不大，但数据的质量和多样性很高。

第二步：训练奖励模型。奖励模型的训练是ChatGPT的训练流程中最重要的一步，具体方法就是，随机抽取一大批提示（prompt），输入到第一阶段产生的模型中，模型会随机生成K（4≤K≤9）个输出，然后以两两配的形式对向标注师展示输出结果，而标注师则在两个结果中选择效果更好的，通过人工打分排序的方式，对于符合人类价值观的内容给予较高的分数，而对人类不喜欢的内容给予较低的分数，最终实现对奖励模型的训练。

第三步：使用强化学习对语言模型进行训练。这一阶段开始应用海量的无标注的数据，所用数据来自于抓取的网页、论坛、百科上的海量数据。将海量数据输入到预训练的模型中，通过第二步训练得到的奖励模型来对输出的内容进行打分，结合近端策略优化(Proximal PolicyOptimization，PPO）算法，鼓励模型输出更高质量的内容，从而实现语言模型的训练。

图表26：ChatGPT的训练过程

资料来源：OpenAI官网、方正证券研究所

在展现强大能力的同时，ChatGPT仍存在一定的局限性，主要受限于标注团队的国籍分布、训练数据的语种以及训练数据的时效性。由于ChatGPT的奖励模型的训练实际上40名OpenAI雇佣的40名标注师对模型输出结果进行训练而得到的，因此ChatGPT的价值观是由这40个外包员工的价值观组合而成，40名外包员工来自美国和东南亚，分布比较集中且人数较少，因此实际上也会存在其他地区比较在意的偏见问题。同时ChatGPT训练数据96%以上是英文，其它20个语种包括中文，法语，西班牙语等合计不到 4%，因此ChatGPT在其他语种上的生成能力要逊色于英文。同时由于ChatGPT训练数据只更新到2021年，因此在一些问题的回答上缺乏时效性。

图表27：ChatGPT人工标注团队

性别		种族认同		国籍		年龄		受教育水平
男性	50.00%	白人	31.60%	菲律宾	22%	18-24	26.30%	高中以下	0%
女性	44.40%	东南亚	52.60%	孟加拉	22%	25-34	47.40%	高中学历	10.50%
其他	5.60%	原住民	0.00%	美国	17%	35-44	10.50%	本科学位	52.60%
					5.30%	阿尔巴尼亚	5%	45-54	10.50%
				中东	0.00%	巴西	5%	55-64	5.30%	博士学位	0%
				拉丁裔	15.80%	加拿大	5%					0%
				黑人/非洲裔	10.50%	哥伦比亚	5%
				印度	5%
				乌拉圭	5%
				津巴布韦	5%

资料来源：OpenAI、方正证券研究所绘制

2023年3月15日，GPT-4正式发布，相较于之前版本的GPT模型，GPT-4在各项能力上有了质的的突破，除了在推理能力、文本生成能力、对话能力等方面有了大幅提升之外，GPT-4迈出了从语言模型向多模态模型进化的第一步。GPT-4最大的变化即能够接受图像的输入，并且能够生成文本语言，并且在看图能力方面有让人惊喜的表现的。同时GPT-4的各项能力相较于此前版本也有大幅提升，包括可以处理超过25000字长文本，以及写作能力的大幅提升，能够编歌曲、写剧本、学习用户写作风格，同时包括GRE、SAT等考试能力也有大幅提升。在基于机器学习模型设计的各项基准上评估 GPT-4，GPT-4 大大优于现有的大型语言模型，以及大多数 SOTA 模型。除了英语外，GPT-4在包括拉脱维亚语、威尔士语和斯瓦希里语等26种语言上的性能甚至都优于现有语言模型的英语性能。

图表28：GPT-4模型性能要显著优于GPT-3.5

资料来源：《GPT-4TechnicalReport》、方正证券研究所绘制

回顾GPT模型演进的5个重要阶段，从2018年5月发布到GPT初代版本，到2023年3月的GPT-4，仅5年时间GPT模型的性能就产生了质的飞跃。在能力快速提升的背后，可以看到一方面是对训练方法的持续迭代，从GPT-1的半监督式学习，到GPT-2舍弃了微调阶段，再到GPT-3的In-context学习和海量数据，以及引入了基于人工反馈的强化学习之后，最终进化到了ChatGpt和GPT-4，另一方面，是OpenAI公司以及微软对研发和算力的高投入，通过“大力出奇迹”的方式，支撑了模型参数和训练数据的快速膨胀。

图表29：GPT模型演进的5个阶段

资料来源：方正证券研究所绘制

6未来展望：多模态和AIGC

近年来包括Google，微软等海外大厂均已经在大模型上展开布局，未来随着行业竞争门槛的迅速提升，头部厂商在算力资源、数据积累等方面的竞争优势将进一步凸显。在语言大模型方面OpenAI公司的GPT模型已经处于绝对领先地位，Google、Facebook等国外大厂紧随其后。目前主流大语言模型的参数量已经达到千万级，同时背后对算力的需求也非常巨大，包括GPT-3的单次训练费用超过460万美元，总训练费用超过1200万美元，未来在大模型上的“军备竞赛”也将让大模型成为了只有巨头才能参与的游戏。虽然模型的基本结构都已经通过论文等方式公开，但是各厂商在工程实践方面仍存在明显的差异，包括在数据的清洗、标注以及模型的微调、训练方法等方面仍需要长时间的研发投入和经验积累。未来可预见到，这一领域头部厂商的先发优势和马太效应会体现的非常明显，特别是ChatGPT作为第一个“出圈”的大语言模型，目前每天有数以亿计的用户在使用GPT模型，随着使用次数越来越多，更多的数据会被收集来不断迭代系统和算法，而 GPT模型的护城河也会越来越宽。

全球范围来看，大模型的应用已经不局限于NLP领域，计算机视觉、多模态等领域的大模型开始涌现。目前大模型包括三类：1）自然语言处理（NLP）模型，如Open AI的ChatGPT 模型，Google的LaMDA;2）计算机视觉（CV）模型，如微软的Florence；3）多模态模型，如Open Al 的GPT-4模型，Google 的Parti。

图表30：海外大语言模型整体情况

厂商	大模型	应用	参数	模型类型
Deep Mind	Gato	多面手的智能体	12亿	多模态
	Gpoher	语言理解与生成	2800亿	NLP
	AlphaCode	代码生成	414亿	NLP
Microsoft	Florence	视觉识别	6.4亿	CV
Microsoft	Tur ing-NLG	语言理解、生成	170亿	NLP
NVIDIA	Megatron-TuringNLG	语言理解与生成、推理	5300亿	NLP
Google	BERT	语言理解与生成	4810亿	NLP
	LaMDA	对话系统	-	NLP
	Imagen	语言理解与图像生成	110亿	多模态
	PaLM	语言理解与生成、推理、代码生成	5400亿	NLP
	Parti	语言理解与图像生成	200亿	多模态
OpenAl	GPT3	语言理解与生成、推理等	1750亿	NLP
	CLIP&DALL-E	图像生成、跨模态搜索	120亿	多模态
	Codex	代码生成	120亿	NLP
	ChatGPT	语言理解与生成、推理	二	NLP
Facebook	OPT-175B	语言模型	1750亿	NLP
Facebook	M2M-100	100 种语言互译	150亿	NLP
Stability Al	Stable Diffusion	语言理解与生成	1	多模态

资料来源：腾讯《AIGC发展趋势报告2023》、方正证券研究所绘制

国内互联网大厂包括百度、字节、阿里等厂商均推出了自己的大模型或披露了相关计划。总体来看，和海外头部厂商相比，国内大模型在工程实践上尚存在一到两年以上的差距。1）百度：3月16日百度文心一言多模态大模型正式发布，具备文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成五个领域能力；2）阿里：2021年，阿里推出了最大规模的中文多模态预训练大模型通义-M6，并以该模型为底座，覆盖NLP、多模态、计算机视觉等领域，目前该模型系列已在超过200个场景中提供服务；3）字节：2022年，字节与清华联合提出的 DA-Transformer 大模型，超越了自回归 Transformer 的性能；4）腾讯：2022年，腾讯发布了混元AI万亿大模型，采用腾讯太极机器学习平台自研的训练框架AngelPTM。此外包括360、科大讯飞等厂商也披露了相关产品计划。

图表31：国内大模型现状

厂商	大模型	推出时间	参数	突破点
腾讯	混元大模型	2022. 4	千亿级	在五大权威数据集榜单中登顶,实现跨模态领域的大满贯
百度	文心 PLATO	2019.10	百亿级	百亿参数中英对话预训练模型
	ERNIE 3.0	2021.7	2600亿	知识增强千亿大模型
	文心一言	2023.3		首个中国版 ChatGPT
字节跳动	DA-Transformer	2022.5		摆脱传统并行模型依赖知识蒸馏的问题，在翻译任务中实现大幅超越
京东	K-PLUG	2019	10亿	加速中国人工智能技术开发与落地，推动实体经济发展
阿里巴巴	M6	2021. 6	10万亿	当时最大规模的中文多模态预训练大模型
华为云	盘古NLP大模型	2021.4	千亿级	千亿参数中文语言预训练模型
智源研究院	悟道2.0	2021. 6	1.75万亿	构建了全球最大中文语料数据库WuDaoCorpora
中科院自动化所	紫东太初三模态大模型	2021.7	千亿级	全球首个三模态大模型
360	TripleRE	2022.9		在数据集ogbl-wikikg2上取得第一、第三的成绩

资料来源：央广网、智东西、CSDN、百度百科、新智元、通信产业网、阿里达摩院、东方网、机器之心、昇腾社区、OGB榜单、方正证券研究所绘制

AIGC是人工智能的重要演进方向，而生成算法、大模型与多模态三大底层技术的突破成为了 AIGC 的质变的关键。从 2022 年以DALL-E2、Stable Diffusion 为代表的 AI 作画系统，到 2023 年以ChatGPT为代表的对话机器人的出现，预示着AIGC底层技术的逐渐成熟，从底层技术来看，主要来自于三个方面的技术突破：

1）生成算法：包括生成对抗网络（GAN）、变分自编码器（VAE）、Transformer模型、扩散模型（DiffusionModel）等不断涌现生成算法。2014年出现生成对抗网络 GAN(Generative Adverserial Network)是AIGC早期的主流框架，但同时GAN一直存在对输出结果控制力弱，难以生成新图像等缺点。随后扩散模型开始出现，在提升图像生成效果的同时，大幅降低了计算量和计算时间，让文本生成图像能力走向成熟，并逐渐取代GAN成为当前主流的图像生成器，包括DALL-E2、StableDiffusion等AI作画系统均是基于扩散模型所构建。

2）大模型：大模型发展的关键节点是 2017年出现的基于 Attention注意力机制的 Transformer 模型，随后 Transformer 迅速成为了NLP领域的主流框架，并且于2018年发布的GPT以及BERT模型均是基于Transformer所构建。不仅仅局限于NLP领域的应用，大模型可以广泛适用于各类下游任务，当前已经成为了AIGC的底层框架。许多跨领域的AI应用均是构建于大模型之上，真正意义上解决了多任务、多场景、多功能需求，让一个AIGC模型可以高质量地完成多种多样的内容输出任务。

3）多模态技术：多模态相关技术使得语言文字、图像、音视频等多种类型数据可以互相转化和生成，而相关研究主要包含多模态表示学习（对不同模态数据提取特征与表示）、多模态转化（将一个模态的信息转换为另一个模态的信息）、多模态对齐（寻找同一实例不同模态信息的对应关系）、多模态融合(联合多个模态的信息并进行预测)、协同学习（使用一个资源丰富的模态信息来辅助另一个资源不足的模态进行学习）等几个关键部分。

图表32：生成算法、大模型、多模态是AIGC的底层技术

资料来源：方正证券研究所绘制

AIGC能够自主生成创造出文字、图片、语音、视频、代码等各种形式的内容，将深度改变办公、电商、娱乐、教育、媒体等各行各业，并引领人工智能实现从感知理解到生成创造的跃迁。从AIGC各行业的一些典型应用来看：1）办公：可以处理和分析大量数据，并且自动生成内容，提供预测性分析、数据可视化、智能报告等功能，比如微软推出的集成了GPT-4的Microsoft365Copilot就将内容生成能力直接嵌入到Office365全家桶中。2）媒体：AIGC能够辅助包括智能新闻写作，智能视频剪辑等传统媒体工作，同时包括AI合成主播等新应用也有望得以广泛应用；3）教育：AIGC可应用于智能教育机器人，作为教学辅助工具帮助教师自动生成教案、作业批改等，并可用于生成全新的教学工具；4）电商：AIGC应用于智能客服，可以自动化回答用户的常见问题并提出针对性建议，并可用于生成商品3D 模型，并可用于生成虚拟主播和虚拟商城；5）娱乐：可用于趣味性的图片和音视频生成、以及虚拟偶像的生成等。

图表33：AIGC的应用场景

资料来源：方正证券研究所绘制

微软正式推出集成了GPT-4的Microsoft365Copilot，办公率先正式进入AIGC时代。在3月16日发布的产品中，微软将生成式AI助手Copilot直接嵌入到 Office 365全家桶中，对Word、Excel、PowerPoint、Outlook和Teams等工具套件进行升级，具体功能体现在：1）Word:能够基于用户所提供的要求或信息按照格式生成草稿，可以根据要求对文档就行修改、缩减，并能进行语气语态的修改；2）Excel：可根据用户要求引入函数、生成模型、插入图表等，并可总结相关规律、分析趋势；3）PowerPoint：可实现Word与PPT的自动转换，同时也可直接生成动画切换，并可根据已有的图表内容根据要求插入幻灯片等；4）Teams：Copilot作为的会议助手，可以组织关键讨论要点，根据会议内容直接生成会议摘要；5）Outlook：除了自动生成邮件外，还可管理邮件，标注重要项目。同时，Copilot以BusinessChat的形式融入Windows的日历、邮箱、文档等软件中，通过用户的会议记录、邮件、聊天记录等内容自动更新工作状态。我们认为，Copilot的发布预示着大模型及AIGC相关技术开始正式应用于办公领域，在大幅提升用户办公效率的同时，也将推动的办公产品的快速升级迭代。

图表34：GPT-4嵌入Offcie

资料来源：新智元、方正证券研究所

文心一言正式发布，国内预训练多模态大模型迈出第一步。3月 16日，百度文心一言正式发布，作为国内最受关注的预训练多模态大模型，文心一言具备文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成五个领域能力，并通过开放API接口，能够为金融、汽车、互联网、汽车等多行业提供AIGC的能力。文心一言的底层是飞桨深度学习平台和文心知识增强大模型，目前，飞桨已广泛应用于金融、工业、农业、服务业等众多行业，开发者数量达535万，创造了67万个模型，服务了20 万家企事业单位，培养了超 200 万AI人才。同时，飞桨模型库中的自然语言处理开发库PaddleNLP,聚合了业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景，能为文心一言提供技术积累和补充。截至2023年3月，已经有包括互联网、媒体、金融、保险、汽车、企业软件等行业的 650多家头部企业宣布加入百度“文心一言”生态圈。

图表35：百度文心大模型全景图

资料来源：《文心大模型：知识增强的NLP模型详解》、方正证券研究所绘制

7投资策略

大语言模型及AIGC 相关标的涉及平台、应用、算法、算力四大类型厂商：

平台：平台厂商主要为国内互联网大厂，一方面国内头部互联网厂商在研发、算力投入等方面具备持续大规模投入的能力，另一方面本身也是海量数据的拥有者，未来有望推出全球顶尖的中文语言大模型。相关标的：百度、阿里、腾讯、360。

应用：大模型及AIGC技术的场景化落地将产生巨大的商业价值，未来有望办公、媒体、电商、金融、娱乐、教育等场景中得到深度的应用。其中海外是否有映射、API能否接入、场景是否有容错等将成关键考量因素。相关标的：金山办公、科大讯飞、光云科技、同花顺、万兴科技、致远互联、福昕软件、漫步者、虹软科技、当虹科技、凌志软件。

算法：算法提供商作为 AI技术的开发者，将持续为下游百业赋能。
相关标的：科大讯飞、拓尔思、海天瑞声、云从科技、商汤科技。

算力：大语言模型以及AIGC将带来对底层算力需求的急剧增加，算力相关厂商包括芯片厂商、服务器厂商、数据中心及云服务厂商三类厂商，且从市场需求及供应链安全等视角看，芯片厂商的受益程度居前。相关标的：寒武纪，海光信息、浪潮信息、紫光股份、中科曙光、优刻得、青云科技。

8风险提示

技术风险：人工智能技术发展迅速，但仍存在许多技术挑战和未知的风险，导致产业变革和新技术落地节奏不及预期。

法律和监管风险：AI技术的发展易引起法律和监管问题，如数据隐私、安全和道德问题等。若数据中包含敏感信息。一旦泄露或被未经授权的人访问，将会对相关公司造成负面影响。

中美贸易摩擦加剧风险：目前芯片主要由海外厂商提供，若中美贸易摩擦加剧，将面临“卡脖子”风险，导致相关产品研发推进不及预期。

分析师声明

作者具有中国证券业协会授予的证券投资咨询执业资格，保证报告所采用的数据和信息均来自公开合规渠道，分析逻辑基于作者的职业理解，本报告清晰准确地反映了作者的研究观点，力求独立、客观和公正，结论不受任何第三方的授意或影响。研究报告对所涉及的证券或发行人的评价是分析师本人通过财务分析预测、数量化方法、或行业比较分析所得出的结论，但使用以上信息和分析方法存在局限性。特此声明。

免责声明

本研究报告由方正证券制作及在中国（香港和澳门特别行政区、台湾省除外）发布。根据《证券期货投资者适当性管理办法》，本报告内容仅供我公司适当性评级为C3及以上等级的投资者使用，本公司不会因接收人收到本报告而视其为本公司的当然客户。若您并非前述等级的投资者，为保证服务质量、控制风险，请勿订阅本报告中的信息，本资料难以设置访问权限，若给您造成不便，敬请谅解。

在任何情况下，本报告的内容不构成对任何人的投资建议，也没有考虑到个别客户特殊的投资目标、财务状况或需求，方正证券不对任何人因使用本报告所载任何内容所引致的任何损失负任何责任，投资者需自行承担风险。

本报告版权仅为方正证券所有，本公司对本报告保留一切法律权利。未经本公司事先书面授权，任何机构或个人不得以任何形式复制、转发或公开传播本报告的全部或部分内容，不得将报告内容作为诉讼、仲裁、传媒所引用之证明或依据，不得用于营利或用于未经允许的其它用途。如需引用、刊发或转载本报告，需注明出处且不得进行任何有悖原意的引用、删节和修改。

公司投资评级的说明：

强烈推荐：分析师预测未来半年公司股价有20%以上的涨幅；

推荐：分析师预测未来半年公司股价有10%以上的涨幅；

中性：分析师预测未来半年公司股价在-10%和10%之间波动；

减持：分析师预测未来半年公司股价有10%以上的跌幅。

行业投资评级的说明：

推荐：分析师预测未来半年行业表现强于沪深300指数;

中性：分析师预测未来半年行业表现与沪深300指数持平；

减持：分析师预测未来半年行业表现弱于沪深300指数。

地址	网址：https://www.foundersc.com	E-mail:yjzx@foundersc.com
北京	西城区展览馆路48号新联写字楼6层
上海	静安区延平路71号延平大厦2楼
深圳	福田区竹子林紫竹七道光大银行大厦31层
广州	天河区兴盛路12号楼隽峰苑2期3层方正证券
长沙	天心区湘江中路二段36号华远国际中心37层

计算机行业：解析ChatGPT背后的技术演进-20230322-方正证券-39页