大模型深度复盘，科技变革加速

华泰研究

2023 年 5 月 22 日│中国内地

大模型时代已来，AGI 新纪元开启

大语言模型（LLM）是在大量数据集上预训练的巨大模型，在处理各种 NLP（自然语言处理）任务方面显示出了较大潜力。2017 年 Transformer 编解码器架构问世后，成了今年 LLM 发展的蓝图，并由此分化出编码器、编解码器和解码器三条进化路径。其中，编解码器和解码器架构目前仍在不断演进中，且解码器架构在数量上占据绝对优势。全球视角看，LLM 的典型代表是 OpenAI 开发的 GPT 系列模型，国内的百度、智源等也在大模型上进行了深厚的积累。在大模型的赋能下，各种垂类应用和工程实现纷纷落地，包括 BloombergGPT、AutoGPT 等。LLM 或将开启通用人工智能新纪元。

溯源：从经典神经网络到 Transformer 架构

深度学习可以概括为特征的抽象和结果的预测。深度学习与神经网络密不可分，主要原因是神经网络模型可以使用误差反向传播算法，较好地解决了深度学习中的贡献度分配问题。从历史发展看，神经网络诞生于 1943 年提出的 MP 模型，深度学习概念由 Hinton 于 2006 年正式提出。经过多年的发展，问世了如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）等经典的深度学习算法。2017 年，Transformer 架构的出现成为了后来 LLM 的基础架构，再次开启了大语言模型快速发展时期。

发展：从 GPT-1到 GPT-4，开启大模型新纪元

2018 年，OpenAI 提出生成式预训练模型 GPT-1，引入有监督的微调训练。2019 年，GPT-2 以更大的参数量和多任务训练进行 zero-shot 学习；2020年，GPT-3 用 few-shot 代替 zero-shot，并将训练参数增加到 1750 亿，再次提高模型表现性能。2022 年，InstructGPT 引入基于人类反馈的强化学习，实现了更符合人类预期的模型输出。2022 年 11 月，OpenAI 正式推出对话交互式模型 ChatGPT，5 天时间突破了 100 万用户。2023 年 3 月，GPT-4问世，支持多模态输入，并能高水准完成专业考试，支持 API。

延伸：国内大模型快速成长，海外大模型多维拓展

大模型时代到来，模型体系与生态快速扩充，海内外企业坚定发力。受益于大模型的理解能力、推理能力、泛化能力得到充分验证，海内外企业纷纷加速大模型相关的产业布局，全面拥抱大模型时代的技术变革。1）国内：国内大模型发展起步相对较晚，ChatGPT 问世以来国内企业加速大模型研发，2023 年以百度文心、商汤日日新、讯飞星火等为代表的国产大模型相继发布，并持续推进模型迭代升级；2）海外：海外大模型发展呈现垂直落地、工程实现、模态丰富三大发展趋势，模型体系与配套的工程生态日益丰富。

产业链相关公司梳理

以 GPT 为代表的大模型产业链可分为算力、模型、应用三个环节。1）算力：包括寒武纪、景嘉微、海光信息等芯片厂商以及浪潮信息、中科曙光、工业富联等服务器厂商；2）模型：包括百度、三六零、科大讯飞、昆仑万维、商汤科技等科技企业；3）应用：2C 简单包括金山办公、科大讯飞、同花顺、万兴科技、东方财富、汉仪股份、汉王科技、萤石网络等企业；2B 简单包括泛微网络、致远互联、上海钢联、彩讯股份等企业；2C 复杂包括中望软件、索辰科技、广联达等企业；2B 复杂包括恒生电子、石基信息、科大讯飞、汉王科技、金桥信息等企业。

风险提示：宏观经济波动；大模型技术迭代不及预期；本报告内容基于客观资料整理，不构成投资建议。

计算机

专题研究

增持 (维持)

研究员

谢春生

SAC No. S0570519080006 xiechunsheng@htsc.com

SFC No. BQZ938 +(86) 21 2987 2036

研究员

郭雅丽

SAC No. S0570515060003 guoyali@htsc.com

SFC No. BQB164 +(86) 10 5679 3965

研究员

范昳蕊

SAC No. S0570521060004 fanyirui@htsc.com

+(86) 10 6321 1166

联系人

彭钢

SAC No. S0570121070173 penggang@htsc.com +(86) 21 2897 2228

联系人	袁泽世，PhD
SAC No.S0570122080053	yuanzeshi@htsc.com
	+(86) 21 2897 2228

联系人

SAC No. S0570122060076 linhailiang@htsc.com +(86) 21 2897 2228

林海亮

行业走势图

资料来源：Wind，华泰研究

正文目录

大模型时代已来，AGI 新纪元开启.......
溯源：从经典神经网络到 Transformer 架构 .. ..4
深度学习是基于神经网络的机器学习. ....4
关系梳理：人工智能>机器学习>深度学习 ................................................................................ .......4
深度学习与神经网络发展历史（1943-2017）
CNN：卷积+汇聚+全连接... ........................................................................................
LSTM：将短期记忆进一步延长................
Transformer：基于自注意力机制的新兴架构.. ...9
发展：从 GPT-1到 GPT-4，开启大模型新纪元... ......................................................................... ....... 11
GPT-1：确定生成式预训练模型基本路线.........
GPT-1：基于 Transformer 的预训练+微调半监督模型.. ....................................................... .... 11
模型特点：无监督训练+有监督微调... ....................................................................... ....... 11
GPT-2：开启“单模型解决多任务”新纪元，大容量技术路线确定................................................... .......13
模型特点：多任务学习+大模型容量+无微调建模.... .............................................. ......13
GPT-3：模型参数达 1750 亿，few-shot 进一步提高性能.. ...15
模型特点：大参数量+大训练集+few-shot ...... ......................................................... ...15
Codex：基于 GPT-3 的代码生成工具 ........... .................................................................
ChatGPT / InstructGPT：增加人类反馈强化学习（RLHF） .......................................................... .....19
优化目标：从提示学习到指示学习，聚焦需求对齐（alignment）
训练过程：“三步走”实现人工反馈强化学习...... ................................................. ......20
GPT-4：多模态确认，在专业和学术上表现亮眼 ..21
GPT-4：支持多模态输入，安全问题或成为 LLM 关注焦点 . ...21
能力测试：在专业和学术基准上表现出了人类的水平. ...22
多模态：支持图片输入，未提供具体算法...... ....23
延伸：国内大模型快速成长，海外大模型多维拓展.. ...24
百度：文心大模型 2月发布，新一代知识增强大语言模型 . ....24
商汤科技：日日新大模型 4 月发布，加速迈进 AGI 时代 ..... ...................................................... ....25
科大讯飞：星火大模型 5 月发布，AGI 核心能力表现出色... ..27
智源研究院：超大规模“悟道”模型，构建完备大模型生态体系. ...28
海外大模型多维拓展，看好垂直落地、工程实现、模态丰富三大趋势 ....... ............................................. ....30
垂直落地：BloombergGPT 提供构建垂直行业大模型的有益参考 .. ..30
工程实现：AutoGPT 充分展现大模型有望重塑人机交互范式 .................................................................
产业链相关公司梳理.... ....35
风险提示.... ..35

大模型时代已来，AGI新纪元开启

Transformer 开启大语言模型发展新时期，为人工通用智能铺平了道路。大语言模型（LLM）是在大量数据集上预训练的巨大模型，且没有针对特定任务调整数据，其在处理各种 NLP（自然语言处理）任务方面显示出了较大潜力，如自然语言理解（NLU）、自然语言生成任务等，甚至为人工通用智能（AGI）铺平了道路。而近年来的 LLM，基本都脱胎于 2017 年Google 提出的 Transformer 编解码器架构，Transformer 开启了 LLM 发展的新时期。

基于 Transformer 架构的三条演进路线中，解码器路线发展最为迅速。从 LLM 近年的发展情况来看，其路线主要分为三种：1）编码器路线；2）编解码器路线；3）解码器路线。从发展特点来看：1）解码器路线占据主导，编码器路线趋于落寞，归因于 2020 年 GPT-3 模型表现出的优异性能；2）GPT 系列模型保持领先，或归因于 OpenAI 对其解码器技术道路的坚持；3）模型闭源逐渐成为头部玩家的发展趋势，这一趋势同样起源于 GPT-3 模型，而 Google 等公司也开始跟进；4）编解码器路线仍然在持续发展，但是在模型数量上少于解码器路线，或归因于其复杂的结构，导致其在工程实现上没有明显的优势。

国内百度、智源等公司和组织在大模型上有较深厚的积累。百度的文心一言基于 ERNIE系列模型，该模型最早于 2019 年提出，到 2021 年迭代到 ERNIE3.0 版本，技术路线也从最初的编码器路线转移到解码器路线，性能提升明显。智源研究院则依托于清华等高等学府及其研究成果，2021 年提出的 GLM 模型成为智源悟道大模型的重要技术基础。据日经亚洲信息，微软总裁布拉德认为智源是微软、OpenAI 和 Google 重要竞争对手。

图表1：大语言模型（LLM）演化树

资料来源：《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》，Yang Jingfeng（2023）、华泰研究

本部分将从神经网络出发，梳理深度学习方法的发展情况，引出注意力机制与 Transformer架构，并对全球 LLM 的典型代表——GPT 系列模型进行详细拆解。此外，还将对国内快速发展的百度文心一言、商汤科技日日新、科大讯飞星火、智源悟道等大模型，以及大模型在金融垂直领域的重要应用 BloombergGPT 等进行详细解析。

溯源：从经典神经网络到 Transformer 架构

深度学习是基于神经网络的机器学习

深度学习可以概括为特征的抽象和结果的预测。深度学习是将原始的数据特征通过多步的特征转换得到一种更高层次、更抽象的特征表示，并进一步输入到预测函数得到最终结果。深度学习需要解决的关键问题是贡献度分配问题（Credit Assignment Problem，CAP），即一个系统中不同的组件（component）或其参数对最终系统输出结果的贡献或影响。深度学习的目标是让模型自动学习出好的特征表示，从而最终提升预测模型的准确率。

图表2：深度学习的数据处理流程

资料来源：《神经网络与深度学习》（邱锡鹏），ISBN: 9787111649687、华泰研究

关系梳理：人工智能>机器学习>深度学习

人工智能包括机器学习，机器学习包含深度学习。人工智能（AI）的重要组成部分是机器学习（ML），而神经网络（NN）是 ML 的一个子领域。深度学习可以看做是神经网络的分支，使用了更复杂和更深层次的网络结构，如卷积神经网络（CNN），来处理更高维度和更抽象的数据，如图像、声音和文本。此外，逐渐兴起的强化学习也是机器学习的一个分支。深度学习与强化学习可以相互结合，称为深度强化学习（DRL）。

图表3：人工智能、机器学习、深度学习关系梳理

资料来源：《The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches》，Zahangir（2018）、《Deep Reinforcement Learning》，Yuxi Li（2017）、华泰研究

深度学习与神经网络发展历史（1943-2017）

神经网络诞生于 1943 年，深度学习崛起于 2006 年。1943 年，心理学家 McCulloch 和数学家 Pitts 最早提出了一种基于简单逻辑运算的人工神经网络—MP 模型，开启了人工神经网络研究的序幕。1986 年，Hinton 提出第二代神经网络，并利用误差的反向传播算法来训练模型，该算法对神经网络的训练具有重要意义。1989 年，Yann LeCun 等提出卷积神经网络（CNN）用来识别手写体。1997 年，循环神经网络（RNN）的改进型长短时记忆网络（LSTM）被提出。2006 年，Hinton 首次提出了深度置信网络（Deep Belief Network，DBN）和深度学习的概念。2014 年，生成对抗网络（GAN）的提出是深度学习的又一突破性进展。2016 年，AlphaGo 击败围棋世界冠军李世石，将深度学习推向高潮。

图表4：深度学习发展历史

注：最大圆圈表示深度学习热度上升与下降的关键转折点，实心小圈圈的大小表示深度学习的突破大小，斜向上的直线表示深度学习热度正处于上升期，斜向下的直线表示下降期。
资料来源：《深度学习研究综述》，张荣（2018）、华泰研究

CNN：卷积+汇聚+全连接

典型的卷积神经网络是由卷积层、汇聚层、全连接层交叉堆叠而成。其中，一个卷积块包括连续 M个卷积层和 b个汇聚层（M 通常设置为 2∼5，b 为 0或 1）。一个卷积网络中可以堆叠 N个连续的卷积块，然后在后面接着 K个全连接层（N的取值区间比较大，比如 1∼100或者更大；K一般为 0∼2）。CNN 能够有效的将大数据量的图片降维成小数据量，并有效的保留图片特征。

图表5：常用的卷积网络整体结构

资料来源：《神经网络与深度学习》（邱锡鹏），ISBN: 9787111649687、华泰研究

卷积层利用卷积核实现特征提取。卷积层的作用是提取局部区域的特征，不同的卷积核相当于不同的特征提取器，反之，提取不同的特征需要不同的卷积核。输入原图经过卷积核提取后，即得到特征映射（Feature Map），每个特征映射可以作为一类抽取的图像特征。目前，卷积网络的整体结构趋向于使用更小的卷积核（比如 1×1 和 3×3），以及更深的结构（比如层数大于 50）。

图表6：卷积核用于特征提取

资料来源：《神经网络与深度学习》（邱锡鹏），ISBN: 9787111649687、华泰研究

每个卷积层后引入非线性激活函数，确保整个网络的非线性。常用的激活函数为线性整流单元（Rectified Linear Unit，ReLU），其实质是将特征图上所有负数变成 0，而正数保持不变。其他常用的激活函数还有 Sigmoid 函数、双曲正切函数（tanh）。激活函数使得神经网络模型具有非线性，从而可以表示非线性的函数，处理更加复杂的任务。

图表7：常用的激活函数图

资料来源：《神经网络与深度学习》（邱锡鹏），ISBN: 9787111649687、easyAI、华泰研究

汇聚层进一步压缩数据和参数量。汇聚层（Pooling Layer）也叫子采样层（SubsamplingLayer）或池化层，其作用是进行特征选择，降低特征数量，减少参数数量。典型的汇聚层是将每个特征映射划分为 2×2 大小的不重叠区域，然后使用最大汇聚的方式进行下采样，即用 2×2 区域的最大值代替整个区域的值。此外，还可以采用 2×2 区域的平均值来代替整个区域值。

图表8：最大汇聚与平均汇聚示意图

资料来源：《神经网络与深度学习》（邱锡鹏），ISBN: 9787111649687、华泰研究

全连接层采用神经网络中的前馈网络结构。将池化后的结果按顺序排成一列，输入全连接层。全连接层把相邻两层的神经元全部交叉相联结，两层之间所有神经元都有相应的权重，经计算后得到最终输出结果。通常全连接层在卷积神经网络尾部。

图表9：全连接层示意图

资料来源：《神经网络与深度学习》（邱锡鹏），ISBN: 9787111649687、华泰研究

卷积神经网络参数可利用误差反向传播算法来确定。卷积神经网络可以通过误差反向传播（Backpropagation）和梯度下降等算法进行参数学习，包括确定卷积核参数和全连接网络权重等。

RNN：具有短期记忆的神经网络

循环神经网络（RNN）是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的历史信息，形成具有环路的网络结构。和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构。循环神经网络的短期记忆能力提供了一定的存储功能，因此其计算能力更为强大。理论上，循环神经网络可以近似任意的非线性动力系统。

图表10：循环神经网络引入了短期记忆功能

资料来源：《神经网络与深度学习》（邱锡鹏），ISBN: 9787111649687、华泰研究

LSTM：将短期记忆进一步延长

LSTM 引入门控机制，解决 RNN 的长程依赖问题。循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题（也称为长程依赖问题），可以简单理解为参数无法正常更新（梯度变得很大或变为 0），很难建模长时间间隔状态之间的依赖关系。长短时记忆网络（LongShort-term Memory，LSTM）引入门控机制，很好了解决了 RNN 的上述问题。

LSTM 网络特点在于新内部状态和门控机制的引入。1）新的内部状态：与 RNN相比，LSTM网络引入一个新的内部状态（internal state）ct，专门进行线性的循环信息传递。在每个时刻 t，LSTM网络的内部状态 ct记录了到当前时刻为止的历史信息，相当于延长了网络的记忆特性。2）门控机制：引入遗忘门、输入门和输出门。其中，遗忘门控制上一个时刻的内部状态需要遗忘多少信息；输入门控制当前时刻的候选状态有多少信息需要保存；输出门控制当前时刻的内部状态有多少信息需要输出给外部状态。参数训练方面，虽然相比 RNN，LSTM 引入了更多参数矩阵，但依然可以使用梯度下降算法进行参数更新。

图表11： LSTM 引入了新的内部状态和门控机制

资料来源：《神经网络与深度学习》（邱锡鹏），ISBN: 9787111649687、华泰研究

循环神经网络的隐状态 s 为短期记忆，新内部状态 c 具有更长的记忆。循环神经网络中的隐状态 s 存储了历史信息，可以看作一种记忆。在简单循环网络中，隐状态每个时刻都会被重写，因此是一种短期记忆。在神经网络中，长期记忆可以看作网络参数，隐含了从训练数据中学到的经验，其更新周期要远远慢于短期记忆。在 LSTM 网络中，记忆单元 c 可以在某个时刻捕捉到某个关键信息，并有能力将此关键信息保存一定的时间间隔，其保存信息的生命周期要长于短期记忆 s，但又远远短于长期记忆，因此称为长（的）短期记忆。

Transformer：基于自注意力机制的新兴架构

Transformer 是一种基于自注意力机制的编码器-解码器深度学习模型。2017 年 6 月，Google Brain 在神经信息处理系统大会（NeurIPS）发表论文“Attention is all you need”，首次提出了基于自我注意力机制（self-attention）来提高训练速度的 Transformer 模型，将其用于自然语言处理。Transformer 架构由编码器和解码器（Encoder-Decoder）两个部分组成，每个部分包含多个子层，如多头自注意力、前馈神经网络、和归一化等。Transformer架构的优点是：1）可以并行处理输入序列的所有元素，大大提高训练速度；2）不需要依赖循环或卷积结构，能够捕捉长距离的依赖关系，3）可以通过预训练和微调的方式适应不同的任务。因此，Transformer 一经问世便大有取代传统 CNN、RNN 的趋势。

图表12： Transformer 模型中的 encoer-decoder 架构

资料来源：《Attention is all you need》，Ashish Vaswani（2017）、华泰研究

图表13： Transformer 模型架构

资料来源：《Attention is all you need》，Ashish Vaswani（2017）、华泰研究

自注意力机制是 Transformer 的核心理念，注意力机制帮助机器在学习过程中聚焦在重要信息上。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标是从众多信息中选择出对当前任务目标更关键的信息，忽略大多不重要的信息。

图表14：人类的注意力机制（深色代表注意力聚焦点）

资料来源：CSDN、华泰研究

注意力模型可以用 Query、Key 和 Value 模型进行描述。本质上 Attention 机制是对 Source中元素的 Value值进行加权求和，而 Query和 Key用来计算对应 Value的权重系数。以大脑读图为例，Value可以理解为人眼视网膜对整张图片信息的原始捕捉，不受“注意力”所影响；Key 与 Value 相关联（数据对），是图片原始信息所对应的关键性提示信息；读者大脑有意识地向图片获取信息，即发起了一次 Query，包含了读者的意图等信息。在一次读图过程中，Query与 Key之间计算出每个 Key对应 Value 的权重系数，得到最具有吸引力的部分，然后对 Value 进行加权求和，即得到了最终的 Attention Value 数值。

图表15： Attention 机制的本质思想

资料来源：CSDN、华泰研究

Transformer 的自注意力机制是特殊情况下的注意力机制。在一般任务的 Encoder -Decoder 框架中，输入 Source 和输出 Target 内容是不一样的，例如对于英-中机器翻译来说，Source 是英文句子，Target 是对应的翻译出的中文句子。注意力机制发生在 Target的元素 Query 和 Source 中的所有元素之间。而自注意指的不是 Target 和 Source 之间的注意力机制，而是 Source 内部元素之间或者 Target 内部元素之间发生的注意力机制，也可以理解为 Target =Source 这种特殊情况下的注意力计算机制。具体计算过程相同，只是计算对象发生变化。自注意力机制更容易捕获句子中长距离的相互依赖的特征，且对于增加计算的并行性也有直接帮助作用。

发展：从 GPT-1到 GPT-4，开启大模型新纪元

GPT-1：确定生成式预训练模型基本路线

GPT-1：基于 Transformer 的预训练+微调半监督模型

GPT-1 是预训练+微调相结合的语言理解任务半监督模型。GPT 全称生成式预训练（Generative Pre-training，GPT），于 2018 年 6 月由 OpenAI 在论文《Improving LanguageUnderstanding by Generative Pre-Training》中提出。从架构上看，GPT-1 基于 Transformer架构，但是仅保留了架构中的解码器（Decoder）部分。

图表16： GPT-1 的架构

资料来源：《Improving Language Understanding by Generative Pre-Training》，Alec Radford（2018）、华泰研究

模型特点：无监督训练+有监督微调

GPT-1 的训练过程分为无监督训练和有监督微调。GPT-1 的训练过程分为两个阶段：第一阶段为非监督预训练阶段，即在大型文本语料库上学习高容量语言模型。第二阶段为监督微调阶段，即在第一阶段训练的基础上，将参数调整为受监督的目标任务，进行进一步优化。

1）第一阶段：采用多层 Transformer 模型的解码器（Decoder）为语言模型，进行基于大文本语料库的高容量无监督学习。

2）第二阶段：在微调时，若输入的问题具有结构化特征，例如有序的句子对或文档、问题和答案的三元组，则需要首先将问题转化成特定的序列模块，再进行训练。例如，对于文本蕴涵任务，将前提和假设序列相连接，并在中间插入分隔符；对于相似性任务，则将两个需要比较的句子按照不同顺序排列，分别进行处理后再做比较；对于更复杂的问题回答和常识推理任务，则需要将文本、问题和可能的答案分别连接成不同序列，并对所有序列做独立的模型处理，将结果归一化得到可能答案的输出分布。

图表17： GPT-1架构以及用于微调不同任务的输入转换模块

资料来源：《Improving Language Understanding by Generative Pre-Training》，Alec Radford（2018）、华泰研究

无监督训练采用大数据集，有监督微调采用针对任务的数据集。在无监督训练阶段，采用了 12 层解码器（Decoder）堆叠的 Transformer 模型，共包含 12 个掩蔽自注意力头（maskedself-attention head）。训练数据集方面，采用 BooksCorpus 数据集，该数据集包括 7000多本来自风格不同的未出版书籍，内含长段的连续文本。也可使用备选数据集 1B WordBenchmark。在无监督训练阶段，提高解码器的层数能够有效提高训练效果。在有监督微调阶段，可根据不同任务类型选择不同的数据集。

图表18： GPT-1在有监督微调阶段使用的部分数据集

任务	数据集
自然语言推理	SNLI，MultiNLI，Question NLI，RTE，SciTail
问题解答	RACE， Story Cloze
句子相似性	MSR Paraphrase Corpus，Quora Question Pairs，STS Benchmark
分类	Stanford Sentiment Treebank-2， CoLA

资料来源：《Improving Language Understanding by Generative Pre-Training》，Alec Radford（2018）、华泰研究

GPT-2：关注模型的零次学习 Zero-shot 能力

理解 GPT 系列论文是我们理解 GPT 模型技术路径演绎的重要方法。GPT-2 论文的核心重点在于验证是否可以通过更多的训练数据+更大的网络参数让模型具备零次学习（Zero-shotLearning）能力；即通过更广泛学习+更强的学习能力，加速 GPT 从“专才”走向“通才”。实验结果证明，当训练数据足够多、模型参数足够大时，就可以通过训练一个模型，处理多类任务；自此确立了 GPT 模型向更大容量演进的发展目标。

图表19： GPT模型演进路径

资料来源：OpenAI 官网、华泰研究

GPT-2：开启“单模型解决多任务”新纪元，大容量技术路线确定

《Language Models are Unsupervised Multitask Learners》论文发表，GPT-2 开启“一个模型处理多类任务”的新时代。GPT(Generative Pre-trained Transformer)系列预训练语言模型，早在 2018 年在论文《Improving Language Understanding by GenerativePre-Training》中被提出，初代 GPT-1模型验证了“通过无监督预训练，针对特定任务微调，处理有监督任务”模型的有效性。2019 年 2 月，论文《Language Models are UnsupervisedMultitask Learners》正式发表，基于“无监督学习的全局最小也必定是监督学习的全局最小”的理论基础，GPT-2 模型去掉 fine-tune 层，不再针对不同任务分别进行微调建模，而是通过使用更多的网络参数和更大的数据集来强化模型的泛化能力。

GPT-2模型成功验证了更多训练数据+更大的网络参数可以有效地提升模型的泛化能力，实现了“训练一个模型可以解决多类任务”的效果，不再需要针对不同任务进行模型微调。GPT-2的成功自此开启了 GPT 模型向更大容量扩展的技术发展路径。

图表20：《Language Models are Unsupervised Multitask Learners》论文开启 GPT-2 时代

资料来源：《Language Models are Unsupervised Multitask Learners》，Alee Radford（2019）、华泰研究

模型特点：多任务学习+大模型容量+无微调建模

特点一：预训练阶段采用多任务学习方式

GPT-2在预训练阶段采用多任务学习方式。不同于单任务学习，单次仅针对一个任务学习，以及模型参数独立的特点；多任务学习，单次可同时学习多个任务，同时各个任务之间的模型参数共享，可以实现已学习信息的共享、补充，有效提升了模型的学习效率。

图表21： GPT-2预训练采用多任务学习方式

资料来源：《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》，Alex Kendall (2017)、华泰研究

多任务学习有效防止模型过拟合，提升模型的泛化能力。为理解多任务学习对模型泛化能力的提升，首先需要明晰噪音、过拟合、泛化这几个概念。1）噪音：任务学习过程不相关的信息为噪音；2）过拟合：训练出来的模型在训练集上表现很好，但是在测试集上表现较差的一种现象；3）泛化：模型对新测试集（之前没见过的数据）的适应能力。三者之间的联系是，当把噪声作为有效信息或训练数据集较小时，容易导致模型过拟合，模型过拟合导致模型的泛化能力变差。多任务学习提升模型泛化能力的原因主要有三点：1）训练数据集更大；2）多任务之间有一定相关性，多任务学习相当于隐式数据增强；3）多任务学习的共享模块需要兼顾所有任务，一定程度避免了模型过拟合到单个任务的训练集。

图表22：多任务学习可有效提升模型的泛化能力

资料来源：《神经网络与深度学习》，邱锡鹏（2020）、华泰研究

特点二：GPT-2拥有较大的模型容量

GPT-2 最大模型（GPT-2 EXTRA LARGE）的层数达到 48 层，词向量长度到 1,600。1）层数：理解层数对 GPT 模型的影响，需要理解 GPT 的模型架构。GPT 模型由层层堆叠的Transformer 模块组成，因此可以理解为模型层数越多，模型可以完成的非线性映射就越复杂，模型的学习能力更强；2）词向量长度：词向量长度即隐藏层的神经元个数，每一层Transformer 都是一个隐藏层，隐藏层的神经元个数越多，即可以产生越复杂的组合，拟合越复杂的情况，解决越复杂的问题，计算量也随之越来越大。GPT-2 论文（《Language Modelsare Unsupervised Multitask Learners》）提及四种规模的 GPT-2 模型，GPT-2 的模型层数最多为 48层，词向量长度（隐藏层维度）最大为 1,600，模型的最大参数量多达 15亿。

图表23： GPT-2模型层数最大达 48、词向量长度最大达 1,600

资料来源：《Language Models are Unsupervised Multitask Learners》，Alee Radford（2019）、华泰研究

特点三：GPT-2 取消 fine-tune 微调建模层

GPT-2旨在“训练一个模型，解决多类任务”，因此取消 fine-tune微调建模层。GPT-2 聚焦模型的泛化能力，旨在通过多任务学习训练一个模型，训练好的这一个模型可以解决多类任务，无需再根据特定任务进行模型微调。因此，GPT-2 模型在训练任务中取消了fine-tune 任务，只保留了语言模型部分的训练，同时将诸多下游任务根据各自的特点，规划成语言模型的训练，使得最终的语言模型学到的东西更丰富，拥有更多样的应用，奠定了模型的 Zero-shot Learning（零次学习）的基础。

图表24： GPT-1 四类任务微调建模示意图

资料来源：《Improving Language Understandingby Generative Pre-Training》，Alee Radford（2018）、华泰研究

GPT-3：模型参数达 1750 亿，few-shot 进一步提高性能

GPT-3 将训练参数量扩大到 1750 亿。2020 年 5 月，OpenAI 发表论文《Language Modelsare Few-Shot Learners》，提出 GPT-3 模型。GPT-3 模型的参数量达 1750 亿，是 GPT 史上最大的参数规模。在 GPT-2 的 zero-shot learning（零次学习）基础上，GPT-3 在 zero-shot、one-shot（一次学习）和 few-shot（少量学习，通常 10-100 次）方面均进行了评估，取得了较好的训练结果：例如，GPT-3 在 zero/one/few-shot 设置下 CoQA（测试阅读理解能力）分别达到 81.5、84.0、85.0F1（F1 分数是统计学中用来衡量二分类模型精确度的一种指标，值越大意味着模型越好）；在在 zero/one/few-shot 设置下 TriviaQA（测试闭卷问答能力）分别达到 64.3%、68.0%、71.2%的准确度，部分结果甚至超过微调模型。OpenAI 指出，GPT-3 也可以在传统的微调设置中进行评估。

GPT-3 模型延续了 GPT-2 模型“更多训练数据+更大的网络参数可以有效地提升模型的泛化能力”的理念，将模型参数提升到新高度。同时与 GPT-2 一样舍弃了针对不同任务进行的微调，转而用 few-shot来实现下游任务，兼顾了训练效果与成本。

模型特点：大参数量+大训练集+few-shot

特点一：架构基本不变，参数量大大增加

GPT-3 延续了 GPT-2 的大容量发展路线。GPT-2 已经证明，通过更多的训练数据+更大的网络参数能够让模型具备 zero-shot 学习能力，并取得了一定的效果，由此确立了 GPT 模型向更大容量演进的发展路线。GPT-3 延续了这一路线，将模型参数由 GPT-2 的 15 亿增加到 1750 亿，提升幅度超 100 倍。

图表25： GPT 模型演进路径—GPT-3

资料来源：OpenAI 官网、华泰研究

大训练参数能明显提高 GPT-3模型准确性。从上下文学习能力训练结果准确率来看，对于GPT-3 模型，当模型参数量较低时，模型准确率较低，例如参数量 1.3B的模型准确率不超过 10%。当模型参数提升 10倍至 13B时，最高准确率接近 30%。当模型参数达到最大 175B时，准确率最高接近 70%，进一步验证了 GPT-2 大容量路线的正确性。

图表26：大训练参数显著提高 GPT-3准确率

Figure 1.2: Larger models make increasingly efficient use of in-context information. We show in-context learning performance on a simple task requiring the model to remove random symbols from a word, both with and without a natural language task description (see Sec.3.9.2).The steeper “in-context learning curves”for large models demonstrate improved ability to learn a task from contextual information.We see qualitatively similar behavior across a wide range of tasks.
资料来源：《Language Models are Few-Shot Learners》，Tom Brown（2020）、华泰研究

GPT-3和 GPT2采用几乎同样的架构。GPT-3和 GPT-2 模型和架构基本相同，包括修改后的初始化、预归一化和可逆标记化，唯一区别在于将 transformer 中注意力模式替换成了类似 Sparse Transformer 的稀疏注意力模式。

图表27： GPT-3 采用和 GPT-2 同样的架构

2.1Model and Architectures

We use the same model and architecture as GPT-2 [RWC+19], including the modified initialization, pre-normalization, and reversible tokenization described therein, with the exception that we use alternating dense and locally banded sparse attention patterns in the layers of the transformer, similar to the Sparse Transformer[CGRS19].To study the dependence

资料来源：《Language Models are Few-Shot Learners》，Tom Brown（2020）、华泰研究

特点二：采用 few-shot学习完成下游任务

Few-shot取代 zero-shot，训练效果得到进一步加强。GPT-2模型中，在下游训练时采用zero-shot 学习理念，在执行各类子任务时不给任何样例，属于较为极端的情况。虽然在GPT-2 在某些测试中取得了不错的效果，但在一些任务上结果不达预期。因此，OpenAI引入了 few-shot，即对于特定任务仅给予少量的样例（10-100 个），没有任何梯度更新或微调，任务和 few-shot 示例均通过与模型的文本交互指定。从多种训练基准综合训练结果来看，few-shot 能够取得比 zero-shot 更好的准确度。

图表28： Zero-shot、one-shot 和 few-shot 随着模型参数增加准确度越来越高

Figure 1.3: Aggregate performance for all 42 accuracy-denominated benchmarks While zero-shot performance improves steadily with model size,few-shot performance increases morerapidly,demonstrating that larger models are more proficient at in-context learning.See Figure3.8 foramore detailed analysis on SuperGLUE,a standard NLP benchmark suite.
注：图中为多种训练基准综合的结果
资料来源：《Language Models are Few-Shot Learners》，Tom Brown（2020）、华泰研究

特点三：预训练数据集达 570GB 以上

GPT-3训练数据集为多种数据集的混合。数据集以Common Crawl为基础，其大小为45TB。但 Common Crawl 数据集的质量低于更精确的数据集，为了保证数据集质量，一方面对Common Crawl 进行过滤，大小压缩到 570GB，另一方面增加了质量更高的数据集，如WebText2、Wikipedia 等。在训练期间，数据集的采样并不与其大小成比例，而是质量更高的数据集采样频率更高，因此 CommonCrawl 和 Books2 数据集在训练期间采样次数少于一次，其他更高质量的数据集采样次数为 2-3 次，以换取更高质量的训练数据。比较来看，GPT-1和GPT-2的训练书籍及大小分别为5GB和40GB，GPT-3数据集大小超GPT-210倍以上。

图表29： GPT-3训练数据集组合

Dataset	Quantity (tokens)	Weight in training mix	Epochs elapsed when training for 300B tokens
Common Crawl (filtered)	410 billion	60%	0.44
WebText2	19 billion	22%	2.9
Books1	12 billion	8%	1.9
Books2	55 billion	8%	0.43
Wikipedia	3 billion	3%	3.4

Table 2.2: Datasets used to train GPT-3.“Weight in training mix"rfers to the fraction of examples during training that are drawn from a given dataset, which we intentionally do not make proportional to the size of the dataset.As a result,when we train for 3OO bilion tokens,some datasets are seen up to 3.4 times during training while other datasets are seen less than once.
资料来源：《Language Models are Few-Shot Learners》，Tom Brown（2020）、华泰研究

Codex：基于 GPT-3 的代码生成工具

Codex 是在 GPT-3上基于 GitHub 公开代码进行微调的代码生成模型。Codex 的模型结构和 GPT-3 相同。OpenAI 从 Github 上搜集了 5400 万个公共软件库代码，集合而成训练数据集，包含 179GB 的 Python 文件，每个文件小于 1MB。同时过滤了部分可能是自动生成的文件，最终的数据集大小为 159GB。Codex 即是参数量 12B 的 GPT-3 基于该数据集微调得到的模型。在进行模型评估时，OpenAI 构造了 HumanEval数据集，包含 164 原创的、手工设计的编程问题，避免问题出现在基于 GitHub 的训练数据集中。

OpenAI还训练了 Codex-S和 Codex-D。Codex-S基于格式类似 HumanEval的 SupervisedFine-Tuning（有监督微调）数据集进行训练，训练出的模型效果比 Codex 更好。将Supervised Fine-Tuning 数据集中的“<函数头><函数体>”格式调换成“<函数头><函数体>”格式，再微调得到的模型为 Codex-D，即实现模型根据代码写注释的功能。

图表30： Codex模型家族图谱

资料来源：《Evaluating Large Language Models Trained on Code》，Mark Chen（2021）、华泰研究

与类似的代码生成模型相比，120 亿参数的 Codex 准确率最高可达 72.31%。基于HumanEval 评估数据集，对比了 GPT-NEO、GPT-J、Tabnine 等类似的代码生成模型的结果Pass@k（可以解释为评估k个样本中最优的结果）。Codex的最大版本拥有120亿参数，其 Pass@100 达到了 72.31%，远大于其余模型的最好结果。

图表31： 120 亿参数的 Codex 准确率最高可达 72.31%
Table1. Codex,GPT-Neo,& TabNine evaluations forHumanEval. We find that GPT-Jpass @1 is between Codex-85M and Codex-300M performance.

	PASs@k
	k=1	k=10	k =100
GPT-NEO 125M	0.75%	1.88%	2.97%
GPT-NEO 1.3B	4.79%	7.47%	16.30%
GPT-NEO 2.7B	6.41%	11.27%	21.37%
GPT-J 6B	11.62%	15.74%	27.74%
TABNINE	2.58%	4.35%	7.59%
CoDEX-12M	2.00%	3.62%	8.58%
CODEX-25M	3.21%	7.1%	12.89%
CODEX-42M	5.06%	8.8%	15.55%
CODEX-85M	8.22%	12.81%	22.4%
CODEX-300M	13.17%	20.37%	36.27%
CODEX-679M	16.22%	25.7%	40.95%
CODEX-2.5B	21.36%	35.42%	59.5%
CODEX-12B	28.81%	46.81%	72.31%

注：k 代表每个问题生成 k 个代码样本
资料来源：《Evaluating Large Language Models Trained on Code》，Mark Chen（2021）、华泰研究

ChatGPT / InstructGPT：增加人类反馈强化学习（RLHF）

优化目标：从提示学习到指示学习，聚焦需求对齐（alignment）

从模型微调到提示学习再到指示学习，GPT 模型零次学习能力不断提升。2022 年论文《Finetuned Language Models Are Zero-Shot Learners》提出指示学习（Instruction-tuning）思想，以提升模型的零次学习能力。对比来看：1）模型微调（Fine-tuning）：以 GPT-1为代表，需要大量的微调数据集样本，特定模型解决特定任务； 2 ）提示学习（Prompt-learning）：以 GPT-3 为代表，需要少量的微调数据样本，模型小样本学习（few-shot Learning）能力更强；3）指示学习（Instruction-learning）：以 FLAN、InstructGPT、ChatGPT 为代表，模型通过下游多类型任务的指示微调，零次学习（zero-shot Learning）能力更强；同时，提示学习与指示学习均为一个模型解决多类任务。

图表32：模型微调（Fine-tuning）、提示学习（Prompt-learning）、指示学习（Instruction-tuning）对比

资料来源：《Finetuned Language Models are Zero-shot Learners》，Jason Wei（2022）、华泰研究

聚焦模型输出与人类需求对齐，引入人类反馈强化学习。GPT 系列模型发展至 GPT-3，已经在翻译、问答、摘要等任务上取得了良好的性能，研究者开始更加关注模型生成内容的有用性（Helpful）、真实性（Honest）、无害性（Harmless），希望实现模型输出内容与人类偏好内容的需求对齐（alignment）。为提升模型的“3H”特性，从 InstructGPT 开始，InstructGPT、ChatGPT 均引入人类反馈强化学习（Reinforcement Learning from HumanFeedback，RLHF），实现基于人类反馈的模型微调，让模型输出更符合人类期待。

图表33： InstructGPT 的“3H”优化目标

资料来源：《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

人类反馈可作为强化学习的奖励，通过引入语言模型微调，可使模型输出与人类需求对齐。从技术原理来看，强化学习通过奖励（Reward）机制来指导模型训练，奖励机制可视为传统训练机制的损失函数；同时，奖励的计算要比损失函数更灵活、多样（例如 AlphaGO 的奖励是对局的胜负），代价是奖励计算不可导，不能直接用来做反向传播；强化学习的思路是通过对奖励的大量采样来拟合损失函数，从而实现模型的训练。类似的，人类反馈也不可导，也可以作为强化学习的奖励，从而产生基于人类反馈的强化学习。

图表34：人类反馈强化学习（RLHF）基本原理

资料来源：《Deep Reinforcement Learning from Human Preferences》，Paul F Christiano（2017）、华泰研究

训练过程：“三步走”实现人工反馈强化学习

ChatGPT 与 InstructGPT 的训练方法基本一致。了解 ChatGPT 与 InstructGPT 的优化目标之后，我们需要进一步梳理模型的具体训练过程。对比论文《Training language modelsto follow instructions with human feedback》（2022）中的 InstructGPT 训练方法与 OpenAI官方发布的 ChatGPT 训练方法，我们看到，ChatGPT与 InstructGPT 的训练方法基本一致，区别在于InstructGPT、ChatGPT分别基于GPT-3、GPT-3.5进行模型微调。考虑到ChatGPT尚未有官方论文发布，我们以 InstructGPT 论文为基准，对 InstructGPT 的训练过程进行了详细梳理，具体可分为有监督微调、奖励模型训练、PPO 强化学习三个步骤。

图表35： ChatGPT 与 InstructGPT 的训练方法基本一致

注：图中蓝色部分为 InstructGPT 训练示意、粉色部分为 ChatGPT 训练示意

资料来源：OpenAI 官网、《Training language models to follow instructions with human feedback》，Long Ouyang（2022）、华泰研究

GPT-4：多模态确认，在专业和学术上表现亮眼

GPT-4：支持多模态输入，安全问题或成为 LLM 关注焦点

GPT-4支持多模态输入，安全问题或成关注焦点。北京时间 3月 15 日凌晨，OpenAI 召开发布会，正式宣布 GPT 模型家族中最新的大型语言模型（LLM）—GPT-4。GPT-4 可以接受图像和文本输入并产生文本输出。同时，OpenAI 发布了 GPT-4 相关技术文档。从技术文档结构看，OpenAI 并未对 GPT-4 模型本身做过多介绍，而是将大量篇幅留给模型安全性相关讨论。我们认为，在 LLM 走向大规模应用的过程中，随着模型规模和能力的提升，将暴露出更多安全方面的问题，或将成为未来 LLM 的重要关注点。

GPT-4于 2022年 8月完成训练，技术细节未完全公布。据 GPT-4技术文档，GPT-4于 2022年 8 月完成训练，此后，OpenAI 一直在评估、对抗性测试并迭代和改进模型，并提出各种系统级安全缓解措施。此外，OpenAI 在 GPT-4 文档中明确提出，考虑到竞争格局和大型模型（如 GPT-4）的安全影响，本文档没有包含有关架构（包括模型大小）、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。文档明确提供的内容包括：1）GPT-4是一个基于 transformer 的预训练模型，用于预测文字的下一个 token；2）使用公开可用数据（如互联网数据）和第三方提供商授权的数据；3）使用来自人类反馈的强化学习（RLHF）对模型进行微调。

图表36： OpenAI 关于不透露技术细节的说明

This report focuses on the capabilities, limitations, and safety properties of GPT-4. GPT-4 is a Transformer-style model [33] pre-trained to predict the next token in a document, using both publicly available data (such as internet data) and data licensed from third-party providers. The model was then fine-tuned using Reinforcement Learning from Human Feedback (RLHF) [34]. Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.

资料来源：《GPT-4 Technical Report》，OpenAI（2023）、华泰研究

GPT-4 API 已开放等待列表（waitlist），API 价格提升明显。当获得访问权限后，即可以对GPT-4 模型进行纯文本请求（图像输入仍然处于有限的测试阶段），OpenAI 将自动将模型更新为推荐的稳定模型。此外，GPT-4 提供两个版本，GPT-4-8k 和 GPT-4-32k，前者支持的上下文长度为 8192 个 token，后者支持 32768-context（约 50 页文本，提供有限访问）。GPT-4-8k 定价为每 1k 提示 token 0.03 美元，每 1k 完成 token 0.06 美元。默认速率限制为每分钟 40k 个 token，每分钟 200 个请求；GPT-4-32k 定价为每 1k 提示 token 0.06 美元，每 1k 完成 token 0.12 美元。（API 价格网址 https://openai.com/pricing）

图表37： GPT-4 API 和 GPT-3.5-turbo API 价格对比

GPT-4 API价格
Model	Prompt	Completion
8K context	$0.03 / 1K tokens	$0.06 / 1K tokens
32K context	$0.06 /1K tokens	$0.12 / 1K tokens
GPT-3.5 API 价格
Model Usage

gpt-3.5-turbo	$0.002 / 1K tokens

资料来源：《GPT-4 Technical Report》，OpenAI（2023）、华泰研究

能力测试：在专业和学术基准上表现出了人类的水平

GPT-4在各种专业和学术基准上表现出了人类的水平。OpenAI 在一系列不同的基准上测试了 GPT-4，包括最初为人类设计的模拟考试。考试题目包括多项选择题和自由问答题。OpenAI 为每种考试形式设计了单独的提示（prompt），并且在需要的场合增加了图像输入。GPT-4 并未专门针对这些考试科目进行训练，但仍取得了优秀的成绩，例如以大约前 10%的成绩通过模拟律师资格考试，而 GPT-3.5 在该考试中成绩为后 10%。

图表38： GPT-4 在各种人类考试中表现优异

资料来源：《GPT-4 Technical Report》，OpenAI（2023）、华泰研究

GPT-4 在大多数语言上的结果都优于 GPT 3.5 和现有语言模型。现有的多数机器学习测试基准都是基于英语编写的。为了测试 GPT-4 在其他语言中的表现，OpenAI 使用 AzureTranslate 将 MMLU 基准测试（涵盖 57 个主题的多项选择问题）翻译成各种语言。结果表明，GPT-4 在大多数语言上的结果都优于 GPT 3.5 和现有语言模型的英语语言性能，包括全球使用人数较低的语言，如拉脱维亚语、威尔士语和斯瓦希里语。

图表39： GPT-4 在大多数语言上的结果都优于 GPT 3.5 和现有语言模型

资料来源：《GPT-4 Technical Report》，OpenAI（2023）、华泰研究

多模态：支持图片输入，未提供具体算法

GPT-4能够实现图片和文本的多模态输入。GPT-4接受由图像和文本组成的提示（prompt，与纯文本设置类似），允许用户指定任何视觉或语言任务，同时输出文本信息。此外，语言模型中的 few-shot 提示和思维链等，在 GPT-4 中同样有效。但是，OpenAI 未在技术文档中给出如何实现图片的输入，以及如何对图片进一步处理以注入到模型中。

图表40： GPT-4视觉输入样例

资料来源：《GPT-4 Technical Report》，OpenAI（2023）、华泰研究

延伸：国内大模型快速成长，海外大模型多维拓展

大模型时代到来，模型体系与生态快速扩充，海内外企业坚定发力。受益于 ChatGPT 的成功问世，大模型的理解能力、推理能力、泛化能力得到充分验证，海内外企业纷纷加速大模型相关的产业布局，全面拥抱大模型时代的技术变革。1）国内：国内大模型发展起步相对较晚，ChatGPT 问世以来国内企业加速模型研发，2023 年以百度文心、阿里通义、讯飞星火等为代表的国产大模型相继发布，并持续推进模型迭代升级；2）海外：海外大模型发展呈现垂直落地、工程实现、模态丰富三大发展趋势，模型体系与配套的工程生态日益丰富。

国内大模型快速成长，多类厂商竞逐发力

国内大模型发展起步相对较晚，模型能力呈现快速优化态势。目前国内布局通用大模型的企业主要包括互联网科技企业、人工智能企业、初创研究团队等三类。1）互联网科技企业：主要包括百度、三六零、阿里、腾讯、华为、昆仑万维等科技企业，作为互联网行业的成熟公司，此类参与者在人工智能领域拥有深厚的业务积累，同时在模型训练上掌握一定的基础性优势（算力资源、语料资源）；2）人工智能企业：包括商汤、科大讯飞等人工智能企业，作为 AI 领域的垂直深耕者，此类参与者对于大模型的理解、训练、优化具备更加垂直的行业 Know-How；3）初创研究团队：包括北京智源研究院、Minimax 等研究型机构/企业，此类参与者垂直聚焦大模型相关技术的研究，业务专注度更高。

百度：文心大模型 2月发布，新一代知识增强大语言模型

百度发布了其新一代知识增强大语言模型——文心一言。2023 年 3 月 16 日，百度召开了文心一言发布会，发布了其最新的知识增强型大语言模型文心一言。从演示效果看，文心一言一定程度上具备了人类对自然语言的理解、表达和推理能力，并且在涉及中文理解和中华传统文化的理解上有相对优于 GPT 等国外模型的优势。针对文心一言，发布会提出了5 种应用场景、6 个关键技术、1个技术堆栈和 3大产业机会。目前，文心一言已开放个人测试资格排队申请和企业 API 申请。

文心一言在文学和商业文案创作、数理逻辑推算、中文理解、多模态生成领域均有应用。整体来看，文心一言已经具备了较好的自然语言的理解、表达和推理能力，是多领域“通才”。我们使用发布会上展示的各场景下的问题，对 ChatGPT（基于 GPT-3.5）和微软新Bing（基于 GPT-4）进行了同样的提问，并将结果进行了对比（说明：由国外同事代为测试）。可以发现，文心一言在对中国传统文化的理解上更加深入，中文支持效果更好。

文心一言基于百度 ERNIE和 PLATO 模型，并在训练技术上进行了创新。从文心一言架构图看，底层以 ERNIE 和 PLATO 模型为基础，在训练中引入了大模型常用技术：有监督精调（fine-tuning）、基于人类反馈的强化学习（RLHF）和模型提示（prompt），以及百度创新的技术：知识增强、检索增强和对话增强。

图表41：文心一言架构图

资料来源：文心一言发布会、华泰研究

百度 ERNIE 模型有近 4 年的迭代史，获得多个 SOTA结果。最早的 ERNIE 1.0 是百度在2019 年 3 月提出的，该模型基于谷歌 BERT 模型，引入了真实世界的语义知识，增强了模型的语义表示能力。2019 年 7 月 ERNIE 2.0 问世，引入了持续学习和多任务学习概念，在16 个中英文数据集上获得 SOTA（state-of-the-art，目前最好的意思）结果。2021 年 7 月，ERNIE 3.0 问世，提出了多范式统一预训练框架，将自回归和自编码网络进行了融合，并在训练时加入了知识图谱类数据，在 SuperGLUE测试基准上获得 SOTA结果。

图表42： ERNIE 1.0—3.0 技术变化情况

资料来源：文心大模型官网、华泰研究

商汤科技：日日新大模型 4月发布，加速迈进 AGI 时代

商汤科技作为最大 AI 软件公司，加速实现从 AIaaS 到 MaaS 跨越。商汤科技成立于 2014年，于 2015 年开始研发深度学习训练框架 SenseParrots，而后形成企业服务、城市管理、消费者、汽车四大应用领域的 AI 平台布局；公司自 2019 年起发布首个 CV 大模型，搭建了 NLP、CV、多模态在内的多模态大模型体系；2023 年 4 月，公司正式发布日日新（SenseNova）系列大模型，有望实现从 AIaaS（人工智能即服务）到 MaaS （模型即服务）的业务跨越，加速开启通用人工智能（AGI）的新时代。

商汤日日新基于大模型体系发布商量、秒画、如影、格物、琼宇、明眸六大 AI 应用。其中商量 SenseChat 底层对应商汤 NLP 模型；秒画 SenseMirage、如影 SenseAvatar、琼宇SenseSpace、格物 SenseThings 底层对应商汤 AIGC 模型；明眸数据标注平台底层对应商汤 CV、多模态模型。

图表43：商汤科技大模型发展情况概览

资料来源：商汤科技官网、华泰研究

1）NLP 模型：商汤基于自研 1,800 亿中文大语言模型打造的商量 SenseChat 对话应用，在中文文本的理解上具有突出优势，支持问答、理解与生成等中文语言能力，可实现多轮对话、逻辑推理、语言纠错、内容创作、情感分析等。相较 GPT 等海外模型，商汤 NLP模型具备三大突出特点：1）中文理解：根据商量的测试表现，商汤 NLP 模型的中文理解能力更强；2）超长文本：可实现 PDF 阅读理解的功能，支撑更长的输入文本；3）及时更新：商汤 NLP 模型实现了知识的自动实时更新，让生成的内容更可信、更准确、更安全。

图表44：商汤商量 SenseChat 功能

资料来源：商汤科技官网、华泰研究

2）AIGC 模型：商汤“日日新 SenseNova”基于超 10 亿参数规模的 AIGC 模型，打造了多类 AIGC 应用，包括文生图创作、2D/3D 数字人生成、大场景、小物体生成等，实现空间、人、物的生成、融合与交互。

3）多模态模型：商汤发布多模态多任务通用大模型“书生(INTERN)2.5”（30 亿参数），在多模态多任务处理能力方面实现多项全新突破，其卓越的图文跨模态开放任务处理能力可为自动驾驶、机器人等通用场景任务提供高效精准的感知和理解能力支持，向通用人工智能迈出坚实的一步。书生 2.5 性能优越，在 20+不同场景不同任务的数据集中取得最佳成绩。在视觉主流图像分类数据集ImageNet上，书生2.5仅基于公开数据便达到了90.1%的Top-1准确率，是除谷歌与微软之外，唯一准确率超过 90.0%的模型，同时书生 2.5 也是世界上开源模型中 ImageNet 准确度最高、规模最大的模型。

图表45：商汤书生 2.5在 20+不同场景不同任务的数据集中取得最佳成绩

资料来源：商汤科技官网、华泰研究

科大讯飞：星火大模型 5月发布，AGI 核心能力表现出色

科大讯飞在 AI 认知智能领域已有十几年的积累，具备认知大模型“智能涌现”的源头核心技术储备。14 年讯飞就推出讯飞超脑计划，明确提出要让机器像人一样具备“能理解、会思考”的能力；17年讯飞智医助理在全球首次通过了国家执业医师资格考试，超过了 96.3%参加考试的医生；19 年在斯坦福大学发起的国际著名 SQuAD 机器阅读理解比赛中，讯飞模型在英文阅读理解中首次超过了人类平均水平；22年在艾伦研究院组织的 OpenBookQA科学常识推理比赛中，讯飞单模型首次超过了人类平均水平；22 年 1 月，讯飞正式宣布讯飞超脑 2030 计划，要让“懂知识、会学习、能进化”的通用人工智能技术，以机器人的实体形态或虚拟形态能够进入到每一个家庭；22 年 12 月，讯飞启动认知智能大模型的专项攻关；23年 5月 6日，讯飞星火认知大模型正式发布，同时发布了 4大 AI 行业应用成果。

图表46：讯飞为认知大模型所做的源头核心技术储备

资料来源：科大讯飞官网、华泰研究

讯飞星火大模型在 AGI 核心能力上表现出色。当前通用人工智能令人关注的七大维度：包括文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力以及多模态能力。星火认知大模型发布六大核心能力。在发布会上，讯飞主要围绕 6 个主要方向（不包含多模态，属于下一代能力）进行了现场的真实测试。

图表47：讯飞星火大模型六大核心能力

资料来源：科大讯飞官网、华泰研究

同时科大讯飞发布星火大模型年内持续升级的关键里程碑：6 月 9日：突破开放式问答（接入搜索引擎）、多轮对话能力再升级、数学能力再升级；8月 15 日：突破代码能力、多模态交互再升级；10 月 24 日：通用模型对标 ChatGPT(中文超越，英文相当)。

图表48：星火大模型年内持续升级的关键里程碑

资料来源：科大讯飞官网、华泰研究

智源研究院：超大规模“悟道”模型，构建完备大模型生态体系

北京智源研究院为非盈利的研究机构，旨在搭建高效活力的 AI 研发平台。2018 年，北京智源人工智能研究院（Beijing Academy of Artificial Intelligence，BAAI）在科技部和北京市支持下，联合北京人工智能领域优势单位共建，旨在推动人工智能领域发展政策、学术思想、理论基础、顶尖人才与产业生态的五大源头创新。目前，智源研究院汇聚了清华、北大等高等学府 100+顶尖 AI 科学家，下设基础模型、生命模拟、健康计算、自主医学检查系统、千方智慧医疗、人工智能伦理与可持续发展、人工智能社会实验、战略研究等 8 大研究中心。

图表49：北京智源人工智能研究院重要发展节点

资料来源：BAAI 官网、华泰研究

从研究体系来看，智源研究院涵盖四大业务场景。1）悟道大模型：主要开展通用大模型的技术研究，旨在打造具有国际领先水平的基础大模型，加速国产大模型的发展进程；2）飞智开源体系：搭建支撑大模型发展的一站式基础软件体系，涵盖算法、工具、评测、艺术创作、服务框架等六大领域；3）天演 AI 生命模拟工程：旨在通过对生物智能进行高精度仿真，探索智能的本质，进而推动由生物启发的通用智能；4）九鼎算力平台：探索满足大规模混合计算任务的调度方法，搭建 AI 科研创新的基石与试验场。

图表50： BAAI 四大业务场景

资料来源：BAAI 官网、华泰研究

悟道 1.0 大模型：中国首个超大规模智能模型。2020 年 10 月，智源研究院正式启动超大规模智能模型「悟道」项目：1）悟道·文汇（113 亿参数）：首个面向认知的超大规模新型预训练模型（M6：MultiModality-to-MultiModality Multi-task Mega-Transformer）；2）悟道·文澜（10亿参数）（BriVL 模型）：首个超大规模多模态预训练模型；3）悟道·文源（26亿参数）（CPM 模型）：首个以中文为核心的超大规模预训练模型；4）悟道·文溯（2.8亿参数）：超大规模蛋白质序列预测预训练模型。2021 年 3 月，智源研究院发布了中国首个超大规模智能模型“悟道 1.0”，训练出中文、多模态、认知、蛋白质预测等系列模型。

悟道 2.0 大模型：1.75 万亿参数规模，当时全球最大的超大规模智能模型。2021 年 6 月，智源研究院发布“悟道 2.0”，参数规模达到 1.75 万亿，是 GPT-3 的 10 倍，打破了之前由Google Switch Transformer 预训练模型创造的 1.6 万亿参数记录，是当时中国首个、全球最大的万亿级模型。同时“悟道”团队在大规模预训练模型研发上做了很多基础性工作，形成了自主的超大规模智能模型技术创新体系，拥有从预训练理论技术到预训练工具，再到预训练模型构建和最终模型测评的完整链条。悟道 2.0在 9项 Benchmark 达到优异水平。

搭建高质量数据集 WudaoCorpora 2.0，促进中国通用人工智能发展。2021 年 3 月，全球最大中文语料库 WuDaoCorpora1.0 与悟道 1.0 同时问世；三个月后，加入多模态和对话两大全新元素后，WuDaoCorpora2.0 版本正式发布。WuDaoCorpora2.0 由全球最大的纯文本数据集 WDC-Text、全球最大的多模态数据集 WDC-ImageCaption 和全球最大的中文对话数据集 WDC-Dialogue 三部分构成，分别致力于构建微缩中文世界、打破图文模态壁垒、浓缩对话核心规律，从而形成多维度世界顶级数据库，促进中国的通用人工智能发展。

图表51：数据集 WudaoCorpora 2.0 组成示意图

资料来源：BAAI 官网、华泰研究

飞智大模型开源体系日益完善，助力国产大模型加速发展。FlagOpen 飞智大模型技术开源体系主要包括 6大开源项目，涵盖大模型算法、工具、评测、艺术创作、服务框架等领域。

图表52： FlagOpen飞智大模型技术开源体系

资料来源：BAAI 官网、华泰研究

海外大模型多维拓展，看好垂直落地、工程实现、模态丰富三大趋势

海外大模型持续多维拓展，重点关注大模型垂直落地、工程实现、模态丰富三大趋势。1）垂直落地：得益于通用大模型对于“大模型参数+大训练数据”的有效验证，基于垂直数据训练的行业大模型实现加速发展，BloombergGPT 作为首个金融大模型有效实现了 LLM 与金融垂直领域知识的深度融合，佐证了“开源模型+高质量垂直数据”LLM 搭建思路的有效性；2）工程实现：大模型的训练速度、训练成本以及工程化应用受到广泛关注，以 AutoGPT为代表的工程化思路，充分验证了大模型有望成为 AI时代的操作系统，改变人机交互范式；3）模态丰富：除大语言模型（Large Language Model，LLM）外，大模型逐步向图像、音频、视频等模态拓展，建议关注多模态对齐的大模型技术进展。

垂直落地：BloombergGPT 提供构建垂直行业大模型的有益参考

BloombergGPT发布，大模型实现金融垂直领域的加速落地。2023年3月30日，Bloomberg官方发布专为金融领域打造的大语言模型（Large Language Model，LLM）BloombergGPT，实现了 LLM 在垂直场景的加速落地。相较 OpenAI 的 GPT 系列（GPT-1、GPT-2、GPT-3、GPT-4）通用大模型，BloombergGPT 在保证 LLM 通用性能的基础上，更加聚焦金融场景，更加适应金融术语的复杂性与独特性，有效实现了 GPT+垂直知识的深度融合。

#1 模型拆解：500 亿参数 LLM，核心突破在于金融语料

BloombergGPT 同样采用 decoder-only 路径，模型参数介于 GPT-2 与 GPT-3 之间。根据论文《BloombergGPT: A Large Language Model for Finance》的模型介绍显示，BloombergGPT 同样基于典型的 Transformer 架构，同时与 OpenAI 的 GPT 模型相同，采用了仅有解码器（decoder-only）的技术路径。考虑到 Tranformer 解码器与编码器的构成区别，Bloomberg 沿用了 GPT 模型的 decoder-only 技术路径，训练出的 LLM 在基于前文预测后文的自然语言生成方面具备天然优势（详细分析可参考华泰计算机 2023 年 2 月 14日发布的报告《GPT 产业复盘（2019）：大容量路线》）。对比来看，BloombergGPT 的模型参数介于 GPT-2 与 GPT-3 之间，GPT-2 模型参数为 1.5 亿，GPT-3 模型参数为 1,750亿，bloombergGPT 的模型参数为 500 亿。

图表53： Tansformer 的 encoder 编码器结构示意

资料来源：《The Illustrated GPT-2 (Visualizing Transformer Language Models)》，Jay Alammar（2020）、华泰研究

图表54： Tansformer 的 decoder 解码器结构示意

资料来源：《The Illustrated GPT-2 (Visualizing Transformer Language Models)》，Jay Alammar（2020）、华泰研究

大规模金融数据集 FINPILE 是 BloombergGPT 在金融垂直领域成功落地的关键。不同于OpenAI 的 GPT 模型基于通用文本语料进行模型预训练，Bloomberg 为强化大语言模型对金融垂直领域的专业理解，基于 Bloomberg 自身在金融语料方面的优势，构建了目前最大规模的金融数据集 FINPILE，实现了模型在金融领域的知识强化。总体来看，BloombergGPT预训练的数据集包括金融数据文本FINPILE数据集与通用数据文本PUBLIC数据集两部分。

FINPILE + PUBLIC 让模型兼具通用常识与金融知识的双重理解。得益于 Bloomberg 构建的融合通用文本（PUBLIC）与金融知识（FINPILE）的大规模训练数据，BloombergGPT基于通用场景和金融业务场景进行混合模型训练，使模型在具备通常常识的基础上强化金融领域的知识理解，根据官方 2023 年 3 月发布的论文《BloombergGPT: A Large LanguageModel for Finance》中的测试结果显示，BloombergGPT 在执行金融任务上的表现超过现有的通用 LLM 模型，在通用场景上的表现与现有通用 LLM 模型能力基本持平。

#2 BloombergGPT 启示：开拓开源模型+垂直数据的 LLM 新思路

BloombergGPT 实现在垂直领域模型、训练数据、模型评估、tokenizer、模型构建方法等方面的创新。

1）垂直领域语言模型：过去的大语言模型多为基于通用文本训练的通用模型，垂直领域模型多为仅基于垂直领域数据训练垂直模型，Bloomberg 开创通用+垂直的混合训练方法，让模型兼具通用性与专业性；

2）训练数据：过去的大语言模型的预训练数据很大程度上依赖于网页抓取数据，如 C4、The Pile、Wikipedia 等，Bloomberg 自建了高质量的大规模金融数据集；

3）模型评估：Bloomberg 在对模型进行了公共、金融 NLP 基准测试之外，还对模型进行了一系列基于 Bloomberg 内部任务的性能测试；

4）Token 化（Tokenizer）：将训练文本 Token 化是模型训练的关键步骤，Bloomberg 使用 Unigram 模型取代 greedy merge-based sub-word 模型，实现更智能的 token 化转换；

5）模型构建方法：以 GPT-3、GPT-4 为代表的大语言模型均由大型的专业人工智能团队开发，并且模型训练需要大量算力；受益于开源模型 BLOOM 的项目实践与 Bloomberg 在垂直领域高质量数据的深厚积累，BloombergGPT 成功证明了一个中等规模的团队可以在垂直领域的特定数据上生产同样具有竞争力的大语言模型。

图表55： BloombergGPT 实现垂直领域模型、训练数据、模型评估、tokenizer、模型构建方法等方面的创新

资料来源：《BloombergGPT: A Large Language Model for Finance》，Shijie Wu（2023）、华泰研究

BloombergGPT 开拓了开源模型+垂直数据的 LLM 搭建新思路。通过对比 GPT-3 与BloombergGPT，我们发现，高质量的预训练数据是提升大语言模型能力的关键，大量的高质量垂直领域知识有望弥补模型在规模上的不足。BloombergGPT 的模型参数为 500 亿，相较于 GPT-3 的 1,750 亿属于较小的模型的规模，不同的是，BloombergGPT 的预训练数据增加了大量的高质量金融数据，同时 BloombergGPT 对于模型的预训练数据进行了一系列的数据清洗和数据标注，进一步提升了数据质量。从测试结果来看，BloombergGPT 在通用能力与 GPT-3 基本持平的情况下，实现了金融垂直能力的大幅增强。

#3 BloombergGPT 展望：数据至关重要，金融 GPT 未来可期

训练数据是 LLM 能力塑造的关键因素。基于 BloombergGPT 的成功案例，我们认为，训练数据是大语言模型能力塑造的关键因素，原因有三，一是金融垂直领域数据的输入成功塑造了 BloombergGPT 的金融知识理解能力，具备了更强的专业性；二是尽管BloombergGPT 的模型参数相较有所减少，但仍然表现出较强的通用能力与垂直能力，证明了在一定参数规模的前提下，高质量数据才是决定模型能力的关键；三是 Bloomberg 在论文中明确出于对数据泄露的担忧，BloombergGPT 将采取与 OpenAI 相同的闭源方案，侧面佐证了原始的预训练数据是各家大模型竞争的重要因素。

GPT+垂直场景有望全面铺开。垂直知识+通用常识的综合训练方法的有效性已经得到有效验证，大语言模型有望实现与医疗、安全、能源、工业等更多垂直场景的深度融合。以海外的 ProGEN 的模型为例，大语言模型已经实现了在蛋白质结构预测的场景落地。未来，融合垂直领域知识的大语言模型有望加速发展。

工程实现：AutoGPT 充分展现大模型有望重塑人机交互范式

AutoGPT 充分展现大模型有望重塑人机交互范式。AutoGPT 是一个实验性开源应用程序，展示了 GPT-4 语言模型的功能，标志着自然语言有望成为未来人机交互的全新模式。该程序由 GPT-4 驱动，将 LLM 的“思想”链接在一起，以自主实现用户设定的任何目标。作为 GPT-4 完全自主运行的首批示例之一，AutoGPT 突破了 AI 的可能性界限。

AutoGPT 具备五大典型特征：1）可以从 Internet 搜索和收集信息；2）支持长期和短期内存管理；3）提供文本生成的 GPT-4 实例；4）访问热门网站和平台；5）使用 GPT-3.5 进行文件存储和汇总。

图表56： AutoGPT 五大特征

Features

Internet access for searches and information gathering

Long-Term and Short-Term memory management

GPT-4 instances for text generation

Access to popular websites and platforms

File storage and summarization with GPT-3.5

资料来源：Github 官网、华泰研究

AutoGPT 需要人类指导，充分展示了人机交互方式改变的可能性。AutoGPT 并非真的是全自动、全自主，而是需要人类指导。我们认为，AutoGPT 是在 GPT-4 的基础上，衍生出来的创新型大模型使用方法探索。其本质可以认为是 GPT 模型的自动化任务执行工具，能够通过预先设计好的提示来自动生成任务指令，从而快速高效地执行各种任务。基于 GPT-4模型的自然语言理解能力，AutoGPT 通过 API 接口、现有大模型的创新性结合等方式，实现问题的“自动化解决”，大语言模型 LLM 成为大模型时代的操作系统，可以作为控制器来管理现有的 API 接口、人工智能模型，以解决复杂的人工智能任务。

图表57：微软 HuggingGPT 与 AutoGPT 相似，探索 LLM 作为 AI 操作系统的可能性

资料来源：HuggingFace 官网、华泰研究

模态丰富：SAM 模型实现大模型在 CV 领域的模态延展

Segment Anything Model是Meta提出的图像分割模型。Segment Anything Model（SAM）由三部分组成，1）任务：为可提示（promptable）的分割任务，描述通用的预训练目标，实现广泛的下游任务；2）分割模型（SAM）：支持灵活的提示（prompt）和数据注释，并能通过提示工程（prompt engineering）实时输出分割掩膜，以 zero-shot 方式迁移到一系列任务；3）数据引擎：构建了数据引擎，一方面收集新的数据，另一方面使用新数据来迭代模型。Meta 建立了迄今为止最大的分割数据集 SA-1B，在 1100 万张许可和尊重隐私的图像上，有超过 10亿个掩膜（mask）。结果表明，SAM 的 zero-shot 性能优秀，能够达到甚至优于完全监督模型的结果。SAM 和 SA-1B 已经在 https://segment-anything.com 开源。

图表58： SAM 的三个组成部分

资料来源：《Segment Anything》，Meta（2023）、华泰研究

大规模且多样化的掩膜数据集能够实现 SAM 更好的泛化特性。由数据引擎生成的最终数据集 SA-1B，包含 1100 万张经许可且隐私保护的图像，以及超过 10 亿个掩膜（均为数据引擎最后阶段自动生成的掩膜）。SA-1B 拥有的掩膜数量比任何现有的分割数据集都多 400 倍以上，具有高质量和多样性。除了将其用于训练 SAM 之外，SA-1B已开源，供其他研究者在此基础上建立新的基础大模型。

图表59： SA-1B包含的图像数量比其他数据集高 6倍以上

资料来源：Meta 官网、华泰研究

图表60： SA-1B包含的掩膜数量比其他数据集高 400倍以上

资料来源：Meta 官网、华泰研究

SAM 模型亮点：探索模型组件化应用

以提示工程等技术为基础的可组合系统，能实现更广泛的应用。Meta 指出，提示和组合是功能强大的工具，使单个模型能够以可扩展的方式使用，有可能完成模型设计时未知的任务。与专门为固定任务集训练的系统相比，以提示工程等技术为基础的可组合系统，能实现更广泛的应用。例如 CLIP是 DALL-E图像生成系统的文本图像对齐组件。

SAM 是为通用性和使用广度而设计的，是视觉分割的通才和多面手。Meta 指出，虽然特定领域的工具在各自的领域中会优于 SAM，但 SAM 是为通用性和使用广度而设计的，是视觉分割的通才和多面手。此外，由于 SAM 的强大迁移和泛化能力，以及开箱即用特性，SAM 甚至可以通过可穿戴设备检测到的注视点来进行提示，从而启用新的应用程序。

产业链相关公司梳理

以 GPT 为代表的大模型产业链较长，具体可分为算力、模型、应用三个环节。

1）算力：包括寒武纪、景嘉微、海光信息等芯片厂商以及浪潮信息、中科曙光、工业富联等服务器厂商；

2）模型：包括百度、三六零、科大讯飞、昆仑万维、商汤科技等科技企业；

3）应用：2C 简单包括金山办公、科大讯飞、同花顺、万兴科技、东方财富、汉仪股份、汉王科技、萤石网络等企业；2B简单包括泛微网络、致远互联、上海钢联、彩讯股份等企业；2C 复杂包括中望软件、索辰科技、广联达等企业；2B复杂包括恒生电子、石基信息、科大讯飞、汉王科技、金桥信息等企业。

风险提示

宏观经济波动。若宏观经济波动，产业变革及新技术的落地节奏或将受到影响，宏观经济波动还可能对 IT 投资产生负面影响，从而导致整体行业增长不及预期。

大模型技术迭代不及预期。若大模型技术迭代不及预期，会对大模型相关产业链造成不利影响，影响产业推进节奏。

本报告内容基于客观资料整理，不构成投资建议。

图表61：提及公司列表

公司代码	公司简称
未上市	Bloomberg
未上市	OpenAl
META US	Meta
MSFT US	微软
GOOGL US	谷歌
688256 CH
300474 CH	寒武纪
688041 CH	景嘉微
000977 CH	海光信息
603019 CH	浪潮信息
601138 CH	中科曙光
9888 HK	工业富联
601360 CH	百度
002230 CH	三六零科大讯飞
300418 CH
0020 HK	昆仑万维
688111 CH	商汤科技
300033 CH	金山办公
600570 CH	同花顺
300059 CH	恒生电子
300624 CH	东方财富
301270 CH	万兴科技
	汉仪股份
002362 CH	汉王科技
688475 CH	萤石网络
603039 CH	泛微网络
688369 CH	致远互联
300226 CH	上海钢联
300634 CH	彩讯股份
688083 CH	中望软件
688507 CH	索辰科技
002410 CH	广联达
002153 CH	石基信息
603918 CH	金桥信息

资料来源：Bloomberg、华泰研究

免责声明

分析师声明

本人，谢春生、郭雅丽、范昳蕊，兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见；
彼以往、现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬。

一般声明及披露

本报告由华泰证券股份有限公司（已具备中国证监会批准的证券投资咨询业务资格，以下简称“本公司”）制作。本报告所载资料是仅供接收人的严格保密资料。本报告仅供本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。

本报告基于本公司认为可靠的、已公开的信息编制，但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。

本报告所载的意见、评估及预测仅反映报告发布当日的观点和判断。在不同时期，华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来，未来回报并不能得到保证，并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。

本公司不是 FINRA 的注册会员，其研究分析师亦没有注册为 FINRA 的研究分析师/不具有 FINRA 分析师的注册资格。

华泰力求报告内容客观、公正，但本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求，在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况，并完整理解和使用本报告内容，不应视本报告为做出投资决策的唯一因素。对依据或者使用本报告所造成的一切后果，华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。

除非另行说明，本报告中所引用的关于业绩的数据代表过往表现，过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现，分析中所做的预测可能是基于相应的假设，任何假设的变化可能会显著影响所预测的回报。

华泰及作者在自身所知情的范围内，与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下，华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易，为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该公司招揽业务。

华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。

本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员，也并非意图发送、发布给因可得到、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。

本报告版权仅为本公司所有。未经本公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并需在使用前获取独立的法律意见，以确定该引用、刊发符合当地适用法规的要求，同时注明出处为“华泰证券研究所”，且不得对本报告进行任何有悖原意的引用、删节和修改。本公司保留追究相关责任的权利。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。

中国香港

本报告由华泰证券股份有限公司制作,在香港由华泰金融控股（香港）有限公司向符合《证券及期货条例》及其附属法律规定的机构投资者和专业投资者的客户进行分发。华泰金融控股（香港）有限公司受香港证券及期货事务监察委员会监管，是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。在香港获得本报告的人员若有任何有关本报告的问题,请与华泰金融控股（香港）有限公司联系。

香港-重要监管披露

• 华泰金融控股（香港）有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员。

• 石基信息（002153 CH）：华泰金融控股（香港）有限公司、其子公司和/或其关联公司实益持有标的公司的市场资本值的 1%或以上。

• 有关重要的披露信息，请参华泰金融控股（香港）有限公司的网页 https://www.htsc.com.hk/stock_disclosure其他信息请参见下方 “美国-重要监管披露”。

美国

在美国本报告由华泰证券（美国）有限公司向符合美国监管规定的机构投资者进行发表与分发。华泰证券（美国）有限公司是美国注册经纪商和美国金融业监管局（FINRA）的注册会员。对于其在美国分发的研究报告，华泰证券（美国）有限公司根据《1934 年证券交易法》（修订版）第 15a-6 条规定以及美国证券交易委员会人员解释，对本研究报告内容负责。华泰证券（美国）有限公司联营公司的分析师不具有美国金融监管（FINRA）分析师的注册资格，可能不属于华泰证券（美国）有限公司的关联人员，因此可能不受 FINRA 关于分析师与标的公司沟通、公开露面和所持交易证券的限制。华泰证券（美国）有限公司是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。任何直接从华泰证券（美国）有限公司收到此报告并希望就本报告所述任何证券进行交易的人士，应通过华泰证券（美国）有限公司进行交易。

美国-重要监管披露

• 分析师谢春生、郭雅丽、范昳蕊本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员、董事或顾问。分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益。本披露中所提及的“相关人士”包括 FINRA 定义下分析师的家庭成员。分析师根据华泰证券的整体收入和盈利能力获得薪酬，包括源自公司投资银行业务的收入。

• 科大讯飞（002230 CH）：华泰证券股份有限公司、其子公司和/或其联营公司在本报告发布日之前的 12 个月内担任了标的证券公开发行或 144A 条款发行的经办人或联席经办人。

• 石基信息（002153 CH）：华泰证券股份有限公司、其子公司和/或其联营公司实益持有标的公司某一类普通股证券的比例达 1%或以上。

• 华泰证券股份有限公司、其子公司和/或其联营公司, 及/或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）。

• 华泰证券股份有限公司、其子公司和/或其联营公司, 及/或其高级管理层、董事和雇员可能会持有本报告中所提到的任何证券（或任何相关投资）头寸，并可能不时进行增持或减持该证券（或投资）。因此，投资者应该意识到可能存在利益冲突。

• 本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽，亦不试图促进购买或销售该等证券。如任何投资者为美国公民、取得美国永久居留权的外国人、根据美国法律所设立的实体（包括外国实体在美国的分支机构）、任何位于美国的个人，该等投资者应当充分考虑自身特定状况，不以任何形式直接或间接地投资本报告涉及的投资者所在国相关适用的法律法规所限制的企业的公开交易的证券、其衍生证券及用于为该等证券提供投资机会的证券的任何交易。该等投资者对依据或者使用本报告内容所造成的一切后果，华泰证券股份有限公司、华泰金融控股（香港）有限公司、华泰证券（美国）有限公司及作者均不承担任何法律责任。

评级说明

投资评级基于分析师对报告发布日后 6 至 12个月内行业或公司回报潜力（含此期间的股息回报）相对基准表现的预期（A 股市场基准为沪深 300 指数，香港市场基准为恒生指数，美国市场基准为标普 500 指数），具体如下：

行业评级

增持：预计行业股票指数超越基准

中性：预计行业股票指数基本与基准持平

减持：预计行业股票指数明显弱于基准

公司评级

买入：预计股价超越基准 15%以上

增持：预计股价超越基准 5%\~15%

持有：预计股价相对基准波动在-15%\~5%之间

卖出：预计股价弱于基准 15%以上

暂停评级：已暂停评级、目标价及预测，以遵守适用法规及/或公司政策

无评级：股票不在常规研究覆盖范围内。投资者不应期待华泰提供该等证券及/或公司相关的持续或补充信息

法律实体披露

中国：华泰证券股份有限公司具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J香港：华泰金融控股（香港）有限公司具有香港证监会核准的“就证券提供意见”业务资格，经营许可证编号为：AOK809美国：华泰证券（美国）有限公司为美国金融业监管局（FINRA）成员，具有在美国开展经纪交易商业务的资格，经营业务许可编号为：CRD#:298809/SEC#:8-70231

华泰证券股份有限公司
南京
南京市建邺区江东中路228 号华泰证券广场1 号楼/邮政编码：210019

电话：86 25 83389999/传真：86 25 83387521电子邮件：ht-rd@htsc.com

深圳
深圳市福田区益田路5999号基金大厦10楼/邮政编码：518017
电话：86 755 82493932/传真：86 755 82492062
电子邮件：ht-rd@htsc.com

华泰金融控股（香港）有限公司

香港中环皇后大道中 99号中环中心 58楼 5808-12室
电话：+852-3658-6000/传真：+852-2169-0770
电子邮件：research@htsc.com
http://www.htsc.com.hk

华泰证券（美国）有限公司

美国纽约公园大道 280号 21楼东（纽约 10017）
电话：+212-763-8160/传真：+917-725-9702
电子邮件: Huatai@htsc-us.com
http://www.htsc-us.com

北京
北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层/
邮政编码：100032
电话：86 10 63211166/传真：86 10 63211275
电子邮件：ht-rd@htsc.com
上海
上海市浦东新区东方路18号保利广场E栋23楼/邮政编码：200120
电话：86 21 28972098/传真：86 21 28972068
电子邮件：ht-rd@htsc.com

华泰证券-计算机行业专题研究：大模型深度复盘，科技变革加速-230522.pdf