电子AI+系列专题报告

边缘AI：大语言模型的终端部署，推动新一轮终端需求

超配

核心观点

大模型参数量级飞涨，相应训练集需同比提升。李开复定义AI2.0时代的特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各领域将其专业化。据相关论文，当模型的参数量大于某阈值，会展现出类似推理、无监督学习等未曾出现的能力，这种现象被称为“涌现”，因此目前大语言模型参数均在十亿量级以上。同时，Deepmind研究表明，模型参数的上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此，大模型参数在十亿级以上发展并受限于优质数据集的增速是AI发展的必然趋势。

大模型增长挑战芯片算力和内存，无法实现完整端侧部署。大模型训练和推理的三大瓶颈是算力、显存和通信，根据我们的测算，算力方面GPT-3训练所需算力为121528TFL0PS，若30天内完成，需要1558颗A100。内存角度，GPT-3训练至少需要3.2T内存，至少44张A100，推理任务则主要受显存限制，需要4至8张A100，因此完整的模型无法在终端上离线运行。

优化后大模型可在旗舰机型芯片上运行，AI落地有望推动新一轮换机潮。AI部署本地化具有必要性，优势包括更低的延迟、更小的带宽、提高数据安全、保护数据隐私、高可靠性等。完整的大模型仅参数权重就占满一张80G的GPU，但是通过量化、知识蒸馏、剪枝等优化，大模型可以在手机本地实现推理。高通团队使用晓龙8Gen2部署StableDiffusion，实现本地运营15秒出图，证明了大模型本地化运行的可能，也体现出目前手机芯片的局限性。根据IDC数据，1Q23全球手机销量中主处理器频率超过2.8GHz的占比36%，价格在1000 美金以上的占比13%，即旗舰机型占比较低，随着AI大模型在边缘端落地，有望推动新一轮换机潮。

以大语言模型为核心，以语言为接口，控制多AI模型系统，构建“贾维斯”式智能管家。我们认为大语言模型不仅可以实现对话、创意，未来也有望作为众多复杂AI模型的控制中心，同时也是接受用户指令的交互窗口，实现《钢铁侠》电影中“贾维斯”式综合智能管家。23年5月，Google推出PaLM2轻量版Gecko，其可在最新的旗舰机型上离线运行。同月，OpenAI首次推出 ChatGPT移动端应用，各家大厂正式进入AI模型移动端创新、竞争时期。智能音箱、全屋智能中控屏、手机、MR等均有望成为这一时代的交互入口。

产业链相关公司：半导体：晶晨股份、瑞芯微、全志科技、北京君正、兆易创新；消费电子：传音控股、歌尔股份、福立旺、闻泰科技、创维数字。

风险提示：AI技术发展不及预期；边缘端芯片发展不及预期。

重点公司盈利预测及投资评级

公司代码	公司名称	投资评级	昨收盘（元）	总市值（亿元）	EPS		PE
公司代码	公司名称	投资评级	昨收盘（元）	总市值（亿元）	2023E	2024E	PE	2023E	2024E
688099. SH	晶晨股份	买入	86.36	358.62	1. 77	2.23		48.79	38.66
300223. SZ	北京君正	买入	93. 77	451.57	1.64	1.87		57.22	50.23
688036. SH	传音控股	买入	127.95	1, 028. 65	3.09	4.61		41. 41	27.73
002241. SZ	歌尔股份	买入	18.29	625.59	0.52	0.76		35.17	24.22
688678. SH	福立旺	买入	18.70	32.42	0.94	1.35		19.89	13.89
600745. SH	闻泰科技	买入	50.08	622.40	0.94	1.35		53.28	37.20
000810.SZ 创维数字		买入	15.74	181.04	0.94	1.35		16.74	11.69

资料来源：Wind、国信证券经济研究所预测

行业研究·行业专题

电子

超配·维持评级

证券分析师：胡剑
021-60893306
hujian1@guosen.com.cn
S0980521080001
证券分析师：周靖翔
021-60375402
zhoujingxiang@guosen.com.cn
S0980522100001

证券分析师：叶子0755-81982153yezi3@guosen.com.cnS0980522100003

证券分析师：胡慧

021-60871321 huhui2@guosen.com.cn S0980521080002

证券分析师：李梓澎
0755-81981181
lizipeng@guosen.com.cn
S0980522090001
联系人：李书颖
0755-81982362
lishuying@guosen.com.cn
联系人：詹浏洋
010-88005307
zhanliuyang@guosen.com.cn

市场走势.

资料来源：Wind、国信证券经济研究所整理

每日免费获取报告

1、每日微信群内分享7+最新重磅报告；

2、每日分享当日华尔街日报、金融时报;

3、每周分享经济学人

4、行研报告均为公开版，权利归原作者所有，起点财经仅分发做内部学习。

扫一扫二维码
关注公号
回复：研究报告
加入“起点财经” 微信群。。

内容目录

百亿参数大模型具备涌现能力，训练数据需等比例提升. 5
大模型的参数下限：AI2.0时代，基础大模型参数指数级增长 5
大模型的参数上限：参数的增加需要同等量级的训练集增加 6
大模型训练对硬件的挑战：算力、内存和通信 8
终端部署具有必要性，轻量化技术优化模型 11
超低时延的智慧场景，终端部署具有必要性 11
缩减优化模型，部署终端设备！ 12
“贾维斯”式智能管家，引领全新换机需求 16
大语言模型有望成为复杂AI系统的控制中心和交互入口， 16
当前旗舰机款手机芯片仅可运行优化版十亿参数级大模型 19
风险提示. 23

图表目录

图1：AI2.0时代的特征是通过超级海量数据无需标注训练一个大模型 5
图2：过去五年LLM模型参数快速增长. 6
图3：参数量的指数提升线性提高模型性能， 6
图4：当模型的参数量大于一定程度时模型效果会突然提升 6
图5：小模型的性能也随着规模扩大而逐步提高. 6
图6：2022年最大的五个transfomer 模型条件， .7
图7：各模型位于LM损失等高线图上的位置 7
图8：LaMDA 模型训练数据来源 .7
图9：静态内存.. 8
图10: 动态内存 8
图11：模型大小与设备内存的增长示意图 9
图12: 算力计算公式. 10
图13：近年推出的大预言模型有效算力比率， 10
图14: 边缘计算的应用场景 11
图15: 云计算与边缘计算的区别. 11
图16: 云计算与边缘计算. 11
图17: 边缘AI的数据传输.. 12
图18: 量化可以降低功耗和占用面积， 13
图19：NVIDIA Turing GPU 体系结构中各种数据类型相对的张量运算吞吐量和带宽减少倍数. 13
图20: 优化Al完全在终端侧高效运行 Stable Diffusion. 13
图21: 晓龙8Gen2旗舰芯片组15秒出图， 13
图22: 知识蒸馏基本框架， 14
图23: 单独训练子模型反哺主模型， 14
图24: 联邦学习的升级版FedCG 14
图25: 两种经典剪枝方法. 15
图26: 剪枝算法流程， 15
图27: 钢铁侠和Jarvis. 16
图28: 微软亚洲研究院的Jarvis项目 16
图29: Hugging Face AI模型写作系统四个步骤 .17
图30: Plugin插件界面 17
图31：PaLM2的从小到大的四种版本. .18
图32: PaLM2在部分测试中体现出了优异性 18
图33：ChatGPT App 欢迎界面 .18
图34: 微软bing chat应用 18
图35：2019年美国语音助理市场份额！ .19
图36：全球智能音箱市场下滑 19
图37：语音交互过程示意图. 19
图38：Siri信号流示意图， 20
图39：双通检测 (AOP 唤醒主 CPU) 20
图40：苹果A11芯片开始搭载 NPU. 20
图41：全球手机分处理器频率销量占比. 21
图42：全球手机分价格段销量占比. 21
图43：AIGC 支撑AI多模交互. 21
图44：鸟鸟和类ChatGPT模型分身对话 21
图45：全球AR/VR 出货量预测.. 22
图46：全球智能家居啊出货量预测... 22
表1：GPT参数和训练集规模快速增长 8
表2：大语言模型的计算.. 9
表3：大预言模型算力测算. 10

百亿参数大模型具备涌现能力，训练数据需等比例提升

大模型的参数下限：AI2.0时代，基础大模型参数指数级增长

李开复提出本次由GPT-4、ChatGPT引发的AI新机遇与之前有所不同，属于AI2.0时代。AI1.0时代具体指的是以CNN（卷积神经网络）为核心，机器视觉和自然语言处理快速发展的时期，暴涨的数据量伴随搜集、清洗、标注整个过程的成本增加，且单一领域的数据集和模型形成孤岛，每个领域和应用的优化都是割裂的，难以形成“通用”。

AI2.0时代的特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各个应用领域将其专业化。具体来说有三个特点：1）对于拥有的超级海量的数据，无需进行人工标注，即进行自监督学习；2）基础模型规模非常大，参数规模从十亿到千亿级别；3）训练出的基础模型具有跨领域知识，而后通过微调用降低成本的方法来训练，以适应不同领域的任务。AI2.0的巨大跃迁之处在于，它克服了前者单领域、多模型的限制。

图1：AI2.0时代的特征是通过超级海量数据无需标注训练一个大模型

资料来源：创新工场，国信证券经济研究所整理

以大语言模型（Large Language Model，LLM）为例，语言模型已经存在了几十年，从最基本的N-gram模型（语言由简单的向量表示），到更复杂的RNN模型、LSTM神经网络，再到2017年Google Brain 提出Transformer。Transformer不再基于对每个单词的单独理解进行处理，而是将句子和段落作为一个整体进行处理，使LLM 能够从自然语言中深入理解人类的意图，并让一系列应用成为可能：从描述中生成艺术创作、将大量非结构化数据提炼成简洁的摘要、更准确的翻译、回答复杂的查询等。

以模型中的参数数量衡量，大型语言模型的参数在过去五年中以指数级增长。模型的性能非常依赖于模型的规模，具体包括：参数数量、数据集大小和计算量，模型的效果会随着三者的指数增加而线性提高，这种现象被称为ScalingLaw（缩放能力）。

图2：过去五年LLM模型参数快速增长

资料来源：Sunyan’sSubstack，国信证券经济研究所整理

图3：参数量的指数提升线性提高模型性能

资料来源：《Scaling laws for neural language models》，国信证券经济研究所整理

当模型的参数量大于一定程度的时候，模型能力会突然提升，并拥有一些未曾出现的能力，如推理能力、无标注学习能力等，这种现象被称为涌现能力。在JasonWei的论文中，具体定义为“在小模型中没有表现出来，但是在大模型中变现出来的能力”。“涌现能力”只是对一种现象的描述，而并非模型的某种真正的性质，出现涌现能力的原因也尚待探索。

其中一种观点认为，大模型的涌现能力来自于其不连续的评价指标。如果换成更为平滑的指标，相对较小的模型的效果也并非停滞不前，规模在阈值以下的模型，随着规模的提高，生成的内容也在逐渐靠近正确答案。斯坦福的研究人员将NLP中不连续的非线性评价指标转为连续的线性评价指标，结果模型的性能变得更加平滑、可预测。具体来看，10以上模型能力提升加速，因此目前来看10几乎是大语言模型参数量的下限。

图4：当模型的参数量大于一定程度时模型效果会突然提升

资料来源：《Language models are few-shot learners》，国信证券经济研究所整理

图5：小模型的性能也随着规模扩大而逐步提高

资料来源：《Are Emergent Abilities of Large Language Modelsa Mirage?》，国信证券经济研究所整理

大模型的参数上限：参数的增加需要同等量级的训练集增加

参数数量的增速应与训练token数量的增长速度大致相同，从而让模型损失 (L)实现最小化,性能最大化.Deepmind 在《Traning Compute-Optimal Large LanguageModels》中，通过在5到5000亿个token上训练400多个语言模型，参数个数范围从7000万到160亿，发现模型大小和训练集数量应该相等地缩放，从而达到最佳效果。目前看来，单一语言模态的大模型，100B量级的参数足以满足大多数知识检索和浅层推理的需求，但充分释放这些参数的全部潜力需要1000B量级的训练 token。

作为验证，通过训练一个预测的计算最优模型ChinchiIla来检验这个假设，该模型使用与Gopher使用相同的FLOTs，但具有70B个参数和4倍多的数据，最终在大量下游评估任务中，ChinchiIla表现显着优于Gopher，且其缩小的模型尺寸大大降低了推理成本，并极大地促进了下游在较小硬件上的使用。

图6:2022年最大的五个 transfomer 模型条件

Model	Size (# Parameters)	Training Tokens
LaMDA (Thoppilan et al.,2022)	137Billion	168 Billion
GPT-3 (Brown et al.,2020)	175 Billion	300 Billion
Jurassic (Lieber et al., 2021)	178 Billion	300 Billion
Gopher (Rae et al.,2021)	280 Billion	300 Billion
MT-NLG 530B (Smith et al.,2022)	530 Billion	270Billion
Chinchilla	70 Billion	1.4 Trillion

资料来源：DeepMind，国信证券经济研究所整理

图7：各模型位于LM损失等高线图上的位置

资料来源：Sunyan’sSubstack，国信证券经济研究所整理

因此，优质大模型的训练，高质量的大数据集是必要条件。目前主要的数据获取渠道是公开的论坛，例如谷歌的LaMDA模型，在论文中表示其预训练数据50%对话数据来自公共论坛；12.5%C4数据；12.5%的代码文档来自与编程相关的网站；12.5%维基百科；6.25%英文网页文档；6.25%的非英语网络文档，数据集中的单词总数为1.56T，而0penAI使用了45T数据。未来如何获得高质量的训练集始终是各家大厂的首要竞争领域。

图8：LaMDA模型训练数据来源

资料来源：谷歌，国信证券经济研究所整理

表1：GPT参数和训练集规模快速增长

模型	发布时间	参数量	数据规模	Tokens
GPT	2017.6	1.17亿	5GB	1.17亿
GPT2	2019.2	小：1.24亿中：3.55亿大：7.74亿	40GB	15亿
		超大：15亿小：0.6亿
T5	2019	基础：2.2亿大：7.7亿	50G	340亿
		TB-3B:30亿
GPT3	2020.6	T5-11B:110亿
		1750亿	45TB	1750亿
ChatGPT	2020.6	1750亿	>45TB	7740亿

资料来源：ChatGPT，Google，国信证券经济研究所整理

大模型训练对硬件的挑战：算力、内存和通信

内存方面，大模型训练的内存可以大致理解为参数、优化器状态、激活、梯度四部分的和。它们大致分为两类：静态内存和动态内存。参数、优化器状态较为固定，属于静态内存，激活和梯度等中间变量属于动态内存，是最主要的内存占用原因，动态内存通常是静态内存的数倍。

图9：静态内存

资料来源：知乎，国信证券经济研究所整理

图10：动态内存

资料来源：知乎，国信证券经济研究所整理

我们可以粗略的计算训练1750亿参数的GPT3所需内存，大约需要3.2TB以上。静态内存方面，大多数Transformer 都是以混合精度训练的，如FP16+FP32，以减少训练模型内存，则一个参数占2个字节，参数和优化器状态合计占用内存1635G。而动态内存，根据不同的批量大小、并行技术等结果相差较大，通常是静态内存的数倍。更简洁的估算方法，可以假设典型的LLM 训练中，优化器状态、梯度和参数所需的内存为20N字节，其中N是模型参数数量，则1750亿参数的GPT3 大概需要3.2TB 内存。

推理所需内存则较小，假设以FP16存储，175B 参数的GPT3推理大约需要内存327G，则对应4张80G A100，如果以FP32运算，则需要10 张。

表2：大语言模型的计算

公式		注释
模型参数	·对于vanillaAdamW，	·混合精度（fp16/bf16和fp32） memorymodel = (2 bytes/param)·(No.params) memoryoptimizer=(12 bytes/param).(No.params)
	·动量：4字节/参数 ·方差：4字节/参数	·fp32参数副本：4字节/参数
优化器内存	·fp32参数副本：4字节/参数 ■动量：1字节/参数	·对于像bitsandbytes这样的8位优化器， memoryoptimizer=(6bytes/param)·(No.params)


	·方差：1字节/参数



	·对于具有动量的类SGD优化器，
		memoryoptimizer=(8bytes/param)·(No.params)
	·fp32参数副本：4字节/参数
	·动量：4字节/参数
梯度内存
	·fp32，memorygradients=(4bytes/param)·(No.params)
	·fp16，memorygradients=(2bytes/param)·(No.params)
	NoRecomputation =sbhL(10+ 24	a·s bytes number of attention heads
激活重计算	memoryactivations +5 t	h·t a microbatch size	p	pipeline parallel size
	SelectiveRecomputation=sbhL(10+ 24 memoryactivations	)bytes hidden dimension size	S	sequence length
	t	bh工	t	tensor parallel size
	memoryactivations FullRecomputation =2·sbhLbytes	number oftransformer layers	U	vocabulary size
模型训练内存

需求
模型推理内存

资料来源：Eleutherai，国信证券经济研究所整理

图11：模型大小与设备内存的增长示意图

资料来源：NVIDIA，国信证券经济研究所整理

算力方面，根据0penAI在2020年发表的论文，训练阶段算力需求是模型参数数量与训练数据集规模乘积的6倍：训练阶段算力需求=6×模型参数数量×训练集规模；推理阶段算力需求是模型参数数量与训练数据集规模乘积的2倍：推理阶段算力需求=2×模型参数数量×训练及规模。

训练阶段：考虑采用精度为32位的单精度浮点数数据进行训练和推理。以A100 PCle芯片为例（H100PCle芯片同理），根据前述公式，GPT-3训练所需运算次数为：样本token数3000 亿个*6*参数量1750亿个=315*10^21FL0Ps；考虑训练时间要求在30天完成（训练时间为2592000秒），则对应GPT-3训练所需算力为121528TFL0PS；结合A100 有效算力78TFL0PS，得到所需GPU数量为1558个，对应AI服务器为195台。

推理阶段：按谷歌每日搜索量35亿次进行估计，假设每次访问提问4次，每次提问+回答需处理字数425字，平均每个字转换为token比例为4/3，则每日GPT-3需推理token数为79330亿个，则推理所需运算次数为4760*10^21FL0Ps；考虑推理时间以每日为单位（推理时间为86400秒），则对应GPT-3推理所需算力为55*10^6TFL0PS；结合A100有效算力78TFL0PS，得到所需GPU数量为706315个，对应AI服务器为8.8万台。

图12：算力计算公式
图13：近年推出的大预言模型有效算力比率

资料来源：NVIDIA，国信证券经济研究所整理

模型名称	推出时间	使用硬件	有效算力比率
GPT-3	2020年5月	英伟达V100	21.3%
MT-NLG	2021年10月	英伟达A100	30.2%
PaLM	2022年4月	谷歌TPU	46.2%

资料来源：NVIDIA，国信证券经济研究所整理

表3：大预言模型算力测算

		A100 PCle	H100 PCle
训练阶段算力需求测算	Tensor Float 32(TF32)	156TFLOPS	756TFLOPS
	有效算力	78TFLOPS	378TFLOPS
	GPT-3训练所需运算次数	315*10^21FL0Ps	315*10^21FL0Ps
	GPT-3训练所需算力	121528TFLOPS	121528TFLOPS
	所需GPU数量	1558	322
	GPU单价	1.5万美元	3.65万美元
	对应 GPU价值	2337万美元	1175.3万美元
推理阶段算力需求测算	Tensor Float 32(TF32)	156TFLOPS	756TFLOPS
	有效算力	78TFLOPS	378TFLOPS
	GPT-3推理所需运算次数	4760*10^21FL0Ps	4760*10^21FL0Ps
	GPT-3推理所需算力	55*10^6TFLOPS	55*10^6TFLOPS
	所需GPU数量	706315	145748
	GPU单价	1.5万美元	3.65万美元
	对应GPU价值	105.95亿美元	53.2亿美元

资料来源：NVIDIA，国信证券经济研究所整理

因此，训练大模型必然需要采用分布式方案。不仅要满足算力的需求，还要解决上千块GPU的分布式训练问题，需要考虑到上百台服务器之间的通信、拓扑、模型并行、流水并行等，这也是复现GPT-3 的核心难点，模型发布后一年也只有NVIDIA、微软等大厂成功复现，目前开源的GPT模型库就主要是NVIDIA的Megatron-LM和微软的DeepSpeed。

终端部署具有必要性，轻量化技术优化模型

超低时延的智慧场景，终端部署具有必要性

云计算和边缘计算的主要区别在于处理所在的位置。边缘计算，处理发生在网络边缘，更靠近数据源，而云计算，处理发生在数据中心。边缘计算是指在尽可能靠近数据源或终端的地方捕获和处理数据。通过在数据源的物理位置附近放置服务器或其他硬件来处理数据，在本地完成处理而不是在云端或集中式数据中心，它能最大限度地减少延迟和数据传输成本，允许实时反馈和决策。

图14：边缘计算的应用场景

资料来源：NVIDIA，国信证券经济研究所整理

图15：云计算与边缘计算的区别

Cloud Computing	Edge Computing
Non-time-sensitive data processing	Real-time data processing
Reliable internet connection	Remote locations with limited or no internetconnectivity
Dynamic workloads	Largedatasets thatare toocostlyto send to the cloud
Data in cloud storage	Highlysensitive data and strict data laws

资料来源：NVIDIA，国信证券经济研究所整理

边缘计算的历史可以追溯到上世纪90年代，当时内容分发网络（CDN）充当分布式数据中心。但CDN仅限于缓存图像和视频，而不是海量数据工作负载；2000 年左右，智能设备的爆炸式增长给现有IT基础设施带来了压力，诸如点对点(P2P)网络的发明减轻了这种压力，在这种网络中，计算机无需通过单独的集中式服务器计算机即可连接并共享资源；10年代，大公司开始通过公共云向终端用户出租计算和数据存储资源；2020年后，边缘计算融合了CDN的低延迟能力、P2P 网络去中心化平台以及云的可扩展性和弹性，共同构建了一个更高效、更有弹性和更可靠的计算框架。

图16：云计算与边缘计算

资料来源：NVIDIA，国信证券经济研究所整理

目前，越来越多的场景将计算基础设施更靠近传入数据源，让AI模型在云端训练，并部署在终端设备上。例如计算机视觉等高度数据密集型、低时延要求类的任务，将AI模型部署在终端的优势包括：

1)更低的延迟：因为传感器和物联网设备产生的数据不再需要发送到集中式云进

行处理，可以实现更快的响应，获得结果的时间可能从几秒减少到几分之一秒。

2）减少带宽：当数据发送到云端时，它通过广域网传输，需要满足全球覆盖和高带宽，成本较高。而边缘计算可以利用局域网处理数据，从而以更低的成本获得更高的带宽。

3）数据安全：边缘计算允许组织将所有数据和计算保存在合适的位置，关键数据不需要跨系统传输，减少遭受网络安全攻击的风险。

4）保护用户隐私：人工智能可以分析现实世界的信息，而无需将其暴露给人类，大大增加了任何需要分析外貌、声音、医学图像或任何其他个人信息的隐私安全。即使部分数据是出于培训目的而上传，也可以将其匿名化以保护用户身份。

5）高可靠性：去中心化和离线功能使边缘AI更加稳定，不受网络访问限制，这是关键任务系统稳定运行的必要条件。

当边缘AI应用程序遇到它无法准确处理的数据时，它通常会将其上传到云端，以便AI算法可以重新训练并从中学习。因此，模型在边缘运行的时间越长，模型就会变得越准确，由于可以获得如此多的价值，企业正在迅速采用边缘计算。Gartner预测，到2023年底，50%的大型企业将拥有记录在案的边缘计算战略，而 2021年这一比例还不到5%。

图17：边缘AI的数据传输

资料来源：NVIDIA，国信证券经济研究所整理

缩减优化模型，部署终端设备

通过优化，预估模型算力成本大约会降至原来的1/4，为模型的边缘部署提供技术基础，目前常见的优化方法有三类：

1）量化：量化是模型压缩的一种常用手段，核心思想是将模型参数从高精度转换为低精度，将多bit高精度的数（FP32、FP16等）量化为较少bit低精度的数值（INT8、INT4等），即从浮点到定点数的转换。量化方法可分为训练时量化（PTQ,post-trainingquantization)，这种量化方式需要重新训练来缓解量化带来的精度损失；训练后量化（QAT，quantization-aware training)，在大模型场景上，更青睐于QAT，因为能够更好的保证性能。量化的优势包括减少内存占用，节省存储空间，降低功耗和占用面积，提升计算速度。

图18：量化可以降低功耗和占用面积

资料来源：NVIDIA，国信证券经济研究所整理

图19：NVIDIA Turing GPU 体系结构中各种数据类型相对的张量运算吞吐量和带宽减少倍数

Input	Accumulator	MathThroughput	BandwidthReduction
FP32	FP32	1x	1x
FP16	FP16	8x	2x
INT8	INT32	16x	4x

资料来源：NVIDIA，国信证券经济研究所整理

高通团队采用量化技术等，首次在安卓手机上部署StableDiffusion，实现本地运营15秒出图，证明了百亿参数级大模型优化后可在终端本地运行的可能。StableDiffusion是一个从文本到图像的生成式Al模型，参数达到11亿，计算量是智能手机上运行的典型工作负载大小的10倍以上，主要限于在云端运行。高通技术团队使用高通AI软件栈（QualcommAIStack）执行全栈AI优化，使用高通AI模型增效工具包(AIMET)对模型进行量化，HuggingFace 的FP32version1-5开源模型开始，通过量化、编译和硬件加速进行优化，在搭载 Snapdragon8 Gen2移动平台的手机上运行，15秒内完成了推理，生成一张512x512像素的图像。

推理部分是在Hexagon处理器上完成的，通过让模型在专用AI硬件上高效运行，可消耗更少的内存带宽来节省电量。相比之下，在高通发布Demo 视频之前，已经有开发者展示了在搭载高通骁龙865的8GRAM索尼Xperia5II上运行StableDiffusion，生成一张分辨率512x512的图像需要1个小时。

图20：优化Al完全在终端侧高效运行Stable Diffusion

资料来源：Apple，国信证券经济研究所整理

图21：晓龙8Gen2旗舰芯片组15秒出图

资料来源：Apple，国信证券经济研究所整理

2）知识蒸馏（knowledgedistiIlation）：是模型压缩的一种常用的方法，不同于剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型被称之为教师模型，小模型称之为学生模型。来自教师模型输出的监督信息称之为知识，而学生模型学习迁移来自教师模型的监督信息的过程称之为蒸馏。

在子模型场景当中，子模型是完整模型的子集，每个子模型能够独立的训练，学习到某个特定的特征空间的知识。某个设备的数据仅仅占了完整数据集的一部分；映射到特征空间也仅仅是一个区域；使用这个设备的数据集进行训练仅仅更新了完整模型的一部分。因此可以将模型的子集提取出来单独训练，最后整合实现高效的模型更新。

图22：知识蒸馏基本框架

资料来源：NVIDIA，国信证券经济研究所整理

图23：单独训练子模型反哺主模型

资料来源：NVIDIA，国信证券经济研究所整理

基于知识蒸馏技术，边缘设备除了简单的请求，也可以实现模型更新，反哺集中式数据中心的大模型。联邦学习最早是谷歌在2017年4月提出的，可以让数据不离开设备的前提下进行机器学习，且适应性强，保护数据隐私，安全系数高。机器学习模型在现实中的性能表现取决于用来训练它的数据具有多高的相关度，最好的数据就是每天使用的设备。联邦学习会通过服务器发送一部分模型到终端手机，通过几分钟就可以完成训练，然后把训练成果传回服务器。

图24：联邦学习的升级版FedCG

资料来源：量子位，国信证券经济研究所整理

3)剪枝算法：过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去获取数据中的微小变化，一旦完成迭代式的训练之后，网络模型推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化理论提出的，核心思想是减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。主要是分为Drop Out 和Drop Connect 两种经典的剪枝算法：Drop Out：随机的将一些神经元的输出置零，称之为神经元剪枝；Drop Connect：随机将部分神经元间的连接Connect置零，使得权重连接矩阵变得稀疏。

图25：两种经典剪枝方法

资料来源：CV技术指南，国信证券经济研究所整理

图26：剪枝算法流程

资料来源：CV技术指南，国信证券经济研究所整理

“贾维斯”式智能管家，引领全新换机需求

大语言模型有望成为复杂AI系统的控制中心和交互入口

大模型协作让“贾维斯”式智能管家更进一步。Jarvis全称JustA Rather VeryIntelligent System，是漫威宇宙中钢铁侠的AI助手，不仅能完成智能家居管理，还能实时监控周围环境、与用户实时沟通、为用户计算最优策略等，这些强大的功能显然这不是一个单独的AI模型可以解决的。微软亚洲研究院曾在Github 上开源过一个叫做Jarvis的项目，该系统由LLM作为控制器和许多来自HuggingFace Hub的AI模型作为协作执行者组成，该系统让LLM充当控制器来管理现有的AI模型，使用语言作为通用接口来调用外部模型，解决实际任务。

图27:钢铁侠和Jarvis

资料来源：漫威，国信证券经济研究所整理

图28：微软亚洲研究院的Jarvis项目

资料来源：《HuggingGPT：Solving Al Tasks with ChatGPT and itsFriendsin HuggingFace》，国信证券经济研究所整理

该系统的具体工作流程包括四个步骤：1）任务规划，使用ChatGPT等大语言模型分析用户请求，了解用户意图，并将其拆解成可解决的任务；2）模型选择，为了解决计划的任务，ChatGPT根据描述选择托管在 Hugging Face上的AI模型；3)任务执行，调用并执行每个选定的模型，并将结果返回给ChatGPT。4）生成响应，最后使用ChatGPT整合所有模型的预测，生成Response。未来，智能音箱、家用中控屏、甚至于手机、MR 都有可能成为“贾维斯”式管家的交互入口，及时性、可靠性、隐私性或是算力角度，将作为模型协作控制中心的大语言模型部署到边缘设备上必要性越来越强。

图29:Hugging Face Al模型写作系统四个步骤

资料来源：《HuggingGPT:Solving Al Tasks with ChatGPT and its Friends in HuggingFace》，国信证券经济研究所整理

2023年5月第三周，OpenAI向所有ChatGPTPIus用户推出Beta版本，有望成为“贾维斯”核心控制中心，打造全新的流量入口和应用生态。Beta版本ChatGPT支持联网和70多种第三方插件，覆盖购物、餐饮、旅行、天气、运算、翻译、分析数据等多种功能。ChatGPTPIugin的发布为智能助理的出现提供了条件，让语言成为各大模型交互的通用接口。尽管目前尚处于初期，效果不尽如人意，但通过人类语言指挥ChatGPT帮自己与各种应用交互仍是令人兴奋的尝试。

随之而出现的，则是用户和App 提供方的担忧。App 公司普遍担忧GPT4太过聪明，接入的App不仅害怕数据失去独占优势，还担心GPT4通过推理洞悉尚未发现的业务。我们认为，出于数据资源所有权分配以及数据安全的担心将推动终端部署大模型的需求。

图30：Plugin插件界面

资料来源：36氪，国信证券经济研究所整理

各家大厂对终端运行大模型的尝试频频，2023年5月11日，Google在其第15届I/0开发者大会上发布了PaLM2，相比PaLM5400亿参数，它的算法经过优化，使得体积更小，但整体性能更好，计算效率更高，支持100多种语言和20多种编程语言，支持多模态的PaLM2还能看懂和生成音视频内容。与ChatGPT相比,PaLM2优势在于响应速度更快。谷歌表示，名为Gemini的下一代模型将是多模式的，具有突破性的功能，但它仍在接受培训，距离发布还有几个月的时间。

另外，PaLM2模型从小到大有4种版本：“壁虎”（Gecko）、“水獭”（Otter）、“野牛”（Bison）、“独角兽”（Unicorn），实现在不同等级的设备上部署。例如在智能手机上就可以运行规模比较小的Gecko模型，让移动端也能拥有大语言模型。Gecko模型可以在完全离线的情况下在智能手机上运行，它可以在旗舰手机上每秒处理20个 token，大约是每秒16个单词。谷歌没有明确说明使用了什么硬件来测试，但提到是在“最新的手机上”运行，这证明了与大模型具备类似能力的轻量化版本可以实现本地化部署。

图31：PaLM2的从小到大的四种版本

资料来源：Google，国信证券经济研究所整理

图32:PaLM2在部分测试中体现出了优异性

	SOTA	GPT-4	PaLM	PaLM2
WinoGrande	87.5a	87.5a (5)	85.1 (5)	90.9 (5)
ARC-C	96.3a	96.3a (25)	88.7℃(4)	95.1(4)
DROP	88.4d	80.9a (3）	70.8b 1	85.0(3)
StrategyQA	81.6	=	81.6(6	90.4 (6)
CSQA	91.2e	=	80.7	90.4
XCOPA	89.98	m	89.98 (4)	94.4 (4)
BBHard	65.2f	=	65.2f	78.1(3)

资料来源：Google，国信证券经济研究所整理

2023年5月19日，OpenAI在美国区iOS 商城发布ChatGPTApp，这是用户首次可以在搜索引擎或浏览器之外的移动设备上访问ChatGPT。目前App可以免费使用，并可同步网页端历史信息。在其欢迎界面上，App 提醒用户ChatGPT是有可能提供不准确的信息，并且建议用户不要提供敏感信息，因为匿名信息也可能会被OpenAI的训练员用来改善系统。目前ChatGPTApp仅支持iPhone8及更新的机型，支持i0S16.1及更新的系统，切仅支持文字交互模式，不支持多模态的图片或视频输出，也不能调用摄像头，不支持联网、插件功能。ChatGPT移动端的推出也有望推动谷歌等其他大厂快速跟进，AI模型全面进入移动端创新阶段。

图33：ChatGPT App 欢迎界面

资料来源：0penAI，国信证券经济研究所整理

图34:微软Bing chat应用

资料来源：Bing，国信证券经济研究所整理

当前旗舰机款手机芯片仅可运行优化版十亿参数级大模型

上一代人工智能程度较低拉低交互体验，阻碍AloT发展。2011年Apple推出Siri,使语音助手成为当时人工智能竞赛热门赛道，引发Google(GoogleAssistant）、Amazon(Alexa)、微软(Cortana)等科技巨头纷纷加码跟进，抢占AloT控制流量入□。由于通过指挥控制系统进行工作，上一代语音助理仅可以理解有限的问题和请求列表(包含在数据库中的单词列表)，如果用户要求虚拟助手做一些代码中没有的事情，机器人会简单地说它无法提供帮助。由于智能化较低，全球语音助理、智能音箱及其他语音交互AIoT行业发展经过初期高速成长期后陷入沉寂。

图35：2019年美国语音助理市场份额

资料来源：IT之家，微软研究，国信证券经济研究所整理

图36:全球智能音箱市场下滑

资料来源：IDC，国信证券经济研究所整理

以苹果手机的Siri为例，目前旗舰机型手机芯片能支持离线唤醒和语音识别。成功唤醒电子设备是实现人机语音交互的基础。当设备处于待机状态时，需要识别用户输入的语音唤醒信号，如果识别成功则切换到工作状态。目前常见的唤醒方法是通过预设的唤醒参数检测用户的语音输入，唤醒参数如唤醒门限、拾音方向、噪声抑制参数、放大增益等，参数的取值决定了电子设备唤醒率的高低。这通常由一个独立的小芯片，在本地实现。

图37：语音交互过程示意图

资料来源：集微网，国信证券经济研究所整理

检测关键词的探测器（Detector）不仅要长时间待机且功耗要足够低到对电池寿命无显著影响，并最小化内存占用和处理器需求。以iPhone的Siri为例，iPhone的Always on Processor（AOP）是一个小的、低功耗的辅助处理器，即嵌入式运动协处理器。AOP可以访问麦克风信号，并用自己有限的处理能力运行一个修剪版神经网络模型（DNN）。当分数超过阈值时，运动协处理器唤醒主处理器，主处理器使用较大的DNN分析信号。第一个检测器使用5层32个节点的隐藏单元的DNN（A0P运行），第二个检测器使用5层192个节点的隐藏单元DNN（主CPU）。

而在AppleWatch中，因为电池体积缩小、产品体积缩小，对功耗提出了新的需求，采用的是单通道检测，机器学习模型介于手机上的第一次和第二次检测之间，并仅在手表运动协处理器检测到抬手手势时运行。如果语音内容超过了本地模型的理解范围，数据就会传递到Siri服务器，用更复杂的模型识别。

图38：Siri信号流示意图

资料来源：Apple，国信证券经济研究所整理

图39：双通检测 (AOP 唤醒主CPU)

资料来源：Apple，国信证券经济研究所整理

iPhone6时代，Siri仅可以离线被“唤醒”，A12仿生芯片时代，Siri可以支持部分离线请求。A11是苹果首次搭载神经网络引擎处理器单元（NeuralNetworkProcessing Unit NPU），但主要是支持面部识别。2018 年苹果推出的A12Bionic,采用了台积电7nm工艺制程，苹果自研的Fusion架构，NPU从双核直接升级到八核，能够实现每秒5万亿次计算。搭载A12仿生芯片的iPhoneXS首次支持Siri离线运行，在不联网的情况下，Siri可以执行拨打电话、打开特定应用、设置闹钟等请求，也可以实现语音输入等功能，但是无法响应预设内容以外的请求。这说明10亿参数以下的RNN模型已经完全可以离线运行，但是复杂请求无法实现。

图40：苹果A11芯片开始搭载 NPU

资料来源：Apple，国信证券经济研究所整理

目前具备运行优化模型能力的终端仅限头部品牌旗舰手机。根据目前各家公司对于边缘端部署的情况推测，即使经过量化、剪枝、蒸馏等方式优化大模型后，仍然需要旗舰版的手机芯片可以勉强承载运行。假设旗舰机型主处理器频率应在2.8GHz以上，或是价格在1000 美金以上，根据IDC数据，1Q23全球手机销量中主处理器频率超过2.8GHz的占比36%，销售价格在1000 美金以上的手机销量占比13%。

图41：全球手机分处理器频率销量占比

资料来源：IDC，国信证券经济研究所整理

图42：全球手机分价格段销量占比

资料来源：IDC，国信证券经济研究所整理

随着AIGC赋能语音助理，AIoT交互体验升级有望激发终端换机需求。AI助手在大语言模型和算力加持下，自然语言理解能力大幅提升，具备了实际生产力后，用户产生使用AI助手的需求，从而推动手机换机新周期。此外，智能音箱、全屋智能中控屏、VR/AR/MR 等同样有望成为“贾维斯”的交互入口。

23 年4月，脱口秀演员鸟鸟介绍了自己的分身“鸟鸟分鸟”，这个数字分身为阿里训练出来的类ChatGPT语音助手，能够模仿她的音色、语气以及文本风格。阿里展示了“鸟鸟分鸟”模型接入智能音箱使用效果，其智能语音交互功能获得颠覆式升级，聊天技能明显升级，AI有望真正实现对IoT赋能。

图43:AIGC 支撑AI多模交互

	技术	阶段	作用和目的
语音理解	ASR	感知阶段	将人的语音转换为文本
	NLP	决策阶段	处理并理解文本，以对话能力为核心，为数字人的大脑
	TTS	表达阶段	将需要输出的文本合成为语音
动作合成	AI驱动嘴形	表达阶段	建立输入文本到输出音频与输出视觉信息的
	动作		关联映射，主要是对采集到的文本到语音和
			嘴形视频（2D）/嘴形动画（3D）的数据进行
			模型训练，得到相关模型，并智能合成
	AI驱动其他	表达阶段	动作是采用随机策略或者脚本进行预设，需
	动作		要人工配制描述性的数据或者标签

资料来源：腾讯研究院，国信证券经济研究所整理

图44：鸟鸟和类ChatGPT模型分身对话

资料来源：阿里巴巴，国信证券经济研究所整理

图45：全球AR/VR 出货量预测

资料来源：IDC，国信证券经济研究所整理

图46：全球智能家居出货量预测

资料来源：IDC，国信证券经济研究所整理

风险提示

宏观AI应用推广不及预期。AI技术在应用推广的过程可能面临各种挑战，比如：（1）AI技术需要更多的时间来研发和调试，而且在应用过程中可能会受到数据质量、资源限制和技术能力等因素的制约；（2）AI技术的实施需要更多的资源和资金支持；（3）市场竞争可能也会影响企业在AI应用推广方面的表现。因此，投资者应审慎评估相关企业的技术实力、资金实力以及管理能力，相关企业的AI应用存在推广进度不及预期的风险。

AI投资规模低于预期。尽管AI技术在过去几年中受到广泛关注，但AI相关领域的企业投资回报并不总是符合预期。部分企业在AI领域可能缺乏足够的经验和资源，难以把握市场机会。此外，市场竞争也可能会影响企业的投资力度。因此，存在AI领域投资规模低于预期，导致企业相关业务销售收入不及预期的风险。

AI服务器渗透率提升低于预期。虽然AI服务器的应用已经较为广泛，但AI服务器渗透率提升的速度存在低于预期的风险，这与企业对AI技术的投资意愿有关，也可能与市场需求和技术进展的速度有关。

AI监管政策收紧。由于AI技术的快速发展和广泛应用，监管机构可能会加强对AI技术的监管力度。监管机构可能会制定严格的AI技术使用规定，以保障人们的隐私和数据安全，这些监管政策可能会对企业的业务模式和发展战略造成影响。

免责声明

分析师声明

作者保证报告所采用的数据均来自合规渠道；分析逻辑基于作者的职业理解，通过合理判断并得出结论，力求独立、客观、公正，结论不受任何第三方的授意或影响；作者在过去、现在或未来未就其研究报告所提供的具体建议或所表述的意见直接或间接收取任何报酬，特此声明。

国信证券投资评级

类别	级别	说明
股票投资评级	买入	股价表现优于市场指数20%以上
	增持	股价表现优于市场指数10%-20%之间
	中性	股价表现介于市场指数±10%之间
	卖出	股价表现弱于市场指数10%以上
行业投资评级	超配	行业指数表现优于市场指数10%以上
	中性	行业指数表现介于市场指数 ±10%之间
	低配	行业指数表现弱于市场指数10%以上

重要声明

本报告由国信证券股份有限公司（已具备中国证监会许可的证券投资咨询业务资格）制作；报告版权归国信证券股份有限公司（以下简称“我公司”）所有。本报告仅供我公司客户使用，本公司不会因接收人收到本报告而视其为客户。未经书面许可，任何机构和个人不得以任何形式使用、复制或传播。任何有关本报告的摘要或节选都不代表本报告正式完整的观点，一切须以我公司向客户发布的本报告完整版本为准。

本报告基于已公开的资料或信息撰写，但我公司不保证该资料及信息的完整性、准确性。本报告所载的信息、资料、建议及推测仅反映我公司于本报告公开发布当日的判断，在不同时期，我公司可能撰写并发布与本报告所载资料、建议及推测不一致的报告。我公司不保证本报告所含信息及资料处于最新状态；我公司可能随时补充、更新和修订有关信息及资料，投资者应当自行关注相关更新和修订内容。我公司或关联机构可能会持有本报告中所提到的公司所发行的证券并进行交易，还可能为这些公司提供或争取提供投资银行、财务顾问或金融产品等相关服务。本公司的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中意见或建议不一致的投资决策。

本报告仅供参考之用，不构成出售或购买证券或其他投资标的要约或邀请。在任何情况下，本报告中的信息和意见均不构成对任何个人的投资建议。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。投资者应结合自己的投资目标和财务状况自行判断是否采用本报告所载内容和信息并自行承担风险，我公司及雇员对投资者使用本报告及其内容而造成的一切后果不承担任何法律责任。

证券投资咨询业务的说明

本公司具备中国证监会核准的证券投资咨询业务资格。证券投资咨询，是指从事证券投资咨询业务的机构及其投资咨询人员以下列形式为证券投资人或者客户提供证券投资分析、预测或者建议等直接或者间接有偿咨询服务的活动：接受投资人或者客户委托，提供证券投资咨询服务；举办有关证券投资咨询的讲座、报告会、分析会等；在报刊上发表证券投资咨询的文章、评论、报告，以及通过电台、电视台等公众传播媒体提供证券投资咨询服务；通过电话、传真、电脑网络等电信设备系统，提供证券投资咨询服务；中国证监会认定的其他形式。

发布证券研究报告是证券投资咨询业务的一种基本形式，指证券公司、证券投资咨询机构对证券及证券相关产品的价值、市场走势或者相关影响因素进行分析，形成证券估值、投资评级等投资分析意见，制作证券研究报告，并向客户发布的行为。

国信证券经济研究所

深圳深圳市福田区福华一路125号国信金融大厦36层邮编：518046总机：0755-82130833

上海
上海浦东民生路1199弄证大五道口广场1号楼12层
邮编：200135
北京
北京西城区金融大街兴盛街6号国信证券9层
邮编：100032

START YOUR FINANCE

起点财经，网罗天下报告

电子AI+系列专题报告

边缘AI：大语言模型的终端部署，推动新一轮终端需求

核心观点

行业研究·行业专题

电子

超配·维持评级

证券分析师：胡慧

市场走势.

相关研究报告.

每日免费获取报告

内容目录

图表目录

百亿参数大模型具备涌现能力，训练数据需等比例提升

大模型的参数上限：参数的增加需要同等量级的训练集增加

大模型训练对硬件的挑战：算力、内存和通信

终端部署具有必要性，轻量化技术优化模型

缩减优化模型，部署终端设备

“贾维斯”式智能管家，引领全新换机需求

当前旗舰机款手机芯片仅可运行优化版十亿参数级大模型

风险提示

免责声明

国信证券投资评级

重要声明

证券投资咨询业务的说明

国信证券经济研究所

START YOUR FINANCE

电子行业AI+系列专题报告：边缘AI，大语言模型的终端部署，推动新一轮终端需求-20230531-国信证券-25页