从英伟达 GTC 看 AI 工厂的投资机会

华泰研究

2023 年 3 月 23 日│中国内地

专题研究

AI 的“iPhone”时刻来临，算力基础设施板块有望充分受益

英伟达美国时间 3.21 开始召开年度开发者大会（GTC）。在会上 CEO 黄仁勋再次强调 ChatGPT 等生成式 AI 的出现，会改变千行百业，AI 正迎来“iPhone”时刻。公司展示了从芯片、服务器、大模型到云服务在内的完整的 AI 工厂解决方案，并希望能够成为 AI 时代的台积电。我们认为，1）大模型将是科技巨头之间的竞争，这个竞争会利好芯片送水人，2）芯片和数据成为制约发展的关键因素。关注 1）先进封装及计算芯片在内的半导体产业链，2）服务器、PCB、光模块光纤在内数据中心产业链，以及（3）海康、大华、商汤等相关公司在垂直行业布局。

芯片：新版 H100提高训练速度 10倍，国内在技术上仍有较大提升空间目前，主流的 AI 训练一般采用英伟达的 A100 或 H100芯片，这次大会上，公司推出针对大模型优化过的新训练芯片 H100 NVL，和过去的 A100 相比，训练速度提高 10 倍，成本降低一个数量级。目前，AI 推理上，一般采用 2018年发布的 T4 芯片，这次公司发布出面向视频生成和图像生成的新推理芯片L4 和 L40，其中 L40 推理性能是 T4 的 10 倍。受美国出口管制限制，中国目前只能采购实测性能比 A100 低 1/3 的 A800，因此训练同一个体量的模型，中国在成本及速度上存在 10 倍以上的差距。目前国内 AI芯片厂商在推理芯片已有一定市占率，但受 CUDA 等软件影响，训练芯片上差距仍较大。

从 GPU 到 AI 工厂，AI 计算会为整个服务器产业链带来增长

这次会上，英伟达重点展示了如何从单颗 GPU 芯片 H100，通过 NVLINKSwitch 形成一颗巨型 GPU，然后通过 Quantum InfiniBand 技术，搭建有上百张 GPU 的 DGX 服务器，及把多台 DGX 联通形成一台 AI 超级计算机的全过程。我们看到整个系统的搭建过程，会带动包括服务器整机，PCB、光模块、光纤光缆、电源在内的整个服务器产业链的性能升级。产业链相关环节公司包括：工业富联、中兴、紫光、联想、沪电、胜宏、中际旭创等。

从云计算到大模型服务，关注垂直行业的发展机会

此次会上，英伟达还宣布推出每实例每月 36,999 美元起的 AI 计算服务NVIDIA DGX Cloud，和新的 Al Foundations 服务（包括语言大模型 Nemo、视觉大模型 Picasso 和生物大模型 BioNemo 在内的模型研发服务），定位为超算云服务+模型代工厂。公司强调未来每家公司都会成为 AI工厂，企业专有数据价值量高，AI 云服务帮助企业以专有数据创建专有模型。目前中国大模型应用的发展还在起步阶段，参考上一轮人工智能周期，我们认为对垂直行业有深刻理解，有软硬件整合能力的企业更容易享受到 AI 红利。

风险提示：AI 及技术落地不及预期；本研报中涉及到未上市公司或未覆盖个股内容，均系对其客观公开信息的整理，并不代表本研究团队对该公司、该股票的推荐或覆盖。

电子

增持 (维持)

研究员

黄乐平，PhD

SAC No. S0570521050001 leping.huang@htsc.com

SFC No. AUZ066 +(852) 3658 6000

研究员

余熠

SAC No. S0570520090002 yuyi@htsc.com

SFC No. BNC535 +(86) 755 8249 2388

张皓怡

SAC No. S0570522020001 zhanghaoyi@htsc.com +(86) 21 2897 2228

联系人	胡宇舟
SAC No. S0570121040041	huyuzhou@htsc.com
SFC No. BOB674	+(852) 3658 6000

联系人	王心怡
SAC No. S0570121070166	xinyi.wang@htsc.com
SFC No. BTB527	+(86) 21 2897 2228

联系人陈钰
SAC No.S0570121120092 chenyu019111@htsc.com
	+(86) 21 2897 2228

SAC No. S0570122070045 quanheyang@htsc.com

权鹤阳

+(86) 21 2897 2228

行业走势图

资料来源：Wind，华泰研究

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长 …… 全面赋能！

关注公众号获取更多资料

添加微信：xxyg_wei

备注“入群”

立刻免费领取

200套知识地图+最新研报

致终身学习者社群

行业报告/思维导图/电子书/资讯情报

收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音……

扫码先加好友，以备不时之需

AI 工厂投资机会：算力基础设施板块&多模态 AI 板块

本次 GTC，我们看到英伟达从硬件到软件，全方位打造 AI 工厂。我们认为行业已经进入以大模型、大算力为特征的 AI 2.0时代。算力基础设施板块将充分受益，以下公司积极布局：1）先进工艺：中芯国际、2）计算芯片：寒武纪、海光、龙芯、瑞芯微；3）先进封装：华峰、光力、长电、通富；4）PCB：沪电、胜宏；5）光模块/光芯片：中际旭创、天孚、新易盛、华工科技、源杰；6）服务器：紫光股份、中兴、锐捷、富联、联想；7）交换机芯片：裕太微、盛科通讯；8）数据中心：英维克；9）光纤光缆：长飞、亨通、中天。此外，近期英伟达、OpenAI、谷歌等在多模态 AI领域展现实力，国内海康、大华、视源积极布局此领域。

图表1：算力基础设施板块&多模态 AI 板块相关公司

板块	中国企业
先进工艺	中芯国际
计算芯片	寒武纪、海光信息、龙芯中科、瑞芯微
先进封装	华峰测控、光力科技、长电科技、通富微电
PCB	沪电股份、胜宏科技
光模块/光芯片	中际旭创、天孚通信、新易盛、华工科技、源杰科技
服务器	紫光股份、中兴通讯、锐捷网络、工业富联、联想
交换机芯片	裕太微、盛科通讯 (拟上市)
数据中心	英维克
光纤光缆	长飞光缆、亨通光电、中天科技
多模态AI	海康威视、大华股份、商汤，视源股份

资料来源：华泰研究

图表2：算力基础设施板块&多模态 AI 板块相关公司估值表

注：收盘价、市值截至 2023 年 3 月 22 日，美元兑港币数据截至 2023 年 3 月 21 日，预测数据为Wind 一致预期。资料来源：Wind，华泰研究

从 GTC2023看英伟达 AI 算力基础设施

英伟达 GTC2023 中，为了满足 AI 市场的需求，英伟达不仅发布了 L4 Tensor Core GPU、L40 GPU、H100 NVL GPU 和 Grace Hopper 等超级芯片，还进一步推出 NVIDIA DGX 超级计算机，成为大语言模型实现突破背后的引擎。英伟达在 GTC2023 中表示，《财富》100强企业中有一半安装了 DGX AI 超级计算机，DGX 已成为 AI领域的必备工具。

英伟达 DGX——大语言模型背后的引擎

根据 GTC2023，DGX 配有 8 个 H100 GPU 模组，H100 配有 Transformer 引擎，旨在支持类似 ChatGPT 的大模型。这 8 个 H100 模组通过 NVLINK Switch 彼此相连，以实现全面无阻塞通信。8个H100协同工作，形成一个巨型GPU。通过400 Gbps超低延迟的NVIDIAQuantum InfiniBand进行网络内计算，将成千上万个DGX节点连接成一台AI超级计算机，并不断扩展应用范围，成为全球客户构建 AI 基础设施的蓝图。

图表3： NVIDIA DGX 超级计算机结构

资料来源：GTC2023，华泰研究

图表4： NVIDIA DGX H100 超级计算机

资料来源：GTC2023，华泰研究

除了 NVIDIA DGX 超级计算机以外，英伟达还宣布推出 NVIDIA DGX Cloud 和 NVIDIA AIFoundations。

1）NVIDIA DGX Cloud。通过与 Microsoft Azure、Google GCP 和 Oracle OCl 合作，通过一个浏览器就可以将 NVIDIA DGX AI 超级计算机即时地接入每家公司。DGX Cloud 经过优化,可运行 NVIDIA Al Enterprise，这是一款全球领先的加速库套件，用于 AI 端到端开发和部署。DGX Cloud将NVIDIA的生态系统引入到了云服务提供商，NVIDIA触及的范围得以扩展。

2）NVIDIA AI Foundations。这是一项云服务，面向需要构建、优化和运营定制LLM（大型语言模型）和生成式 AI，客户使用其专有数据进行训练，用于处理特定领域的任务，包括语言、视觉和生物学模型制作服务。NVIDIA NeMo 用于构建定制的语言/文本转文本生成式模型，Picasso是一项视觉语言模型制作服务，BioNeMo提供用于药物研发的生成式AI模型。

我们认为，ChatGPT 等应用引发对 AI 算力的需求，加速计算和生成式 AI 推理将带动训练/推理芯片需求的爆发。

图表5：英伟达 NVIDIA DGX Cloud

资料来源：英伟达 GTC2023，华泰研究

图表6：英伟达 NVIDIA AI Foundations

资料来源：英伟达 GTC2023，华泰研究

AI 计算如何推动训练芯片需求

NVIDIA 和 AMD 为 GPGPU 领域代表性厂商，二者占据市场绝大部分份额。其中NVIDIA2022年数据中心业务收入突破 150亿美元，2015-2022年复合增速达 71.86%；AMD经过我们推算 GPGPU 营收约为 16 亿美元(数据中心营收剔除 CPU 及 FPGA 部分)。

目前 AI 训练主要采用：1）英伟达在 AI 训练 GPGPU：包括 V100/A100/H100（22 年下半年开始量产出货）以及美国限制出口后英伟达推出的裁剪版 A800。2）AMD 推出的 AI 训练芯片包括 MI 250/250X/300。

图表7：英伟达 GPGPU 系列芯片关键参数

公司	代码	财报货币	收盘价	市值（亿元）		PE 2023E	2024E	2022E	PS 2023E	2024E	年初至今涨跌幅
公司	代码	财报货币	收盘价		2022E	PE 2023E	2024E	2022E	PS 2023E	2024E	年初至今涨跌幅

中芯国际	688981 CH CNY		52.30	1,982	34.0	53.6	42.3	4.0	4.0	3.4	27.1%
计算芯片
寒武纪
	688256 CH	CNY	160.15	642	104.7	na	na	88.0	55.8	39.5	193.5%
海光信息	688041 CH	CNY	65.93	1,532	na	107.6	72.1	29.9	19.9	13.9	64.3%
龙芯中科	688047 CH	CNY	138.88	557	365.5	206.2	122.2	75.3	30.8	20.3	62.5%
瑞芯微	603893 CH	CNY	91.13	381	701.0	50.3	34.2	15.5	10.8	7.6	32.4%
先进封装
华峰测控	688200 CH	CNY	288.55	263	50.0	39.8	29.6	24.5	18.9	14.1	4.4%
光力科技	300480 CH	CNY	20.20	71	3.5	na	na	na	na	na	32.7%
长电科技	600584 CH	CNY	32.79	584	17.8	16.1	13.8	1.7	1.5	1.4	42.3%
通富微电	002156CH CNY		23.70	359	60.3	31.9	22.4	1.8	1.4	1.2	43.8%
PCB 沪电股份
	002463 CH	CNY	19.04	361	26.5	21.6	17.1	4.3	3.6	3.0	60.0%
胜宏科技	300476 CH CNY		18.31	158	25.5	14.6	11.2	1.9	1.6	1.3	41.5%
光模块/光芯片
中际旭创	300308 CH	CNY	44.20	354	28.5	24.1	20.0	3.7	3.0	2.5	63.5%
天孚通信	300394 CH	CNY	49.42	195	31.9	38.3	30.6	16.2	11.8	9.2	95.0%
新易盛	300502 CH	CNY	37.05	188	36.4	18.1	15.1	5.4	4.3	3.5	56.0%
华工科技	000988 CH	CNY	22.81	229	25.3	19.0	14.8	1.9	1.5	1.2	39.0%
源杰科技	688498 CH	CNY	155.30	94	69.6	60.6	44.5	33.3	24.2	17.7	29.9%
服务器紫光股份
	000938 CH	CNY	29.38	840	13.2	28.0	23.0	1.1	0.9	0.8	50.6%
中兴通讯	000063CH	CNY	35.72	1,594	20.9	17.2	14.9	1.3	1.1	1.0	38.1%
锐捷网络	301165 CH	CNY	48.88	278	49.7	36.8	27.2	2.5	1.9	1.5	43.3%
工业富联	601138 CH	CNY	16.06	3,189	15.7	13.5	12.1	0.6	0.6	0.5	74.9%
联想	0992 HK	USD	7.29	884	6.2	5.8	5.2	0.2	0.2	0.2	13.7%
交换机芯片
裕太微	688515 CH CNY		195.25	156	na	435.9	160.8	38.8	22.3	16.5	0.0%
数据中心
英维克	002837 CH CNY		31.02	135	na	40.2	30.0	5.1	3.7	2.8	-6.9%
光纤光缆
长飞光缆
	601869 CH CNY		40.33	216	26.0	20.3	16.5	1.6	1.3	1.1	23.6%
亨通光电	600487 CH	CNY	15.43	381	10.0	14.0	11.3	0.8	0.7	0.6	2.5%
中天科技	600522 CH CNY		16.97	579	17.4	13.1	10.8	1.4	1.2	1.1	5.1%

GPGPU系列产品的关键指标
公司				AMD
产品型号	Tesla V100	Tesla A100	H100	MI100	MI 250	MI 250X	MI 300
GPU	GV100	GA100	GH100	Arcturus	Aldebaran	Aldebaran
架构	Volta	Ampere	Hopper	CNDA 1.0	CNDA 2.0	CNDA 2.0	CNDA 3.0
SM	80	108	132	：	：	：	·
SP	5,120CUDA	6,912CUDA	16,896CUDA	7.680	13.312	14,080	=
张量/矩阵核心单元	640	432	528	480	832	880
GPU超频频率/MHz	1,530	1,410	1,775	1.502	1,700	1,700	-
FP32单元峰值（GFLOPS)	15,670	19,490	67,000	23,100	45,260	47,870	-
FP64单元峰值（GFLOPS)	7.834	9,746	34,000	11.500	45,260	47.870	=
张量单元/矩阵峰值（TFLOPS，FP16）	125	312	1,979	184.6	362	383	：
存储器接口	4096-bit HBM2	5120-bit HBM2e	5120-bit HBM3	4096-bit HBM2	8192-bit HBM2e	8192-bit HBM2e	HBM3
存储器大小	16GB	40GB	80GB	32GB	128GB	128GB	128GB
TDP/瓦	300	250	700	300	560	560	：
晶体管数量/10亿	21.1	54.2	80	：	58	58	146
芯片大小/mm2	815	826	814	750	700+	700+	：
工艺/nm	12FFN	7	4	7	6	6	5/6

资料来源：Nvidia，华泰研究

下图是一个典型的 AI 训练芯片的架构，主要包括：

1) CUDA： CUDA 是一种将 GPU 作为数据并行计算设备的软硬件体系，不需要借助图形学 API，而是采用了比较容易掌握的类 C语言进行开发，开发人员能够利用熟悉的C 语言比较平稳地从 CPU 过渡到 GPU 编程。与以往的 GPU 相比，支持 CUDA 的GPU 在架构上有了显著的改进：1）采用了统一处理架构，可以更加有效地利用过去分布在顶点着色器和像素着色器的计算资源；2）引入了片内共享存储器。两项改进使得 CUDA 架构更加适用于通用计算，加上 2008 年后苹果、AMD、和 IBM 推出的OpenCL 开源标准，GPGPU 在通用计算领域迅速发展。

2) 张量和矩阵核心：GPGPU 的大量硬件运算单元和高吞吐高带宽的存储设计能够提供强大的计算能力，同时针对矩阵运算和卷积，在软件层面提供了灵活完善的加速库支持，使得 GPGPU 能够充分地利用其硬件计算资源和存储资源,实现高吞吐的卷积计算。为了进一步提升矩阵运算的性能，近年来 NVIDIA 和 AMD 的 GPGPU 增加了全新的张量和矩阵核心大幅加速阵运算，而且还支持多种精度，使得 GPGPU 能够适应深度神经网络不同场景、不同应用的精度需求。

3) HBM 存储器：新一代 DRAM解决方案，突破内存容量与带宽瓶颈。HBM 是一款新型的 CPU/GPU 内存芯片，通过将多颗 DDR 颗粒利用 3D 堆叠后和 CPU/GPU 封装在一起，以实现大容量、高位宽的 DDR 组合阵列。通过增加带宽，扩展内存容量，让更大的模型，更多的参数留在离核心计算更近的地方，从而减少内存和存储解决方案带来的延迟。

4) 控制单元：CPU 包括运算逻辑部件、寄存器部件和控制部件等，是计算机的运算和控制核心，注重通用性来处理各种不同的数据类型，由于 CPU 结构中大部分晶体管用于构建控制电路和存储单元，只有少部分用来完成实际运算工作，所以 CPU 在大规模并行计算能力上极为受限。

图表8：典型 AI芯片的架构：（计算单元+HBM+控制单元）

资料来源：Nvidia，华泰研究

在单芯片计算训练性能不断提升的基础上，服务器整体能效的提升同样受到关注。英伟达在此次 GTC 大会上推出 DGX H100 服务器，配有 8 个 H100 GPU 模组，配有 Transfofmer引擎以支持处理类似 ChatGPT 的生成式训练模型，FP8 精度在大型语言模型相较上一代A00 的训练和推理能力分别提升 9/30 倍。8 个 H100 模组通过 NVLINK Switch 相连，确保GPU 之间的合作和通信。目前 DGX 100 已全面投产，后期有望面向全球企业。

图表9： DGX H100/A100 参数对比

NVIDIA

系列产品的关键指标

产品型号

GPU

GPU显存

性能

NVIDIANVSwitch

最大系统功耗/kW

CPU

网络

存储

软件

最大系统重量/kg

系统尺寸/mm

运行温度范围

DGX A100

8个A100TTensor

640GB

5 PFLOPSAI，10POPSINT8

6.5 2.25G

双路AMDRome77422、共28个核心、GHz（基准频率）、3.4HZ（最大加速频率）

2TB

8个单端口NVIDIAConnectX-6/7200Gb/s的InfiniBand端口，2个双端口NVIDIAConnectX-6/7 VPI10/25/50/100/200Gb/s以太网

操作系统：2个1.92TB M.2 NVME驱动器内部存储：30TB（8个3.84TB）U.2NVMe驱动器

Ubuntu Linux 操作系统同时支持：RedHat 企业级LinuxCentOs

123.16，163.16（包装后）

高度：264.0宽度：最大482.3长度：最大897.1

5℃-30℃

DGX H100

8个H100TensorCoreGPU

32640GB

PFLOPSFP8

10.2

双路x86

42TB

个OSFP端口，提供8个单端口NVIDIA ConnectX-7网卡，400Gb/s的InfiniBand/以太网；2个双端口NVIDIABlueField-3DPUVPI,1个400Gb/s的InfiniBand/以太网网卡，1个200Gb/s的infiniBand/以太网网卡

操作系统：2块1.9TBNVMe M.2硬盘内部存储：8块3.84TBNVMeU.2硬盘

DGX H100系统预安装DGX操作系统，该操作系统基于UbuntuLinux，包含DGX软件堆栈（所有必要软件包和驱动均针对DGX优化）。客户可以选择单独安装Ubuntu Linux或Red HatEnterprise Linux以及必要的DGX软件堆栈。

5至30°C

资料来源：英伟达 GTC2023，华泰研究

训练大模型到底需要多少硬件：

据 OpenAI 团队发表于 2020 年的论文《Language Models are Few-Shot Learners》，训练一次 1746 亿参数的 GPT-3 模型需要的算力约为 3640 PFlop/s-day（即假设每秒计算一千万亿次，需要计算 3640 天）。考虑到 ChatGPT 训练在 GPT-3.5 模型基础上增加了参数量和训练样本量，其训练阶段的算力需求超过 3640 PFlop/s-day。

观点#1: 10,000 张 A100：根据 Lambda 数据，微软花费数亿美元帮助 OpenAI 组装了一台AI 超级计算机，以帮助开发 ChatGPT。这台超算拥有超过 285,000 个 CPU 内核，使用了数万个英伟达图形芯片 A100，每个 GPU 服务器的网络连接速度为每秒 400GB，使得OpenAI 能够训练越来越强大的 AI 模型。微软表示，与世界超级计算机 500 强中的其他机器相比，它排在前五名。

观点#2：1024 张 A100：根据《Efficient Large-Scale Language Model Training on GPUClusters Using Megatron-LM》的实际训练数据，1750 亿参数、300B tokens 数据集的 GPT-3模型，在 1024 块英伟达 A100 上，当 batch size=1536 时，每 GPU 实际算力能够达到 140teraFLOP/s，训练时间为 34 天。

华泰预测：需要近 2000 张 A100。我们也对一次训练 Chatgpt 需要的成本和 GPU 数量进行了测算，根据公式所需硬件数等于训练所需浮点运算次数（模型参数 1750 亿*训练集大小 300 亿*每单词训练所需浮点数 6次）/单位 GPU 单位时间有效浮点运算次数。我们假设模型训练 30 天，则对应需要 1944 张 A100。如果按照 DGX 8张 GPU 来算，约为 243台Al 服务器(8GPU+1CPU)。此外我们还粗略估算出一次训练成本大致需要 187 万美元。

图表10：算法与数据发展引发爆炸式算力需求，目前算力制约整体技术发展

模型训练GPU用量与时长：英伟达Megatron-LM实际训练数据
策略	参数量（亿）	模型并行开模	Batch GPU数量 size	Microbatch实际每GPU吞吐 size量(teraFiOP/s)	训练时间（天）	90 训练策略不合适时，增加 GPU数量对减少训练时间也无济于事
无模型并行的ZeRO-3	174.6 1	384	4	144
	174.6 1	1536 768	2	88
	529.6		1536	1	74 44 74 169
		2560	640	4 138
		1 1120		2
PTD并行	174.6 96	2240-	2240	1	98 137 48 140
		384	1	153	84
		1536 768		1
		1536	1	149 141	43 23
			560		156
		280 2240 1120	1 1	171 167	80
			2240	1	159	42 控制其它条件不变，增加GPU数量时，由于芯
我们测算		训练成本=GPU需求量×单位成本=	训练所需浮点运算次数	-×单位成本		片互连带宽等限制因素，实际每GPU算力下降
				单位GPU单位时间有效浮点预算次数
			模型参数{1750亿}×训练集大小(300亿)×每单词训练所需浮点数(6)		×单位成本=187万美元

资料来源：Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM，华泰研究预测

中国 AI 训练芯片进展：仍与英伟达在性能和生态有一定差距。训练芯片需通过海量数据训练出复杂的神经网络模型，使其适应特定的功能，对性能和精度有较高的要求，并需具备一定的通用性。近年来，国内厂商训练芯片产品硬件性能不断取得突破，但与市场主流英伟达 A100 产品仍存在一定差距。以云邃 T20 产品为例，其 32 位单精度浮点性能达 32TFLOPS，高于 A100 的 19.5 TFLOPS，且在功耗上更具优势，但内存宽带不足 A100 的 1/3，在应对机器学习和深度学习的带宽需求上仍有差距。寒武纪去年年底推出思元 590 系列可能在部分模型上由于其 ASIC 专用性表现出更优异的性能，但仍需要后期适配和技术支持。

图表11：国内主要云端训练芯片与英伟达主流训练芯片对比

处理器名称	NVIDIA H100 PCle	NVIDIA A10080GBPcle	NVIDIA A800 80GB Pcle	寒武纪思元290	华为海思昇腾910	海光信息深算一号	摩尔线程 MTTS3000	原云燧T20	壁仞科技 BR100
逻辑核心数	14592 (CUDAcores)	6912 (CUDA cores)	6912 (CUDAcores)	多核	弹性多核	4096 (64 CUs)	4096 MUSA	24 GCU-CARE	NA
训练计算性能	60 TFLOPS （FP32）	19.5 TFLOPS （FP32）	19.5TFLOPS （FP32）	256 TOPS (INT16）	320 TFLOPS （FP16）	NA	15.2 TFLOPS （FP32）	32TFLOPS （FP32）	240 TFLOPS （FP32）
内存大小	80GB	80GB	80GB	32GB	NA	32Gb	32GB	32Gb	64GB
内存带宽	2TB/S	2039GB/S	1935GB/S	1228GB/S	NA	2014GB/S	448GB/S	1.6TB/S	1.64TB/S
功耗	350W	400W	300W	350W	310W	350W	250w	300w	450-550W
能效比	0.17 TFLOPS/W	0.05 TFLOPS/W	0.07 TFLOPS/W	0.73TFLOPS/W （INT16）	1.03 TFLOPS/W （FP16）	NA	0.06TFLOPS		0.11 TFLOPS/W0.48 TFLOPS/W
工艺节点	5nm	7nm	7nm	7m	7nm	7nm	12nm	12nm	7nm

资料来源：各公司官网，华泰研究

AI 计算如何推动推理芯片需求

AI 推理需要什么芯片：训练是计算密集型，模型需要大量的数据进行训练，通过反向传播优化参数，从而让模型达到某种目的。而推理过程更多在场景下，需要对训练的模型进行一定压缩、裁剪或做计算上的优化，以便能快速、高效的多未知数据进行操作。例如我们在视频监控中对人脸识别、电商运营中个性化推荐、电子支付中身份识别等都是常见的推理场景。通常来说我们采用“云端训练，端侧推理”模式，即将数据传到云侧进行训练模型，训练好的模型随后下放到端侧，端侧利用训练好的模型直接进行推理。

在推理芯片的选用方面，相较于训练更多关注模型大小而言，推理更依赖于任务本质，以此决定所需芯片种类。当需要大量内容/图像 AI 生成式时，需要 GPU 进行推理计算（如英伟达主流的 T4 芯片）；而对于较简单的推理过程（语音识别等），CPU 有时也会成为较好的推理引擎。

图表12：英伟达 GPGPU系列芯片关键参数

英伟达主要数据中心AI推理芯片参数

公司

产品型号

架构

CUDA核心单元

张量核心单元

GPU超频频率/MHz

BF16/FP16单元峰值(TFLOPS)

FP32单元峰值(TFLOPS)

FP64单元峰值(GFLOPS)

张量单元峰值TFLOPS,FP16)

存储器接口

存储器大小/GB

TDP/瓦

晶体管数/10亿

芯片大小/mm2

工艺/nm

英伟达

Tesla T4

Turing

2560

320

1590

8.1

0.2544

256-bitGDDR6

13.6

545

资料来源：Nvidia，华泰研究

在本次 GTC 大会上，我们还看到英伟达为加速生成式 AI 开发及部署，在原有推理芯片上推出新的推理平台，主要包括：

1）适用于 AI 视频的 L4：主要视频解码和转码、视频内容审核，以及视频通话功能，例如背景替换、重新打光、眼神交流，转录和实时翻译进行优化，一台 8-GPU L4 服务器将取代一百多台用于处理 AI 视频的双插槽 CPU 服务器，行业内 Google Cloud 正加速在 L4 上部署主要工作负载。

2）适用于 Omiverse 和图形渲染的 L40：主要针对 Omniverse、图形渲染以及文本转图像和文本转视频等生成式 Al，性能是 NVIDIA推理 GPU T4 的 10 倍。

3）适用于扩展 LLM 推理的 H100 PCIE：H100 PCIE 配备 94GB HBM3 显存，可以处理拥有 1750 亿参数的 GPT-3，同时还可支持商用 PCIE 服务器扩展，与适用于 GPT-3处理的 HGX A100 相比，一台搭载四对 H100 及双 GPU NVLINK 的标准服务器的速度要快 10 倍。

4）适用于推荐系统和向量数据库的超级芯片 Grace-Hopper：通过 900GB/秒的高速一致性芯片到芯片接口连接 Grace CPU 和 Hopper GPU，适合处理大型数据集，如适用于推荐系统和大型语言模型的 AI 数据库。

图表13：全新的推理平台：四种配置— —一个体系架构、一个软件栈

,资料来源：英伟达 GTC2023，华泰研究

AI 推理成本：推理阶段运营成本较高，根据场景而定。据 SimilarWeb 数据，2023 年 1 月ChatGPT 官网总访问量为 6.16 亿次；据《Fortune》杂志，每次用户与 ChatGPT 互动，产生的算力云服务成本约 0.01 美元。基于此，推算 ChatGPT 单月运营对应成本约 616 万美元。与训练阶段相比较而言，同样接近 1 个月的耗时，假设根据 Lambda 测算 3640PFlop/s-day 的训练算力需耗费 466 万美元，单位算力成本固定，ChatGPT 运营阶段的推理过程所需算力基础设施将多于训练阶段。这里我们仅考虑一个提问回答场景，我们认为推理应用涉及较广，其对应的 GPU 需求超过万片，远大于训练模型所需 GPU。

中国 AI 推理芯片进展：推理芯片则是利用神经网络模型进行推理预测，对峰值计算性能要求较低，则更加注重单位能耗算力、时延、成本等综合指标，我国厂商多选择先从推理端切入。寒武纪、海思以及燧原等国内厂商产品已具备与市场主流的 Tesla T4 正面竞争能力。以寒武纪思元 370 为例，其 INT8 运算性能达到 256 TOPS，高于 T4 的 130TOPS，且能效比和性价比均更优，已具备替代 T4 能力。

图表14：国内主要推理芯片与英伟达主流推理芯片对比

处理器名称	NVIDIA Tesla T4	寒武纪思元370	华为海思昇腾310	原云燧120	登临科技 Goldwasser L256	昆仑芯 2代AI芯片
训练计算性能(TFLOPS)	8.1 (FP32)	支持训练	支持训练	32 (FP32)	64 (FP16)	128 (FP16)
推断计算性能(TOPS)	130 INT8	256 INT8	16 INT8	256 INT8	256 INT8	256 INT8
功耗	70W	75W	8W	150W	45W	NA
带宽	320 GB/S	NA	NA	819GB/S	NA	512GB/S
推断能效比	1.86 TOPS/W	3.41TOPS/W	2 TOPSMW	1.71 TOPSW	5.69 TOPS/W	NA
工艺节点	12nm	7nm	12nm	12nm	NA	7nm

资料来源：各公司官网，华泰研究

AI Foundations：“超算云服务+模型代工厂”，AI 大模型领域的台积电

生成式 AI 将重塑几乎所有行业。英伟达在今年 2 月的 4QFY23 业绩会上表示，过去公司只生产实物，而未来每家公司都会成为 AI 工厂，以源源不断的数据更新自己的模型；企业内部专有数据价值量高，AI 云服务能够帮助企业使用专有数据创建专有模型。本次 GTC 上，英伟达再次强调企业内部专有数据、专有模型的价值：一些专业领域的公司需要使用其专有数据来构建定制模型，需要制定使用规范并优化模型，以契合公司的安全、隐私要求。英伟达表示，行业需要一个类似台积电的代工厂，来构建自定义的大型语言模型。

英伟达在本次 GTC推出 NVIDIA Al Foundations，定位为“超算云服务+模型代工厂”，用于企业构建自定义语言模型和生成式 Al。NVIDIA AI Foundations 包括语言、视觉和生物学模型构建服务，分别名为 Nemo、Picasso 和 BioNemo，使用企业专有数据进行训练，用于处理特定领域的任务。我们认为超算云服务+模型代工厂的商业模式是英伟达作为芯片送水人在大模型时代的商业模式自然延伸。

图表15： NVIDIA Al Foundations

资料来源：英伟达，华泰研究

语言模型服务 Nemo

NVIDIA NeMo 用于构建定制的语言文本转文本生成式模型，基于 5个基础模型（图 16），其特点在于：

1）企业可以使用专业数据进行参数调优，以教授其专业技能，比如汇总财务文档，创建特定品牌的内容以及以个性化的写作风格撰写电子邮件。同时，企业可以将模型连接到专有知识库，可确保响应是准确的、最新的，并为其业务所引用。

2）企业可以添加逻辑以及监控输入、输出、毒性和偏差阈值来确保模型安全性。

3）模型投入使用后可以根据用户交互通过强化学习不断改进。

图表16： NVIDIA Nemo 服务

资料来源：英伟达，华泰研究

图表17： Nemo服务基础模型

	GPT-8	GPT-43	GPT-530	Inform	BLOOMZ-TO
参数量(B)	8	43	530		13
数据量(B tokens)	1100	1100	340
用例	文本分类、拼写校正邮件撰写、事实问答		文本摘要、创意写作、聊天机器人	企业智能、信息检索、问答	语言翻译、语言理解、问答

资料来源：英伟达，华泰研究

视觉模型服务 Picasso

NVIDIA Picasso 是一项视觉语言模型制作服务，用于构建和部署生成式 AI 赋能的图像、视频和 3D应用，面向希望使用许可内容或专有内容来训练自定义模型的客户。Picasso 服务的基础模型是 Edity，企业可以使用专有数据加以训练。此外，由 Picasso 生成的素材可以导入编辑工具或 NVIDIA Omniverse，以构建逼真的虚拟世界、元宇宙应用和数字孪生仿真。

Adobe 和英伟达将共同开发生成性人工智能模型，重点关注负责任的内容归属和出处。这些模型将通过 Adobe Cloud 旗舰产品（如 Photoshop、Premiere Pro 和 After Effects）以及 Picasso 共同开发并推向市场。

图表18： NVIDIA Picasso 服务

资料来源：英伟达，华泰研究

图表19： NVIDIA Picasso 输入文本，输出图片、视频、3D 模型

资料来源：英伟达，华泰研究

文生视频

生物模型服务 BioNemo

NVIDIA BioNeMo 服务将生成式 AI 应用于药物发现。通过 NVIDIA 云 API，研究人员可以快速定制和大规模部署特定领域、最先进的生成和预测生物分子 AI 模型，以快速生成蛋白质和生物分子的结构和功能，加快新药研发。BioNemo 的具体功能包括蛋白质结构预测、分子表示、分子生成和分子对接。AlphaFold、 ESMFold 和 Open Fold 等用于三维蛋白质结构预测，ProtGPT 用子蛋白质生成，ESM1 和 ESM2 用于蛋白质特性预测，MegaMolBART 和 MoFlow 用于分子生成，DiffDock 则用于分子对接。

图表20： NVIDIA BioNemo 服务

资料来源：英伟达，华泰研究

风险提示

1）AI 技术落地不及预期。虽然 AI 技术加速发展，但由于成本、落地效果等限制，相关技术落地节奏可能不及我们预期。

2）本研报中涉及到未上市公司或未覆盖个股内容，均系对其客观公开信息的整理，并不代表本研究团队对该公司、该股票的推荐或覆盖。

免责声明

分析师声明

本人，黄乐平、余熠、张皓怡，兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见；彼以往、现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬。

一般声明及披露

本报告由华泰证券股份有限公司（已具备中国证监会批准的证券投资咨询业务资格，以下简称“本公司”）制作。本报告所载资料是仅供接收人的严格保密资料。本报告仅供本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。

本报告基于本公司认为可靠的、已公开的信息编制，但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。

本报告所载的意见、评估及预测仅反映报告发布当日的观点和判断。在不同时期，华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来，未来回报并不能得到保证，并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。

本公司不是 FINRA 的注册会员，其研究分析师亦没有注册为 FINRA 的研究分析师/不具有 FINRA 分析师的注册资格。

华泰力求报告内容客观、公正，但本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求，在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况，并完整理解和使用本报告内容，不应视本报告为做出投资决策的唯一因素。对依据或者使用本报告所造成的一切后果，华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。

除非另行说明，本报告中所引用的关于业绩的数据代表过往表现，过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现，分析中所做的预测可能是基于相应的假设，任何假设的变化可能会显著影响所预测的回报。

华泰及作者在自身所知情的范围内，与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下，华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易，为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该公司招揽业务。

华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。

本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员，也并非意图发送、发布给因可得到、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。

本报告版权仅为本公司所有。未经本公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并需在使用前获取独立的法律意见，以确定该引用、刊发符合当地适用法规的要求，同时注明出处为“华泰证券研究所”，且不得对本报告进行任何有悖原意的引用、删节和修改。本公司保留追究相关责任的权利。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。

中国香港

本报告由华泰证券股份有限公司制作,在香港由华泰金融控股（香港）有限公司向符合《证券及期货条例》及其附属法律规定的机构投资者和专业投资者的客户进行分发。华泰金融控股（香港）有限公司受香港证券及期货事务监察委员会监管，是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。在香港获得本报告的人员若有任何有关本报告的问题,请与华泰金融控股（香港）有限公司联系。

香港-重要监管披露

• 华泰金融控股（香港）有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员。

• 英维克（002837 CH）、亨通光电（600487 CH）：华泰金融控股（香港）有限公司、其子公司和/或其关联公司实益持有标的公司的市场资本值的 1%或以上。

• 有关重要的披露信息，请参华泰金融控股（香港）有限公司的网页 https://www.htsc.com.hk/stock_disclosure其他信息请参见下方 “美国-重要监管披露”。

美国

在美国本报告由华泰证券（美国）有限公司向符合美国监管规定的机构投资者进行发表与分发。华泰证券（美国）有限公司是美国注册经纪商和美国金融业监管局（FINRA）的注册会员。对于其在美国分发的研究报告，华泰证券（美国）有限公司根据《1934 年证券交易法》（修订版）第 15a-6 条规定以及美国证券交易委员会人员解释，对本研究报告内容负责。华泰证券（美国）有限公司联营公司的分析师不具有美国金融监管（FINRA）分析师的注册资格，可能不属于华泰证券（美国）有限公司的关联人员，因此可能不受 FINRA 关于分析师与标的公司沟通、公开露面和所持交易证券的限制。华泰证券（美国）有限公司是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。任何直接从华泰证券（美国）有限公司收到此报告并希望就本报告所述任何证券进行交易的人士，应通过华泰证券（美国）有限公司进行交易。

美国-重要监管披露

• 分析师黄乐平、余熠、张皓怡本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员、董事或顾问。分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益。本披露中所提及的“相关人士”包括 FINRA 定义下分析师的家庭成员。分析师根据华泰证券的整体收入和盈利能力获得薪酬，包括源自公司投资银行业务的收入。

• 英维克（002837 CH）、亨通光电（600487 CH）：华泰证券股份有限公司、其子公司和/或其联营公司实益持有标的公司某一类普通股证券的比例达 1%或以上。

• 华泰证券股份有限公司、其子公司和/或其联营公司, 及/或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）。

• 华泰证券股份有限公司、其子公司和/或其联营公司, 及/或其高级管理层、董事和雇员可能会持有本报告中所提到的任何证券（或任何相关投资）头寸，并可能不时进行增持或减持该证券（或投资）。因此，投资者应该意识到可能存在利益冲突。

• 本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽，亦不试图促进购买或销售该等证券。如任何投资者为美国公民、取得美国永久居留权的外国人、根据美国法律所设立的实体（包括外国实体在美国的分支机构）、任何位于美国的个人，该等投资者应当充分考虑自身特定状况，不以任何形式直接或间接地投资本报告涉及的投资者所在国相关适用的法律法规所限制的企业的公开交易的证券、其衍生证券及用于为该等证券提供投资机会的证券的任何交易。该等投资者对依据或者使用本报告内容所造成的一切后果，华泰证券股份有限公司、华泰金融控股（香港）有限公司、华泰证券（美国）有限公司及作者均不承担任何法律责任。

评级说明

投资评级基于分析师对报告发布日后 6 至 12个月内行业或公司回报潜力（含此期间的股息回报）相对基准表现的预期（A 股市场基准为沪深 300 指数，香港市场基准为恒生指数，美国市场基准为标普 500 指数），具体如下：

行业评级

增持：预计行业股票指数超越基准

中性：预计行业股票指数基本与基准持平

减持：预计行业股票指数明显弱于基准

公司评级

买入：预计股价超越基准 15%以上

增持：预计股价超越基准 5%\~15%

持有：预计股价相对基准波动在-15%\~5%之间

卖出：预计股价弱于基准 15%以上

暂停评级：已暂停评级、目标价及预测，以遵守适用法规及/或公司政策

无评级：股票不在常规研究覆盖范围内。投资者不应期待华泰提供该等证券及/或公司相关的持续或补充信息

法律实体披露

中国：华泰证券股份有限公司具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J香港：华泰金融控股（香港）有限公司具有香港证监会核准的“就证券提供意见”业务资格，经营许可证编号为：AOK809美国：华泰证券（美国）有限公司为美国金融业监管局（FINRA）成员，具有在美国开展经纪交易商业务的资格，经营业务许可编号为：CRD#:298809/SEC#:8-70231

华泰证券股份有限公司
南京
南京市建邺区江东中路228 号华泰证券广场1 号楼/邮政编码：210019

电话：86 25 83389999/传真：86 25 83387521电子邮件：ht-rd@htsc.com

深圳
深圳市福田区益田路5999号基金大厦10楼/邮政编码：518017
电话：86 755 82493932/传真：86 755 82492062
电子邮件：ht-rd@htsc.com

华泰金融控股（香港）有限公司

香港中环皇后大道中 99号中环中心 58楼 5808-12室
电话：+852-3658-6000/传真：+852-2169-0770
电子邮件：research@htsc.com
http://www.htsc.com.hk

华泰证券（美国）有限公司

美国纽约公园大道 280号 21楼东（纽约 10017）
电话：+212-763-8160/传真：+917-725-9702
电子邮件: Huatai@htsc-us.com
http://www.htsc-us.com

北京
北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层/
邮政编码：100032
电话：86 10 63211166/传真：86 10 63211275
电子邮件：ht-rd@htsc.com
上海
上海市浦东新区东方路18号保利广场E栋23楼/邮政编码：200120
电话：86 21 28972098/传真：86 21 28972068
电子邮件：ht-rd@htsc.com

电子行业专题研究：从英伟达GTC看AI工厂的投资机会-20230323-华泰证券-16页