2023.06.02

AI超算浑然一体，光互联地位显著提升

——DGXGH200算力网络解析

王彦龙 (分析师)

黎明聪 (研究助理)

8 010-83939775

0755-23976500

M wangyanlong@gt jas.com

limingcong@gt jas.com

证书编号 S0880519100003

S0880121080014

本报告导读：

超算中心趋于一个整体，光互联重要性快速提升;GH200性能提升原因在存储,H100仍为主流场景应用；芯片光模块比为1:9，比DGXH100组网更高。

摘要:

超算中心趋于一个整体，光互联重要性快速提升。NvidiaCEO黄仁勋在大会上反复提到,未来的超算数据中心将表现的越来越像一个超级计算机，正如这次DGXGH200 系统可以将 256个GPU无缝连接,使其性能等于一个超大号的GPU。DGXGH200 里面采用了242.4公里的光纤，证明在高速互联领域，对光通信器件、模块的应用将大大增加，光进铜退的趋势在服务器外部的层级趋势越来越明显。

GH200性能提升原因在存储，H100仍为主流场景应用。集群性能的提升主要有算力本身、网络、存储三大要素。市场担忧DGXGH200对 GPT3训练性能提升2.2x，不利光模块比例提升。但算力层面，单颗 GH芯片和H100 芯片FP8 浮点算力没有差异。存储层面，DGXGH200 内部GPU和CPU的连接方式与DGXH100 不同，其高速触达的存储容量可以大幅提升。我们观察到对于同样消耗数十TB 内存级别的操作，存储瓶颈越明显,DGXGH200 系统表现就比DGXH100集群越优越。因此，传统GPT3、GPT4等主流大模型下，DGXH100集群（NVLink 联网）与DGXGH200 系统没有明显差异，因为存储、网络、算力都不是瓶颈。

芯片光模块比为1:9,比H100 NVLink 组网更高。这个数字比DGXH100 使用NVLink组网下还要高2倍,主要的差距在于是DGXH100服务器内到服务器外做了2:1的收敛,8个GPU仅用了4个NVSwitch芯片，无法做到1:1无阻塞的传输。而GH200是6个NVSwitch芯片对应8个GPU，可以实现胖树架构，因此这个光模块比例约比 256个H100 NVLink 组网方案多一倍。

投资建议：超算中心与传统云中心相比，网络相关投入比例将继续增加，重点关注数通产业链和算力网络链：1）数通光模块核心标的：新易盛、天孚通信、光迅科技；2）稀缺的光芯片突破企业：光库科技，仕佳光子；3）有望突破的模块企业，受益标的：剑桥科技、博创科技、华工科技。

风险提示：DGXGH200推广不及预期，AI训练需求不及预期

通信设备及服务

评级：

增持

上次评级：增持

细分行业评级

1．DGXGH200光互联比例大幅增加.
1.1．DGXGH200 应用场景特定，内存容量大幅提升， 3
1.2．DGXGH200 和DGXH100 集群性能差异并非算力造...
1.3．DGXGH200 芯片与光模块比例如何？ 7
1.3.1．芯片接入层流量的测算..
1.3.2．L1层Nvlink交换机层级. 8
1.3.3．L2层 NVLink 交换机. 9
1.3.4．总结：单颗芯片：800G光模块比例=1:9 .9
2．投资建议.. 10
3．相关标的盈利预测.. 10

1．DGXGH200光互联比例大幅增加

事件回顾:Nvidia创始人黄仁勋在台北NvidiaComputex 2023研究中宣布发布DGXGH200产品,该产品通过将256个GraceHopper超级芯片（下称GH芯片)连接成一个新型 AI超级计算机,其GPU存储容量144TB,在历代里面最高,同时可以提供1EF1ops的FP8TransformEngine 算力。

图1：DGXGH200系统拓扑架构图

数据来源：Nvidia

发布会以来,DGXGH200的网络结构、DGXGH200的应用场景、DGXGH200的算力是否提升成为市场最关注的焦点,我们在本报告尝试作出自己的理解和解答。

1.1．DGXGH200应用场景特定，内存容量大幅提升

市场关注：DGXGH200 的性能优势体现在哪里,可能应用在什么场景，是否会对 DGX H100产生替代效应。

从随之发布的技术博客内容看,DGXGH200目标使用场景为“存在GPU内存容量瓶颈的AI和HPC应用。"博客中强调,许多主流的AI和HPC应用负载实际上可以完全放在一个单独的 DGX H100 服务器中，对于这样的工作负载，DGXH100是最具有性价比的训练方案。而对于其他的工作负载，例如深度学习推荐模型，需要TB 级别的嵌入表，以及TB级别的图像神经网络训练模型,或者大型的数据分析负载(数十TB级别的 join、排序），可以看到DGXGH200对于大型记忆模型的表现比DGXH100 集群（Inf iniband 组网）是要提高5-6x。

图2:DGXGH200对于超大型耗内存的模型训练是最快的

图3：DGX代际里GH200容量最大

数据来源：Nvidia

数据来源：Wind、国泰君安证券研究

图 4：GH芯片在训练过程中同样的激活内存下性能更好图5：推荐需要数十个Tb级别的嵌入表

数据来源：Nvidia

数据来源：Nvidia

DGXGH200存储大是因为GPU可以NV1ink高速访问更大容量的CPU的内存，而不是通过传统的PCIe。传统的AI服务器内GPU网络主要有两种，一类是NVS,一类是PCIe 的形式。而DGXGH20O作为超大型计算机,GPU存储容量大，是因为在GH芯片中，GPU通过Nv1inkC2C连接GraceCPU,从而可以直接访问GraceCPU的512GB内存。CPU和GPU的NV1ink-C2C连接可以提供900GB/s的总带宽，是普通加速系统GPU和CPU连接使用的PCIeGen5(这里使用16个通道,每个通道是8GB/s)通道的7x。而每个GH芯片中有480GB/512G的CPU内存，以及高达96GB的GPU侧HBM3内存，最终所有256个GPUs连接可以访问到累计150TB(或者GH200宣传的144TB)的存储。而H100单颗芯片HBM3最多为80GB，而且与X86CPU 的内存侧无法高效的进行互联，因此DGX H100 的共享内存大致仅640GB 的显存。

图6：A100服务器采用PCIe连接分立的GPU和CPU图7:GH芯片集成GPU和GPU,通过NVLink-C2C连接

数据来源：Nvidia

1)H100与GH200芯片本质是分立GPU和集成CPU+GPU的关系。H100是分立的GPU,因此它和CPU的连接需要PCIe。而GH200芯片是集成了CPU和H100GPU，两者可以用超高效的Nvlink-C2C 连接，导致单颗 H100 芯片和GH200芯片可高速访问的存储容量不同，组网形成集群后可高速访问的存储容量也不同，最终对应的应用场景不同;

2)DGXH100满足大量主流应用的需求，DGXGH200是特殊应用场景。许多主流的 AI和 HPC 应用负载可以完全放在单独的 DGX H10O 服务器中，DGXH100是最主流的应用训练方案。而DGXGH200一般是满足TB级别内存容量需求的最佳选择。模型训练需要的内存级别越大，两者性能差距越明显。

1.2．DGXGH200和DGXH100集群性能差异并非算力造成

市场担忧:DGXGH200表现出来的训练性能是DGXH100集群的2.2倍，市场认为这是单片GH200芯片与H100算力的差异2倍造成的，所以担忧换算成H100,单个H100 对应的光模块需求量其实并没有增加，同时,由于各场景训练性能效率更好，所以形成替代关系，不构成利好。

我们认为,GH芯片与H100芯片在FP8算力上没有差异。一方面,GH芯片部本来即由一个H100和CPU组成；另一方面，单个H100 的芯片算力参数和单个GH芯片的算力参数是一致的。如下图所示。

图8：DGXGH200服务器256个芯片对应1ExaFLOPsFP8算力

图9:H100单颗芯片 FP8约3.9PF1ops,256颗对应也是1ExaFlops 算力。

Key Features		SPECIFICATIONS
				H1OO	H100 PCle
NVIDIA DGX GH200			FP64	34 TFLOPS		26 TFLOPS
> 256 NVIDIA Grace Hopper			FP64 Tensor Core FP32	67 TFLOPS 67 TFLOPS		51 TFLOPS
Superchips, allinterconnected			TF32 Tensor Core	989 TFLOPS*	51 TFLOPS
with NVIDIA NVLink			BFLOAT16	1,979 TFLOPS*	756 TFLOPS* 1,513 TFLOPS*
			Tensor Core
> Massive, shared-GPU-memory space of 144 terabytes (TB)			FP16 Tensor Core	1,979 TFLOPS*	1,513 TFLOPS*
> Massive, shared-GPU-memory space of 144 terabytes (TB)		FP8 Tensor Core INT8 Tensor Core	3,958 TFLOPS*		3,026TFLOPS*
> 900 gigabytes per second (GB/s)		GPU memory		3,958 TOPS* 80GB	3,026 TOPS*
		GPU memory	3.35TB/s		80GB
GPU-to-GPU bandwidth		bandwidth		2TB/s
GPU-to-GPU bandwidth		Decoders	7 NVDEC
> 1 exaFLOPS of FP8 Al				7 JPEG	7 NVDEC 7 JPEG
	performance	power (TDP)	Max thermal design	Up to 700W (configurable)	300-350W
	> NVIDIA Base Command" and	Multi-nstance		Up to 7 MIGS @ 10GB each	(configurable)
NVIDIA Al Enterprise software		GPUs Form factor	SXM
> White-glove implementation				PCle
experience		：	：	air-cooled	dual-slot

数据来源：Nvidia
数据来源：Nvidia

我们认为是内存瓶颈和联网方式是导致测试结果中性能差异最重要原因。1)内存瓶颈要素：性能图上，底部有一层小字，列举了不同的测试对应的GPU数量，我们计算了这些GPU对应的显存情况,结果表明Nvidia的测试结果普遍是在让H100达到内存瓶颈，而GH200不达到瓶颈的角度去测算。2)网络连接要素：此外,传统DGXH100集群是采用Infiniband组网，而本次DGXGH200是采用Nv1ink组网。NVLink是局部极高带宽的通信，DGXGH200已经扩展到了整个256个芯片级别，可以实现无阻塞，单个GH芯片接入带宽可以有3.6Tb/s；而如果选用Infiniband连接，单个H100 芯片接入带宽（1个Connect-X7）仅为400Gb/s，性能差并不与网络差形成正比关系，因为只要网络是充足的，再扩大网络是不会线性的再继续提升。

图10:接入带宽高到一定程度计算性能不会再边际增加（四个柱子从左到右为1、2、4、8个网卡）

数据来源：Nvidia

图11:内存瓶颈越大对性能参数影响更大（下表列示了H100组网系统内存不足带来的性能差异）

数据来源：Nvidia

1.3．DGXGH200 芯片与光模块比例如何？

我们认为应该自底向上采用流量法测算其网络端口数。考虑其博客提及DGXGH200采用胖树和无阻塞的拓扑结构。因此我们的测算思路是：

（1)计算出Grace Hopper超级芯片的连接到L1层NVLink交换机的北向流量；

（2）计算出L1层到L2层交换机的流量。

（3）最后考虑可能选用光模块的端口部分。

图12：DGXGH200系统拓扑架构图

数据来源：Nvidia

1.3.1．芯片接入层流量的测算

GH200 芯片架构中，GPU部分连接到NVLink链路中的连接方式和速率与DGX H100一样，即每个GPU采用18个NVLink4，每条NVLink4单向带宽为25GB，即单个GH芯片带来18*25GB=450GB 的接入带宽。因此一个Block里面8颗芯片带来的流量是8*450GB/s=3.6TB/s，整体256颗芯片带来256*450GB=115200GB。

图13：DGXH100每个GPU互联也采用18个NVLink连接

数据来源：Wind、国泰君安证券研究

图14：GPU部分用18个NVLink4连接到NVLink网络中

数据来源：Wind、国泰君安证券研究

请务必阅读正文之后的免责条款部分

1.3.2．L1层Nvlink交换机层级

NVLink交换机本质是由2个NVSwitch芯片组成的NVLink交换设备,其中每个NVSwitch芯片拥有128个Lane,这里的2个Lane速率与前述的1个NVLink速率对应,对应112Gb/s PAM4/lane。因此，一个NVLink交换机为25.6Tb交换容量，32*800G端口。

图15:2个NVSwitch芯片组成的NVLink交换机可以支持25.6Tb/s交换，对应32个800G端口

数据来源：Wind、国泰君安证券研究

图16:每个NVSwtich芯片由128个Lanes组成,支持12.8Tb/s交换

数据来源：Nvidia、MicroFlow，国泰君安证券研究

我们认为DGXGH200L1层可以实现无阻塞、1:1的传输,主要原因是相较DGXH100 结构8个GPU对应4个NVSwitch的架构，最终L1层采用了2:1的收敛比。而这里采用了8个GH芯片对应6个NVSwitch芯片的架构，6个NVSwitch芯片可以接收6*12.8Tb/s=9.6TB/s，大于芯片层过来的3.6TB（8*450GB）的2倍，可以实现1:1的传输。而DGXH100由于仅有4个NVSwtich 芯片，可以支撑4*12.8Tb/s=6.4TB/s，小于8个 H100带来的3.6TB的2倍，因此需要做2:1的收敛来满足流量设计的要求。

图17：DGX H100的 NVLink 组网和DGXGH200的 NVLink 组网在L1层存在差异

数据来源：Nvidia
注：DGXGH200LI层为NVLink交换机设备，意味着每8个芯片对应6个NVSwitch芯片

从下图设备结构看，无论是L1与芯片的连接,还是L1与L2层设备的连接,都采用网络端口0SFP的形式，因此计算下,拓扑图中96个L1层交换机平分256个GH芯片上行带来的256*450GB=115200GB流量，即平均每个L1层NVLink交换机32个端口中,有9.6Tb/s被下行流量占用，即12个800G端口，有9.6Tb/s要向北向，也是对应12个800G 端口，因此共计填充了9.6Tb/s*2÷800G=24个端口，还有8个端口没有被占用。

图18：NVLink交换机都有32个800G0SFP端口

数据来源：Nvidia

1.3.3．L2层 NVLink交换机

L2 层交换机端口全部用满。由于L2层已经是结构的最上面一层，不难发现，把36个交换机全部端口容量加上，36*32*800G/8=115200GB，这个数字刚好是上述最底层256颗GH芯片产生的流量之和，这也侧面印证了，整个网络是一个无阻塞、FatTree 的架构，同时L2 层交换机端口全部用满，因此产生了32*36=1152个800G 端口需求。

1.3.4．总结：单颗芯片：800G光模块比例=1:9

我们下表整理了不同层级可能使用光模块的情况,我们假设芯片至L1层交换机大概率使用铜缆0SFP 的形态去连接，其余L1层往北向传输，以及L2层往南向传输大概率都用800G 光模块形态。

表1：测算下800G光模块数量对应到一个GH芯片为9个

800G端口数（个）		是否800G光模块
芯片->L1交换机	12（端口）*96（L1交换机个数）	0（可能是铜缆）
L1交换机->L2 交换机	1296+32（端口）36（L2交换机个数）	2304
合计	3456	2304
GPU芯片个数	256	256
GH芯片：端口or光模块	13.5	9

数据来源：Nvidia，国泰君安证券研究

本章测算仅考虑NVLink网络，是因为Nvidia通常会采用NVLink 和Infiniband的架构，两者的定位不同。其中，NVLink为特定系统或节点内部GPU与GPU连接的通信方式，速率非常高，目前通过NVLink交换机可以扩展至最多256个GPU互联。Infiniband 网络为通用高性能网络，既可P以用的通信，也可以用在CPU之间的通信，可以快速扩展到数千至数茧蒸GXGH200也配置了Infiniband 的组网方式，英伟达自身要用最新发布的 Spectrum-X 51.2T 64*800G 的交换机将4个DGXGH200 系统连接起来，但整体Nv1ink 的互联带宽和光模块端口数占大头，同时Infiniband 组网结构未有细节，暂不考虑。

2．投资建议

超算中心趋于一个整体，网络重要性快速提升。NvidiaCEO黄仁勋在大会上反复提到,未来的超算数据中心将表现的越来越像一个超级计算机,正如这次DGXGH200系统可以将256个GPU无缝连接，使其性能等于一个超大号的GPU。DGXGH200 里面采用了 242.4 公里的光纤，证明在高速互联领域，对光通信器件、模块的应用将大大增加，光进铜退的趋势在服务器外部的层级趋势越来越明显。

GH200性能提升在存储，H100仍为主流场景应用。集群性能的提升主要有算力本身、网络、存储三大要素。市场担忧DGXGH200 对GPT3训练性能提升2.2x，不利光模块比例提升。但算力层面，单颗GH芯片和H100 芯片FP8 浮点算力没有差异。存储层面，DGXGH200 内部GPU和 CPU的连接方式与DGXH100 不同，其高速触达的存储容量可以大幅提升。我们观察到对于同样消耗数十TB 内存级别的操作，存储瓶颈越明显，DGXGH200 系统表现就比DGXH100 集群越优越。因此，传统GPT3、GPT4等主流大模型下，DGXH100集群（NVLink 联网）与DGXGH200 系统没有明显差异，因为存储、网络、算力都不是瓶颈。

芯片模块比为1:9，比DGXH100 组网更高。这个数字比DGXH100 使用 NVLink组网下还要高2倍，主要的差距在于是DGXH10O 服务器内到服务器外做了2:1的收敛，仅用了4个NVSwitch芯片，无法做到1:1无阻塞的传输，因此这个光模块比例约比256个H100 NVLink 组网方案多一倍。

投资建议：超算中心与传统云中心相比，网络相关投入比例将继续增加,重点关注数通产业链和算力网络链：1)数通光模块核心推荐标的：新易盛、天孚通信、光迅科技；2）稀缺的光芯片突破企业：光库科技，仕佳光子；3）有望突破的模块企业，受益标的：剑桥科技、博创科技、华工科技。

风险提示：DGXGH200推广不及预期，AI训练需求不及预期

3．相关标的盈利预测

表2：相关公司盈利预测

公司简称	代码	股价（元）（5月31日）	BPS			PE			投资评级
公司简称	代码	股价（元）（5月31日）	2022A	2023E	2024E	2022A	2023E	2024E	投资评级
新易盛	300502.SZ	84.43	1.78	1.94	2.44	47.38	43.52	34.60	增持
光迅科技	002281.SZ	27.73	0.78	0.90	0.99	35.69	30.81	28.01	增持
光库科技	300620.SZ	55.90	0.48	0.88	1.32	116.79	63.52	42.35	增持
仕佳光子	688313.SH	13.93	0.14	0.19	0.27	99.41	73.32	51.59	增持
天孚通信	300394.SZ	76.10	1.02	1.24	1.57	74.55	61.37	48.47	增持

数据来源：Wind，国泰君安证券研究

本公司具有中国证监会核准的证券投资咨询业务资格

分析师声明

作者具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力，保证报告所采用的数据均来自合规渠道，分析逻辑基于作者的职业理解，本报告清晰准确地反映了作者的研究观点，力求独立、客观和公正，结论不受任何第三方的授意或影响，特此声明。

免责声明

本报告仅供国泰君安证券股份有限公司（以下简称“本公司”）的客户使用。本公司不会因接收人收到本报告而视其为本公司的当然客户。本报告仅在相关法律许可的情况下发放，并仅为提供信息而发放，概不构成任何广告。

本报告的信息来源于已公开的资料，本公司对该等信息的准确性、完整性或可靠性不作任何保证。本报告所载的资料、意见及推测仅反映本公司于发布本报告当日的判断，本报告所指的证券或投资标的的价格、价值及投资收入可升可跌。过往表现不应作为日后的表现依据。在不同时期，本公司可发出与本报告所载资料、意见及推测不一致的报告。本公司不保证本报告所含信息保持在最新状态。同时，本公司对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。

本报告中所指的投资及服务可能不适合个别客户，不构成客户私人咨询建议。在任何情况下，本报告中的信息或所表述的意见均不构成对任何人的投资建议。在任何情况下，本公司、本公司员工或者关联机构不承诺投资者一定获利，不与投资者分享投资收益，也不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任。投资者务必注意，其据此做出的任何投资决策与本公司、本公司员工或者关联机构无关。

本公司利用信息隔离墙控制内部一个或多个领域、部门或关联机构之间的信息流动。因此，投资者应注意，在法律许可的情况下，本公司及其所属关联机构可能会持有报告中提到的公司所发行的证券或期权并进行证券或期权交易，也可能为这些公司提供或者争取提供投资银行、财务顾问或者金融产品等相关服务。在法律许可的情况下，本公司的员工可能担任本报告所提到的公司的董事。

市场有风险，投资需谨慎。投资者不应将本报告作为作出投资决策的唯一参考因素，亦不应认为本报告可以取代自己的判断。
在决定投资前，如有需要，投资者务必向专业人士咨询并谨慎决策。

本报告版权仅为本公司所有，未经书面许可，任何机构和个人不得以任何形式翻版、复制、发表或引用。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并注明出处为“国泰君安证券研究”，且不得对本报告进行任何有悖原意的引用、删节和修改。

若本公司以外的其他机构（以下简称“该机构”）发送本报告，则由该机构独自为此发送行为负责。通过此途径获得本报告的投资者应自行联系该机构以要求获悉更详细信息或进而交易本报告中提及的证券。本报告不构成本公司向该机构之客户提供的投资建议，本公司、本公司员工或者关联机构亦不为该机构之客户因使用本报告或报告所载内容引起的任何损失承担任何责任。

评级说明

1.投资建议的比较标准	评级
投资评级分为股票评级和行业评级。以报告发布后的12个月内的市场表现为比较标准，报告发布日后的12个月内的公司股价（或行业指数）的涨跌幅相对同	股票投资评级	增持	说明相对沪深300指数涨幅15%以上
		谨慎增持	相对沪深 300 指数涨幅介于5%～15%之间
		中性	相对沪深300 指数涨幅介于-5%～5%
		减持	相对沪深300指数下跌 5%以上
		增持	明显强于沪深 300指数
		中性
报告发布日后的12个月内的公司股价（或行业指数)的涨跌幅相对同期的沪深 300 指数的涨跌幅。	行业投资评级减持	基本与沪深 300指数持平明显弱于沪深 300指数

国泰君安证券研究所

	上海	深圳	北京
地址	上海市静安区新闸路 669 号博华广	深圳市福田区益田路6003号荣超商务中心B栋27层	北京市西城区金融大街甲9号金融街中心南楼18层
邮编	场20层 200041	518026	100032
电话	（021）38676666	（0755）23976888	（010）83939888
	E-mail: gt jaresearch@gt jas.com

AI超算浑然一体，光互联地位显著提升

——DGXGH200算力网络解析

本报告导读：

摘要:

相关报告

目录

1．DGXGH200光互联比例大幅增加

1.1．DGXGH200应用场景特定，内存容量大幅提升

1.2．DGXGH200和DGXH100集群性能差异并非算力造成

1.3．DGXGH200 芯片与光模块比例如何？

1.3.1．芯片接入层流量的测算

请务必阅读正文之后的免责条款部分

1.3.2．L1层Nvlink交换机层级

1.3.3．L2层 NVLink交换机

1.3.4．总结：单颗芯片：800G光模块比例=1:9

2．投资建议

3．相关标的盈利预测

本公司具有中国证监会核准的证券投资咨询业务资格

分析师声明

免责声明

评级说明

国泰君安证券研究所

国泰君安-通信设备及服务行业DGXGH200算力网络解析：AI超算浑然一体，光互联地位显著提升-230602.pdf