通信网络延续基础算力的摩尔定律？AIGC系列之二十

证券分析师：李国盛 A0230521080003 ligs@swsresearch.com
杨海晏 A0230518070003 黄忠煌 A0230519110001
林起贤 A0230519060002 刘洋 A0230513050006
联系人：李国盛 ligs@swsresearch.com
2023.6.15

每日免费获取报告 □

每日微信群内分享7+最新重磅报告;

每日分享当日华尔街日报、金融时报;

行研报告均为公开版, 权利归原作者所有,起点财经仅分发做内部学习。

结论

在AI领域，网络的价值在于延续了集群算力的摩尔定律。

1）吞吐带宽与连接架构是算力性能不可忽视的决定因素。

2）芯片层面，高速c2c连接方案（如NVLink、CXL等）的推广，是宏观设备/数据中心层高速网络、光网络等需求爆发的底层逻辑。

3）设备层面，单SoC性能提升+芯片“堆量”，不意味着算力集群整体性能的线性提升；而Nvidia、Google、AMD、AWS等算力大厂正应用InfiniBand、OCS等新架构替代通用算力下的以太网，带来增量网络需求。

原因及逻辑

• 系统复杂度、投资强度、整体性能提升效果三方面看，网络设备与器件（包括交换机、光模块等）在AI系统中的重要性显著提升：Nvidia H100到GH200系统，官方标准配置下800G光模块用量可提升30%-275%，同样256GPU集群的交换机需求从不足50台提升至150台以上。

谷歌自研TPU v4背后，是矩阵计算、OCS光交换与更激进的光网络设计。3D组网是TPU v4系统最大亮点，网络起重要作用，导入全光交换、WDM等光通信技术后，算力与网络需求同步提升。

• AMD最新MI300体系和AWS自研Trn训练芯片，同样重视带宽、拓展性的价值。

有别于大众的认识

• 1）当前市场对AI算力、网络、光通信空间的跟踪，主要通过订单预期、需求意向或历史经验的方式直接判断。我们认为，除了对硬件进行拆解、进而直接测算单位算力/单位芯片对应的网络需求之外，网络架构本身对算力体系的深远影响也应重视，通信网络正在延续算力领域的摩尔定律，其价值不亚于算力本身。

2）当前市场担心，若假设算力需求总规模不变，则单位芯片或系统性能的大幅提升会导致硬件需求数量的减少。实际上，芯片或系统性能的提升的背后，吞吐带宽与连接架构是不可忽视的关键因素，“网络与算力同行”。且在AI训练、推理需求提升的产业早期，性能成本的优化、架构方案的多样化均利于AI应用的放量，进而带动算力总需求持续提升。

风险提示

信息技术迭代产生新的网络通信方案，可能颠覆已有路径或格局。

主要内容

网络的价值在于延续了集群算力摩尔定律
Nvidia：H100到GH200，网络价值陡增
谷歌：TPU v4背后，是OCS与更激进的光
网络设计
AMD、Amazon等：芯片亦持续迭代
结论、相关标的与风险提示

1.1 芯片层面网络：chip-to-chip场景，从PCIe到高速连接 SWS

一）通用/传统场景：PCIe是服务器内部通信的总线标准，制约了电口通信速率的提升。

• 经典的通用服务器内，CPU、图形卡、硬盘驱动器、SSD、Wi-Fi 、以太网设备等主要基于PCIe（PCI express）协议相互连接。

• 相较于4.0版本，PCIe 5.0传输速度更高，x16带宽（双向）从64 GB/s提升到了128 GB/s；目前规范制定已迭代至6.0版本，带宽再翻倍。

异构计算的初步创新：在PCIe物理架构和电气接口的基础上，英特尔等牵头成立CXL联盟并最新推出CXL 2.0-3.0规范，用于AI、高性能计算等场景中CPU与GPU等的互联，通过“内存池化”等方式优化内存调用，进而提升系统整体性能。（据Compute Express Link官网）

资料来源：Prodigy，申万宏源研究

设备I/O带宽每三年翻倍，PCIe目前主流5.0版本，已迭代至6.0

1.1 芯片层面网络：chip-to-chip场景，从PCIe到高速连接 SWS

我们认为，芯片层高速连接方案的推广，是宏观设备层面高速网络、光网络等需求的底层逻辑。

（二）Nvidia代表，已对标PCIe推出NVLink解决异构计算与AI算力网络瓶颈。

NVLink是Nvidia专门设计用于点对点链路高速互联的网络方案（例如GPU to GPU连接）。据Nvidia白皮书，NVLink的开销比传统网络更低。

传统网络中复杂网络功能（例如端到端重试、自适应路由、数据包重新排序等），在NVLink体系下可以在增加端口数的情况下进行权衡。

此外，基于NVLink的网络接口更加简单，允许将应用程序层、表示层和会话层功能直接嵌入到CUDA本身中，从而进一步减少通信开销。

左图：传统GPU服务器基于PICe连接的架构，片间互联依赖于PCIe Switch

右图：此前Nvidia A100 GPU为例，已兼用PCIe和NVLink解决片间网络性能瓶颈

www.swsresearch.com 资料来源：Nvidia，申万宏源研究

NVIDIA在2016-2022年迭代4代的NVLink满足了其算力方案的两大需求（专用连接方案解决专业问题），使GPU具有尽可能高的性能、使用专用协议和系统设计以实现更高的性能。

据PCI-SIG及Nvidia技术文档，目前的PCIe gen5每通道仅为32Gbps，而NVLink每通道高达100Gbps、多个通道连接其GPU系统。

最新的NVLink gen4下，每个H100 GPU的连接数从上一代的12 Links升级至18 Links，每个GPU提供900GB/s（7200Gbs）的双向带宽（bidirectional bandwidth）。

H100 GPU的NVLink可以贡献900GB/s的带宽

资料来源：Nvidia，申万宏源研究

1.1 芯片层面网络：chip-to-chip场景，从PCIe到高速连接 SWS RESEARCH

此外Nvidia发布适用于超算服务器内部的NVSwitch芯片（最早2018 GTC大会发布第一代，作用类似于交换机ASIC），进一步通过上述NVLink协议接口将多个GPU高速互联到一起。

据技术文档，在H100芯片+NVLink gen4协议这一代，Nvidia配套了NVSwitch gen3芯片方案，采用台积电4N工艺，满足GPU间的点对点连接，内嵌ALU使NVSwitch提供FP32的400GFLOPS计算吞吐，每个芯片64个NVLink 4接口。

• 依据技术文档，NVSwitch3芯片大小50mm*50mm，包括一个 SHARP 控制器，可并行管理多达128 个 SHARP 组；内嵌ALU可帮助NVSwitch提供FP32的400GFLOPS计算吞吐，并且支持FP16、FP32、FP64和BF16等精度计算。

NVSwitch3芯片提供64个NVLink4接口，每个NVLink4通道x2即200Gbps单向带宽，单个芯片可提供64 x 200Gbps=12.8Tbps（1.6TB/s）单向带宽、或3.2TB/s双工带宽。

Nvidia的NVSwitch芯片，本身起到了网络交换机的作用

资料来源：Nvidia，申万宏源研究
New Hopper NIC functions ensure request is legal & maps to GPU physical address space

1.1 芯片层面网络：chip-to-chip场景，从PCIe到高速连接 SWS

进一步，英伟达发布Grace Hopper架构，将NVLink应用场景从GPU to GPU拓展至GPU to CPU。 Chip-to-chip的NVLink延伸至GPU与CPU互联

• 因为芯片维度，制约AI算力性能释放的因素，除了单个芯片的性能外，还包括片间带宽（例如A100对比A800）、内存调用机制等。

除了相较于 PCIe 更高的带宽NVLink在Grace Hopper架构下，使CPU和GPU线程能够“共享”访问所有内存（GPU除了可以利用自身的HBM3内存，还可以借助NVLink访问CPU的LPDDR5X内存）。

最终，NVLink彻底打通了GPU toGPU和GPU to CPU之间的高速连接（右下图），GPU可以以450GB/s的速度拓展至最高至150 TB的内存，进而释放出更强的超算性能。（据技术文档）

（三）类似地，AMD的Infinity Fabric也强化了chip内外部网络连接的性能。

AMD Infinity Fabric包括Scalable Control Fabric（负责控制，类似大脑）和Scalable Data Fabric（负责数据传输，类似神经）。Infinity Fabric是AMD Raven、Vega、Ryzen等芯片系列的核心。

以最新的MI300系列为例，Infinity Fabric用于内存共享机制：

1）MI300A（CPU+GPU）

• 3个5nm CPU dies（24个Zen4 cores, Infinity Cache）

. 6个5nm GPU dies（CNDA3）

. 搭载8 × HBM3总共128 GB容量，UnifiedMemory架构（见右图）

2）MI300X（作为GPU，针对LLM场景）

. 192 GB HBM3 内存

• 5.2 TBps 内存带宽

896 GBps Infinity Fabric带宽（可以类比NVLink）

据AMD 2023年6月新品发布会，MI300X提供的HBM密度最高是Nvidia H100的2.4倍，其HBM带宽最高是H100的1.6倍。

Infinity Fabric在AMD MI300系列中扮演重要作用

资料来源：AMD，申万宏源研究

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

结合实际情况，我们认为：单SoC性能提升，不意味着算力集群整体性能的提升；单纯“堆砌”集群芯片数量，而不优化网络连接，集群性能提升很快就会遇到瓶颈。

传统云计算场景下，算力设备以同构计算和简单的异构计算为主，通用的以太网很难满足大规模GPU集群的连接需求。

英伟达解决集群性能瓶颈的方式是引入 InfiniBand 网络，并将C2C场景下应用的NVLink延伸至设备间互联。

• 据Nvidia，2020年公司以69亿美元的价格收购网络芯片厂商Mellanox，后者致力于数据中心InfiniBand和以太网互联产品的研发。

集群中GPU数量

2022-2023 年 DGX H100SuperPOD集群完善，重要变化体现在NVLink从板上/片间互联走向不同Server或板卡的互联，同时Nvidia也相应发布了NVLink交换机（Hot chip等公开资料）。

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

InfiniBand是一种专为RDMA（远程直接内存访问）设计的网络。

RDMA主要用于解决网络传输中服务器端数据处理的延迟问题，能直接通过网络接口访问内存数据，无需操作系统内核的介入（相比于传统TCP/IP），尤其适合在大规模并行计算机集群中使用。

InfiniBand网络需要使用专用的IB网卡和IB交换机。

RDMA网络可以直接通过网络接口访问内存数据

资料来源：华为，申万宏源研究

Nvidia的InfiniBand设备覆盖网络适配器、DPU、交换机等

Adapter NDR400G InfiniBand ProgrammableDatapath

DPU PCle Gen4and Gen5,DDR5 Al Application Accelerators ProgrammableDatapath In-Network Computing

Switch 64-ports NDR 400G InfiniBand 128-ports200GNDR200 In-Network Computing Modular:2048×400G，4096×200G
资料来源：Nvidia，申万宏源研究

以Nvidia H100为例，其网络架构的基础是InfiniBand NDR 400Gb网络。

• 据Nvidia技术文档，Mellanox InfiniBand NDR产品是第7代的InfiniBand产品，利用100Gb/s的PAM4 Serdes技术, 实现了400Gb/s单端口传输带宽。NDR InfiniBand交换机可以支持64个400Gb/s端口或128个200Gb/s端口，提供32个800G OSFP接口，是400G/800G网络来源。

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

Nvidia DGX H100系统为例：

设备组网的基本原则——GPU的通信以NVLink为基础，CPU/存储的通信+跨集群通信以InfiniBand为基础。

NVIDIA的DGX H100服务器，每台服务器拥有8个H100 GPU、4个NVSwitch 3，且相互连接。

在服务器发布的同时，NVIDIA还发布了搭载2个NVSwitch 3芯片的NVLink交换机，连同GPU服务器和NVLink 4协议组成NVLink网络。

（一）H100 GPU发布后，服务器架构变化较大：

DGX H10O: DATA-NETWORK CONFIGURATION

■ All 8 GPUs can simultaneously saturate 18 NVLinks to other GPUs within server

■ Limited only by over-subscription from multiple other GPUs

■ All 8 GPUs can half-subscribe 18 NVLinks to GPUs in other servers

■ 4 GPUs can saturate 18 NVLinks to GPUs in other servers

■Equivalent of full-BW on AllReduce with SHARP

■ Reduction in All2All BW is a balance with server complexity and costs

■All 8 GPUs can independently RDMA data over its own dedicated 400 Gb/s HCA/NIC

■ 800 GBps of aggregate full-duplex to non-NVLink Network devices

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

DGX H100服务器架构：GPU Tray和Motherboard分离，背后是NVLink和InfiniBand网络的分离。

如右图，DGX H100服务器背面接口以Motherboard Tray为主。

如左图，DGX H100服务器机柜内大致包括了GPU Tray、
Motherboard Tray、 Power系统、Front Cage等部分。

DGX H100 System View: Rear

-Systempullout tab-includessystemserial number Motherboardtraypullouttab-includesmotherboardserialnumberandMACaddress

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

DGX H100服务器架构：GPU Tray中，拥有8x H100 GPU + 4x NVSwitch芯片，芯片端4-5-5-4共18组OSFP接口（基于NVLink）负责不同DGX H100服务器之间的连接。

DGX H100 GPU Tray

Midplane connectivity Power,PCle,sensorsand signaling communications

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

（二）NVLink交换机是H100体系的创新，也是800G光通信方案应用的亮点。

Nvidia发布新的NVLink交换机，1U尺寸设计，32个OSFP接口的设计；

和普通交换机不同，每台NVLink交换机搭载2个NVSwitch3芯片，提供128个NVLink4接口（单个NVSwitch3提供64个NVLink4），双工带宽6.4TB/s（单个NVLink4单向200Gbps，128 x 200Gbps =25.6Tb/s单向带宽)。

NVLink交换机搭载了OSFP等接口

DGX H1OO SUPERPOD: NVLINK SWITCH

·Standard 1RU 19-inch formfactor highly leveraged from InfiniBand switch design

· Dual NVLink4 NVSwitch chips

■128 NVLink4 ports

32 OSFP cages

6.4 TB/s full-duplex BW

■ Managed switch with out-of-band management communication

■ Support for passive-copper,active-copper and optical OSFP cables (custom FW)

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

据Nvidia设计，每套SuperPOD集群32台服务器折合256个H100 GPU，AI性能高达1EFlops；每套系统配18台NVLink交换机，系统双向带宽57.6TB/s；（网络需求增加）

依照技术文档推荐方案，每套系统的32台DGX H100服务器中的400Gb/s ConnectX-7网卡对外与IB交换机连接，用于连接多套SuperPOD系统。

两层NVSwitch芯片设计：一层交换芯片位于服务器内，二层交换芯片位于交换机内。

128个L1层芯片（32台服务器，每台4个）+36个L2层芯片（18台NVLink交换机，每台2个）。一个集群内所有256个GPU的互联，都通过NVLink和NVLink交换机单独完成，不经过CX-7 PCIe网络。

我们认为，从通信网络角度看， DGX H100 SuperPOD高算力、高吞吐升级的精髓，在于：将过去A100及之前用于服务器内部GPU高效连接的NVLink，外化到整个集群，借助新的NVLink交换机，搭建L1、L2两层网络，实现跨服务器、跨机柜的GPU to GPU连接。

即便是同样的H100芯片底座，NVLink的加入可以显著提升集群性能

www.swsresearch.com 资料来源：英伟达技术文档，申万宏源研究

1.3 IDC层面网络：AI与通用云计算架构核心差异在于组网 SWS

依据实际情况，数据中心中，拥有较大外部客户群、提供XaaS的数据中心更可能由南北向的流量主导；另一方面，对计算和存储有大量内部需求时，在服务器之间看到更多的东西向流量，可以将他们的数据中心运营成具有较高径向的巨大集群。

• 两种主要的典型数据中心架构类型：

1）超大规模数据中心。这些架构相对庞大，层与层之间有一定的收敛性，例如3:1，并且在spine层以上依靠相干ZR光模块互连（DCI）。800G网络的一个重要边界约束是，在服务器到TOR层使用200G互连。而TOR-leaf/spine层通常使用PSA；spine层通常依靠PSM4 4x200G。

（层层汇聚，类似毛细血管到主静脉，带宽汇聚、连接数减少、网络架构金字塔形。）

典型的云计算中心，金字塔架构组网

超算胖树架构网络更扁平化，但带宽更高

1.3 IDC层面网络：AI与通用云计算架构核心差异在于组网

2）AI的数据中心网络以胖树fat-tree架构为主。比超大规模网络的层数少、在各层之间几乎无收敛。

fat-tree是业界普遍认可的实现无阻塞网络的技术，对于任意的通信模式，总有路径让他们的通信带宽达到网卡带宽，且用到的所有交换机都是相同的；

fat-tree无带宽收敛：传统的树形网络拓扑中，带宽是逐层收敛的，树根处的网络带宽要远小于各个叶子处所有带宽的总和。而fat-tree则更像是真实的树，越到树根，枝干越粗，即：从叶子到树根，网络带宽不收敛。尤其在训练侧，数据、算力以内部流转为主，较多依赖内部径向流量的统一高带宽。高速网络设备/器件的需求量更大。

胖树架构下的负载均衡

Scenario	Server to Leaf	Leaf to Spine
Bandwidth	400G	800G
Distance	4m within rack; 20m cross-rack	500m
Module size	QSFP-DD/OSFP	QSFP-DD/OSFP
Latency	92ns (IEE PMA layer)	92ns (IEEE PMA layer)

资料来源：MSA，申万宏源研究
资料来源：OpenFlow based Load Balancing for Fat-Tree Networks with Multipath Support，申万宏源研究

主要内容

网络的价值在于延续了集群算力摩尔定律
Nvidia：H100到GH200，网络价值陡增
谷歌：TPU v4背后，是OCS与更激进的光
网络设计
AMD、Amazon等：芯片亦持续迭代
结论、相关标的与风险提示

2.1 AIGC“前夜”，Nvidia A100的网络架构与设备需求以 SWS200G为基础。 RESEARCH

Nvidia的A100体系是典型的200G网络结构。

• DGX A100的核心网卡Mellanox ConnectX-6主要基于200Gb/s HDR InfiniBand网络。因此底层网络带宽即200G。DGX A100服务器背板明确拥有8个用于Compute的200G QSFP56接口。另外拥有2个用于Storage的接口。

据技术文档，A100的DGX SuperPOD集群，服务器与交换设备数量之比大致在1 : 1左右。

A100 SuperPOD设计单集群20台DGX A100，搭配12台用于Compute的IB交换机以及6台用于Storage的IB交换机（IB交换机QM8790为40 ports x 200 Gb规格）。

Nvidia A100 SuperPOD实际组网情况

www.swsresearch.com 资料来源：Nvidia，申万宏源研究

2.1 AIGC“前夜”，Nvidia A100的网络架构与设备需求以 SWS200G为基础。 RESEARCH

基于A100的DGX SuperPOD集群，140个服务器（1120 GPUs）规模的线缆需求量测算：200G需求量共4014只线缆，对应约8000只光模块（推荐型号为光方案的QSFP56），数量比例 GPU : 200G光模块 ≈ 1 : 7（若有铜缆，则数量在此基础上打折）。

Nodes	SUs	QM8790 Switches			Cables
Nodes	SUs	Leaf	Spine	Core	Leaf	Spine1	Core
20 (Single SU)	1	8	5		160	164
40	2	16	10		320	324
60	3	24	20		480	484
80	4	32	20		640	644
120	6	48	80	24	960	964	960
140 (DGX SuperPOD)	7	56	80	28	1120	1124	1120
1. UFM Appliance is connected to two diferent spine switches.

Count	Component		Connection	Recommended Model
In-Band Et	hernet Cables
280			DGX A100 system	NVIDIA 930-20000-0007-000
34		100 GbE QSFP to QSFP AOC
Varies						Storage
Varies			Core DC
Out-of-Ban	d Ethernet Cables
140	Cat6 cable		DGX A100 systems	Standard Cat6
17			Management nodes
Varies			Storage
88			PDUs
14	10 GbE passive copper cableSFP+		Two uplinks per SU	NVIDIA MC3309130-xXX
Compute In	finiBand Cables1
3374	200 Gbps QSFP56		DGX A100 systems, spine,andcore	NVIDIA MF1S00-HxxXE
Storage In	finiBand Cables1
568			DGX A100 systems and spine	NVIDIA MF1S00-HxxXE
56²	200 Gbps QSFP56				Storage

16					Management nodes
1. Part number willdepend on exact cable lengths needed based on data center requirements.2. Count and cable type required depend on specific storage selected.

注：在Nvidia技术文档中推荐的组网方案下，140个DGX A100服务器集群线缆需求测算。

2.2 当前“算力之巅”：英伟达H100的网络架构与设备需求 SWS提升至400G/800G基准 RESEARCH

在Chapter 1中我们已经讨论过，H100网络架构基础是 InfiniBand NDR 400Gb 网络 +NVLink 800Gb网络。

• 一个标准的DGX H100 SuperPOD由32台DGXH100、8个机柜组成。同时搭配8个Leaf交换机和4个Spine交换机，均为IB NDR 400。

• 另外搭配若干Storage交换机、Management、UFM、In-Band、Out-of-Band设备。与A100相比，H100主板接口明显减少，尤其Compute接口由8个减少为4个，但单口总带宽提升4倍至800Gb（服务器厂商定制版本也有8×400G选择）。

同理于A100之测算，一个128 DGX H100服务器集群（4x SuperPOD，实际127台服务器，预留1台空位替换UFM）为例，搭载1016个GPU、32个Leaf交换机、26台Spine交换机（InfiniBand网络需求）；

• 线缆数超2000条。1个SuperPOD对应8 Leaf、4Spine；线缆数超500条。此外In-Band、Out-of-Band交换机主要需要100G、400G网络。

127个H100服务器（1016 GPUs）的设备需求量测算

Count	Component	Connection	Recommended Model
In-Band Et	hernet Cables
254	100 Gbps	DGX H100 system	Varies
32	100 Gbps QSFP to QSFP AOC	Management nodes	Varies
6	100 Gbps	ISL Cables	Varies
Varies	Ethernet (perf varies)	Storage	Varies
Varies	Varies	Core DC	Varies
OOB Ether	net Cables
127	1 Gbps	DGX H100 systems	Cat5e
64	1Gbps	IB Switches	Cat5e
E	1 Gbps	Mgmt/UFM nodes	Cat5e
B	1Gbps	In-band Eth Switches	Cat5e
Varies	1 Gbps	Storage	Cat5e
108	1Gbps	PDUs	Cat5e
16	100 Gbps	Two uplinks per OOB	Varies
Compute In	finiBand Cabling
2040	NDR Cables1,400 Gbps	DGX H100 systems to leaf,leaf to spine	NVIDIA 980-9I57X-00N010
2	NDR Cables_ 200 Gbps	UFM to leaf ports	NVIDIA 980-911-00H010
1536	Switch OSFP Transceivers	Leaf and spine transceivers	NVIDIA 980-9IA20-00NS00
508	System OSFP Transceivers	Transceivers in the DGX H100Systems	NVIDIA 980-9189P-00N000
4	UFM System Transceivers	UFM to leaf connections_	NVIDIA 980-9189R-00NS00
Storage In	finiBand Cablesl
494	NDR Cables, 400 Gbps	DGX H100 systems to leaf,leaf to spine	NVIDIA 980-9I57X-00N010
482	NDR Cables, 200 Gbps	Storage	NVIDIA 980-91111-00H010
	NDR Cables_ 200 Gbps_	Management/UFM nodes	NYIDIA 980-9IU1 1-00H010
395	Switch Transceivers	Leaf and spine transceivers	NVIDIA 980-9IA20-00NS00
254	DGX System Transceivers	QSFP112 Transceivers	NVIDIA 980-91693-00NS00
8	Mgmt/UFM Transceivers	NDR200 Transceivers	NVIDIA 980-91693-00NS00
Varies	Storage Cables, NDR200	varies	Varies
Varies	Storage Transceivers	Varies	Varies
1. Part number willdepend on exact cable lengths needed based on data center requirements.2. Count and cable type required depend on specific storage selected.3. All networking components are multi-mode fiber.

资料来源：Nvidia，申万宏源研究

2.2 当前“算力之巅”：英伟达H100的网络架构与设备需求提升至400G/800G基准 SWS RESEARCH

基于H100的DGX SuperPOD集群，127个服务器（1016 GPUs）规模下的设备需求量测算（均为多模光纤）：

• 交换机端800G（2x400NDR）

1536+395=1931个

服务器端2x400G

508+4=512个

以上 GPU : 800G光模块 ≈ 1 : 2.4（InfiniBand网络标配需求）

• 另外预计400G（1x400NDR）

 254+8=262个

若进一步考虑NVLink网络（相当于选配）需求：

• 单服务器NVLink下需要18对、36个osfp，也就是36个800G；

一个POD集群的32台服务器（256 GPUs）则需要36x32=1152个800G光模块。

. 以上 GPU : 800G光模块 = 1 : 4.5

综上H100体系下，GPU：800G光模块用量的区间大致在1 : 2.4 至 1 : 6.9之间（理想情况）。

而对于一个256 GPUs的DGX SuperPOD集群，交换机用量不超过50台。

2.3 GH200的设计精髓：最大化利用NVLink和InfiniBand SWS网络，光连接更优先 RESEARCH

Nvidia DGXGH200“超级计算机”的硬件构成：更多的机柜、光纤、交换机。

1x Hopper GPU（H100） + 1x GraceCPU板卡 = 1x GH200；

• 8x GH100 + 3x L1 NVLink交换机 + 内部高速线缆 = 1组GH100阵列；

• 256x GH100 + 96x L1 NVLink交换机 + 内部高速线缆 = 32组GH100阵列；

32组阵列 + 36x L2 NVLink交换机 + 24xIB交换机等 = 1个DGX GH200集群。

www.swsresearch.com 资料来源：Nvidia，申万宏源研究

2.3 GH200的设计精髓：最大化利用NVLink和InfiniBan网络，光连接更优先

我们测算：DGX GH200同过去A100和H100系列服务器最大区别在于，将Grace CPU和HopperGPU封装在同一块板卡上，连同其他部件形成1U大小的“刀片服务器”，并将其通过内部线缆的方式和L1层的NVLink交换机封装在一起，板卡与L1 NVLink交换机的数量比例为8:3。

一个DGX GH200集群内部包括256个GH200“板卡服务器”，对应了96台L1 NVLink交换机。

进一步引入L2 NVLink交换机，此处预计通过外部光缆+光模块的方式进行连接。

一个DGX GH200集群搭配36台L2 NVLink交换机。

则Grace Hopper下，NV网络对800G光模块的需求量：36（L2 NV交换机）x32（NV交换机接口数）x2=2304个， GPU : 800G光模块 = 1 : 9（较DGX H100方案提升30%-275%）。

加之搭配的24台IB交换机（预计是16+8的双层fat tree架构），预计额外需要[32x24+256]（IB网络接口数，交换机侧和服务器侧）=1024个光模块。以及BF-3等组网所需的额外较低速率光模块。

Fully Connected NVLink across 256 GPUs

Figure 2.Topology of a fully connected NVIDlA NVLink Switch Systemacross NVIDIA DGX GH200 consisting of 256 GPUs

2.3 GH200的设计精髓：最大化利用NVLink和InfiniBand SWS网络，光连接更优先 RESEARCH

GH200体系的交换机需求，以256片Grace CPU+H100 GPU为例：

• 96+36 = 132台 NVLink交换机（800G）

• 24台 InfiniBand交换机（预计400G/800G）

. 42台以太网交换机（预计100G/200G，用于存储、管理等）

• 相比“256 GPUs的DGXSuperPOD集群，交换机用量不超过50台”，GH200系统的交换机需求大幅提升。

Grace Hopper架构下NVLink和IB网络共存

资料来源：Nvidia，申万宏源研究

因此我们预计，Nvidia未来将越来越重视在AI体系中引入NVLink网络，通过网络连接来降低系统成本、提升整体性能：

DGX H100服务器的架构设计，仍可见传统PC与通用服务器一路沿袭的思路，例如motherboard、gpu tray等结构；而GH200则基于NVLink和AI需求对“芯片-设备-IDC”的网络架构做了重新设计。从系统复杂度、投资强度、整体性能提升三方面看，网络设备与器件（包括交换机、光模块等）在系统中的重要性显著提升。

主要内容

网络的价值在于延续了集群算力摩尔定律
Nvidia：H100到GH200，网络价值陡增
谷歌：TPU v4背后，是OCS与更激进的光
网络设计
AMD、Amazon等：芯片亦持续迭代
结论、相关标的与风险提示

谷歌自研TPU可追溯至2014年；据谷歌论文（TPU v4: An Optically ReconfigurableSupercomputer for Machine Learning with Hardware Support for Embeddings），最新TPU v4集群采用激进的全光组网方案。据历代发布数据：

TPU v1主要用于推理场景，单向架构，发布于2015年；

TPU v2则定位于训练场景，单板4颗芯片，64G HBM替代DDR3，Interconnect Router提供4个ICI Link做芯片互联、分别496Gbps带宽（类似NVLink），发布于2017年；

TPU v3同样单板4颗芯片，128G HBM，ICI Link带宽提升至656Gbps，发布于2018年；

TPU v4的128G HBM带宽升级至1200GBps，ICI Link则迭代为6路448Gbps。

Google TPU演进至第四代

3.1 谷歌TPU：迭代至v4，ASIC 3D组网适配AI需求 SWS

3D组网是TPU v4最大特征，同样重视网络连接的价值。据谷歌文档测算：

一个TPU v4板卡有4个芯片，一个TPU v4 Pod由4096个芯片（1024个板卡）组成。

个4 x 4 x 4的block有64个芯片（16个板卡，右下图示），每个block有6个面（正立方体的6个面），每个面对外发送16个光连接，用于连接外部交换机，总共6 x 16 = 96个光连接；block上相对面的link连接同一台交换机，因此64个芯片的光连接有96/2=48对，对应48台交换机。

不同于过去的平面组网，TPU v4组网方式是“3D立方体”组网

www.swsresearch.com 资料来源：Google，申万宏源研究

我们认为，芯片角度ICI Link起到了类似NVLink的作用，负责Chip-to-chip互联以及板间互联。

• 在TPU v4一代，每个芯片对应6路ICI Links，每一路448Gbps带宽，其中2路用于板卡上4个芯片的互联，另外4路则用于对外的3D组网。

因此每个板卡上有4 × 4 = 16路外部ICI Links，以OSFP connectors的形式嵌入在板卡侧面（右图红框）。

机柜角度看，右下图是4096芯片、64机柜集群其中的8个机柜，每个机柜有16组服务器（板卡），对应16 × 4 = 64个芯片（即1个机柜对应前述1个4 x 4x 4的block）。

1个Block（机柜）内部板卡之间的互联使用无源铜缆连接；

48个交换机、 8组右图所示的机柜、以及光纤与光模块、液冷模块，共同组成了4096 TPU芯片的集群。

TPU v4板卡

4096芯片、64机柜集群其中的8个机柜

3.2 谷歌OCS：全光交换、WDM等光通信技术，算力 SWS与网络同行 RESEARCH

OCS即Optical circuit switches，是谷歌TPU v4网络连接的核心交换机。

通常数据中心内数据交换是光电混合网络，设备之间的主要互联通过光缆/铜缆/光电转换器件、以及交换机ASIC/Serdes/PCIE/NVLink等链路实现。

与过去在网络层之间多次将信号“从电转换为光再到电”不同，OCS是一种全光学的连接方案，通过MEMS阵列结合光环路器、波分复用光模块实现光路的灵活切换、以达到直接通过光信号组建交换网络的目的。

谷歌OCS方案通过MEMS阵列调整光路，灵活配置AI算力网络

3.2 谷歌OCS：全光交换、WDM等光通信技术，算力与网络同行

早期谷歌应用OCS主要用于解决云设备集群扩容中不同速率设备、网络、敏捷性的兼容问题；后来应用于AI/HPC场景下数据中心内部主干网络。

OCS优点在于其信号传递的过程中不涉及数据包路由或标头解析，OCS只是将光从输入端口反射到输出端口，精度高、损耗小，而光信号是通过WDM光模块的电光转换过程产生。

因此OCS光交换网络与数据速率和波长无关，即使算力网络基础设施带宽从100Gb/s升级到200Gb/s甚至直到1.6T及更高速率，OCS方案均可在主干层兼容。换言之，在OCS方案下光通信网络的升级迭代未必以传统网络芯片的带宽和端口速率为瓶颈，可完全依据流量增长速度和成本经济性进行迭代。

谷歌OCS方案仍然依赖光模块产生光信号、借助光纤进行信号传输

3.2 谷歌OCS：全光交换、WDM等光通信技术，算力与网络同行

我们认为，波分复用的单模光模块是高带宽下的必然需求。预计AI背景下，相干光通信下沉至IDC场景，成本、功耗、频谱效率、可扩展性等因素平衡，通信环节需求进一步提升。

谷歌OCS网络方案下，采用单模WDM光模块进行Leaf层交换机间的连接。

与PSM解决方案相比，WDM光学技术最大限度地提高了OCS端口的效率和使用率，单模是OCS技术的兼容性和扩展性所需要的。

此外，光环路器（circulators）被耦合到光模块上，以实现单模双向链路传输，从而为每根光纤和每个OCS端口实现全双工通信，使所需的光纤和OCS端口的数量减少了一半。由于OCS、光环路器和光纤组件在很大程度上与数据速率无关，可以用于多代网络和不同速度的互连。而波分复用的单模光模块正在从800G向1.6T演进。

谷歌单模WDM光模块迭代路径，当前恰好是800G节点，预计很快导入1.6T

我们认为，未来光通信速率继续迭代至1.6T以上，光通信领域技术迭代、不同场景的渗透将加速。

• 例如，据MSA发布的800G白皮书，使用单模技术来实现800G-SR8场景（60\~100m）互连开始具备可行性与实际意义。

主要内容

网络的价值在于延续了集群算力摩尔定律
Nvidia：H100到GH200，网络价值陡增
谷歌：TPU v4背后，是OCS与更激进的光
网络设计
AMD、Amazon等：芯片亦持续迭代
结论、相关标的与风险提示

据AMD发布会，MI300系列方案内存容量与带宽显著提升：

• MI300X拥有192GB的HBM3、5.2TBps的带宽和896GBps的InfinityFabric带宽；

• AMD Infinity 架构将 8 个MI300X 加速器连接在一个系统中，提供合计1.5TB的HBM3内存。

AMD MI300 APU采用3D堆叠集成13个Chiplets

资料来源：AMD，申万宏源研究

资料来源：AMD，申万宏源研究

4.2 Amazon：自研Trainium芯片支撑Trn1等训练云服务 SWS

Amazon发布由自研芯片Trainuim支持的AWS EC2 Trn1：

每台Trn1最多可搭配16颗Trainium芯片，芯片内NeuronLink专用连接并搭配HBM内存，调用800 Gbps的Elastic FabricAdapter网络接口，可横向拓展至1万颗以上的Trainium芯片。

进阶版本Trn1n的EFA带宽将达到1600 Gbps。（发布会公开数据）

Amazon自研Trn系列训练芯片

主要内容

网络的价值在于延续了集群算力摩尔定律
Nvidia：H100到GH200，网络价值陡增
谷歌：TPU v4背后，是OCS与更激进的光
网络设计
AMD、Amazon等：芯片亦持续迭代
结论、相关标的与风险提示

结合上文：

1）系统复杂度、投资强度、整体性能提升效果三方面看，网络设备与器件（包括交换机、光模块等）在AI系统中的重要性显著提升：Nvidia H100到GH200系统，官方标准配置下800G光模块用量可提升30%-275%，同样256GPU集群的交换机需求从不足50台提升至150台以上。

2）谷歌自研TPU v4背后，是矩阵计算、OCS光交换与更激进的光网络设计。3D组网是TPU v4系统最大亮点，网络起重要作用，导入全光交换、WDM等光通信技术后，算力与网络需求同步提升。

3）AMD最新MI300体系和AWS自研Trn训练芯片，同样重视带宽、拓展性的价值。

我们认为：

在AI领域，网络的价值在于延续了集群算力的摩尔定律。

1）吞吐带宽与连接架构是算力性能不可忽视的决定因素。

2）芯片层面，高速c2c连接方案（如NVLink、CXL等）的推广，是宏观设备/数据中心层高速网络、光网络等需求爆发的底层逻辑。

相关标的：中际旭创、华工科技、新易盛、天孚通信、剑桥科技、紫光股份、锐捷网络、中兴通讯等。

风险提示：

信息技术迭代产生新的网络通信方案，可能颠覆已有路径或格局。

技术迭代往往会产生新的通信方案。硅光/CPO/MPO/LPO/OCS等已经体现了光通信领域的新技术井喷，未来进一步的技术路径更新和选择也实际影响了网络连接的需求。

信息披露

证券分析师承诺

本报告署名分析师具有中国证券业协会授予的证券投资咨询执业资格并注册为证券分析师，以勤勉的职业态度、专业审慎的研究方法，使用合法合规的信息，独立、客观地出具本报告,并对本报告的内容和观点负责。本人不曾因，不因，也将不会因本报告中的具体推荐意见或观点而直接或间接收到任何形式的补偿。

与公司有关的信息披露

本公司隶属于申万宏源证券有限公司。本公司经中国证券监督管理委员会核准，取得证券投资咨询业务许可。本公司关联机构在法律许可情况下可能持有或交易本报告提到的投资标的，还可能为或争取为这些标的提供投资银行服务。本公司在知晓范围内依法合规地履行披露义务。客户可通过compliance@swsresearch.com索取有关披露资料或登录www.swsresearch.com信息披露栏目查询从业人员资质情况、静默期安排及其他有关的信息披露。

机构销售团队联系人

华东A组陈陶 021-33388362 chentao1@swhysc.com

华东B组谢文霓 021-33388300 xiewenni@swhysc.com

华北组李丹 010-66500631 lidan4@swhysc.com

华南组李昇 15914129169 lisheng5@swhysc.com

A股投资评级说明

证券的投资评级：

以报告日后的6个月内，证券相对于市场基准指数的涨跌幅为标准，定义如下：

买入（Buy）：相对强于市场表现20％以上；

增持（Outperform）：相对强于市场表现5％～20％；

中性 (Neutral) ：相对市场表现在－5％～＋5％之间波动；

减持 (Underperform) ：相对弱于市场表现5％以下。

行业的投资评级：

以报告日后的6个月内，行业相对于市场基准指数的涨跌幅为标准，定义如下：

看好（Overweight）：行业超越整体市场表现；

中性 (Neutral) ：行业与整体市场表现基本持平；

看淡 (Underweight) ：行业弱于整体市场表现。

本报告采用的基准指数：沪深300指数

港股投资评级说明

证券的投资评级：

以报告日后的6个月内，证券相对于市场基准指数的涨跌幅为标准，定义如下：

买入（BUY）：：股价预计将上涨20%以上；

增持（Outperform）：股价预计将上涨10-20%；

持有（Hold）：股价变动幅度预计在-10%和+10%之间；

减持（Underperform）：股价预计将下跌10-20%；

卖出（SELL）：股价预计将下跌20%以上。

行业的投资评级：

以报告日后的6个月内，行业相对于市场基准指数的涨跌幅为标准，定义如下：

看好（Overweight）：行业超越整体市场表现；

中性 (Neutral) ：行业与整体市场表现基本持平；

看淡（Underweight）：行业弱于整体市场表现。

本报告采用的基准指数：恒生中国企业指数（HSCEI）

我们在此提醒您，不同证券研究机构采用不同的评级术语及评级标准。我们采用的是相对评级体系，表示投资的相对比重建议；投资者买入或者卖出证券的决定取决于个人的实际情况，比如当前的持仓结构以及其他需要考虑的因素。投资者应阅读整篇报告，以获取比较完整的观点与信息，不应仅仅依靠投资评级来推断结论。申银万国使用自己的行业分类体系，如果您对我们的行业分类有兴趣，可以向我们的销售员索取。

法律声明

本报告由上海申银万国证券研究所有限公司（隶属于申万宏源证券有限公司，以下简称“本公司”）在中华人民共和国内地（香港、澳门、台湾除外）发布，仅供本公司的客户（包括合格的境外机构投资者等合法合规的客户）使用。本公司不会因接收人收到本报告而视其为客户。有关本报告的短信提示、电话推荐等只是研究观点的简要沟通，需以本公司http://www.swsresearch.com网站刊载的完整报告为准，本公司并接受客户的后续问询。本报告首页列示的联系人，除非另有说明，仅作为本公司就本报告与客户的联络人，承担联络工作，不从事任何证券投资咨询服务业务。本报告是基于已公开信息撰写，但本公司不保证该等信息的准确性或完整性。本报告所载的资料、工具、意见及推测只提供给客户作参考之用，并非作为或被视为出售或购买证券或其他投资标的的邀请或向人作出邀请。本报告所载的资料、意见及推测仅反映本公司于发布本报告当日的判断，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。在不同时期，本公司可发出与本报告所载资料、意见及推测不一致的报告。客户应当考虑到本公司可能存在可能影响本报告客观性的利益冲突，不应视本报告为作出投资决策的惟一因素。客户应自主作出投资决策并自行承担投资风险。本公司特别提示,本公司不会与任何客户以任何形式分享证券投资收益或分担证券投资损失，任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。本报告中所指的投资及服务可能不适合个别客户，不构成客户私人咨询建议。本公司未确保本报告充分考虑到个别客户特殊的投资目标、财务状况或需要。本公司建议客户应考虑本报告的任何意见或建议是否符合其特定状况，以及（若有必要）咨询独立投资顾问。在任何情况下，本报告中的信息或所表述的意见并不构成对任何人的投资建议。在任何情况下，本公司不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任。市场有风险，投资需谨慎。若本报告的接收人非本公司的客户，应在基于本报告作出任何投资决定或就本报告要求任何解释前咨询独立投资顾问。

本报告的版权归本公司所有，属于非公开资料。本公司对本报告保留一切权利。除非另有书面显示，否则本报告中的所有材料的版权均属本公司。未经本公司事先书面授权，本报告的任何部分均不得以任何方式制作任何形式的拷贝、复印件或复制品，或再次分发给任何其他人，或以任何侵犯本公司版权的其他方式使用。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记，未获本公司同意，任何人均无权在任何情况下使用他们。

简单金融成就梦想 A Virtue of Simple Finance

申万宏源研究微信订阅号

申万宏源研究微信服务号

上海申银万国证券研究所有限公司(隶属于申万宏源证券有限公司）

李国盛ligs@swsresearch.com

StartYourFinance

起点财经，网罗天下报告

证券代码	证券简称	2023/6/14		预测净利润		PE
证券代码	证券简称	收盘价（元）	总市值（亿元）	2023E	2024E	2023E	2024E
600941.SH	中国移动	96.50	12,729.87	1,373.64	1,478.02	9.27	8.61
601728.SH	中国电信	6.05	5,187.33	309.10	347.57	16.78	14.92
600845.SH	宝信软件	45.65	937.41	25.58	32.01	36.65	29.29
000988.SZ	华工科技	37.09	372.94	12.10	15.52	30.82	24.03
688777.SH	中控技术	90.08	488.25	10.97	14.40	44.51	33.91
000938.SZ	紫光股份	34.40	983.87	26.99	33.13	36.45	29.70
300628.SZ	亿联网络	36.27	457.83	29.74	39.09	15.39	11.71
002396.SZ	星网锐捷	22.80	135.19	7.45	9.22	18.14	14.66
300308.SZ	中际旭创	129.55	1,040.06	15.05	19.86	69.11	52.38
300502.SZ	新易盛	65.80	467.13	12.59	16.58	37.11	28.18
301165.SZ	锐捷网络	59.31	336.99	7.56	10.19	44.55	33.07
600050.SH	中国联通	5.10	1,622.03	86.30	100.14	18.79	16.20

通信网络延续基础算力的摩尔定律？AIGC系列之二十

每日 免 费 获取 报告 □

结论

原因及逻辑

有别于大众的认识

风险提示

主要内容

1.1 芯片层面网络：chip-to-chip场景，从PCIe到高速连接 SWS

一）通用/传统场景：PCIe是服务器内部通信的总线标准，制约了电口通信速率的提升。

1.1 芯片层面网络：chip-to-chip场景，从PCIe到高速连接 SWS

1.1 芯片层面网络：chip-to-chip场景，从PCIe到高速连接 SWS RESEARCH

1.1 芯片层面网络：chip-to-chip场景，从PCIe到高速连接 SWS

（三）类似地，AMD的Infinity Fabric也强化了chip内外部网络连接的性能。

1）MI300A（CPU+GPU）

2）MI300X（作为GPU，针对LLM场景）

896 GBps Infinity Fabric带宽（可以类比NVLink）

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

InfiniBand是一种专为RDMA（远程直接内存访问）设计的网络。

以Nvidia H100为例，其网络架构的基础是InfiniBand NDR 400Gb网络。

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

Nvidia DGX H100系统为例：

设备组网的基本原则——GPU的通信以NVLink为基础，CPU/存储的通信+跨集群通信以InfiniBand为基础。

（一）H100 GPU发布后，服务器架构变化较大：

DGX H10O: DATA-NETWORK CONFIGURATION

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

DGX H1OO SUPERPOD: NVLINK SWITCH

1.2 设备层面网络：InfiniBand、NVLink等正迭代通用算力下的以太网需求

1.3 IDC层面网络：AI与通用云计算架构核心差异在于组网 SWS

1.3 IDC层面网络：AI与通用云计算架构核心差异在于组网

主要内容

2.1 AIGC“前夜”，Nvidia A100的网络架构与设备需求以 SWS200G为基础。 RESEARCH

Nvidia的A100体系是典型的200G网络结构。

2.1 AIGC“前夜”，Nvidia A100的网络架构与设备需求以 SWS200G为基础。 RESEARCH

2.2 当前“算力之巅”：英伟达H100的网络架构与设备需求 SWS提升至400G/800G基准 RESEARCH

在Chapter 1中我们已经讨论过，H100网络架构 基 础 是 InfiniBand NDR 400Gb 网 络 +NVLink 800Gb网络。

2.2 当前“算力之巅”：英伟达H100的网络架构与设备需求 提升至400G/800G基准 SWS RESEARCH

2.3 GH200的设计精髓：最大化利用NVLink和InfiniBand SWS网络，光连接更优先 RESEARCH

2.3 GH200的设计精髓：最大化利用NVLink和InfiniBan网络，光连接更优先

2.3 GH200的设计精髓：最大化利用NVLink和InfiniBand SWS网络，光连接更优先 RESEARCH

主要内容

3.1 谷歌TPU：迭代至v4，ASIC 3D组网适配AI需求 SWS

3D组网是TPU v4最大特征，同样重视网络连接的价值。据谷歌文档测算：

3.2 谷歌OCS：全光交换、WDM等光通信技术，算力 SWS与网络同行 RESEARCH

3.2 谷歌OCS：全光交换、WDM等光通信技术，算力与网络同行

3.2 谷歌OCS：全光交换、WDM等光通信技术，算力与网络同行

谷歌OCS网络方案下，采用单模WDM光模块进行Leaf层交换机间的连接。

主要内容

据AMD发布会，MI300系列方案内存容量与带宽显著提升：

4.2 Amazon：自研Trainium芯片支撑Trn1等训练云服务 SWS

主要内容

结合上文：

风险提示：

信息披露

证券分析师承诺

与公司有关的信息披露

机构销售团队联系人

A股投资评级说明

港股投资评级说明

法律声明

简单金融 成就梦想 A Virtue of Simple Finance

StartYourFinance

每日免费获取报告 □

在Chapter 1中我们已经讨论过，H100网络架构基础是 InfiniBand NDR 400Gb 网络 +NVLink 800Gb网络。

2.2 当前“算力之巅”：英伟达H100的网络架构与设备需求提升至400G/800G基准 SWS RESEARCH

简单金融成就梦想 A Virtue of Simple Finance

通信行业AIGC系列之二十：通信网络延续基础算力的摩尔定律？-20230615-申万宏源-43页