AMD MI300：AI 芯片十问十答

华泰研究–海外科技

2023 年 6 月 11 日│美国

动态点评

AMD 财报后以 AI 为策略首位，市场聚焦 6 月 13 日发布会

我们在 5月 18 日和 5 月 30 日分别推出了关于 AMD MI300的研报后，我们希望在本报告中进一步深入探讨市场对于 AMD MI300 比较关心的问题，包括：在 AI 芯片中 CPU+GPU 架构的优势、CPU 架构的选择对比、3D Chiplet封装技术与统一内存架构的优势、数据传输的效率和扩展性、生态圈与兼容性、以及训练与推理所需的数据精度等。我们建议关注 AMD 将于加州时间2023 年 6 月 13 日早上 10 时（北京时间 6 月 15 日凌晨 1 时）举办的“AMD数据中心和人工智能技术首映式”，会上或将提供包括 MI300、Infinity Fabricv4、Bergamo 和 Genoa-X 等产品的更多细节。

MI300 与 GH200 同为 CPU+GPU 架构，此架构在 AI 芯片中的优势何在？虽然 MI300 是 AMD 首个此架构的数据中心产品，但 AMD 早在 2011 年发布的 PC 端 APU 就已是此架构。因此，AMD 具备较深厚的 know-how。我们认为此架构已成为 AI 芯片的趋势。鉴于 AI 的最终目标是模仿人类大脑操作，因此，AI 芯片也应仿生人脑结构，并顺应多模态模型的发展需求。类比人脑，CPU 更像左脑，负责对信息的逻辑处理，如串行运算、数字和算术、分析、整理等；而右脑更像 GPU，负责并行计算、创造性思维等。在不同模态推理时，CPU 与 GPU 也各有分工，如处理语音和文本时或更适合使用CPU；但在处理图像、视频等，需大规模并行运算，或更适宜由 GPU 负责。

MI300与 GH200的 CPU 架构、封装技术、统一内存和数据传输各有千秋英伟达的 ARM 和 AMD 的 x86 CPU 在 AI 应用里各有优势。ARM 相比 x86能耗较低，在 AI 和云计算中或较合适，且在 CPU+GPU 架构里，CPU 或仅需发挥其部分功能，如发放指令等，因此 ARM 或已足够。而 x86 追求高性能和拥有丰富指令集，在 AI 推理也可跟 GPU 互补。MI300 使用 3D Chiplet封装技术，而 GH200 则使用 CoWoS（2.5D）封装。前者具有提高性能、降低延迟和功耗的优点。目前，台积电、英特尔、三星三大代工厂，以及封装厂如通微富电、日月光等也在积极部署。MI300 的统一内存可降低不同内存间来回复制、同步和转换数据所导致的编程复杂性。而 GH200 的 NVLink或受限于协议速率，但比 PCIe 5.0 快 7 倍。NVLink 也支持跨节点多 GPU间的数据访问与高速传输，可扩展性高。

CUDA 和 ROCm 生态圈对比，成色几何？

AMD ROCm 相比英伟达 CUDA 起步较晚。ROCm 虽能完全兼容 CUDA，为 AMD 提供了说服客户迁移的条件和理由，但兼容只属权宜之计，进一步建立 ROCm 生态圈才能攻破 CUDA 的护城河。我们认为目前 ROCm 的不足之处在于操作系统长期只支持 Linux，最近才登录 Windows；加上长期只支持高端 GPU，如 Radeon Pro 系列等，直到今年 4 月才扩展至一些消费级 GPU；另外，CUDA在今年达 400 万以上的开发者，也是 ROCm 无法相比。但 AMD 目前也正积极拓展 ROCm 生态圈，包括支持Windows 操作系统、在 AI 领域开拓更广泛的框架，如 MIOpen 和 MIVisionX，以及支持更多的软件，包括TensorFlow、PyTorch等。ROCm 在进一步通过 HIP兼容 CUDA的同时，也与客户包括微软等合作重构自己的生态。

风险提示：AI 技术落地和推进不及预期、竞争格局越演越烈、中美关系升级。

电子

增持 (维持)

研究员

何翩翩

SAC No. S0570523020002

SFC No. ASI353

purdyho@htsc.com

+(852) 3658 6000

每日免费获取报告 □

每日微信群内分享7+最新重磅报告;

每日分享当日华尔街日报、金融时报;

行研报告均为公开版, 权利归原作者所有,起点财经仅分发做内部学习。

正文目录

AMD MI300 十问十答... .3
Q1：AMD 的 CPU+GPU 架构是否肇始于 MI300？此架构在 AI芯片中有何优势？. ..3
Q2：AMD MI300 中 CPU 为 x86 架构，而英伟达 GH200 中 CPU 则采用 ARM 架构，从 AI 角度如何对比两种
CPU 架构？. ...6
Q3：MI300和GH200的封装方法有何区别？3D Chiplet的封装方法有何好处？ ...6
Q4：英伟达在 Grace Hopper 内为何使用 NVLink 而不使用 AMD MI300 的统一内存架构方案？NVLink 又有何优
势和局限？. ....10
Q5：NVLink 和 PCIe 有何区别？NVLink 在哪些方面可以替代 PCIe？ ...12
Q6：英伟达 GH200 和 AMD MI300 会否受中美禁运影响？. ..14
Q7：AMD 的 ROCm 生态圈与英伟达的 CUDA 生态圈如何作比？ ...16
Q8：在同一数据中心里同时使用 AMD 和英伟达的 GPU，相互之间能否兼容和互用？ ...18
Q9：AI 的训练和推理，分别需要多少数据精度？.. ..18
Q10：谷歌既有自研的 TPU，为何仍需购买英伟达的 GPU？谷歌的 TPU 使用情况如何？ ...19
风险提示.... ..22

AMD MI300 十问十答

Q1：AMD 的 CPU+GPU 架构是否肇始于 MI300？此架构在 AI 芯片中有何优势？

AMD MI300 包含 Zen 4 架构 CPU 及 CDNA3 架构 GPU。MI300 虽是 AMD 的首个CPU+GPU 架构的数据中心产品，但其实 AMD 早在 2011 年发布的 APU（AcceleratedProcessing Unit）就已经是 CPU+GPU 架构，但当时只用于 PC 端。因此，AMD 在CPU+GPU 架构具备深厚的 know-how。

AMD 的 CPU+GPU 架构理念可以追溯到 2006 年。当时 AMD 通过收购 ATI 获得 GPU 以及芯片组技术，并在同年开展 AMD Fusion 项目（即后来的 APU），提出将 CPU 和 GPU集成到一颗芯片上的理念，但当时 AMD 的 CPU 和 GPU 采用 45nm 制程，将两者放在同一芯片上的难度较大。直到 2011 年，AMD 发布首款 APU 产品 LIano。目前，MI 系列在MI300 之前的产品都是纯 GPU，比如说 MI200 家族（包括 MI250 及 MI250X）均是纯 GPU。

图表1： 2011年 AMD提出 APU概念，将结合 CPU与 GPU在左右脑层面的分工区别和组合构想

资料来源：AMD 推特官方、华泰研究

我们认为，CPU+GPU 架构已成为 AI 芯片的趋势，鉴于 AI 的最终目标是模仿人类大脑的操作，因此 AI 芯片也应仿生人脑结构，并顺应多模态模型的发展需求。目前，英伟达的Grace Hopper 与 AMD 的 MI300 同为 CPU+GPU 架构。此前，英特尔也曾经准备发布同类产品 Falcon Shores。

类比人脑，AMD 认为左脑更像 CPU，负责对信息的逻辑处理，如串行运算、数字和算术、分析思维、理解、分类、整理等；而右脑更像 GPU，负责并行计算、创造性思维和想象等。

在 AI 应用里，GPU 算力高，针对并行计算，在视频处理、图像渲染等方面的优势毋庸置疑，但并非所有工作负载都是单纯的 GPU-bound，也须由 CPU 进行控制调用，发布指令。因此，在 CPU+GPU 架构里的 CPU 可负责控制及发出指令，指示 GPU 处理数据和完成运算（如矩阵运算）。另外，在面对不同模态数据的推理时，我们也认为，CPU 与 GPU 的分工各有不同，因此，同时部署 CPU 和 GPU 能提供更大的运算支撑。例如，在处理语音、语言和文本时，AI 模型需逐一识别目标文字，计算有序，因此或更适合使用擅长串行运算的CPU；但在处理图像、视频等推理时（对比人类的操作，每一个像素是同时进入眼睛），需要大规模并行运算，或更适宜由 GPU 负责。

图表2：人类大脑不同部分功能及对应芯片种类

·评估学习成果，如记忆、技能掌握等

资料来源：Hari R. From brain–environment connections to temporal dynamics and social interaction: principles of human brain function[J]. Neuron, 2017, 94(5): 1033-1039.、BrainFacts、华泰研究

图表3：人脑处理信息与人工智能训练和推理的流程对比

资料来源：CSDN、谷歌官网、Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.、华泰研究

图表4： 2017年 AMD发布的论文中讨论了包含 CPU、GPU和 HBM 内存堆栈的 APU芯片设计

Figure2.Exascale Heterogeneous Processor (EHP)

资料来源：T. Vijayaraghavan et al., "Design and Analysis of an APU for Exascale Computing," 2017 IEEE International Symposium on High Performance Computer Architecture (HPCA), Austin, TX, USA, 2017, pp. 85-96, doi: 10.1109/HPCA.2017.42.、华泰研究

图表5： AMD MI300 产品实物图

资料来源：Tom’s Hardware 官网、华泰研究

图表6： AMD MI300 产品示意图

资料来源：CES 2023、华泰研究

图表7：英伟达 Grace Hopper 芯片实物图

资料来源：AnandTech 官网、华泰研究

图表8：英伟达 Grace Hopper 芯片中也同时包含 CPU 和 GPU

注：对照英伟达官网 Grace CPU 和 Hopper GPU 照片，我们推测左侧为 CPU，右侧为 GPU
资料来源：英伟达官网、华泰研究

Q2：AMD MI300 中 CPU 为 x86 架构，而英伟达 GH200 中 CPU 则采用ARM 架构，从 AI 角度如何对比两种 CPU架构？

我们认为 ARM 和 x86 CPU 架构，在 AI 应用里各有优势。ARM 架构相比 x86 能耗较低，在能耗不断提升的 AI 应用中或较合适，且在这类 CPU+GPU 架构里的 CPU 或仅需发挥其部分功能，如向 GPU发出指令等，因此 ARM 架构或已足够。而 x86架构追求高性能和拥有丰富的指令集，在 AI 推理里也可跟 GPU 在功能上作互补。

AMD 虽同时拥有 ARM 和 x86架构，但我们认为其在 MI300 里采用 x86 架构的 CPU，主要鉴于以下 3 点：1）AMD 在基于 x86 架构的 APU 设计已有深厚的积累；2）x86 性能高，指令集丰富，可跟 GPU在 AI 推理时在功能上有效互补；3）AMD 采用的 3D Chiplet 封装，可通过更紧密的元器件间距，缩短传输距离，减少能耗，能一定程度弥补 x86 架构相较于ARM 在能耗方面的不足。反观，英伟达在 GH200 里使用 ARM 架构的 CPU，我们认为主要鉴于 AI 应用和数据中心均追求低能耗。另外，在这类架构中，CPU 更多用于发布指令、协调控制等，因此 ARM 架构已经足够。

x86 和 ARM 架构的最根本区别在于，前者的设计模式为 CISC（复杂指令集，ComplexInstruction Set Computer），而后者是 RISC（精简指令集，Reduced Instruction SetComputer）。x86 架构在早期设计时主要针对 PC 端追求高性能，希望通过最少的指令来完成计算任务，但芯片面积较大、晶体管数量较多，因此能耗较高，不过鉴于 PC 的体积较大，可安装散热装置；而 ARM 架构则针对体积较小的移动端设备，能耗较低。在 AI 模型的规模持续增长的同时，能耗需求也相应提高，而随着 AI 和云计算领域对节能的要求提高，ARM架构本身的能耗优势凸显。例如，亚马逊在 AWS中大量运用到 ARM 架构的 GravitonCPU（目前最新版本为 Graviton3）。

图表9：英伟达 Grace Hopper 中的 Grace CPU 采用 ARM 架构

资料来源：AnandTech 官网、华泰研究

图表10： AMD MI300 中的 Zen 4 CPU 采用 x86 架构

资料来源：Wccftech 官网、华泰研究

Q3：MI300和GH200的封装方法有何区别？3DChiplet的封装方法有何好处？MI300 使用 3D Chiplet 封装技术，而 GH200 使用 2.5D 封装。据科技新报 2023 年 6 月 6日报道，MI300 使用了台积电 SoIC（3D）和 CoWoS（2.5D）两种封装技术，而 GH200则只采用 CoWoS封装技术。3D Chiplet封装技术具有提高性能、降低延迟和功耗的优点，也可弥补 x86架构相较 ARM 架构在 AI 应用中的能耗问题，但在散热方面或仍存在局限。

英伟达的 GH200 将 Grace CPU、Hopper GPU、96GB 的 HBM3 和 512GB 的 LPDDR5X通过 CoWoS 2.5D 工艺集成在同一封装中。CoWoS 是指先将芯片通过 Chip on Wafer（CoW）连接至硅晶圆，再把 CoW 芯片与基板连接（oS）。而 MI300 采用的 3D Chiplet封装技术则将 13 个 chiplets 分为两层：上层为 9 个基于 5nm 制程的 chiplets （据PCgamers 推测，包括 3 个 CPU 和 6 个 GPU），而下层为 4 个基于 6nm 制程的 chiplets（根据 Tom’s Hardware，包括处理内存和 I/O 流量等），芯片两侧围绕 8 个总计 128GB 容量的 HBM3 高带宽内存。

图表11：英伟达 Grace Hopper 中 CPU 对应内存 LPDDR5X 为 512GB，GPU 对应内存为 HBM3（96GB）

资料来源：英伟达官网、华泰研究

图表12： MI300产品结构示意图（预测）

资料来源：电子工程专辑、华泰研究

Chiplet 技术本身由 AMD 于 2015 年发明，2021 年宣布与台积电合作开发 3D Chiplet，因此相对于英伟达，AMD 在 Chiplet 方面应具备更丰富的 Know-how 经验。3D Chiplet 在提高性能及降低能耗方面有一定优势，但目前仍存在散热和稳定性等问题局限。另外，相比GH200 采用 CoWoS 2.5D 的工艺，AMD 采用的 3D Chiplet 封装也进一步缩小了单元之间的距离。根据 DigiTimesAsia 在 2023 年 4 月 7 日的报道，英伟达预计将在 2024-25 年左右开始采用台积电 3D SoIC，因此，英伟达在积累一定的 Know-how 后，未来应也会采用 3D 封装技术。

MI300 是 MI 系列中第一个采用 3D V-Cache 技术的产品。AMD 在 2021 年推出的 3DV-Cache 封装技术是将缓存层堆叠到 CPU 上，也是一种 3D 封装技术。PC 方面，2022 年推出的 Ryzen 7 5800X3D 是首个使用 3D V-Cache 的产品，2023 年 Q1 推出的 Ryzen7000X3D 系列也采用该技术；服务器方面，从第三代 EPYC CPU Milan-X 开始采用 3DV-Cache 技术，而即将推出的第四代 EPYC CPU Genoa-X 也将采用该技术。

Chiplet 技术在 IC 设计阶段将大型芯片按照不同功能模块的独立芯粒分开进行制造，可有效减小芯片的面积，提高良率和降低生产成本。在 Chiplet 工艺的基础上进行 3D 封装，一方面可进一步提升封装密度（在同样的面积上铺设更多数量的元器件），减少芯片整体面积；另一方面，3D封装通过采用更细小、更密集的电路，缩短线路之间的传输距离，能提升指令的响应速度和降低功耗。然而，虽然 3D封装通过缩短传输距离降低能耗，但由于该技术需在较小的封装体内堆叠多个芯粒，或会导致其存在散热问题，这也是 3D 封装技术领域正致力于攻克的主要问题。对此，AMD通过对架构和硅平面的优化来缓解散热问题，例如 AMD在 SRAM 单元中设计了 3D 64MB SRAM（Static Random Access Memory），并避免其堆叠以保持低热密度，也采用了结构硅从高密度核心中逸出热量。

目前，台积电的 3D Fabric、英特尔的 Foveros 以及三星的 X-cube 是三大最具代表性的3D 封装技术。台积电于 2018 年 4 月首次公布其 SoIC 3D 封装技术，可以使用 CoW（Chipon Wafer）和 WoW（Wafer on Wafer）两种前端芯片堆叠方式，提供了设计的灵活性，并于 2022 年 10 月成立 3D Fabric 联盟，以加速 3D Fabric、3D 硅堆叠等封装技术的使用，联盟伙伴包括 Cadence、Synopsys、ARM、日月光、美光等产业链上下游公司。英特尔于2018 年公布其 3D 堆叠封装技术 Foveros，并于 2019 年 Lakefield 芯片中推出。目前 Foveros已被应用于其 Ponte Vecchio 和 Rialto Bridge GPU 以及 Agilex FPGA 中。三星则于 2020年 8 月推出其 X-Cube技术，通过垂直堆叠的方式实现 3D 封装。

图表13：台积电先进封装 3DFabric 分类

资料来源：台积电官网、华泰研究

图表14：台积电 CoWoS封装示意图

资料来源：台积电官网、华泰研究

图表15：台积电 SoIC封装示意图

资料来源：台积电官网、华泰研究

除代工厂外，部分封装厂商也在积极发力 3D 封装技术，包括通微富电、长电科技、日月光等。通富微电在 2.5D/3D 等先进封装技术布局，自建的 2.5D/3D 平台（VISionS）已全线投产。据通富微电 2023 年 2 月公告，它是 AMD 封测最大的供应商，占 AMD 全部封测订单的80%以上，已为AMD大规模量产Chiplet产品，目前未有公布具体的代工产品信息。另外，拥有 3D 封装技术的厂商还包括日月光（VIPack）、矽品（FO-EB-T 平台）、安靠科技（SWIFT 技术）、长电科技（BGA 平台）等。

图表16：台积电 3D Fabric 联盟成员

资料来源：台积电官网、华泰研究

Q4：英伟达在 Grace Hopper 内为何使用 NVLink 而不使用 AMD MI300的统一内存架构方案？NVLink 又有何优势和局限？

我们认为，AMDMI300 的统一内存架构优点在于芯片内的数据传输性能较高效，可绕过一般传输协议速率限制，加快 CPU-GPU 之间数据交流，也可降低不同内存间来回复制、同步和转换数据所导致的编程复杂性，实现单芯片上更高性能。而英伟达 GH200 里的NVLink 本质上仍是通过通信协议/链路实现 CPU 和 GPU 之间的数据传输，受限于协议速率，不过可实现 PCIe 5.0的 7倍带宽。在芯片以外，NVLink 支持跨节点多 GPU 间的数据访问与高速传输，达到较大的内存容量和较强的扩展性；而 MI300 则将采用第四代 InfinityFabric 架构，但目前细节还未发布。我们建议关注 AMD在加州时间 6月 13日早上 10点的发布会，会上或将进一步披露更多关于第四代 Infinity Fabric 架构的细节。

图表17： AMD早在 2013年便提出 hUMA（异构统一内存访问）架构，希望实现 CPU与 GPU共用同一内存

资料来源：AMD 官网、华泰研究

MI300 通过统一内存架构（CPU 与 GPU使用同一个内存空间）实现两者在物理上的内存共享。此概念最早可追溯到AMD在2013年提出的hUMA（Heterogeneous Uniform MemoryAccess ，异构统一内存访问）。CPU 和 GPU 可针对相同数据同时展开计算，实现“zero-copy”（即执行计算时 CPU 无需先将数据从某处内存复制到另一个特定内存区域），越过一般传输协议的速率限制，也可降低 CPU 和 GPU 共享数据中必须在两个内存分配、来回复制、同步和转换所导致的编程复杂性。一般来说，GPU 在进行数据处理时，需要将数据从 CPU内存复制到 GPU 内存，并在处理完成后再次返回。此举通常由 CPU 执行，因此既占用 CPU性能，又受限于中间传输协议的带宽。据 MI300 客户劳伦斯利弗莫尔国家实验室在 2023年 5 月 22日的 ISC 2023 大会上表示，MI300 统一的内存层可简化编程，降低了不同类型计算和不同内存池之间数据移动的复杂性，从而减少延迟并提高性能和功效。MI300 将搭载在该实验室预计于 2023 年底推出，由惠普旗下 Cray 制造的 El Capitan 超级计算机上。

图表18： EL Capitan 超级计算机：搭载 AMD MI300

资料来源：惠普官网、华泰研究

NVLink 通过地址转换服务（ATS, address translation service）使 CPU 和 GPU 可访问对方的内存，即达成虚拟意义上的内存统一。同时，为解决软件编程难度，英伟达在 CUDA6.0 引入了统一内存模型，系统会自动在 GPU 和 CPU 之间迁移在虚拟统一内存中分配的数据，简化数据分配操作。但整体上看，尽管相比 PCIe 而言，NVLink 具备更高带宽（实现了 PCIe 5.0 总线的 7倍带宽），但 NVLink 本质仍是通过协议传输，数据仍需在两者内存间分配和复制，与 AMD 的统一内存架构物理上内存统一、无需协议传输和数据复制同步的方法仍有所不同。

图表19：英伟达 Grace Hopper芯片通过地址转换服务（ATS）实现统一的虚拟内存

资料来源：英伟达官网、华泰研究

芯片以外，NVLink 可支持跨节点多 GPU间的数据访问与高速传输，具备较高的内存容量和较强的扩展性。而 MI300 所用的第四代 Infinity Fabric 方案尚未发布，建议关注 6 月 13日发布会的更多细节。MI300 配置的显存为 128GB HBM，相比 Grace Hopper 芯片中的96GB HBM。而英伟达通过其独家的 NVLink 连接实现较强扩展性，允许多芯片高速互联，构成高带宽的超级计算系统，解决了因数据处理量增大而 GPU 本地内存容量无法满足存储的痛点。比起传统的替代方案（即通过 PCIe 总线从 CPU 系统内存中提取数据），NVLink可提供高带宽和低延迟的数据传输，保持 GPU 以最高性能运行。据英伟达在 2023 年 5 月29 日上的 Computex 2023 大会公布，DGX GH200 超算通过 NVLink 互连技术及 NVLinkSwitch 系统串联由 32 台 8 块 GH200 超级芯片组成的系统（pod），将总计 256 块 GH200芯片合并成单一超级计算机。故 NVLink 使 DGX GH200 中的每个 GPU 都能以最高 900GB/s 的速度任意访问其他 GPU 和 CPU 的内存，实现总计高达 144 TB内存。

图表20：英伟达 Grace Hopper 通过 NVLink-C2C 和 NVLink Switch 实现 CPU-GPU 和 GPU-GPU 互连

资料来源：英伟达官网、华泰研究

图表21： NVLink Switch 系统通过两级 NVLink 结构，使得单个 DGX GH200 系统可连接 256 个 GH200 芯片，实现高达 144 TB 内存的容量

资料来源：英伟达官网、华泰研究

据 AMD 于 2023 年 5 月 13 日在 ITF World 2023 上公布，MI300 将使用第四代 Infinity Fabric总线架构进行跨节点传输，目前虽暂无第四代 Infinity Fabric 的更多信息，但在 MI250X 上使用的第三代 InfinityFabric 已支持 800GB/s 的 GPU 互连，第四代或能实现更高速率。从扩展性来看，第三代架构最多可实现 8 个 GPU 互联，第四代的扩展性表现细节尚未公开，这或为对比 AMD 和英伟达两者内存和扩展性的关键，建议关注 AMD 在 6 月 13 日发布会上的更多细节。

图表22： MI250X 通过第三代 Infinity Fabric 实现 800GB/s 的 GPU 互联（红线、绿线、灰线和蓝线为 InfinityFabric）

资料来源：AMD 官网、华泰研究

Q5：NVLink 和 PCIe 有何区别？NVLink 在哪些方面可以替代 PCIe？

NVLink 为英伟达独家的网络连接技术，可高速连接多芯片，构建高带宽、高算力、低延迟、及可扩展性的超级计算机集群，适配大规模的 AI 和数据分析工作。在芯片内部，NVLink可代替 PCIe 以高达 900GB/s 的速率连接 CPU 与 GPU，还可实现多 CPU 直连。在芯片对外传输中，NVLink 更多是实现多 GPU 高速直连，而 PCIe 则可完成 GPU/CPU 连接以外，包括网卡、声卡、RAID 卡等的多设备连接。

在芯片内部，NVLink 可实现 CPU 与 GPU 间，以及多 CPU 的高速连接。在 Grace Hopper芯片内，NVLink 实现 Hopper GPU 和 Grace CPU 互连，连接速率已达 900GB/s，为 PCIe5.0 总线带宽的 7 倍，也远高于下一代 PCIe 6.0 的 256 GB/s 速率。

图表23：历代 NVLink 参数

	NVLink 2	NVLink 3	NVLink 4
DSR 数据信号速率（Gbps)	25	50	100
单链路的通道数	8	4	2
单链路的单向带宽 (GB/s)	25	25	25
单链路总带宽(GB/s)	50	50	50
总链路数	6	12	18
总带宽（GB/s)	300	600	900
推出年份	2016	2017	2020

资料来源：英伟达官网、ICspec 官网、华泰研究

图表24：历代 PCIe 总线标准

PCle标准	单通道数据传输速率（GT/s)	编码	x16带宽 (GB/s)	标准批准年份
1.x	2.5	8b/10b	8	2003
2.x	5	8b/10b	16	2007
3.x	8	128b/130b	32	2010
4.0	16	128b/130b	63	2017
5.0	32	128b/130b	128	2019
6.0	64	PAM4/FLIT	256	2022

资料来源：WCCFtech 官网、Rambus 官网、华泰研究

NVLink 也可完成芯片内多 CPU 互联。在 Grace CPU Superchip 内部，NVLink 可将两个Grace CPU 处理器相连，以提供多达 144 个 ARM Neoverse V2 核心（1 个 Grace CPU 有72 个），取代了传统上由 PCIe 实现的 CPU 互联。

图表25：英伟达 Grace CPU Superchip 通过 NVLink C2C 连接了两个 Grace CPU，可替代传统服务器结构中连接 CPU 和 CPU 的 PCIe 协议

资料来源：英伟达官网、华泰研究

在芯片对外连接中，NVLink 可实现多 GPU 直连。在 Computex 2023 大会上公布的 DGXGH200 超算就集成了英伟达的加速计算和 NVLink 网络技术，提供更大的吞吐量和可扩展性。如 Q4 所分析，NVLink 将 256 块 GH200 超级芯片合并成单一超级计算机。从内到外，NVIDIA NVLink-C2C 将 CPU 与 GPU 相连组成 GH200 超级芯片，再通过 NVLink SwitchSystem 组成高带宽的多 GPU 系统，每个 GH200 超级芯片还配有一个 NVIDIA ConnectX-7网络适配器和一个 NVIDIA BlueField-3 NIC 以构建超级计算机集群。从具体参数看，DGXGH200 可提供高达 144 TB 内存和 1 exaFLOPS（1000 petaFLOPS）的算力。

英伟达也在 A100 架构书中对比了 NVLink 和 PCIe 的扩展性表现，使用第三代 NVLink 的A100 80G 可互联高达 18 张 GPU，而 PCIe 版则可对 4 个以上的 GPU 互联。但 PCIe 可完成芯片向外与网卡、声卡、RAID 卡、SSD 硬盘和其他类型的外围设备连接。以 GraceHopper 架构为例，其中 CPU 对外的 I/O接口支持不同插槽形状因数的 PCIe 总线，实现与各类外围设备的连接和数据传输，包括 NVIDIA DPU、NVIDIA ConnectX SmartNIC（安全智能网卡）、E1.S 和 M.2 NVMe 设备（SSD 硬盘）、模块化 BMC 选项（Baseboard ManagerController，基板管理控制器）等。

图表26：英伟达 DGX H100 VS DGX GH200

	DGX H100	DGX GH200
GPU and CPU	8x NVIDIA H100 Tensor Core GPUs +Dual Intel® Xeon® Platinum 8480C Processors	256x NVIDIA Grace Hopper Superchips (each Grace Hopper Superchipincludes Grace Arm@ CPU+ H100 Tensor Core GPU)
CPU Cores	112 Cores total, 2.00GHz (Base), 3.80 GHz (Max Boost)	18,432 Arm? Neoverse V2 Cores with SVE2 4X 128b
GPU memory	640GB	144TB
Performance(FP8)	32 petaFLOPS	1 exaFLOPS
NVIDIA? NVSwitch	4x	96x L1 NVIDIA NVLink Switches36x L2 NVIDIA NVLink Switches
Networking	4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 VPl > Up to 400Gb/s InfiniBand/Ethernet 2x dual-port QSFP112 NVIDIA ConnectX-7 VPI> Up to 400Gb/s InfiniBand/Ethernet	256x OSFP single-port NVIDIA ConnectX@-7 VPI with 400Gb/s InfiniBand256x dual-port NVIDIA BlueField®-3 VPl with 200Gb/s InfiniBand andEthernet24x NVIDIA Quantum-2 QM9700 InfiniBand Switches 20x NVIDIA SpectrumTM SN2201 Ethernet Switches 22x NVIDIA Spectrum SN3700 Ethernet Switches
Managementnetwork	10Gb/s onboard NIC with RJ45 100Gb/s Ethernet NICHost baseboard management controller (BMC) with RJ45	Host baseboard management controller (BMC) with RJ45
Software	NVIDIA Al Enterprise (optimized Al software) NVIDIA Base Command (orchestration, scheduling,and cluster management) DGX OS / Ubuntu / Red Hat Enterprise Linux / Rocky (operating system)
Support	Comes with 3-year business-standard hardware and software support

资料来源：英伟达官网、华泰研究

Q6：英伟达 GH200 和 AMD MI300 会否受中美禁运影响？

GH200 和 MI300 可能会受到禁运影响。根据美国商务部 2022 年 10 月宣布的出口管制更新，目前美国对芯片出口的限制条件是：I/O 传输接口传输速率大于或等于 600GB/s，且总算力超过 4800 TOPS（INT8 超过 600TOPS 或 FP16 超过 300TFLOPS）；当中以传输速率为前提，如传输速度低于 600GB/s，就算总算力超过 4800TOPS 也不会被禁运。因此，英伟达和 AMD或需降低产品的传输速率才能符合供应中国市场的条件。反过来，若传输速率上不满足限制条件，即使降低算力也依然属于被禁运的范畴。

以此前英伟达和 AMD 被禁运的产品举例来说，英伟达 A100 传输速率为 600 GB/s，传输速率超过限制，因此构成禁运管制。MI250 传输速率为最高 800GB/s，超过 600GB/s，也被禁运。H100 和 MI250X 在算力和传输速率上大于或等于前序产品，所以也属禁运产品。因此，英伟达为 A100 和 H100 分别提供中国版本 A800 和 H800。A800 将 NVLink 传输速率从 600GB/s 降低到 400GB/s；而据路透社 2023 年 5 月 22 日消息，H800 则将传输速率降至约 H100 的一半左右。

GH200和MI300的传输速率均落入禁运限制范围：1）GH200的传输速率最高可达900GB/s，远高于禁运标准 600GB/s；2）MI300 的具体参数尚未公布，但它的前序产品 MI250 和MI250X 的最高传输速率均达 800GB/s，超过了 600GB/s， MI300 的传输速率或也超过禁运标准。从总算力限制角度看，GH200 和 MI300均超过限制：1）GH200内使用了 H100，以 H100 Tensor Core 在 FP16 精度上的算力为例，非稀疏性算力是 990 TFLOPS，超过300TFLOPS。2）MI300 的具体参数尚未公布，但它的前序产品 MI250X 的 FP16 算力为383TFLOPS，超过 300TFLOPS，因此 MI300 或也超过禁运标准。

图表27： 2022 年 10 月美国商务部更新的禁运条件

资料来源：美国商务部、华泰研究

图表28：禁运限制文件中关于算力转换的参考：限制条件为 INT8超过 600TOPS或 FP16超过 300TFLOPS

4.TherateofTopsis tobecalculatedatits maximumvaluetheoretically possible whenallprocessing elementsareoperatingsimultaneously.TherateofTOPSandaggregatebidirectionaltransferrateis assumedtobethehighestvalue themanufacturerclaimsinamanualorbrochurefortheintegratedcircuit. Forexamplethethresholdof4oobitsxTOPScanbemetwithooteraintegeroperationsat8bitsor30o teraFLOPSat16bits.Thebitlengthofanoperationisequal tothehighestbitlength ofanyinputoroutput ofthatoperation.Additionally,ifanitemspecifiedbythisentryisdesignedforoperationsthatachieve diferentbitsxTOPsvalue,thehighestbitsxTOPSvalueshouldbeusedforthepurposesof3Ao90.a.

资料来源：美国商务部、华泰研究

图表29：英伟达及 AMD 过往部分受中美禁运政策影响产品

产品名称	A100 SXM	H100 SXM	MI250	MI250X
	FP16: 312\|624*	FP8: 1979\|3,958*	FP16: 362.1	FP16: 383
峰值算力 (TFLOPS)	FP32: 19.5	FP16: 990\|1,979*	FP32/64 Matrix: 90.5	FP32/64 Matrix: 95.7
	FP64: 9.7\|19.5*	FP32: 67	FP32/64 Vector: 45.3	FP32/64 Vector: 47.9
		FP64: 34\|67*
工艺制程及芯片面积	7nm, 826mm²	4nm, 814 mm²	6nm, 724 mm²	6nm, 724 mm²
晶体管数量（亿）	540	800	582	582
内存容量	80 GB HBM2e	80 GB HBM3	128 GB HBM2e	128 GB HBM2e
内存带宽	2.039 GB/s	3.35 TB/s	高达3.2TB/s²	高达3.2TB/s²
互联	600 GB/s NVLink for 2 GPUs	900 GB/s NVLink	Infinity Fabric Links	Infinity Fabric Links
	64 GB/s PCle Gen4	125 GB/s PCle Gen5	最高 800 GB/s	最高 800 GB/s
热设计功耗TDP（W）	¥400	700	500	500

注：*代表稀疏性计算情况下
资料来源：AMD 官网、英伟达官网、华泰研究

Q7：AMD的 ROCm 生态圈与英伟达的 CUDA生态圈如何作比？

AMD ROCm（Radeon Open Compute Ecosystem）于 2016 年 4 月发布，相比 2007年发布的英伟达 CUDA 起步较晚。ROCm 具备完全兼容 CUDA 的能力，为 AMD 提供了说服客户迁移的条件和理由。然而，一味兼容只会导致 ROCm 受 CUDA 的掣肘，加上需应对 CUDA 的每一次更新迭代，或会导致 ROCm 陷入长期被动的局面。

我们认为目前 ROCm 有以下三点不足：1）操作系统：长期只支持 Linux（且不支持部分Linux 的版本更新），在 2023 年 4 月才宣布登录 Windows；反观，CUDA 从 1.0 版就同时支持 Linux 和 Windows；2）产品支持：ROCm 长期只支持 AMD 的高端 GPU，例如 RadeonPro 系列等，直到 2023 年 4 月才宣布扩展至一些消费级 GPU 如 Radeon RX 6900 XT、Radeon RX 6600、以及 Radeon R9 Fury；反观 CUDA，2006 年发布的 G80 系列及以后所有的英伟达 GPU 都能支持；3）开发者数量和生态扩展：CUDA 在 2023 年达 400 万以上的开发者，这是 ROCm 无法相比的。我们发现截至 2023 年 6 月 11 日，全球最大的开发者社区之一 StackOverflow 中“CUDA”的标签下已有超过 14000 个问题讨论，而 ROCm在“amd-rocm”的标签下只有不到 100 个问题讨论；在 Github 上，CUDA 已有超过 32600个开发者贡献的软件包仓库，而 ROCm 只有不到 600 个。更多的开发者意味着不断迭代的工具和更广泛的多行业应用，因此 ROCm 需要更多的开发者以形成生态的良性循环。

AMD 正积极拓展 ROCm的生态圈：1）支持 Windows操作系统，迈出了来迟的一步；2）AI 领域更广泛的框架和软件兼容：已支持 TensorFlow 和 PyTorch 等主要机器学习框架；软件库方面，优化深度学习库 MIOpen 和计算机视觉和机器智能库 MIVisionX，而 PyTorch2.0 也在 2023 年一季度开始提供对 ROCm 的支持；3）进一步兼容 CUDA：ROCm 可以通过 HIP（Heterogeneous-Computing Interface for Portability）完全兼容 CUDA。HIP 是AMD 的 GPU 软件开发框架，它提供的 HIPify-perl 和 HIPify-clang 工具，可用于 CUDA 到HIP的代码转换，转码后可在 AMD GPU 上编译运行，而基于 HIP 开发的应用也可同时用于 AMD 和英伟达的 GPU 上。虽然这种兼容方式依然需要开发者进行一定的转码工作，不过已可大量节省开发者针对 AMD 产品进行代码重新开发的时间。4）与客户合作重构自己的库。例如 2022 年 3 月，微软在其开发的深度学习最优化函数库 DeepSpeed 中支持 ROCm，使开发者无需修改代码，就可以直接在 AMD 的 GPU上运行。

图表30：微软 DeepSpeed 函数库支持 ROCm 和 AMD GPU

资料来源：微软官网、华泰研究

图表31：英伟达 CUDA-X AI 生态圈及相关客户矩阵

资料来源：英伟达官网、华泰研究

图表32：英伟达 CUDA 软件库及应用场景

种类	软件包组成	功能/应用
数学库	CuBLAS、cuFFT、cuRAND、cuSOLVER、 cuSPARSE、cuTENSOR、AmgX	为分子动力学、计算流体学、计算化学、医学成像和地震勘探等领域的计算密集型应用奠定基础
并行算法库	Thrust	用于C++中的多项运算，并在研究自然科学、物流、
		旅行规划等领域的关系时与图形一起使用
图像和视频库	nvJPEG、NVIDIA 性能基元、NVIDIA视频编解码	用于通过CUDA和GPU的专用硬件组件来进行图
图像和视频库	器 SDK、NVIDIA 光流 SDK	像和视频的解码、编码和处理
通信库	NVSHMEM、NCCL NVIDIA cuDNN、NVIDIA TenSOrRT、NVIDIA Riva、	性能经过优化的多GPU和多节点通信基元
深度学习库	NVIDIA DeepStream SDK、NVIDIA DALI OpenCV、FFmpeg、ArrayFire、MAGMA、IMSL	用于利用CUDA和专用硬件组件的深度学习应用

资料来源：英伟达官网、华泰研究

图表33： ROCm系统对应英伟达 CUDA部分名称

CUDA	ROCm
CUDAAPI	HIP
NVCC	HCC
CUDA函数库	ROC 库、HC 库
Thrust	Parallel STL
Profiler	ROCm Profiler
CUDA-GDB	ROCm-GDB
NVIDIA-smi	ROCm-SMI
Direct GPU RDMA	ROCm RDMA
TensorRT	Tensile
CUDA-Docker	ROCm-Docker
cuDNN	MIOpen

资料来源：CSDN、华泰研究

Q8：在同一数据中心里同时使用 AMD 和英伟达的 GPU，相互之间能否兼容和互用？

如 Q7 所述，ROCm 能完全兼容 CUDA，通过 HIP 转码，可让代码从英伟达 GPU 迁移到AMD GPU 上使用。这为 AMD提供了说服客户进行迁移的条件和理由。但兼容 CUDA只属权宜之计，能让AMD在短期内争取客户和抢占市场，但未来AMD还需进一步建立ROCm的生态圈才能真正攻破 CUDA的护城河。

在同一个数据中心内混合使用两家的 GPU，理论上是没有问题。但须注意的是，不同公司的 GPU 产品对数据精度的标准和定义的统一性、计算方法和顺序，寄存器以及浮点运算器的配置等，若混合使用 GPU 或会在计算过程中出现精度损失的问题，从而影响训练和推理的预测结果。因此，一般还是建议模型在同一 GPU 公司的产品上训练和推理。

Q9：AI 的训练和推理，分别需要多少数据精度？

我们认为数据精度的选择在于低精度与高准确度的取舍（precision vs. accuracytradeoff）。根据谷歌 2023 年 4 月 4 日发表的论文《TPU v4: An Optically ReconfigurableSupercomputer for Machine Learning with Hardware Support for Embeddings》和英伟达在 2021 年 8 月 23 日发表的论文《Efficient Large-Scale Language Model Training on GPUClusters Using Megatron-LM》，目前一般的 AI 模型训练更多使用 FP16（半精度），而非FP32（单精度）或 FP64（双精度）；而推理则可使用精度更低如 FP8、INT8。根据英伟达在 2018 年 2 月 18 日发表的另一论文《Mixed Precision Training》，对于大型神经网络来说，使用 FP16 比起 FP32 的优势在于：1）节省内存；2）降低所需的带宽及加速数据传输；3）加速运算；以及最重要的是 4）可节省大量算力。但是，降低精度（precision）会导致准确度（accuracy）降低，低精度与高准确度无法兼得，因为低精度会因更窄的数据代表范围导致更多的损失（loss），损失增高会影响模型预测结果与真实结果的匹配度（也就是准确度），因此，数据精度的选择在于低精度与高准确度的取舍。根据英伟达 2022 年发布的英伟达 Triton 系列文章，推理所需要的精度更低，甚至可使用整数 INT8。在 INT8 模式下进行推理不但能大幅降低了推理的延迟，并能提高单 GPU 的推理请求并发能力，以及可节省GPU 的数量。

图表34： FP16（半精度）、FP32（单精度）和 FP64（双精度）

资料来源：英伟达官网、东北大学自然语言处理实验室、华泰研究

Q10：谷歌既有自研的 TPU，为何仍需购买英伟达的 GPU？谷歌的 TPU使用情况如何？

谷歌对英伟达 GPU的采购需求应主要有两个：1）对内，使用 GPU进行对比 TPU 性能的基准测试；2）对外，将 GPU 布置在谷歌云上提供相关云服务。

根据路透社 4 月 5 日的报道，目前谷歌内部 90%的 AI 工作负载都使用 TPU，例如在拥有5400亿参数的 PaLM模型训练中，就使用了 6144个 TPU v4。今年的 PaLM2也是采用TPUv4 来训练。而谷歌在内部使用 GPU 的主要场景应是为 TPU 进行基准测试。在谷歌 2023年 4 月 4 日发布的关于 TPU v4 的论文《TPU v4: An Optically ReconfigurableSupercomputer for Machine Learning with Hardware Support for Embeddings》中就提到，以 A100 为基准做了对 TPUv4 的基准测试。根据论文，在相似芯片规模的系统中，TPU v4在 BERT 模型上比 A100 快 1.15 倍，而在 ResNet 模型上比 A100 快 1.67 倍；对于 MLPerf3.0 基准测试上的功耗使用情况，A100 的能耗为 TPUv4 的 1.3-1.9 倍。与微软 Azure 中布置的 A100 相比，谷歌云的 TPU v4 在 BERT 上最多可节省 35%的训练成本，在 ResNet上最多可节省 50%。除 AI 工作负载之外，谷歌管理层在同日也表示 TPU 已广泛应用于翻译、相册、搜索、Google 助理和 Gmail 等众多 Google 产品。

图表35： NVIDIA A100 和 Google TPU v4 具体指标对比

	NVIDIA A100	Google TPUv4
Production deployment	2020	2020
Peak TFLOPS	312 (bf16), 624 (int8)	275 (bf16 or int8)
Clock Rate Base/Boost	1095/1410 MHz	1050 MHz
Tech. node, Die size	7 nm, 826 mm^2	7 nm, < 600 mm^2
Transistor count	54billion	22 billion
Chips per CPU host	4	4
TDP	400 W	N.A
Inter Chip Interconnect	12 links @ 25 GB/s	6 links @ 50 GB/s
Largest scale MLPerf2.0 configuration	4216 chips	4096 chips
Processor Style	Single Instruction Multiple Threads	Single Instruction 2D Data
Processors Chip	108	2
Threads / Core	32	1
On Chip Memory	40 MiB	128 (CMEM)+32 MiB (VMEM)+10 MiB (spMEM)
Register File Size	27 MiB	0.25 MiB
HBM2 capacity, BW	80 GiB.2039 GB/s	32 GiB,1200 GB/s

资料来源：Jouppi N P, Kurian G, Li S, et al. TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings[J]. arXiv preprint arXiv:2304.01433, 2023、华泰研究

图表36： BERT 模型中使用 TPU v4 相比 A100 节省 35%总成本，ResNet 模型中则能节省 50%

备注：具体计算方法及假设见谷歌云 Blog
https://cloud.google.com/blog/products/ai-machine-learning/cloud-tpu-v4-mlperf-2-0-results?hl=en 资料来源：谷歌官网、华泰研究

图表37：论文展示-TPU v4在不同机器学习任务上性能优于 A100

资料来源：谷歌官网、华泰研究

图表38：论文展示-TPU 对 FLOPS 利用率高达 46.2%

资料来源：谷歌官网、华泰研究

谷歌云服务同时提供GPU和TPU给客户选择。谷歌云上TPU相比GPU的价格较有优势，但也在一定程度上受限于生态圈。谷歌云上 A100 80GB价格为 3.93 美元/芯片/小时，TPUv4 价格为 3.22 美元/芯片/小时。谷歌云作为正试图获取更多市场份额的云服务商，需积极满足有AI训练和推理需求的客户。而英伟达GPU拥有生态圈成熟和开发者众多的CUDA，是目前大部分 AI 模型训练所必需的工具。相比之下，谷歌的 TPU 是专门针对自身的开源深度学习框架 TensorFlow 作出全面优化，因此其他学习框架在 TPU 运行的效率或不及TensorFlow。然而，TensorFlow 在深度学习里的生态也成熟，使用者众，但其他机器学习库的开发者群或也会有自己的偏好。

谷歌云上提供的 GPU 包括 A100、V100、P100、L4、P4、T4 等多种英伟达的训练和推理芯片供客户选择，进行机器学习、科学计算和 3D 可视化等应用。最近的使用案例包括在2023 年 I/O 大会上发布的 AI 超级计算机 A3，每台配备 8 个英伟达 H100，面向需要训练大语言模型的谷歌云客户，最高可提供 26000 片 H100 的算力，这是已经确定的 2.6 万片使用规模。推理端方面，谷歌发布了 G2 VM，是业界首款由英伟达推理芯片 L4 Tensor CoreGPU 提供支持的云 VM。谷歌云上也提供 TPU 服务，目前使用 TPU 的客户包括 Midjourney、Cohere、LG AI Research 等 AI 公司。

图表39：谷歌使用 TPUv4 训练 5400 亿参数的 PaLM 模型

资料来源：Chowdhery A, Narang S, Devlin J, et al. Palm: Scaling language modeling with pathways[J]. arXiv preprint arXiv:2204.02311, 2022、华泰研究

图表40： 2016 年至今 AMD 的历史股价（单位：美元）、forward P/E 和 P/S

资料来源：Bloomberg、华泰研究；截至 2023 年 6 月 9 日收盘

图表41： 2016 年至今 NVIDIA 的历史股价（单位：美元）、forward P/E 和 P/S

资料来源：Bloomberg、华泰研究；截至 2023 年 6 月 9 日收盘

图表42： 2016 年至今 Intel 的历史股价（单位：美元）、forward P/E 和 P/S

资料来源：Bloomberg、华泰研究；截至 2023 年 6 月 9 日收盘

风险提示

AI技术落地和推进不及预期：AI技术的落地实施和拓展可能达不到预期，或影响行业利润。

竞争格局越演越烈：科技行业的激烈竞争可能对行业的利润产生影响，导致盈利能力降低。

中美关系升级：中国是美国半导体产业的重要市场之一，如果中美关系再次升级，将对宏观因素和板块产品销售产生影响。

免责声明

分析师声明

本人，何翩翩，兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见；彼以往、现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬。

一般声明及披露

本报告由华泰证券股份有限公司（已具备中国证监会批准的证券投资咨询业务资格，以下简称“本公司”）制作。本报告所载资料是仅供接收人的严格保密资料。本报告仅供本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。

本报告基于本公司认为可靠的、已公开的信息编制，但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。

本报告所载的意见、评估及预测仅反映报告发布当日的观点和判断。在不同时期，华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来，未来回报并不能得到保证，并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。

本公司不是 FINRA 的注册会员，其研究分析师亦没有注册为 FINRA 的研究分析师/不具有 FINRA 分析师的注册资格。

华泰力求报告内容客观、公正，但本报告所载的观点、结论和建议仅供参考，不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求，在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况，并完整理解和使用本报告内容，不应视本报告为做出投资决策的唯一因素。对依据或者使用本报告所造成的一切后果，华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。

除非另行说明，本报告中所引用的关于业绩的数据代表过往表现，过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现，分析中所做的预测可能是基于相应的假设，任何假设的变化可能会显著影响所预测的回报。

华泰及作者在自身所知情的范围内，与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下，华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易，为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该公司招揽业务。

华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。

本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员，也并非意图发送、发布给因可得到、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。

本报告版权仅为本公司所有。未经本公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并需在使用前获取独立的法律意见，以确定该引用、刊发符合当地适用法规的要求，同时注明出处为“华泰证券研究所”，且不得对本报告进行任何有悖原意的引用、删节和修改。本公司保留追究相关责任的权利。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。

中国香港

本报告由华泰证券股份有限公司制作,在香港由华泰金融控股（香港）有限公司向符合《证券及期货条例》及其附属法律规定的机构投资者和专业投资者的客户进行分发。华泰金融控股（香港）有限公司受香港证券及期货事务监察委员会监管，是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。在香港获得本报告的人员若有任何有关本报告的问题,请与华泰金融控股（香港）有限公司联系。

香港-重要监管披露

• 华泰金融控股（香港）有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员。

• 有关重要的披露信息，请参华泰金融控股（香港）有限公司的网页 https://www.htsc.com.hk/stock_disclosure其他信息请参见下方 “美国-重要监管披露”。

美国

在美国本报告由华泰证券（美国）有限公司向符合美国监管规定的机构投资者进行发表与分发。华泰证券（美国）有限公司是美国注册经纪商和美国金融业监管局（FINRA）的注册会员。对于其在美国分发的研究报告，华泰证券（美国）有限公司根据《1934 年证券交易法》（修订版）第 15a-6 条规定以及美国证券交易委员会人员解释，对本研究报告内容负责。华泰证券（美国）有限公司联营公司的分析师不具有美国金融监管（FINRA）分析师的注册资格，可能不属于华泰证券（美国）有限公司的关联人员，因此可能不受 FINRA 关于分析师与标的公司沟通、公开露面和所持交易证券的限制。华泰证券（美国）有限公司是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。任何直接从华泰证券（美国）有限公司收到此报告并希望就本报告所述任何证券进行交易的人士，应通过华泰证券（美国）有限公司进行交易。

美国-重要监管披露

• 分析师何翩翩本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员、董事或顾问。分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益。本披露中所提及的“相关人士”包括 FINRA 定义下分析师的家庭成员。分析师根据华泰证券的整体收入和盈利能力获得薪酬，包括源自公司投资银行业务的收入。

• 华泰证券股份有限公司、其子公司和/或其联营公司, 及/或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）。

• 华泰证券股份有限公司、其子公司和/或其联营公司, 及/或其高级管理层、董事和雇员可能会持有本报告中所提到的任何证券（或任何相关投资）头寸，并可能不时进行增持或减持该证券（或投资）。因此，投资者应该意识到可能存在利益冲突。

评级说明

投资评级基于分析师对报告发布日后 6 至 12个月内行业或公司回报潜力（含此期间的股息回报）相对基准表现的预期（A 股市场基准为沪深 300 指数，香港市场基准为恒生指数，美国市场基准为标普 500 指数），具体如下：

行业评级

增持：预计行业股票指数超越基准

中性：预计行业股票指数基本与基准持平

减持：预计行业股票指数明显弱于基准

公司评级

买入：预计股价超越基准 15%以上

增持：预计股价超越基准 5%\~15%

持有：预计股价相对基准波动在-15%\~5%之间

卖出：预计股价弱于基准 15%以上

暂停评级：已暂停评级、目标价及预测，以遵守适用法规及/或公司政策

无评级：股票不在常规研究覆盖范围内。投资者不应期待华泰提供该等证券及/或公司相关的持续或补充信息

法律实体披露

中国：华泰证券股份有限公司具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J香港：华泰金融控股（香港）有限公司具有香港证监会核准的“就证券提供意见”业务资格，经营许可证编号为：AOK809美国：华泰证券（美国）有限公司为美国金融业监管局（FINRA）成员，具有在美国开展经纪交易商业务的资格，经营业务许可编号为：CRD#:298809/SEC#:8-70231

华泰证券股份有限公司

南京南京市建邺区江东中路228号华泰证券广场1号楼/邮政编码：210019

电话：86 25 83389999/传真：86 25 83387521电子邮件：ht-rd@htsc.com

深圳
深圳市福田区益田路5999号基金大厦10楼/邮政编码：518017
电话：86 755 82493932/传真：86 755 82492062
电子邮件：ht-rd@htsc.com

华泰金融控股（香港）有限公司

香港中环皇后大道中 99号中环中心 58楼 5808-12室
电话：+852-3658-6000/传真：+852-2169-0770
电子邮件：research@htsc.com
http://www.htsc.com.hk

华泰证券（美国）有限公司

美国纽约公园大道 280号 21楼东（纽约 10017）
电话：+212-763-8160/传真：+917-725-9702
电子邮件: Huatai@htsc-us.com
http://www.htsc-us.com

北京
北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层/
邮政编码：100032
电话：86 10 63211166/传真：86 10 63211275
电子邮件：ht-rd@htsc.com
上海
上海市浦东新区东方路18号保利广场E栋23楼/邮政编码：200120
电话：86 21 28972098/传真：86 21 28972068
电子邮件：ht-rd@htsc.com

StartYourFinance

起点财经，网罗天下报告

AMD MI300：AI 芯片十问十答

AMD 财报后以 AI 为策略首位，市场聚焦 6 月 13 日发布会

CUDA 和 ROCm 生态圈对比，成色几何？

每日 免 费 获取 报告 □

正文目录

AMD MI300 十问十答

Q5：NVLink 和 PCIe 有何区别？NVLink 在哪些方面可以替代 PCIe？

Q6：英伟达 GH200 和 AMD MI300 会否受中美禁运影响？

Q7：AMD的 ROCm 生态圈与英伟达的 CUDA生态圈如何作比？

Q8：在同一数据中心里同时使用 AMD 和英伟达的 GPU，相互之间能否兼容和互用？

Q9：AI 的训练和推理，分别需要多少数据精度？

风险提示

免责声明

分析师声明

一般声明及披露

中国香港

香港-重要监管披露

美国

美国-重要监管披露

评级说明

行业评级

公司评级

法律实体披露

华泰证券股份有限公司

华泰金融控股（香港）有限公司

华泰证券（美国）有限公司

StartYourFinance

每日免费获取报告 □

电子行业动态点评：AMD MI300，AI芯片十问十答-20230611-华泰证券-25页