AMD正式宣战，谁来为MI300站台？

华泰研究-海外科技

2023年6月15日丨美国

动态点评

AI芯片争霸战大幕正式开启，谁来为AMDMI300站台？

AMD数据中心和人工智能技术首映式于加州时间2023年6月13日早上10点开始。主要发布产品为：云原生的Bergamo CPU、3DV-Cache的Genoa-XCPU及 AI 芯片 Instinct MI300X GPU 和 MI300AAPU。AMD CEO Lisa Su认为 AI 发展战略主要在三方面：广泛的 CPU 和 GPU 产品组合、开放且经验证的软件平台以及深入的合作伙伴生态系统。AMD并未披露MI300 系列的关键客户合作信息，发布会当天收盘下挫3.61%。但根据路透社6 月14日独家报道，亚马逊高管Dave Brown 表示AWS正考虑使用MI300。我们前序报告中提到，MI300 全方位追击英伟达Grace Hopper，但软件生态完善或成破局关键。

MI300X&MI300A：与英伟达相比，AMDAI能力如何？

AMD展现出的AI产品与我们几个前序报告中描述的大体一致，蓄势待发切入AI训练赛道。MI300A为CPU+GPU架构，对标英伟达GH200；而这次发布的MI300X为纯GPU,对标英伟达H100:1)单卡内存HBM3为192GB,领先英伟达H100 NVL双卡的188GB；2）共1530 亿个晶体管，超过H100的 800 亿个；3）内存带宽5.2TB/s与H100 的2-7.2TB/s 相近。公司展示MI300X 运行 400 亿参数的 Falcon 模型实时推理，此等参数规模的大语言模型为第一次在单片GPU上运行。AMDMI300 系列将成为英伟达有力的竞争对手，另外，还需关注英特尔和其他AI 芯片企业如 Cerebras 和SambaNova，但更重要的竞争对手或是云计算巨头自研芯片。

第四代 EPYC 服务器CPU重磅升级，制程和性能均超Intel

业界首款x86云原生Bergamo 及采用3DV-Cache 技术的Genoa-X正式推出。前者的峰值内核数达128（可提高多线程能力，并对标其他多核数的服务器产品如144 核的Intel SierraForest)，基于特别定制的 Zen 4c 微架构，在保持与Zen4架构基本相同的功能集的同时将内核缩小35%，让数据中心 CPU的性能推向新高；后者采用超过1GB的L3缓存和3DV-Cache 技术，适用于缓存需求较高的技术计算。二者均为EPYC 第四代和采用台积电5nm 制程，对比 Sapphire Rapids采用的 Intel7节点（10nm 相当于台积电7nm)，性能和制程尚处领先。此外，AMD也宣布与AWS、Oracle、Meta及微软在第四代EPYC的合作关系。

PyTorch与Hugging Face 助力，ROCm 生态圈奋起直追

PyTorch创始人在会上宣布PyTorch 2.0为ROCm 5版本提供支持。HuggingFace CEO也宣布将在AMD平台上优化数千个模型。此前我们在前序报告里多次对比英伟达CUDA和AMDROCm 生态圈：ROCm 起步较晚，开发者数量与CUDA相差较大。ROCm虽能完全兼容CUDA，但亦只属权宜之计。AMD正积极拓展生态圈，包括支持Windows、在AI领域开拓更广泛的框架，如MIOpen 和MIVisionX，以及支持更多的软件，包括TensorFlow、PyTorch等，与二者的合作将对ROCm生态圈产生关键助力。

AMD能否在AI领域突围英伟达？

Lisa Su于5月31日的《福布斯》采访时强调“放眼 5年将在 AMD 每一个产品中看到 AI”，AI是公司的战略首位。目前，算力高的英伟达占据AI训练端的领导地位，但随着AMD在AI芯片上逐步发力，或能开始撼动英伟达在行业里独占鳌头的地位。我们也认为云厂商应不希望AI芯片呈现一家独大的局面，MI300恰逢其时地出现，为市场提供了英伟达以外的选择。

风险提示：技术落地缓慢、中美局势可能升级、芯片需求不及预期。

电子

增持 (维持)

研究员

SAC No. S0570523020002

何翩翩

SFC No. ASI353

purdyho@htsc.com

+(852) 3658 6000

每日免费获取报告 □

每日微信群内分享7+最新重磅报告；

每日分享当日华尔街日报、金融时报；

√ 行研报告均为公开版，权利归原作者所有，起点财经仅分发做内部学习。

正文目录

AI争霸战大幕正式开启，谁来为AMDMI300站台？
MI300X 参数比肩 H100，MI300A 对阵GH200 具一战之力. .3
多方入局，英伟达在AI芯片市场能否笑到最后？， .6
第四代 EPYC 数据中心CPU家族成员发布，性能重磅升级. 11
风险提示... 15

图表目录

图表1：AMD在数据中心和人工智能技术首映式发布的产品.. .3
图表2：AMD MI300X 产品实物图（共8个GPU chiplets） ..4
图表3：搭载8 个 Ml300X 的 Instinct Platform. ..4
图表4：单片 MI300X运行 400 亿参数的 Falcon 模型， ..4
图表5： AMD MI300A 产品实物图.. ..4
图表6: AMD MI300A产品示意图.. ..4
图表7: 台积电先进封装3DFabric. ..5
图表8： MI300A结构示意图（预测） ..5
图表9: 英伟达及AMD主要GPU 相关产品参数对比.. ..6
图表10: EL Capitan超级计算机：搭载 AMD MI300A. ...6
图表11: 英特尔 Ponte Vecchio GPU.. ....7
图表12: 英特尔 Habana Gaudi 2.. ....7
图表13: ISC2022英特尔将 Falcon Shores 规划在 CPU与GPU之间，ISC2023 移动至 Gaudi 系列和GPU之间8
图表14: Cerebras 的超大面积Al芯片. ...8
图表15: SambaNova Al芯片. ...8
图表16: Graphcore IPU 产品与 CPU 和GPU 的区别. ...9
图表17: IPU产品示意图... ...9
图表18: TPU v2/v3/v4 对比图. ..10
图表19: 四代TPU 性能对比. ...10
图表20: Zen 4c架构的密度额能源效率较Zen4架构大幅提升， ....1
图表21: AMD EPYCGenoa-X与 Intel 第四代Xeon 产品对比（最高配置） ...12
图表22: AMD EPYC Genoa-X与 Intel 第四代 Xeon 产品对比（同为 32核） ...12
图表23: AMD EPYC系列CPU产品路线图， ..13
图表24: AMD 与英特尔在服务器端采用的制程对比：若进程按计划落地，英特尔2025年有望赶超！ ..13
图表25： AMD EPYC CPU 产品矩阵. ..14
图表26： AMD在CES2023 宣布与多家云厂商开展第四代 EPYC CPU产品的合作. ….14

AI争霸战大幕正式开启，谁来为AMDMI300站台？

AMD数据中心和人工智能技术首映式于加州时间2023年6月13日早上10时开始。本次发布的主要产品为：云原生的Bergamo CPU、面向技术计算和采用3DV-cache的Genoa-XCPU、以及包括InstinctMI300XGPU和MI300AAPU在内的AI平台等。AMD 的AI战略主要在于三个方向：广泛的 CPU 和 GPU 产品组合、开放稳定且经过验证(open,Steadyandproven）的软件平台、以及深入的合作伙伴生态系统。AMD并未披露MI300系列的关键客户合作信息，发布会当天收盘下挫3.61%。但根据路透社6月14日的独家报道，亚马逊管理层DaveBrown表示AWS正在考虑使用MI300。我们在今年的前序报告：5月18日发布的《AMD：MI300 在AI正面交锋英伟达，16年CPU突围成功能否复制？》、5月30日发布的《英伟达GH200vsAMDMI300》和6月11日发布的《AMDMI300：AI芯片十问十答》中提到，MI300 全方位追击英伟达GraceHopper，但软件生态完善或成破局关键。

图表1：AMD在数据中心和人工智能技术首映式发布的产品

资料来源：AMD官网、华泰研究

MI300X参数比肩 H100，MI300A对阵GH200 具一战之力

在以AI为首的战略背景下，此次数据中心与人工智能技术首映会发布的纯GPUMI300X参数跟英伟达H100 比肩，而CPU+GPU 架构的 MI300A对阵GH200 也具一战之力。本次首映会中AMD展现出的AI能力与我们几个前序报告中提及的大体一致，蓄势待发切入AI训练赛道。

MI300X是纯GPU产品，由12个chiplets（当中共8个GPU）构成，专门为生成式Al和大型语言模型(LLM）而设；对比MI300A由13个chiplets（当中6个GPU和3个CPU)构成。MI300X参数上值得关注的亮点包括：1）192GBHBM3内存，领先于英伟达H100NVL的双卡共188GBHBM3；2）共1530亿的晶体管数量，远超H100 的800亿；3）内存带宽5.2TB/s与英伟达H100 的2-7.2TB/s 相近；4）InfinityFabric 互联带宽的 896GB/s与 NVLink的900GB/s 也相差无几；5）比H100 高2.4X的HBM密度，以及1.6XHBM带宽。无可否认，MI300X或将成为客户在H100之外有力选择，或也可对AI芯片定价造成一定影响。MI300A目前正在送样，而MI300X则要等到Q3。

图表2：AMDMI300X产品实物图（共8个GPUchiplets)

资料来源：AMD数据中心&AI首映式、华泰研究

图表3：搭载8个MI300X的 Instinct Platform

资料来源：AMD数据中心&AI首映式、华泰研究

AMD也展示了MI300X在400亿参数的Falcon模型上进行实时推理的能力，公司称这是此等参数规模的大语言模型第一次在单GPU上运行。公司表示MI300X还可运行规模更大的模型，比如Meta的OPT模型（660亿参数版本）和LLaMA（650 亿参数)，如果使用FP16 精度在单一MI300X上推理，最高可以运行800亿参数的模型。

图表4：单片MI300X运行400亿参数的Falcon模型

资料来源：AMD官网、华泰研究

AMD 的 MI300A为 APU 架构（Zen4CPU+CNDA3GPU)，与英伟达的GH200 正面交锋。AMD于2023年1月的CES2023介绍了MI300(我们在前序报告中介绍的CPU+GPU架构，就是现今的 MI300A)。它结合 CPU 与GPU，聚焦AI和 HPC（high performancecomputing)，对标英伟达 Grace Hopper（Grace CPU+Hopper H100 GPU)。性能方面比前序产品MI250高8X，效率也高5X。AMD这次也一改过去GPU产品主要应用在图像处理及AI推理领域的局限。MI300A应该是除了谷歌的TPU之外，能与英伟达在AI训练端上匹敌的产品。MI300A 在规格及性能方面同样全面追击英伟达Grace Hopper。

图表5：AMDMI300A产品实物图

资料来源：AMD数据中心&AI首映式、华泰研究

图表6：AMDMI300A产品示意图

资料来源：CES2023、华泰研究

从封装方案看，MI300 系列都使用了台积电SoIC(3D)和CoWoS(2.5D)两种封装技术，相比英伟达的H100和GH200则只采用CoWoS封装技术。3DChiplet封装技术具有提高性能、降低延迟和功耗的优点，也可弥补x86 架构相较ARM架构在AI应用中的能耗问题。在MI300A中，有6个GPU、3个CPU 和4个I/O+cache共13个chiplets；而在MI300X中,有8个GPU 和4个I/O+cache共12个chiplets。Ml300A将13个chiplets 分为两层：上层为9个基于5nm 制程的 chiplets（据 PCgamers 推测,包括3个CPU和6个GPU)，而下层为4个基于6nm 制程的I/O+cache chiplets，芯片两侧围绕8个总计128GB容量的HBM3 高带宽内存。MI300X与MI300A 相比，去掉了3个CPU，换为2个GPU，并将HBM3内存从128GB 提高到了192GB。据Digitimes 2023年6月12日称，台积电确认将部分先进封装外包给其他厂商，如通富微电将代工MI300的封装。

图表7：台积电先进封装3DFabric

资料来源：台积电官网、华泰研究

图表8：MI300A结构示意图 (预测)

资料来源：电子工程专辑、华泰研究

图表9：英伟达及AMD主要GPU相关产品参数对比

产品名称	英伟达		AMD
产品名称	A100 PCle \| SXM	H100 PCle \| SXM \| NVL	MI250X	MI300A	MI300X
发布时间	2020.6	2022.3	2021.11	2023.1	2023.6
峰值算力(TFLOPS)	FP16:312\|624	FP8:3,026\|3,958\|7,916	FP16: 383	暂无	暂无
	FP32: 19.5	FP16: 1,513\|1,979 \|3,958	FP32/64: 47.9
	FP64: 19.5	FP32:51\|67丨134	FP32/64 Matrix:
		FP64:51\|64\|134	95.7
工艺制程及芯片面积	7nm, 826mm²	4nm, 814 mm²	6nm, 724 mm²	5nm, 1017 mm²	5nm, 1017 mm²
晶体管数量（亿）	540	800	582	1460	1530
内存容量	80 GB HBM2e	80丨80丨188 GB HBM3	128 GB HBM2e	128 GB HBM3	192 GB HBM3
内存带宽	1,935 \| 2,039 GB/s	2\|3.35 TB/s \|7.8TB/s	3.2 TB/s	暂无	5.2TB/s
Interconnect	600 GB/s NVLink for 2 GPUs 64 GB/s PCle Gen4	600丨900丨 600 GB/s NVLink 125 GB/s PCle Gen5	100GB/s	约 800GB/s	896GB/s
热设计功耗TDP（W）300丨400		300-350\|700\|2x350-400	500	600	暂无

资料来源：AMD官网、英伟达官网、华泰研究

MI300A的客户劳伦斯利弗莫尔国家实验室在2023年5月22日的ISC2023大会上表示，MI300A统一的内存层可简化编程，降低不同类型计算和不同内存池之间数据移动的复杂性，从而减少延迟并提高性能和功效。MI300A将于2023年底搭载在该实验室，由慧与（HewlettPackard Enterprise）旗下超算公司Cray 制造的 ElCapitan 超级计算机上。

图表10：ELCapitan 超级计算机：搭载AMDMI300A

资料来源：惠与官网、华泰研究

多方入局，英伟达在AI芯片市场能否笑到最后？

除英伟达和AMD外，还需关注英特尔和其他AI芯片企业如Cerebras 和SambaNova等的布局，但我们认为更重要的竞争对手也许是云计算巨头们自己设计专用芯片。Lisa Su在会上也表示，数据中心的AI芯片市场规模将从今年的300亿美元左右，上升至2027年的1500亿美元。

英特尔的Al芯片布局包括GPU产品PonteVecchio（今年一季度推出）和下一代Falcon（公司准备在2025年推出），另外也包括HabanaGaudi系列。在今年三月，英特尔发布了加速计算系统和图像组的暂代总经理JeffMcVeigh 的一封信。信中提到公司GPU产品的未来的发展路径，包括取消一些原定在未来1至1.5年准备推出的服务器GPU产品，如Rialto Bridge,但会将更多资源投放到Falcon上。这意味着英特尔在PonteVecchio 之后，将相隔最少两年才会推出新的GPU产品Falcon。

1）PonteVecchio：早在2021年发布，但2023年一季度才推出。Ponte Vecchio GPU结构复杂，一共有47功能片,分5个制程。英特尔在 2021年8月19 日的Architecture Day宣布 PonteVecchio GPU（XeHPC）的计算层采用了台积电N5工艺，基底采用了Intel7（对标台积电7nm），XeLink I/O 是台积电 N7，另外 Rambo Cache采用的是 Intel7，对比 H100和MI300的台积电N5 制程。晶体管数量超1000亿个，高于H100 的800亿，但低于MI300X的1530亿。内存属HBM2e，落后于H100 和MI300X的HBM3。

2）Falcon Shores：Falcon Shores 原定为 XPU（即 CPU+GPU 架构）产品，并准备于2024年推出，但目前改为纯GPU架构，推迟到2025年推出。反观，英伟达和AMD也同时发布了CPU+GPU架构的AI芯片，因此英特尔在此架构上属于掉队。目前产品参数细节还未完全公布,已知道有288GB的HBM3和9.8TB/s的内存带宽，并支持较小的数据精度，如 BF16 和 FP8。

3)HabanaGaudi:Gaudi是由英特尔在2019 年12月以20 亿美元收购的 HabanaLabs,主要设计ASIC芯片。第一款Gaudi（TSMCN16）于2019年6月推出，目前已迭代至Habana Gaudi2（TSMC N7），2022 年末已推出。Gaudi2 包含 2 个 MME（MatrixMultiplication Engine，矩阵乘法引擎）和24个TPC（Tensor Processor Core，张量处理器)，前者负责处理所有可以转换成矩阵运算的任务，例如卷积、GEMM等，后者处理其他类型的运算。这两种计算引擎可以并行使用，因此两种类型的运算可以重叠进行，在Gaudi2的产品技术手册中，通过这种重叠进行的运算解释了Gaudi2可以有效提高运行AI模型的速度的原因。Gaudi2的 HBM2e 内存为96GB，内存带宽为2.45TB/s。

受益于以上架构特点，公司表示Gaudi2 的基准测试较A100 表现较为优秀。推理端，HuggingFace在2023年3月对 Habana Gaudi2与A100 进行了大模型（BLOOMZ，1760亿参数）推理的基准测试。结果显示，Gaudi2比A100 快1.2倍。训练端，Habana Lab对 Habana Gaudi2与A100 进行了基准测试，运行了两款芯片在RestNet50 和BERT模型训练的测试，称其训练吞吐量可达到英伟达A100GPU的两倍。然而，想要与英伟达在训练端匹敌，Gaudi还要面对H100。英伟达在2022年11月对H100 和Gaudi2进行了对比,在ResNet模型上,H100比Gaudi2 快1.1倍左右，而在BERT模型上,H100 比Gaudi2快2.4倍。我们需要强调，ASIC仍然面临通用性较弱，以及开发成本较高等局限，大规模抢占GPU训练市场的可能性目前来说较为有限。

图表11:英特尔 Ponte Vecchio GPU

资料来源：英特尔官网、华泰研究

图表12：英特尔 Habana Gaudi 2

资料来源：英特尔官网，华泰研究

图表13：ISC2022 英特尔将 Falcon Shores 规划在 CPU与GPU之间，ISC2023移动至 Gaudi 系列和GPU之间

资料来源：英特尔官网，华泰研究

图表14：Cerebras 的超大面积Al芯片

资料来源：Cerebras官网，华泰研究

图表15:SambaNova Al芯片

资料来源：SambaNova官网、华泰研究

“Big5 startups":Al 芯片的另外一类玩家是“Big5 startups”，指 Graphcore，Habana（已属英特尔），Cerebras，SambaNova 和寒武纪五家初创芯片企业，其中寒武纪为中国企业。我们认为值得关注Cerabras 和SambaNova 等对英伟达发起的以小博大尝试：

1）Cerabras：目前的最新Al芯片为WSE-2，使用台积电7nm工艺，2021年4月推出。Wafer ScaleEngine即晶圆级别芯片，晶圆级指的是这款芯片几乎像一个完整的晶圆一样大（晶圆通常为8英寸直径左右，和WSE2的460cm²在同一个量级)，一块WSE-2上有2.6万亿晶体管，核心数量达到85万个，是A100芯片的123倍。生产这种大型芯片的动力是为了更好地部署 AI大模型，公司称由于AI大模型需要在众多的GPU上分布式训练，数据在GPU之间传输，浪费时间又增加能耗，所以想让产品同时具备百千个GPU的算力和单一芯片的简单性。Cerabras 把一片WSE2部署在一台CS-2AI平台上，一台CS-2售价在200万美元以上，目前已被多个科研机构（包括NCSA国家超级电脑应用中心、LeibnizSupercomputingCentre莱布尼兹超级计算中心等)和一家美国主要的金融机构用于搭建超算，并部署AI工作。值得关注的是,WSE-2一度是单片能训练最大参数量AI模型的芯片：2022年6月Cerabras宣布单片WSE-2可以训练200亿参数的模型。对比现在AMD的MI300X能实现400-800亿模型的推理。

2）SambaNova：最新的Al芯片是SN30，采用台积电N7工艺，有860亿晶体管，可编程性强，类似于一款FPGA，但公司称 SN30 相比传统的FPGA配置时间更快。公司称基于SN30的DataScale系统（8个SN30）在训练130亿参数GPT模型时比DGXA100 快6 倍。埃森哲已于2023年4月宣布采用SambaNova的AI芯片平台SN30 系统用于生成式AI开发。

3）Graphcore：Graphcore 最新的Al芯片是Bow IPU，类似于一款ASIC，但公司称其不属于ASIC或GPU的任何一种。单片1472核，c2c 的传输带宽是320GB/s,搭载单片BoWIPU的AI平台C600 主攻推理场景。Graphcore 的 IPU产品本来应用在微软Azure,但 2022年10月突然宣告合作结束。目前,Azure绝大部分AI芯片都来自英伟达，也在自研Athena。Graphcore正在努力切入中国市场，为中国大型互联网公司为主提供AI硬件。

图表16：Graphcore IPU产品与CPU和GPU的区别

资料来源：Graphcore官网，华泰研究

图表17：IPU产品示意图

资料来源：Graphcore官网、华泰研究

云厂商自研AI芯片或将是对英伟达最大的竞争对手。云厂商针对TCO（totalcoStofownership),具备较高意愿自研芯片。但除了自身的研发能力外，其他条件也必须要符合，包括算法要较为成熟和稳定、拥有自己的软件生态和应用，以及足够的芯片需求去摊分设计芯片的固定成本。

云厂商自研Al芯片的典型是谷歌TPU（TensorProcessingUnit，从2017年开始已具备训练和推理能力)，目前已发展到第四代，在架构与性能参数上不断迭代。我们认为谷歌的TPU是少数能与英伟达高算力GPU匹敌的AI芯片。谷歌目前通过谷歌云服务平台向外部客户提供TPU的算力租赁服务，而并未将其作为硬件产品出售。

谷歌TPU的应用可以分为两类，分别是对内承担AI工作负载和其他应用，对外在云服务上提供给客户。对内：根据路透社4月5日的报道，目前谷歌内部90%的AI工作负载都使用TPU，例如在拥有5400亿参数的PaLM模型训练中，就使用了6144个TPUv4。今年的PaLM2也是采用TPUV4来训练。除AI工作负载之外，TPU也已广泛应用于翻译、相册、搜索、Google 助理和Gmail 等众多Google 产品。对外：谷歌云服务同时提供 GPU和TPU给客户选择。谷歌云上TPU相比GPU的价格较有优势，但也在一定程度上受限于生态圈。谷歌云上A100 80GB价格为3.93美元/芯片/小时，TPUv4价格为3.22美元/芯片/小时。但是，需要考虑谷歌的TPU是专门针对自身的开源深度学习框架TenSOrFloW作出全面优化，因此其他学习框架在TPU运行的效率或不及TensorFlow。然而，TensorFlow在深度学习里的生态也成熟，使用者众，但其他机器学习库的开发者群或也会有自己的偏好。目前使用TPU的客户包括Midjourney、Cohere、LGAl Research 等Al公司。

第一代TPU从2015年开始被使用于谷歌云计算数据中心的机器学习应用中，彼时向推理端，但从2017年推出第二代开始，TPU已同时拥有训练和推理能力。第三代TPU于2018年发布，旨在提高性能和能效以满足不断增长的机器学习任务需求，但其应用范围仍然会在一定程度上受限于谷歌的生态系统和软件包。矩阵乘法是Transformer模型中最为关键的计算步骤之一，而TPU针对矩阵乘法进行了专门的优化，采用脉动列阵，对大规模矩阵的乘法可以最大化数据复用，减少访存次数，大幅提升Transformer模型的训练速度，同时节约训练成本。

图表18：TPUv2/v3/v4对比图
? TPU v2

TPU v3

最小TPUv2配置包含4个TPU芯片和16GiB的HBM;
每个TPU芯片包含2个TensorCore;

每个TensorCore 都有1个MXU、1个矢量单位和1个标量单位

TPU v4

资料来源：谷歌官网、华泰研究

每个TPUv3芯片包含2个TensorCore；每个TensorCore 都有2个 MXU、1个矢量单元和1个标量单位

每个TPUv4 芯片包含2个TensorCore;每个 TensorCore都有4个MXU、1个矢量单元和1个标量单位

图表19：四代TPU 性能对比

	TPUv1	TPUv2	TPUv3	TPUv4
发布年份	2016	2017	2018	2021
每颗芯片的峰值计算能力 (TFLOPS)	92 (int8)	46 (bf16)	123 (bf16)	275 (bf16 or int8)
HBM2容量与带宽	28 GiB, 34 GB/s	32 GiB, 700 GB/s	32 GiB, 900 GB/s	32 GiB, 1200 GB/s
最小/平均/最大测量功耗 (W)	=	：	123/220/262	90/170/192
TPU Pod 规模 (芯片数量)	-	256	1024	4096
互连拓扑结构	-	2D torus	2D torus	3D torus
每个 Pod 的峰值计算能力 (PFLOPS)	-	12 (bf16)	126 (bf16)	1100(f16 or int8)
每个 Pod 的 Al-reduce 带宽(TB/s)	-	120	340	1126.4
每个 Pod 的切分带宽 (TB/s)		2	6.4	24
目标应用场景	雕理端	训练&推理端	训练&推理端	训练&推理端

资料来源：谷歌官网、nextplatform官网、华泰研究

微软早在2010年开始希望自研AI硬件，当时以外采FPGA、自己搭建运算平台为主要目标。FPGA的方案最早由微软的计算机架构研究员、FPGA专家Doug Burger 提出。根据ShilicOn，微软自研FPGA的第一阶段采用了单板多FPGA的方案，即每块加速卡上集成6片XilinxVirtix-6FPGA，各FPGA之间通过自身的通用I/O端口相连和通信，但整体稳定性存在较多问题，若一块FPGA出问题，整个板卡都会出问题。第二阶段从单板多FPGA，变成了单板单FPGA。但是，这种方案为实现FPGA之间的低延时通信，FPGA之间的互联需要通过两类特殊定制的线缆，成本高昂且实现难度较高。第三阶段为解决互联问题，取消了FPGA互连的网络，直接将FPGA与数据中心网络互连。到此为止，微软的所有努力都是使用外采的FPGA产品，自己搭建FPGA的AI平台。

目前，微软云Azure已经开始自研Al芯片。据Tom's Hardware，芯片的代号为Athena,据Tom's Hardware 2023年4月18日消息，Athena 使用台积电5nm 制程，专门为大语言模型训练设计。据彭博社5月4日报道，微软将注资AMD并开展合作，目前合作研发的微软AI 芯片即为 Athena，希望为 ChatGPT等大语言模型的训练及推理提供英伟达芯片以外的替代方案。随后5月5日，微软发言人FrankShaw表示AMD参与“雅典娜”项目的报道不实，但并未明确微软与AMD的合作关系。我们认为，大型云计算供应商拥有财力物力，面对较高的外购成本和较有限的灵活性，选择自己设计AI芯片并非意外，且微软与OpenAI的合作中用到大量的英伟达芯片。我们认为云计算大厂希望出现一个二供的选择也很理所当然。

AWS分别在2019和2020年推出Al模型推理端芯片Inferentia以及训练端芯片Trainium，并整合到其AWS中。2022年正式推出的Trn1AI平台可以部署最多16个Trainium，可在AWS云上提升AI模型的训练速度，减少模型训练时间。据AWS，Trn1可以节省客户50%左右的AI模型训练成本。

第四代 EPYC 数据中心CPU家族成员发布，性能重磅升级

AMD在会上强调了CPU在AI领域的重要性,称目前绝大多数AI工作负载仍以CPU运行，并正式推出了行业首款x86 云原生Bergamo 及采用3DV-Cache 技术的Genoa-X，并与Intel云端最新款CPU4th genXeon（也就是SapphireRapids）进行对比。Bergamo 基于Zen 4c架构，内核+L2区域合计2.48平方毫米，比Zen4的3.84平方毫米减少了35%,采用了8个16核的CCD，内核数最高可至128个，可提高多线程能力，并对标其他多核数的服务器产品如英特尔下一代144 核的 Sierra Forest。Genoa-X内核数最高 96个，采用1.3GB的L3缓存，并集成了3DV-Cache技术，适用于缓存需求较高的技术计算。二者作为第四代 EPYC 家族成员均采用台积电 5nm 制程，对比Sapphire Rapids采用的 Intel7节点（10nm相当于台积电7nm）尚处领先。

AMD 第四代EPYCCPU均采用台积电 5nm 制程，目前仍领先于英特尔。但Intel在先进制程的追赶方案比较激进，似有正在逐步接近AMD制程的可能。目前，Intel在服务器领域最新产品 Sapphire Rapids 采用的 Intel7节点(10nm 相当于台积电7nm)。但根据 Intel技术路线图，如果英特尔按照“四年五节点”计划顺利推进，则AMD依赖台积电所获得的制程优势或将缩小，甚至在服务器端2025年可能出现英特尔超过台积电的情况。但英特尔究竟能否在2025年或以前顺利推进制程计划还需进一步观察，2024年Intel3的落地情况将是关键一步。

图表20：Zen4c架构的密度额能源效率较Zen4架构大幅提升

资料来源：CES2023、华泰研究

图表21：AMD EPYCGenoa-X与 Intel 第四代Xeon 产品对比（最高配置）

注：*为计划中
资料来源：AMD官网、华泰研究

图表22：AMD EPYCGenoa-X与Intel 第四代 Xeon 产品对比（同为32核）

注：*为计划中
资料来源：AMD官网、华泰研究

图表23：AMDEPYC系列CPU产品路线图

资料来源：CES2023、华泰研究

图表24：AMD与英特尔在服务器端采用的制程对比：若进程按计划落地，英特尔2025年有望赶超

注：*为计划中
资料来源：AMD官网、英特尔官网、华泰研究

图表25：AMDEPYCCPU产品矩阵

系列名称	Venice	Turin	Siena	Bergamo	Genoa-X	Genoa	Milan-X	Milan	Rome	Naples
系列编号	EPYC 11K*	EPYC 10K*	EPYC 8004	EPYC 9004	EPYC 9004	EPYC 9004	EPYC 7004	EPYC 7003	EPYC 7002	EPYC 7001
发布年份	2025+	2024	2023	2023	2023	2022	2022	2021	2019	2017
CPU架构	Zen 6*	Zen 5	Zen 4	Zen 4C	Zen 4	Zen 4	Zen 3	Zen 3	Zen 2	Zen 1
制程	NA	3/4nm TSMC	5nm TSMC	4nm TSMC	V-Cache 5nm TSMC	5nm TSMC	7nm TSMC	7nm TSMC	7nm TSMC	14nm GloFo
插座	NA	SP5/SP6	SP6	SP5	SP5	SP5	sp3	sp3	SP3	sp3
插槽	NA	LGA 6096	LGA 4844	LGA 6096	LGA 6096	LGA 6096	LGA 4094	LGA 4094	LGA 4094	LGA 4094
最大核心数	384*	(SP5) 128*	64	128	96	96	64
最大线程数	768*	256*	128	256	192	192	128	64 128	64 128	32 64
最大三级缓存	NA	NA	NA	NA	1152 MB	384 MB	768 MB	256 MB	256 MB	64 MB
Chiplet设计	NA	NA	8	CCD's 12CCD's	3D V-Cache	12 CCD's	3D V-Cache 8 CCD's		8 CCD's	4 CCD's
			(1CCXCCD)	(1 CCXCCD)	12 CCD's	(1 CCXCCD)	8 CCD's	(1 CCXCCD)	(2 CCX's/CCD)	(2 CCXs/
			+1IOD	+1I0D	(1 CCXCCD)	+1I0D	(1 CCXCCD） +1I0D		+1I0D	CCD)
					+1I0D		+1I0D
内存支持	NA	DDR5-6000*	DDR5-5200	DDR5-5600*	DDR5-4800	DDR5-4800	DDR4-3200	DDR4-3200	DDR4-3200	DDR4-2666
存储器通道	TBD	12 Channels (SP5)	6-Channels	12 Channels	12 Channels	12 Channels	8 Channels	8 Channels	8 Channels	8 Channels
		6-Channels (SP6)
PCle Gen 支持	TBD	TBD	96 Gen 5	160 Gen 5	128 Gen 5	128 Gen 5	128 Gen 4	128 Gen 4	128 Gen 4	64 Gen 3
最大热设计功耗 TBD		480W	70-225W	320W	400W	400W	280W	280W	280W	200W

*注：具体参数官方尚未确认

资料来源：Wccftech、华泰研究

最后，AMD还宣布了与AWS、Oracle、Meta 及微软在第四代 EPYC CPU产品上的合作关系。但并没有宣布MI300系列的合作客户。

图表26：AMD在CES2023宣布与多家云厂商开展第四代EPYCCPU产品的合作

资料来源：CES2023、华泰研究

风险提示

技术落地缓慢：公司的生产技术推进和产品落地可能达不到预期，或影响营收及利润。

中美局势可能升级：中国是美国半导体产业的重要市场之一，如果中美局势再次升级，将对宏观因素和板块产品销售产生影响。

芯片需求不及预期：市场的芯片需求规模可能不及预期，影响行业营收及利润。

宏观经济不确定性：宏观经济的下行压力和不确定性可能影响公司主营业务及合作进展。

相关信息数据来自于相关公司的公开的客观信息，不代表对相关公司的研究覆盖和推荐。

免责声明

分析师声明

本人，何翱翩，兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见；彼以往、现在或未来并无就其研究报告所提供的具体建议或所表达的意见直接或间接收取任何报酬。

一般声明及披露

本报告由华泰证券股份有限公司（已具备中国证监会批准的证券投资咨询业务资格，以下简称“本公司"）制作。本报告所载资料是仅供接收人的严格保密资料。本报告供本公司及其客户和其关联机构使用。本公司不因接收人收到本报告而视其为客户。

本报告基于本公司认为可靠的、已公开的信息编制，但本公司及其关联机构(以下统称为“华泰”)对该等信息的准确性及完整性不作任何保证。

本报告所载的意见、评估及预测饭映报告发布当日的观点和判断。在不同时期，华泰可能会发出与本报告所载意见、评估及预测不一致的研究报告。同时，本报告所指的证券或投资标的的价格、价值及投资收入可能会波动。以往表现并不能指引未来，未来回报并不能得到保证，并存在损失本金的可能。华泰不保证本报告所含信息保持在最新状态。华泰对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。

本公司不是 FINRA 的注册会员，其研究分析师亦没有注册为 FINRA 的研究分析师/不具有 FINRA 分析师的注册资格。

华泰力求报告内容客观、公正，但本报告所载的观点、结论和建议供参考，不构成购买或出售所述证券的要约或招揽。该等观点、建议并未考虑到个别投资者的具体投资目的、财务状况以及特定需求，在任何时候均不构成对客户私人投资建议。投资者应当充分考虑自身特定状况，并完整理解和使用本报告内容，不应视本报告为做出投资决策的唯一因素。对依据或者使用本报告所造成的一切后果，华泰及作者均不承担任何法律责任。任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。

除非另行说明，本报告中所引用的关于业绩的数据代表过往表现，过往的业绩表现不应作为日后回报的预示。华泰不承诺也不保证任何预示的回报会得以实现，分析中所做的预测可能是基于相应的假设，任何假设的变化可能会显著影响所预测的回报。

华泰及作者在自身所知情的范围内，与本报告所指的证券或投资标的不存在法律禁止的利害关系。在法律许可的情况下，华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易，为该公司提供投资银行、财务顾问或者金融产品等相关服务或向该公司招揽业务。

华泰的销售人员、交易人员或其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。华泰没有将此意见及建议向报告所有接收者进行更新的义务。华泰的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。投资者应当考虑到华泰及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突。投资者请勿将本报告视为投资或其他决定的唯一信赖依据。有关该方面的具体披露请参照本报告尾部。

本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布的机构或人员，也并非意图发送、发布给因可得到、使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员。

本报告版权本公司所有。未经本公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人(无论整份或部分)等任何形式侵犯本公司版权。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并需在使用前获取独立的法律意见，以确定该引用、刊发符合当地适用法规的要求，同时注明出处为“华泰证券研究所”且不得对本报告进行任何有悼原意的引用、删节和修改。本公司保留追究相关责任的权利。所有本报告中使用的商标、服务标记及标记均为本公司的商标、服务标记及标记。

中国香港

本报告由华泰证券股份有限公司制作，在香港由华泰金融控股（香港）有限公司向符合《证券及期货条例》及其附属法律规定的机构投资者和专业投资者的客户进行分发。华泰金融控股（香港）有限公司受香港证券及期货事务监察委员会监管，是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。在香港获得本报告的人员若有任何有关本报告的问题，请与华泰金融控股（香港）有限公司联系。

香港-重要监管披露

·华泰金融控股（香港）有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员。

·有关重要的披露信息，请参华泰金融控股（香港）有限公司的网页 htps://www.htsc.com.hk/stock_disclosure其他信息请参见下方“美国-重要监管披露”。

美国

在美国本报告由华泰证券（美国）有限公司向符合美国监管规定的机构投资者进行发表与分发。华泰证券（美国）有限公司是美国注册经纪商和美国金融业监管局（FINRA）的注册会员。对于其在美国分发的研究报告，华泰证券（美国）有限公司根据《1934年证券交易法》（修订版）第15a-6条规定以及美国证券交易委员会人员解释，对本研究报告内容负责。华泰证券（美国）有限公司联营公司的分析师不具有美国金融监管（FINRA）分析师的注册资格，可能不属于华泰证券（美国）有限公司的关联人员，因此可能不受FINRA关于分析师与标的公司沟通、公开露面和所持交易证券的限制。华泰证券（美国）有限公司是华泰国际金融控股有限公司的全资子公司，后者为华泰证券股份有限公司的全资子公司。任何直接从华泰证券（美国）有限公司收到此报告并希望就本报告所述任何证券进行交易的人士，应通过华泰证券（美国）有限公司进行交易。

美国-重要监管披露

·分析师何翩翩本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员、董事或顾问。分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益。本披露中所提及的“相关人士”包括FINRA 定义下分析师的家庭成员。分析师根据华泰证券的整体收入和盈利能力获得薪酬，包括源自公司投资银行业务的收入。

·华泰证券股份有限公司、其子公司和/或其联营公司，及/或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券（包括衍生品）华泰证券研究所覆盖公司的证券/衍生工具，包括股票及债券 (包括衍生品)。

·华泰证券股份有限公司、其子公司和/或其联营公司，及/或其高级管理层、董事和雇员可能会持有本报告中所提到的任何证券（或任何相关投资）头寸，并可能不时进行增持或减持该证券（或投资)。因此，投资者应该意识到可能存在利益冲突。

评级说明

投资评级基于分析师对报告发布日后6至12个月内行业或公司回报潜力（含此期间的股息回报）相对基准表现的预期（A股市场基准为沪深300 指数，香港市场基准为恒生指数，美国市场基准为标普500 指数)，具体如下：

行业评级

增持：预计行业股票指数超基准

中性：预计行业股票指数基本与基准持平

减持：预计行业股票指数明显弱于基准

公司评级

买入：预计股价超基准15%以上

增持：预计股价超基准 5%\~15%

持有：预计股价相对基准波动在-15%\~5%之间

卖出：预计股价弱于基准15%以上

暂停评级：已暂停评级、目标价及预测，以遵守适用法规及/或公司政策

无评级：股票不在常规研究覆盖范围内。投资者不应期待华泰提供该等证券及/或公司相关的持续或补充信息

法律实体披露

中国：华泰证券股份有限公司具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J香港：华泰金融控股(香港)有限公司具有香港证监会核准的“就证券提供意见”业务资格，经营许可证编号为：AOK809美国：华泰证券（美国）有限公司为美国金融业监管局（FINRA）成员，具有在美国开展经纪交易商业务的资格，经营业务许可编号为：CRD#:298809/SEC#:8-70231

华泰证券股份有限公司
南京
南京市建邮区江东中路228号华泰证券广场1号楼/邮政编码：210019

电话：86 25 83389999/传真：86 25 83387521电子邮件：ht-rd@htsc.com

深圳
深圳市福田区益田路5999号基金大厦10楼/邮政编码：518017
电话：86 755 82493932/传真：86 755 82492062
电子邮件：ht-rd@htsc.com

华泰金融控股（香港）有限公司

香港中环皇后大道中99号中环中心58楼5808-12室
电话：+852-3658-6000/传真：+852-2169-0770
电子邮件：research@htsc.com
http://www.htsc.com.hk

华泰证券（美国）有限公司

美国纽约公园大道280号21楼东 (纽约10017)
电话：+212-763-8160/传真：+917-725-9702
电子邮件:Huatai@htsc-us.com
http://www.htsc-us.com

北京
北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层/
邮政编码：100032
电话：86 10 63211166/传真：86 10 63211275
电子邮件：ht-rd@htsc.com
上海
上海市浦东新区东方路18号保利广场E栋23楼/邮政编码：200120
电话：862128972098/传真：862128972068
电子邮件：ht-rd@htsc.com

START YOUR FINANCE

起点财经，网罗天下报告

电子行业动态点评：AMD正式宣战，谁来为MI300站台？-20230615-华泰证券-18页