敬请参阅报告结尾处的免责声明东方财智 兴盛之源超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格看好/维持通信行业报告分析师执业证书编号:S1480518080001投资摘要:超节点与Scale-up 网络是突破算力与通信瓶颈、支撑万亿级大模型与高实时性应用的关键基础设施。本篇超节点与Scale up 网络行业深度报告,详细研究英伟达、谷歌、AMD 以及华为四家头部AI 算力芯片厂商在此领域的布局进展以及各自优势。我们认为,超节点与Scale-up 网络正处于快速发展期,并将成为算力芯片、网络部件(PCB 板、交换芯片、光器件、高速铜缆)、存储部件、供电和散热设施部件等新兴技术的重要应用市场。(1)英伟达:超节点领先优势建立在NVLink 和NVLink Switch。在超节点技术方案上,英伟达处于领先优势。2024-2025年,英伟达陆续推出GH200 NVL72、GB200/ GB300NVL72 等成熟超节点解决方案。根据大摩预测,2025 年英伟达GB200/300 NVL72 出货量约2800 台。展望2026-2027 年,英伟达计划推出Vera Rubin NVL144 和Rubin Ultra NVL576。互联GPU 数将从72 颗进一步向576 颗发展。届时,英伟达将发布新一代Kyber 机架,架构引入NVLink Switch Blade(NVLink 交换机刀片),通过PCB 中板替代传统5000+根有源铜缆。可以看到,Rubin Ultra NVL576 仍保持较强的工程创新能力。英伟达超节点的优势建立在NVLink 和NVLink Switch。为实现AI 训练集群高带宽与低延迟数据传输,NVLink 重新设计通信架构,并引入一系列先进技术,包括网状拓扑、差分信号传输、流量调度信用机制、多Lane绑定技术、统一内存空间等。截止2025年,NVLink 5 Switch实现支持单GPU到GPU带宽1800GB/s,可构建72 GPU 的NVLink 域,总带宽达130 TB/s(双向),支持72 GPU 全互联通信。在后续计划中,NVSwitch Gen6 和Gen7 的GPU-to-GPU 通信带宽继续升级为3.6TB/s。但另一方面,Scale up 网络兴起源于满足大模型分布式训练和推理中的张量并行(TP)与专家并行(EP)。目前AI 产业也在探索降低TP 与EP 规模的技术方案,从而降低Scale up 网络规模的上限。我们认为,Scaleup 网络的发展空间或限制英伟达在超节点领域的领先优势。为保持领先优势,实现Scale up 网络和Scaleout 网络融合或将成为英伟达超节点新的发展趋势。(2)华为:对外开放灵衢互联协议,超节点性能追赶英伟达。国内Scale Up 协议尚未统一,华为灵衢协议尚未被国内业界广泛接受。在Scale Up 协议方面,华为推出灵衢协议,并从2.0 版本起转向开放标准。除此之外,国内其他厂商正探索多种互联协议,包括中移OISA、腾讯ETH-X、高通量以太网ETH+以及
中兴通讯OLink 等。为打破生态壁垒,国内正积极推动标准统一,比如工信部正牵头推动CLink 协议,旨在形成统一的国内标准。华为超节点依靠集群化方式实现性能追赶。Atlas 950 超节点预计2026 年第四季度发布,相比英伟达同样将在2026 年下半年上市的NVL144 总算力2.52 EFLOPS(FP8),其算力达到8 EFLOPS(FP8)。此外,Atlas 950 超节点在内存容量1152TB 与互联带宽16.3PB/s,也实现大幅领先。我们认为,短期内,华为超P2东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源节点依靠集群化实现性能追赶,但在超节点复杂性、可靠性、功耗等维度需要平衡。从整体解决方案看,英伟达在超节点的芯片工艺、软件生态与系统集成上的优势仍难以撼动。Atlas 950 超节点互联方案或将调整,显示华为超节点技术在标准化阶段仍需夯实。相比上一代超节点,华为Atlas 950 超节点不再使用全光互联架构,其通过“柜内正交铜互联+柜间光互联”的混合设计,在机柜内部利用铜互联实现高可靠、低成本和低功耗的连接,跨机柜则通过光互联保障系统的可扩展性,从而在维持系统可扩展性的同时,有效控制总体拥有成本(TCO)。(3)谷歌:建立光互联超节点,与英伟达形成不对称竞争。谷歌TPU 超节点建立成熟的光互联Scale up 网络。从技术成熟度看,2023-2025 年谷歌陆续推出TPU v4、TPU v5p、TPU v7 三代超节点,完成了技术路线探索和方案标准化。此外TPU v7 也获得外部企业认可。2026 年,Anthropic 将直接从博通采购近100 万颗TPU v7 Ironwood AI 芯片,本地部署在其控制的数据中心。2027 年,谷歌将推出第8 代TPU,对标 Nvidia Vera Rubin。可以看到,届时谷歌TPU 超节点的性能指标进一步优化提升。谷歌TPU 超节点竞争优势建立在OCS 交换机,技术路线独树一帜。相比英伟达、华为、AMD 等超节点厂商,谷歌是全球首个将光电路交换机(OCS)大规模商用部署于Scale up 网络的企业,技术路线独树一帜。谷歌OCS 交换机,涉及精密光学、机械工程与半导体工艺的深度交叉应用,在光互联领域构筑一道高壁垒的技术护城河。相较于电分组交换机,光电路交换技术具备诸多优势:光电路交换机可跨多代光收发模块技术复用、光电路交换机的每比特能耗较电分组交换机低数个数量级、光电路交换机引入的时延极小。OCS 交换机商用落地存在多重困难:光电路交换机需扩展至数百个端口以支撑足够数量NPU 互连;受限于光电路交换机的控制软件和反射镜配置时延,商用光电路交换机的交换时延通常为10~20 毫秒;为降低链路功率,光电路交换机插入损需要控制在理想水平。为搭建高性价比、大规模的光交换层,谷歌创新研发三大核心硬件组件:光电路交换机、波分复用光收发模块和光环形器。其中谷歌Palomar 光电路交换机的光学核心模块是实现光转向功能的MEMS 微反射镜;波分复用光收发模块是提升布线效率、支撑大规模且持续扩张数据中心的关键;光环形器是实现光电路交换机链路双向通信的核心器件,将所需的光电路交换机端口和光纤数量减半。(4)AMD:UALink 成为重要开放标准,超节点有望成为英伟达有力竞品。作为Scale up 网络开放技术路线方,UALink 成为重要标准。2025 年1.0 版本规范正式发布;2026 年,UALink 2.0 版本有望发布。我们认为,目前UALink 正处于从标准制定阶段走向产品落地阶段,预计UALink生态将在2027 年迎来突破发展,被众多数据中心接纳。目前UALink 联盟受到业内广泛支持,截止2026年1 月底,成员单位超过100 家,将成为英伟达NVLink 有利挑战方。AMD 超节点Helios 机架有望成为行业主流选择。Helios 机架采用双宽机架设计,宽度从1 个机架提升到2个机架,在复杂性、可靠性和性能间实现良好平衡。从算力、内存、互联带宽等指标,MI455x 系列Helios机柜是目前业界最能挑战英伟达的NVL72 机柜的竞品;而在功耗领域,对比GB200 NVL72 机柜,Helios机架优势显著。此外,双宽结构为未来升级预留物理空间,例如可扩展至144GPU 配置,而无需重新设计机架基础设施。东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P3敬请参阅报告结尾处的免责声明东方财智 兴盛之源投资策略:自2025 年开始,超节点成为AI 算力网络重要的技术创新方向。从AI 基建竞争维度,AI 芯片厂商从芯片算力性能竞争延续至芯片+Scale up 网络的双战场。因此,除了原先英伟达、华为、AMD 以及谷歌等芯片公司,全球更多厂商加入超节点赛道的竞争,包括微软、Meta、Amazon、
中国移动、阿里巴巴、字节跳动、腾讯、百度、
中科曙光、中兴通讯、
浪潮信息、
紫光股份(新华三)、
海光信息、
沐曦股份、
恒为科技等。全球超节点竞争格局尚未确立。英伟达目前处于领先地位,但谷歌、AMD、华为等巨头在超节点领域的持续发力已经对英伟达一家独大的格局构成挑战。从股价表现看,2023-2024 年,英伟达股价大幅跑赢谷歌、AMD 以及A 股中证算力指数。但在2025 年,英伟达股价累计涨幅38%,显著落后于谷歌、AMD 以及A股中证算力指数。我们认为,在超节点技术发展中,市场将继续对谷歌、AMD 以及国产超节点板块价值重估。投资建议:(1)看好谷歌、AMD 以及国内超节点厂商;(2)看好英伟达、谷歌与AMD 超节点供应链,包括PCB 背板、高速铜缆、光模块、供电与液冷系统等;(3)基于交换机及芯片是Scale up 网络互联的关键设备,看好谷歌光路交换机(OCS)核心零部件供应商以及UALink 标准下的交换机芯片研发商。风险提示:(1)LLM 训练与推理技术路径变化;(2)超节点性能与功耗有待平衡;(3)受供应链影响,各厂商超节点出货量低于预期;(4)AI 应用端增长不及预期。P4东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源目 录2.1 Scale up 网络核心技术:NVLink 与NVLink 交换机 ................................................................................................. 122.2 GB200 NVL72 超节点:铜缆互联,总交换容量129.6TB/s ...................................................................................... 152.3 VR200 NVL72 超节点:延续GB200 NVL72 工程技艺,总交换容量翻倍 ................................................................ 212.4 总结:处于领先优势,互联GPU 数将从72 颗进一步向576 颗发展 ....................................................................... 243.1 华为自研灵衢互联协议,并对外开放 ....................................................................................................................... 273.2 华为CloudMatrix 384 超节点:两层拓扑架构,全光互联 ........................................................................................ 353.3 总结:灵衢协议尚未被国内业界广泛接受,集群化方式实现性能追赶 ..................................................................... 414.1 Scale up 网络核心技术:创新应用光电路交换机(OCS) ....................................................................................... 424.2 谷歌TPU v7 超节点:Cube+3D Torus+OCS 光交换实现扩展 ................................................................................. 484.3 总结:光互联Scale up 网络实现技术标准化,技术路线独树一帜 ........................................................................... 545.1 UALink:代表开放标准路线,受到业内广泛支持 ..................................................................................................... 555.2 AMD 超节点:英伟达NVL72 系列有力竞品,有望实现市场突破 ............................................................................. 595.3 总结:UALink 成为重要标准,Helios 机架有望成为行业主流选择 ........................................................................... 64插图目录图1: Scale up 网络(左)与Scale out 网络(右)特点对比 ............................................................................................. 8图2: 英伟达NVL72 超节点示意 ........................................................................................................................................... 9图3: 全球主流算力方案对应Scale Up 协议....................................................................................................................... 10图4: 全球主流算力芯片厂商旗下Scale up 协议特点 ..........................................................................................................11图5: NVLink 技术规格参数对比......................................................................................................................................... 12图6: NVLink 交换机规格参数对比 ..................................................................................................................................... 12图7: NVLink 网状拓扑结构提供高速双向带宽 ................................................................................................................... 13图8: NVLink 交换网络的演进过程(1) ............................................................................................................................ 14图9: NVLink 交换网络的演进过程(2) ............................................................................................................................ 14图10: 英伟达GB300 NVL72 超节点外观 ........................................................................................................................... 15图11: GB 200 NVL72 机柜外观与内部构件细节 ................................................................................................................ 16图12: GB200 NVL72 中计算托盘 ...................................................................................................................................... 17图13: GB 200 NVL72 中NVLink 交换机托盘.................................................................................................................... 17图14: GB200 NVL72 中NVLink 电缆盒 ............................................................................................................................ 18图15: B200 端口Port 示意图 ............................................................................................................................................ 19东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P5敬请参阅报告结尾处的免责声明东方财智 兴盛之源图16: NVLINK Switch5 芯片Port 示意图 ......................................................................................................................... 19图17: GB200/300 NVL72 单层计算托架的互联拓扑 .......................................................................................................... 19图18: 英伟达GB200 NVL72 机柜后置铜线背板 ................................................................................................................ 20图19: VR200 NVL72 机柜计算托盘 ................................................................................................................................... 21图20: Vera Rubin NVL72 机柜交换机托盘 ........................................................................................................................ 21图21: 英伟达Vera Rubin GPU 芯片互联方式 ................................................................................................................... 22图22: VR200 NVL72 机柜中GPU 互联拓扑结构 ............................................................................................................... 22图23: Vera Rubin NVL72 机柜交换机托盘无缆线设计 ...................................................................................................... 23图24: 英伟达Rubin NVL576 新一代Kyber 机架 .............................................................................................................. 26图25: 英伟达算力芯片发布时间表 ..................................................................................................................................... 26图26: UB 协议栈 ................................................................................................................................................................ 27图27: 基于灵衢协议部署的超节点架构 .............................................................................................................................. 28图28: 灵衢总线交换设备外观 ............................................................................................................................................. 29图29: 灵衢总线交换设备物理结构图 .................................................................................................................................. 30图30: 灵衢总线交换设备逻辑框图 ..................................................................................................................................... 31图31: UB 物理层支持两种模式 .......................................................................................................................................... 31图32: UB-Mesh 中的nD-FullMesh 拓扑示意 ................................................................................................................... 32图33: 1D-FullMesh 拓扑示意 ............................................................................................................................................ 32图34: 2D-FullMesh 拓扑示意 ............................................................................................................................................ 33图35: 2D-FullMesh + Clos 混合拓扑示意 ......................................................................................................................... 33图36: UB 融合组网和光交换组网示意 ............................................................................................................................... 34图37: CloudMatrix 384 超节点外观 .................................................................................................................................. 36图38: CloudMatrix 384 超节点组网方案 .......................................................................................................................... 37图39: CloudMatrix 384 三层网络平面 .............................................................................................................................. 38图40: CloudMatrix 384 中Ascend 910C NPU 芯片架构 ................................................................................................. 38图41: CloudMatrix 384 单个计算节点网络拓扑 ................................................................................................................ 39图42: 谷歌Palomar OCS 光信号传输路径 ........................................................................................................................ 43图43: 谷歌Palomar OCS 实物图 ...................................................................................................................................... 44图44: MEMS 微镜模块实物图 ............................................................................................................................................ 45图45: MEMS 微镜模块热成像图 ........................................................................................................................................ 45图46: 谷歌Palomar OCS 机箱机构图以及实物机箱后视图 .............................................................................................. 46图47: 谷歌超节点单个机架实物图 ..................................................................................................................................... 49图48: TPU 4×4×4 立方体互联逻辑示意图 ......................................................................................................................... 50图49: TPUv7 128(4×4×8)TPU 拓扑示意图 ................................................................................................................... 51图50: 谷歌TPU v4 超节点网络拓扑 .................................................................................................................................. 52图51: 谷歌TPU v7 超节点网络拓扑 .................................................................................................................................. 52图52: UALink 发展时间线 ................................................................................................................................................. 55图53: UALink 联盟成员名单 .............................................................................................................................................. 56图54: UALink 协议栈架构 ................................................................................................................................................. 57图55: AMD Helios AI Rack MI455X 72x GPU 超节点外观 ............................................................................................... 59P6东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源图56: AMD MI455x 系列Helios 机架外观......................................................................................................................... 61图57: AMD MI450X UALoE72 Helio 机架示意图 .............................................................................................................. 62图58: AMD MI400s UALoE72 Scale Up 拓扑示意图 ........................................................................................................ 63图59: 2023-2026 年2 月英伟达/谷歌/超威半导体/中证算力当年累计涨跌幅对比 .............................................................. 65表格目录表1: AI 大语言模型训练中多种并行计算方式对比 ............................................................................................................... 7表2: GB200 NVL72 超节点算力与通信性能 ...................................................................................................................... 16表3: 英伟达超节点Scale up 迭代路线 .............................................................................................................................. 24表4: 华为超节点迭代路线及性能对比 ................................................................................................................................ 35表5: GB200 NVL72 超节点与CloudMatrix 384 算力与通信性能对比 .............................................................................. 36表6: 华为CloudMatrix 384 超节点网络架构与互联方案 ................................................................................................... 40表7: 华为超节点Scale up 迭代路线 .................................................................................................................................. 41表8: 谷歌ICI Link 协议VS 英伟达NVLink 协议 ............................................................................................................... 42表9: 各类光电路交换技术的成本、规模、性能及可靠性/可用性对比 ................................................................................. 47表10: 谷歌超节点迭代路线及性能对比 .............................................................................................................................. 48表11: 英伟达GB200 芯片与与谷歌TPUv7 性能对比 ........................................................................................................ 48表12: 谷歌Scale up 网络演进与TPU 代际发展紧密同步 ................................................................................................. 53表13: UALink 与SUE 技术对比 ........................................................................................................................................ 58表14: AMD MI455x 系列Helios 与英伟达Vera Rubin NVL72 参数对比 .......................................................................... 60东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P7敬请参阅报告结尾处的免责声明东方财智 兴盛之源超节点与Scale-up 网络是突破算力与通信瓶颈、支撑万亿级大模型与高实时性应用的关键基础设施。本篇超节点与Scale up 网络行业深度报告,详细研究英伟达、谷歌、AMD 以及华为四家头部AI 算力芯片厂商在此领域的布局进展以及各自优势。我们认为,超节点与Scale-up 网络正处于快速发展期,并将成为算力芯片、网络部件(PCB 板、交换芯片、光器件、高速铜缆)、存储部件、供电和散热设施部件等新兴技术的重要应用市场。
1. LLM 训练要求高带宽与延迟,驱动超节点成为AI 算力网络创新方向
大语言模型(LLM)参数规模从千亿级向万亿级乃至十万亿级演进,跨服务器张量并行(TP)成为必然选择;此外混合专家(MoE)模型在Transformer 架构LLM 中的规模化应用,更使跨服务器专家并行(EP)成为分布式训练和推理的关键技术需求。为应对TP 和EP 对网络带宽与延迟的极为严苛的要求,构建超高带宽、超低延迟的Scale up 网络(纵向扩张网络)成为业界主流技术路径。表1:AI 大语言模型训练中多种并行计算方式对比并行方式带宽要求延迟要求说明张量并行(TP)数百至数千GB/s 级延迟要求极高将单个运算(如矩阵乘法)拆分到不同GPU 上运行,通常在机内完成专家并行(EP)数百至数千GB/s 级延迟要求极高基于不同的任务选择不同专家进行训练,引入All to All流量,适合机内完成流水线并行(PP)MB/s 至GB/s 级延迟要求较高将模型的不同层划分为若干个阶段,每个阶段可以在不同的GPU 上执行,通常在机间完成数据并行(DP)GB/s 级延迟要求较高将同一批数据分割成多个子集,并将每个子集分配给不同GPU 上(模型实例相同)运行,通常在机间完成P8东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源根据阿里云给出的定义为:Scale up 是在一定范围内,于成本和互联技术约束下实现的超高带宽互联。其范围固定且带宽是Scale out 的数倍以上,可在协议层面优化以支持内存语义。我们对Scale up 网络与Scaleout 网络特点对比如下:Scale up(左)vs Scale out(右)算力规模:数十卡至千卡级vs 万卡至十万卡级;资源利用率:80%以上vs 30%-50%;通信延迟:百纳秒级vs 微秒级;内存访问:统一内存或全局地址空间vs 独立内存空间;标准化:定制化程度高vs 基于开放网络标准,相对统一。图1:Scale up 网络(左)与Scale out 网络(右)特点对比东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P9敬请参阅报告结尾处的免责声明东方财智 兴盛之源超节点主要由计算节点、交换节点和Scale-up 网络互联构成。通过Scale up 网络,可将几十、上百甚至上千张XPU 高速互联构建为超节点(SuperPoD),像一台超级XPU 服务器一样实现高效的计算和通信协同能力。其中Scale up 网络互联是超节点的核心要素。Scale up 网络互联方案直接影响超节点系统的功耗、散热、成本、规模、可靠性和可维护性等关键指标。目前主流的互联方案有铜缆互联和光纤互联两大类:铜缆互联方案(如英伟达的NVL72 超节点及NVSwitch Scale-Up 网络采用的DAC 即无源铜缆技术)具有功耗低、成本低、可靠性高的明显优势。不过,受限于铜缆的信号传输距离,单个超节点的规模较小,目前商用的英伟达NVL72 超节点最大支持72 张XPU 卡。光纤互联方案(如华为的CloudMatrix384 超节点及Unified Bus (UB)Scale-Up 网络采用的AOC 技术)则突破铜缆距离限制,超节点规模可以做的更大,目前商用的华为CloudMatrix384 超节点可支持多达384 张XPU 卡,但这种互联技术方案也存在明显短板,如光模块功耗大,成本高,故障率高。图2:英伟达NVL72 超节点示意P10东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源目前英伟达、谷歌、AMD 以及华为四家头部AI 算力芯片厂商均推出各自的Scale up 协议。英伟达在AI 数据中心的Scale up 网络中采用自研的NVLink 高速互连技术;AMD 与AWS、思科、谷歌等公司组成超以太网联盟(UALink);Google 采用私有ICI 协议,机柜之间运用OCS 光交换技术;华为推出自研的灵衢协议技术(UB)。图3:全球主流算力方案对应Scale Up 协议东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P11敬请参阅报告结尾处的免责声明东方财智 兴盛之源Scale up 网络主要有两个技术方向。一是封闭的私有技术方向,以英伟达、Google 为典型代表,二者均采用专有协议:NVLink 仅向第三方半开放CPU/Chiplet 接入权限;Google ICI Link 则服务于自研TPU 集群;二是基于Ethernet 的开放技术方向,以各大互联网和云计算公司以及一些GPU 芯片公司为代表。开放标准以UALink 和华为灵衢为代表,UALink 基于标准以太网组件打造开放互联协议,华为灵衢协议从2.0 版本起转向开放标准。目前两者均处于生态建设初期。图4:全球主流算力芯片厂商旗下Scale up 协议特点P12东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源
2. 英伟达:超节点领先优势建立在NVLink 和NVLink Switch
2.1 Scale up 网络核心技术:NVLink 与NVLink 交换机NVLink 与NVLink 交换机是英伟达构建单机柜Scale up 网络的核心技术组合。二者协同演进,从早期点对点互联发展到如今全互联通信,并支持多代GPU 架构算力芯片。2026 年1 月,英伟达发布第六代NVLink以及NVLink 交换机,两者支持最新的Rubin 架构。从性能指标看,第六代NVLink 交换机支持的GPU-to-GPU通信带宽为3.6TB/s;在VR NVL72 系统中提供260TB/s 聚合带宽。其中每GPU 的NVLink 带宽保持不变,与NVLink5.0 一致,仍为100GB/s。图5:NVLink 技术规格参数对比图6:NVLink 交换机规格参数对比东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P13敬请参阅报告结尾处的免责声明东方财智 兴盛之源NVLink 重新设计通信架构,推出网状拓扑理念。为实现AI 训练集群高带宽与低延迟数据传输,NVLink 允许GPU 之间形成多对多的直接通信网络,每个GPU 都可以同时与多个其他GPU 建立高速通信链路。NVLink协议创新如下:在物理层面,NVLink 采用差分信号传输技术,具有高带宽和高抗干扰性能。每个链路由多对差分信号线组成,每对信号线负责传输一个方向的数据。SerDes 模块是NVLink 物理层的核心组件,负责将并行数据转换为高速串行流,并在接收端进行反向转换。NVLink 的SerDes 设计采用时钟数据恢复技术,以及集成复杂的自适应均衡电路。在链路层,NVLink 定义多种类型的符号,包括数据符号、控制符号和填充符号,实现复杂的通信协议功能;设计精细的信用机制,实现不同优先级的流量调度。除此之外,NVLink 其他创新之处包括多Lane 绑定技术、统一内存空间等。图7:NVLink 网状拓扑结构提供高速双向带宽P14东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源NVSwitch 是实现Scale up 网络复杂交换的关键设备。早期的NVLink 实现主要采用点对点连接模式,GPU 之间通过直接的串行链路进行通信。当系统包含多个GPU 时,点对点模式的连接复杂度呈平方级增长。作为专门的交换芯片,NVSwitch 可以提供多端口的高速交换能力。NVLink 的交换网络采用多阶Clos 网络架构,Clos 网络通过多级交换结构实现输入端口到输出端口的任意连接。图8:NVLink 交换网络的演进过程(1)图9:NVLink 交换网络的演进过程(2)东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P15敬请参阅报告结尾处的免责声明东方财智 兴盛之源2.2 GB200 NVL72 超节点:铜缆互联,总交换容量129.6TB/s目前英伟达超节点已经推出成熟方案,在行业中处于领先地位。2024-2026 年,英伟达陆续推出GH200NVL72、GB200/ GB300 NVL72、VR200 NVL72 三代超节点。Hopper 架构开启超节点Scale up 初步探索。GH200 通过NVLink 和NVLink-C2C(Chip-to-Chip)技术,使得每个GPU 可以访问其他所有CPU 和GPU 芯片的内存,实现GPU 与CPU 内存统一编址。Blackwell 架构推动Scale up 标准化。GB200 NVL72 将Scale-up 规模稳定在72 个GPU/机柜,形成可复制标准化方案。NVL72 由18 个Compute Tray(计算托架)和9 个Switch Tray(网络交换托架)构成。其中,Compute Tray 是计算核心单元,负责提供强大的计算能力;Switch Tray 是高速通信枢纽,用于实现GPU 之间的高速数据交换。NVL72 背板通过“NVLink5 私有协议 + 铜线缆”将18 个ComputeTray 中的72 颗B200 GPU 和9 个Switch Tray 中的18 颗 NVSwitch 芯片进行满带宽全连接。Rubin 架构推动Scale up 方案带宽倍增。2026年1月CES 展会,英伟达发布Rubin 架构VR200 NVL72。其中NVLink 6 Switch 实现单GPU 的互连带宽提升至3.6 TB/s,上代为1.8TB/s。Scale out 方面,Spectrum-6 交换机支持CPO(共封装光学)技术,将32 个1.6Tb/s 硅光光学引擎与交换芯片直接封装集成。图10:英伟达GB300 NVL72 超节点外观P16东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源目前全球算力芯片公司进入芯片性能与超节点性能并行竞争的新阶段。GB200 NVL72 作为全球超节点发展的标杆产品,我们将从多个维度拆解其硬件构成以及重点性能指标。从算力和通信性能看:GB200 NVL72 提供180 PFLOP 的TF32 Tensor Core 算力,总内存容量13.8TB,内存带宽576TB/s;Scale up 单向带宽64800 GB/s。表2:GB200 NVL72 超节点算力与通信性能单位GB200 NVL72算力(TF32 Tensor 核心)PFLOPSHBM 内存TB13.4HBM 带宽TB/sScale up 带宽单向GB/s64800Scale up 计算单元GPUs功耗KW除了算力与通信性能,尺寸、重量、功耗均是超节点TCO(总体拥有成本)的关键影响因素。GB200 NVL72机柜尺寸为长1068 毫米、宽600 毫米、高2495 毫米;重约1.36 吨;功耗145KW。图11:GB 200 NVL72 机柜外观与内部构件细节东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P17敬请参阅报告结尾处的免责声明东方财智 兴盛之源单台GB 200 NVL72 机柜有18 个计算节点。GB200 NVL72 超节点主要由18 个Compute Tray(计算托盘)和9 个Switch Tray(网络交换托盘)构成。每个计算托盘容纳4 颗B200 GPU 和2 颗Grace CPU,构成两个GB200 超级芯片。图12:GB200 NVL72 中计算托盘GB 200 NVL72 机柜有9 个网络交换托盘。每个网络交换托盘中包含两颗NVLINK Switch5 芯片,合计18颗NVSwitch5 芯片。单颗NVSwitch5 芯片交换容量为7.2TB/s,总交换容量129.6TB/s。网络交换托架中金色电缆用于NVLink 连接,与电缆盒相连,机箱前面的蓝色电缆用于OSFP 接口,实现不同版本的扩展。图13:GB 200 NVL72 中NVLink 交换机托盘P18东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源电缆盒负责垂直方向信号重组。电缆盒有8 个底部连接器和10 个顶部连接器,每个连接器可处理一个GPU的全部带宽。图14:GB200 NVL72 中NVLink 电缆盒东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P19敬请参阅报告结尾处的免责声明东方财智 兴盛之源GB200 NVL72 实现72 颗B200 完全互联,总交换带宽129.6TB/s。计算节点访存带宽为7.2TB/s:B200 设置18 个端口(Port)。每个端口采用224G Serdes,由四对差分线构成。每个端口的传输速率为200Gbps * 4(4 对差分线)/8 =100GB/s(双向)。每个计算托盘容纳4 颗B200GPU,则每个计算节点72 个NVLink5 Port,总访存带宽为7.2TB/s。交换节点访存带宽为14.4TB/s:NVSwitch5 芯片由72 个NVLINK Port(上下各36 个Port)。同样,每个Port 采用双路200Gbps 速率的SerDes 高速串行接口,则每个Port 带宽为100GB/s。每个交换托盘两颗NVLINK Switch5 芯片。每个交换节点144 个NVLINK Port,总访存带宽为14.4TB/s。图15:B200 端口Port 示意图图16:NVLINK Switch5 芯片Port 示意图图17:GB200/300 NVL72 单层计算托架的互联拓扑P20东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源GB200 NVL 72 Scale up 方案中以铜缆互联为主。GB200 NVL72 在互联方案中主要采用直连铜缆(DAC),在某些特殊场景(如跨托盘连接或需要稍长传输距离的场景)中,会采用ACC 铜缆。ACC(主动铜缆,在DAC 基础上增加有源信号处理芯片)的信号增强能力可以弥补DAC 在较长距离传输时的信号衰减问题,确保数据传输的稳定性和可靠性。在GB200 NVL 72 中所需铜缆数量:18(托盘数量)×4(GPU 数量)×4(GPU 到NVSwtich 单端口铜缆数量)×18(NVSwtich 数量)=5184 根。(100GB/s 单端口由4 根DAC 铜缆组成)图18:英伟达GB200 NVL72 机柜后置铜线背板东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P21敬请参阅报告结尾处的免责声明东方财智 兴盛之源2.3 VR200 NVL72 超节点:延续GB200 NVL72 工程技艺,总交换容量翻倍2026 年1 月6 日在CES 2026 展会上,英伟达发布新一代超节点VR200 NVL72。我们认为,相比GB200NVL72,新一代VR200 NVL72 属于连续性创新,而非破坏性创新。具体对比如下:计算节点:Rubin NVL72 机架通过无缆互联架构整合18 个计算托盘,每个托盘2 颗超级芯片,每颗超级芯片集成1 个Vera CPU 与2 块Rubin GPU,共72 GPU 与36 CPU。图19:VR200 NVL72 机柜计算托盘交换节点:VR200 NVL72 配置9 个交换托盘,每个托盘集成4 颗第六代NVSwitch 芯片,全机柜部署36 颗NVSwitch。相比GB200 NVL72,NVSwitch 芯片数量实现翻倍。单颗第六代NVSwitch 交换容量为7.2TB/s,相比NVSwitch5 芯片,保持不变。图20:Vera Rubin NVL72 机柜交换机托盘P22东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源VR200 NVL72 Scale up 方案实现总交换容量259.2TB/s,对比GB200 NVL72,提升一倍。计算节点:VR200 设置72 个端口。每个端口带宽100GB/s。每个计算托盘2 颗VR200 GPU,则每个计算节点144 个NVLink 6.0 端口,总访存带宽为14.4TB//s。交换节点:NVSwitch6 芯片72 个NVLink 6.0 端口。每个NVLinkPort 交换容量100GB/s。每个交换托盘4个NVLink 6 Switch 芯片,每个交换节点288 个NVLink Port,总访存带宽为28.8TB/s。此外,VR200 NVL72 依托NVLink-C2C 实现1.8TB/s CPU-GPU 互联,相比GB200 NVL72 的NVLink-C2C的速率为900GB/s,提升一倍。图21:英伟达Vera Rubin GPU 芯片互联方式图22:VR200 NVL72 机柜中GPU 互联拓扑结构东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P23敬请参阅报告结尾处的免责声明东方财智 兴盛之源VR200 NVL72 Scale up 方案延续铜缆互联方案。稍有不同之处,VR200 用中板取代计算托盘内部的线缆,中板采用覆铜板技术。此外,基于Rubin 平台NVLink6.0 升级至448G SerDes 通道速率。因此,GPU 到每个NVSwtich 铜缆连接由4 根变为2 根。主干铜缆数量= 18(托盘数量)* 4(GPU 数量)* 2(GPU 到NVSwtich 铜缆数量)* 36(NVSwtich 数量)= 5184 根。图23:Vera Rubin NVL72 机柜交换机托盘无缆线设计P24东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源2.4 总结:处于领先优势,互联GPU 数将从72 颗进一步向576 颗发展在超节点技术方案上,英伟达处于领先优势。2024-2025 年,英伟达陆续推出GH200 NVL72、GB200/ GB300NVL72 等成熟超节点解决方案。根据大摩预测,2025 年英伟达GB200/300 NVL72 出货量约2800 台。展望2026-2027 年,英伟达计划推出Vera Rubin NVL144 和Rubin Ultra NVL576。互联GPU 数将从72 颗进一步向576 颗发展。届时,英伟达将发布新一代Kyber 机架,架构引入NVLink Switch Blade(NVLink 交换机刀片),通过PCB 中板替代传统5000+根有源铜缆。可以看到,Rubin Ultra NVL576 仍保持较强的工程创新能力。英伟达超节点的优势建立在NVLink 和NVLink Switch。为实现AI 训练集群高带宽与低延迟数据传输,NVLink 重新设计通信架构,并引入一系列先进技术,包括网状拓扑、差分信号传输、流量调度信用机制、多Lane 绑定技术、统一内存空间等。截止2025 年,NVLink 5 Switch 实现支持单GPU 到GPU 带宽1800GB/s,可构建72 GPU 的NVLink 域,总带宽达130 TB/s(双向),支持72 GPU 全互联通信。在后续计划中,NVSwitchGen6 和Gen7 的GPU-to-GPU 通信带宽继续升级为3.6TB/s。但另一方面,Scale up 网络兴起源于满足大模型分布式训练和推理中的张量并行(TP)与专家并行(EP)。目前AI 产业也在探索降低TP 与EP 规模的技术方案,从而降低Scale up 网络规模的上限。我们认为,Scale up网络的发展空间或限制英伟达在超节点领域的领先优势。为保持领先优势,实现Scale up 网络和Scale out网络融合或将成为英伟达超节点新的发展趋势。表3:英伟达超节点Scale up 迭代路线架构Blackwell UltraVera Rubin NVL72Vera Rubin NVL144Rubin Ultra NVL576Feunman首发时间2025-032026-01预计2026 下半年预计2027 年预计2028 年核心平台GB300 NVL72VR200 NVL72VR200 NVL144Rubin Ultra NVL576Feynman NVL1152计算托盘
18 个(单盘
4GPU+2CPU)
18 个(单盘
4GPU+2CPU)
36 个(单盘
4GPU+2CPU)
72 个(单盘
8GPU+4CPU)
144 个(单盘
8GPU+4CPU)CPU36 Grace CPUs(72 核) 36 Vera CPUs(72 核)
72 Vera CPUs(88 核)
288 Vera Ultra CPUs
(176 核)
576 Feynman CPUs
(256 核)单颗内存带宽3.6Tpbs单颗内存带宽4.8Tpbs单颗内存带宽4.8Tpbs单颗内存带宽9.6Tpbs单颗内存带宽19.2TpbsNVLink C2C 0.9TpbsNVLink C2C 1.8TpbsNVLink C2C 1.8TpbsNVLink C2C 3.6TpbsNVLink C2C 7.2TpbsGPU
72 GB300 GPUs
72 VR200 GPUs
144 VR200 GPUs
576 VR300 GPUs
1152 Feynman GPUs
单颗288G HBM3E单颗512G HBM3E单颗512G HBM3E单颗1TB HBM4E单颗2TB HBM5E单颗MVFP4 15PFLOPS单颗MVFP450PFLOPS单颗MVFP450PFLOPS单颗MVFP4100PFLOPS单颗MVFP4200PFLOPSScale up铜缆背板铜缆背板铜缆背板+板载无源光引擎(非CPO)3.2T CPO 硅光(规划)6.4T CPO 硅光(规划)
18 个NVLink5
36 个NVLink6
72 个NVLink6
144 个NVLink7
72 个NVLink8 硅光交换
单个144*200G 28.8T单个72*400G 28.8T单个72*400G 28.8T单个144*800G115.2T单个288*1.6T 460.8TGPU 侧NVLink 带宽18*1.8TBpsGPU 侧NVLink 带宽18*3.6TBpsGPU 侧NVLink 带宽18*3.6TBpsGPU 侧NVLink 带宽36*7.2TBpsGPU 侧NVLink 带宽72*14.4TBps东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P25敬请参阅报告结尾处的免责声明东方财智 兴盛之源架构Blackwell UltraVera Rubin NVL72Vera Rubin NVL144Rubin Ultra NVL576FeunmanScale outSpectrum-5 800G OSFP可插拨Spectrum-6 CPO 硅光Spectrum-6 CPO 硅光Spectrum-7 CPO 硅光Spectrum-8 CPO 硅光64*800G 51.2T128*800G 102.4T128*800G 102.4T256*1.6T 409.6T512*3.2T 1638.4T注:28.8Tbps=3.6TBps信息来源:光芯之路公众号,东兴证券研究所P26东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源Rubin NVL576 由单个计算柜配置一个Kyber SideCar 机柜构成。计算柜内由4 个NVL144 的计算机框构成,每个计算框包含18 个ComputeTray;Switch Blade 垂直插入机架后部,与计算刀片通过中板直接连接。图24:英伟达Rubin NVL576 新一代Kyber 机架后续NVSwitch Gen6 和Gen7 的GPU-to-GPU 通信带宽为3.6TB/s。图25:英伟达算力芯片发布时间表东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P27敬请参阅报告结尾处的免责声明东方财智 兴盛之源
3. 华为:对外开放灵衢互联协议,超节点性能追赶英伟达
3.1 华为自研灵衢互联协议,并对外开放对标英伟达UVLink,华为自研Scale Up网络协议灵衢。2025年,华为在全联接大会上发布的灵衢”(UnifiedBus,简称UB)。根据华为官方白皮书定义,灵衢(UnifiedBus,UB)是一种面向超节点的互联协议,将IO、内存访问和各类处理单元间的通信统一在同一互联技术体系,实现高性能数据搬移、资源统一管理、资源灵活组合、处理单元间高效协同和高效编程。我们认为,华为UB协议栈定义全面完整,涉及物理层、数据链路层、网络层、传输层、事务层、功能层、UB内存管理单元、UBFM(负责系统内的计算资源管理、互连资源管理和通信管理)。图26:UB 协议栈P28东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源基于灵衢建立的计算系统部署范围可以从单台服务器到全数据中心。基于统一互联,灵衢系统中的所有处理单元地位平等、所有资源均可池化。此外,UB支持链路层的虚通道机制、网络层逐包/逐流多路径路由机制,传输层传输通道组共享机制,从而支持nd-mesh、Clos、torus等在内的任意拓扑或拓扑组合,以提升系统性能、增进容错性、支持大规模连接、降低部署成本。图27:基于灵衢协议部署的超节点架构东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P29敬请参阅报告结尾处的免责声明东方财智 兴盛之源根据灵衢互联协议,华为超节点自研灵衢总线设备。灵衢总线交换设备(灵衢交换机)内置的高性能交换芯片,从而为超节点的智算服务器提供高速网络连接,该设备具有高性能、高带宽、低延迟等特点。图28:灵衢总线交换设备外观P30东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源图29:灵衢总线交换设备物理结构图东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P31敬请参阅报告结尾处的免责声明东方财智 兴盛之源一台灵衢总线交换设备交换容量为19.2TB/s,约为单颗NVSwitch5 芯片的3 倍。灵衢总线交换设备包含两个交换芯片,共有48 个端口。2 个交换芯片分别出一个200G 到每个端口,组成一个400G QSFP-DD 端口。(支持192*112G SerDes)(注:单颗NVSwitch5 芯片交换容量为7.2TB/s。由72 个NVLINK Port(上下各36 个Port),每个NVLIinkPort 交换容量100GB/s 构成。)图30:灵衢总线交换设备逻辑框图UB 支持电链路,也支持光链路。在UB 物理层和链路层定义方面,UB 物理层利用创新的串行通信技术,同时支持短距离电缆和长距离光纤。采用PAM4 调制,支持线性光组件场景53.125 Gbps 和 106.25 Gbps 速率。图31:UB 物理层支持两种模式P32东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源华为UB 交换网络支持UB-MESH。UBPU 是指支持UB 协议栈的处理单元,其为超节点提供UB-Mesh 以及基于光交换的组网技术。(UB-Mesh: a Hierarchically Localized nD-FullMesh Datacenter NetworkArchitecture)UB-Mesh 中的nD-FullMesh 拓扑技术特征是充分利用业务数据局部性,优先考虑短程直接互连路径,以最大限度减少数据移动距离并减少交换机使用为目标,是一种兼具高性能和低成本的拓扑组网。从互联距离角度出发,可简单理解为单板上的若干块NPU 之间是1D 全连接,同一机架内叫2D 全连接,跨机柜同屋子里叫3D 全连接,楼层机柜组的4D 全连接,乃至整栋建筑的5D 全连接等。图32:UB-Mesh 中的nD-FullMesh 拓扑示意在华为超节点1D/2D-FullMesh 拓扑均采用电缆互连方式。1D-FullMesh 即指NPU 单板内的若干个NPU 芯片之间实现FullMesh 互联。图33:1D-FullMesh 拓扑示意东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P33敬请参阅报告结尾处的免责声明东方财智 兴盛之源2D-FullMesh 是nD-FullMesh 在极致低时延场景的应用,减少交换引入的时延开销,可用于内存共享和内存借用等场景。图34:2D-FullMesh 拓扑示意混合拓扑一层交换互联支持DPO/LPO 光模块。UB-Mesh 支持混合拓扑,Rack 内采用2D-FullMesh 组网,Rack 间采用一层UB Switch 互连,支持从64 卡线性扩展到8192 卡。图35:2D-FullMesh + Clos 混合拓扑示意P34东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源UB 支持融合组网、光交换组网。为了进一步扩大组网规模,UB 除了支持采用多级UB Switch 扩展组网之外,还支持通过UBoE 与以太Switch 对接,实现融合组网;以及通过OCS(光交换)组网,实现可变拓扑,匹配业务动态流量。(OCS 是一种直接在光域完成信号路由与交换的技术,无需像传统设备那样进行“光-电-光”转换。)图36:UB 融合组网和光交换组网示意东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P35敬请参阅报告结尾处的免责声明东方财智 兴盛之源3.2 华为CloudMatrix 384 超节点:两层拓扑架构,全光互联加入超节点发展潮流,华为推出第一代超节点CloudMatrix 384。2025 年4 月,华为推出CloudMatrix 384(Atlas 900 SuperPod)。对标英伟达GB200 NVL72:从时间维度,CloudMatrix 384 推出时间落后英伟达GB200 NVL72(2024 年3 月发布)约1 年时间。在后续超节点发布节奏方面,华为与英伟达接近,均为一年一代新产品。华为计划2026 年第四季度发布Atlas 950 SuperPod,以及2027 年第四季度发布Atlas 960SuperPod。表4:华为超节点迭代路线及性能对比CloudMatrix 384(Atlas 900 SuperPod)Atlas 950 SuperPodAtlas 960 SuperPod推出时间
2025 年4 月
预计2026 年第四季度发布预计2027 年第四季度发布NPU 数量
384 昇腾 910C NPUs
8192 昇腾 910DT NPUs
15488 昇腾 960 NPUs
计算机柜数互联机柜数系统算力
300 PFLOPS(BF16)
8 EFLOPS(FP8)
16 EFLOPS(FP4)
30 EFLOPS(FP8)
60 EFLOPS(FP4)
内存容量49.2TB1152TB4460TB互联协议灵衢1.0灵衢2.0灵衢2.0总互联带宽269TB/s16.3PB/s34PB/s训练总吞吐280k TPS4.9mn TPS15.9mn TPS推理总吞吐740k TPS19.6mn TPS80.5mn TPSP36东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源CloudMatrix 384以芯片互联规模实现Scale up网络性能。GB200 NVL72采用整机柜型超节点方案,Scaleup计算单元72个GPU芯片;华为CloudMatrix 384则采用分机柜超节点方案,其计算节点和交换节点分别安装在不同机柜(包含12个计算柜和4个交换柜),Scale up计算单元由384个Ascend 910C 芯片组成。昇腾芯片数量增加五倍,弥补每个图形处理器(GPU)性能仅为英伟达布莱克韦尔(Blackwell)芯片三分之一的不足。从算力性能维度,华为CloudMatrix 384的BF16密集算力约300 PFLOPS,与GB200 NVL72接近;此外,华为CloudMatrix 384Scale up单向带宽134400 GB/s,约是GB200 NVL72的2.1倍。表5:GB200 NVL72 超节点与CloudMatrix 384 算力与通信性能对比单位GB200 NVL72CloudMatrix 384倍数算力PFLOPS180(TF32 Tensor核心)300(BF16 dense)接近HBM 内存TB13.849.23.6XHBM 带宽TB/s2.1XScale up 带宽单向GB/s648001344002.1XScale up 计算单元GPUs5.3X功耗kW4.1X除了算力与通信性能,尺寸、重量、功耗均是超节点TCO(总体拥有成本)的关键影响因素。CloudMatrix 384超节点16 个机柜,占地面积约20 平米;总功耗约600kW。(GB200 NVL72 机柜尺寸为长1068 毫米、宽600 毫米、高2495 毫米;重约1.36 吨;功耗145KW。)图37:CloudMatrix 384 超节点外观东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P37敬请参阅报告结尾处的免责声明东方财智 兴盛之源CloudMatrix 384 Scale up 网络采取两层扁平拓扑架构。CloudMatrix 384 互联网络通过华为自研的灵衢网络和灵衢总线设备实现互联组网。灵衢网络L1 层由超节点的交换网板承载,L2 层通过总线设备柜中的灵衢总线设备组成,L1-L2 分别通过光纤组成不同规模的超节点集群。L1 层:每个计算节点集成了8 个昇腾910C NPU、4 个鲲鹏 CPU,每个计算节点内部放置了7 颗板载UB交换芯片。L2 层(机柜间):划分为7 个独立子平面,每个子平面包含16 个L2 UB 交换芯片。L1 交换芯片扇出16 条链路到对应L2 子平面的每个交换芯片,实现无阻塞全对等拓扑。图38:CloudMatrix 384 超节点组网方案P38东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源CloudMatrix384 两层扁平拓扑架构形成三个网络平面。UB 平面构成超级节点内主要的超高带宽Scale-UP 扩展结构。它以无阻塞的全对全拓扑直接互连所有384 个NPU 和192 个CPU。RDMA 平面支持CloudMatrix384 超级节点和外部RDMA 兼容系统之间的向外Scale-OUT 通信。虚拟私有云(VPC)平面是通过高速网卡(华为的青天河卡)将 CloudMatrix384 超级节点连接到更广泛的数据中心网络。图39:CloudMatrix 384 三层网络平面Ascend 910C NPU 芯片采用双Die 封装,通过高带宽总线实现芯片互连,单向传输速率为270 GB/s。对比GB200 NVL72,其芯片内部通过NVLink-C2C 的双向传输速率为900GB/s。图40:CloudMatrix 384 中Ascend 910C NPU 芯片架构东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P39敬请参阅报告结尾处的免责声明东方财智 兴盛之源CloudMatrix 384 计算节点48 个;单个计算节点传输带宽5.6TB/s。CloudMatrix 384 设置12 个计算柜,每个计算柜4 个计算节点。华为CloudMatrix384 每个计算节点集成了8个昇腾 910C NPU、4 个鲲鹏 CPU,每个计算节点内部放置了7 颗板载UB 交换芯片。12 个处理器(8 个NPU + 4 个CPU)通过UB 链路连接到这些板载交换机,在节点内创建单级UB 平面。每个昇腾910C 贡献392GB/s 单向带宽(底层通过14*400Gbps 以太接口互联),按400Gbps 接口换算,每个NPU 分别与7 颗交换芯片双400G 接口互联,通过提供14*400GB/s =5.6TB/s 传输带宽。图41:CloudMatrix 384 单个计算节点网络拓扑P40东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源CLoudMatrix 384 通过3168 根光纤和6912 个400G LPO 模块构建高速互连总线。(1)UB 平面:384(NPU 总数)× 7(每个NPU 需要7 个400G 光模块)× 2(双向互联)= 5376 个,L1层和L2 层之间不采用400G 光模块互联;(2)RDMA 平面:384(与服务器互联,每个GPU 配1 个400G 网卡)+ 768(RDMA 网络平面采用2 层胖树架构,叶层交换机端口翻倍)+ 384(脊层交换机需同等数量)= 1536 个;(3)VPC 平面:将CloudMatrix384 超节点连接到更广泛的数据中心网络,是超节点外的运用,使用的光模块数量不计入统计。表6:华为CloudMatrix 384 超节点网络架构与互联方案CloudMatrix 384NPU 数量
384 昇腾 910C NPUs
CPU 数量
192 鲲鹏CPUs
系统算力BF16 密集算力300 PFLOPS,与GB200 NVL72 接近总内存容量49.2TB,是英伟达GB200 NVL72 的3.6 倍总内存带宽1229TB/s,是英伟达GB200 NVL72 的2.1 倍网络架构三平面网络设计:(1)UB 平面(392GB/s 卡间带宽,全对等互联);(2)RDMA 平面(400Gbps/NPU,支持165K NPU 扩展);(3)VPC 平面(管理控制与存储)互联方案去铜全光,每个NPU 通过7 个400G LPO Sipho 光模块实现互联,单节点总用量达6912 个光模块,配合3168 根光纤构建全光互联网络UB 平面完成超节点Scale-Up,采用两层扁平拓扑架构:(1)L1 层(节点内),每个超节点集成8 个昇腾910CNPU+4 个鲲鹏 CPU+7 颗板载L1 UB 交换芯片+1 擎天卡;(2)L2 层(机柜间),划分为7 个独立子平面,每个子平面包含16 个L2 UB 交换芯片;L1 交换芯片扇出16 条链路到对应L2 子平面的每个交换芯片,实现无阻塞全对等拓扑L1 UB 交换芯片上行链路带宽为448GB/s,可支持48 个400G 接口RDMA 平面支持跨CloudMatrix 384 超节点和外部RDMA 兼容系统的Scale-out 通信,采用RoCE 协议以兼容标准的RDMA 生态,该平面主要连接NPU,每个NPU 提供400 GB/s 的单向RDMA 带宽VPC 平面通过高速NIC(华为擎天卡)将CloudMatrix 384 超节点接入更广泛的数据中心网络,每个超节点提供
400 GB/s 的单向带宽
光模块用量(1)UB 平面:384(NPU 总数)× 7(每个NPU 需要7 个400G 光模块)× 2(双向互联)= 5376个,L1 层和L2 层之间不采用400G 光模块互联(2)RDMA 平面:384(与服务器互联,每个GPU 配1 个400G 网卡)+ 768(RDMA 网络平面采用2 层胖树架构,叶层交换机端口翻倍)+ 384(脊层交换机需同等数量)= 1536 个(3)VPC 平面:将CloudMatrix384 超节点连接到更广泛的数据中心网络,是超节点外的运用,使用的光模块数量不计入统计东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P41敬请参阅报告结尾处的免责声明东方财智 兴盛之源3.3 总结:灵衢协议尚未被国内业界广泛接受,集群化方式实现性能追赶国内Scale Up 协议尚未统一,华为灵衢协议尚未被国内业界广泛接受。在Scale Up 协议方面,华为推出灵衢协议,并从2.0 版本起转向开放标准。除此之外,国内其他厂商正探索多种互联协议,包括中移OISA、腾讯ETH-X、高通量以太网ETH+以及中兴通讯OLink 等。为打破生态壁垒,国内正积极推动标准统一,比如工信部正牵头推动CLink 协议,旨在形成统一的国内标准。华为超节点依靠集群化方式实现性能追赶。Atlas 950 超节点预计2026 年第四季度发布,相比英伟达同样将在2026 年下半年上市的NVL144 总算力2.52 EFLOPS(FP8),其算力达到8 EFLOPS(FP8)。此外,Atlas950 超节点在内存容量1152TB 与互联带宽16.3PB/s,也实现大幅领先。我们认为,短期内,华为超节点依靠集群化实现性能追赶,但在超节点复杂性、可靠性、功耗等维度需要平衡。从整体解决方案看,英伟达在超节点的芯片工艺、软件生态与系统集成上的优势仍难以撼动。Atlas 950 超节点互联方案或将调整,显示华为超节点技术在标准化阶段仍需夯实。相比上一代超节点,华为Atlas 950 超节点不再使用全光互联架构,其通过“柜内正交铜互联+柜间光互联”的混合设计,在机柜内部利用铜互联实现高可靠、低成本和低功耗的连接,跨机柜则通过光互联保障系统的可扩展性,从而在维持系统可扩展性的同时,有效控制总体拥有成本(TCO)。表7:华为超节点Scale up 迭代路线Atlas 800T A3Atlas 900 SuperPodTaiShan 950 SuperpodAtlas 850Atlas 950 SuperPod首发时间
2025 年4 月
2025 年9 月华为全连接大会
上市时间
2025 年Q2
预计2026 年Q1预计2026 年Q4产品定位企业级AI 服务器旗舰级AI 集群首个通用计算超节点企业级AI 服务器旗舰级AI 集群卡数单机8 NPUs
384 NPUs
单机32 CPUs单机8 NPUs
8192 NPUs
形态单机柜,支持多柜灵活部署
12 计算柜+ 4 总线设
备柜单机柜,支持多柜灵活部单机柜,支持多柜灵活部署
128 计算柜+32 总线设备柜
系统算力
6 PFLOFPS
(FP16)
12 POPS
(INT8)
300 PFLOPS
(FP16)未公布
8 PFLOPS(FP8)
16 PFLOPS(FP4)
8 EFLOPS(FP8)
16 EFLOPS(FP4)
内存容量1024GB48TB48TB1152GB1152TBD2D 互联带784GB/s784GB/s/2TB/s2TB/s总互联带宽/269TB/s//16.3PB/sP42东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源
4. 谷歌:建立光互联超节点,与英伟达形成不对称竞争
4.1 Scale up 网络核心技术:创新应用光电路交换机(OCS)相比英伟达NVLink,谷歌超节点Scale Up 协议具有显著差异。谷歌超节点Scale Up 协议主要基于其自研的ICI(Chip-to-Chip Interconnect)协议,结合光电路交换(OCS)技术,用于实现TPU 集群内的高速互联。对英伟达而言,NVLink 与NVLink 交换机是英伟达构建单机柜Scale up 网络的核心技术组合,顶级交换机芯片提供无阻塞高性能带宽;而谷歌ICI 协议精简不必要的功能模块,专注于芯片间高效数据传输,降低协议开销和延迟,协议复杂度低,追求实用主义,与英伟达形成不对称竞争。表8:谷歌ICI Link 协议VS 英伟达NVLink 协议维度Google TPU (v4/v7)NVIDIA (H100/GB200)互联协议G-ICI(私有轻量级,Credit-based)NVLink+InfiniBand/RoCE网络层级物理隔离:ICI 和DCN 存储分离分层架构:Scale-up 与Scale-out 分层故障恢复物理重构:OCS 旋转镜面隔离坏点协议重传:依赖IB/RoCE 重传机制软件耦合强耦合:XLA 编译器需感知物理拓扑解耦:CUDA 生态屏蔽底层拓扑差异核心哲学静态极致:通过OCS 光交换网络构建确定拓扑带宽堆叠:顶级芯片提供无阻塞带宽信息来源:AGI 小咖公众号,东兴证券研究所东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P43敬请参阅报告结尾处的免责声明东方财智 兴盛之源对比英伟达Nvlink 电交换机,谷歌自研光交换机。“阿波罗计划”(Project Apollo)致力于革新传统的“Clos”网络架构,用光路交换机(OCS)取代原有的电子分组交换机(EPS)。谷歌第一代光交换机代号“帕洛玛”(Palomar),与传统架构需要在核心层多次进行电-光-电信号转换不同,OCS 采用全光互联技术,不读取数据包头、不进行光电转化。而是通过镜面反射引导携带数据的光束,实现源端口到目标端口的直接传输。在Palomar OCS 机箱内部光信号的传输路径呈现出一个经典的“W”形状,最大限度减少插入损耗和实现任意端口间的互联。W 形光路设计:光纤准直器> 二向色分光镜 > 2D MEMS 阵列 I > 二向色分光镜 > 2D MEMS 阵列 II> 二向色分光镜 >光纤准直器。图42:谷歌Palomar OCS 光信号传输路径P44东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源谷歌Palomar OCS 设备主要构成:a) 光纤准直器(fiber collimators);b) 相机模块(camera modules);c) MEMS 微镜模块(packaged MEMS);d) 监视模块(injection modules);e) 二向色分光镜&合光镜(dichroicsplitter and combiners)。工作原理:输入光信号通过二维光纤准直器阵列进入光学核心模块,每个准直器阵列由 N×N 光纤阵列和二维透镜阵列组成;光学核心模块包含两组2D MEMS 微镜模块,光信号将依次通过两个准直器阵列的端口和两个MEMS 微镜模块。通过驱动反射镜倾斜,将光信号导向对应的输出准直器光纤。在信号光路的基础上,增设监测信道辅助反射镜的调谐:两级2D MEMS 设计实现了三维空间内的精准光束操纵,二向色分光镜作为允许1310nm 业务光透射,同时反射 850nm 监控光的核心滤光组件,与InjectionModule + Camera Module 联动实现带内运维监控和驱动2D MEMS 的微秒级微调。图43:谷歌Palomar OCS 实物图东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P45敬请参阅报告结尾处的免责声明东方财智 兴盛之源谷歌Palomar OCS 设备端口数为136×136,支持输入输出端口的任意双向互连。Palomar OCS 为实现任意输入到任意输出的光束转向,系统采用两个微机电系统反射镜封装组件,提供四个自由度,确保光信号从输入端口到输出端口的最佳耦合。MEMS 陶瓷封装内部包含一块大型微机电系统芯片,集成 176 个独立可控的反射镜,经筛选后,在全校准系统中保留 136 个可用反射镜。MEMS 是微机电系统(Micro-Electro-Mechanical Systems)的缩写。这类器件将微型机械结构与电子元件集成,通过微细加工技术制造,实现了机械与电学功能的微型化融合。图44:MEMS 微镜模块实物图图45:MEMS 微镜模块热成像图(作者:Ryohei Urata, Hong Liu 等),东兴证券研究所(作者:Ryohei Urata, Hong Liu 等),东兴证券研究所P46东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源谷歌Palomar OCS 设备最大功耗为108W,仅为同交换容量电分组交换机功耗的一小部分。谷歌在过去十年间制造并部署了数万台 136×136 全双工端口的光电路交换机(含 8 个备用端口)。为量产Palomar 光电路交换机,谷歌研发了定制化的测试、对准和组装设备,覆盖MEMS 微镜模块、光纤准直器、光学核心模块等组件,乃至整台交换机。每个MEMS 微镜模块反射镜在晶圆代工厂完成全量测试,采用探针台方案,单次接触即可对芯片上的 176 个反射镜进行检测;研发了定制化的自动对准设备,将二维透镜阵列以亚微米级精度贴合在光纤准直器表面;最终,每台交换机均需完成微机电系统反射镜的全量校准,以确定端口选型。图46:谷歌Palomar OCS 机箱机构图以及实物机箱后视图东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P47敬请参阅报告结尾处的免责声明东方财智 兴盛之源基于MEMS 路径的谷歌Palomar OCS 设备具备长期迭代发展的潜力。从实际商业落地角度,压电驱动(Piezo)、Robotic 和MEMS 三类技术路径下的光电路交换系统已经实现有限的商用落地。从发展潜力看,基于成本可控的前提下支撑数据中心应用所需的大端口数,MEMS 具备长远发展潜力,已实现超1000×1000端口的互连规模。表9:各类光电路交换技术的成本、规模、性能及可靠性/可用性对比技术类型相对成本端口数交换时延插入损耗驱动电压(伏特)锁存功能MEMS中等320×320毫秒级<3dB数百伏Robotic中等1008×1008分钟级<1dB—Piezo384×384毫秒级<2.5dB十余伏Guided Wave16×16毫秒级<6dB
1 伏
WavelengthSwitching待定100×100纳秒级<6dB信息来源:Google 论文《Mission Apollo_Landing Optical Circuit Switching》(作者:Ryohei Urata, Hong Liu 等),东兴证券研究所P48东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源4.2 谷歌TPU v7 超节点:Cube+3D Torus+OCS 光交换实现扩展基于光互连技术,谷歌建立独特且成熟的超节点技术方案。自2017 年TPU v2 至2025 年TPU v7,谷歌逐步将光互连技术融入TPU 系统,超节点互联芯片数量从256 颗增长至9216 颗。正如英伟达超节点发展历程,谷歌在超节点领域也同样经历技术路线探索(TPU v4)与方案标准化(TPU v5p),目前已经处于性能指标优化提升阶段。2025 年谷歌发布TPU v7(代号Ironwood),超级集群芯片数最多可支持9216 颗,保持3D 环面拓扑,OCS 技术继续沿用。表10:谷歌超节点迭代路线及性能对比TPU v2TPU v3TPU v4TPU v5pTPU v7首发时间单芯片峰值算力(FP16)45.9T123.2T275T459T2307T单芯片HBM 内存16GB32GB32GB95GB192GB机柜数互连拓扑2D 环面2D 环面3D 环面3D 环面3D 环面分布16×1632×324×4×44×4×44×4×4OCS 数量--芯片数信息来源:AI 闲谈公众号,东兴证券研究所谷歌TPU v7 单芯片算力不及GB200,但在大规模训练扩展性上占优。在单个算力芯片性能指标上,TPU v7提供2307 TFLOPs 的BF16 算力,内存是192G HBM3e,内存带宽是7.3TB/s。与GB200 相比,TPU v7提供的FLOPs 和内存带宽差距较小,产品上市时间落后约一年时间。在Scale-Up 网络性能上,TPU v7 可通过4×4×4 Cube+3D Torus+OCS 光交换的层级架构实现从单芯片到全Pod 的无缝扩展,Scale-Up 最多可支持9216 块芯片集群,适用于千亿/万亿参数LLM 训练、大规模MoE 模型。表11:英伟达GB200 芯片与与谷歌TPUv7 性能对比UnitGB200TPU v7 (internal)TPU v7 (external)FP8 dense TFLOPSTFLOPSBF16 dense TFLOPSTFLOPSHBM capacityGBHBM bandwidthTB/s8.0TB7.37.3单向互连带宽Gb/sTCO per Marketed FP8Dense PFLOP$/hr per PFLOP0.460.280.4TCO per MemoryBandwidth$/hr per TB/s0.280.180.25TCO per Memory Capacity$/hr per TB11.876.679.65东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P49敬请参阅报告结尾处的免责声明东方财智 兴盛之源谷歌单个机架采用“4×4×4 立方体构建块”,包含64 颗TPU。在过去的几代产品中,谷歌TPU 机架设计基本保持一致。每个机架包含:16 个TPU Tray、16 个或8 个Host CPU Tray(取决于散热配置)、一台ToR交换机、电源模块,以及BBU。每个TPU tray 包含一块带有4 个TPU 封装的TPU 板。每个Ironwood TPU配备4 个用于ICI 连接的OSFP cage,以及1 个用于连接Host CPU 的CDFP PCIe cage。图47:谷歌超节点单个机架实物图P50东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源谷歌v4、v5p 及v7 超节点架构组网均采用“4×4×4 立方体构建块”作为核心架构单元。单元组成:由4(X)×4(Y)×4(Z)共64 块TPU 芯片构成。链路总数:每块TPU 芯片引出6 条ICI (Inter-Chip Interconnect)高速互联链路,分别对应三维坐标系的±X,±Y,±Z 六个方向,构建起3D Torus 的基础网格。具体来说,每个TPU 的互联方式如下:位于立方体内部的TPU(8 个):2 根PCB+4 根DAC copper位于立方体面的TPU(24 个):2 根PCB+3 根DAC copper+1 个光模块位于立方体边缘的TPU(24 个):2 根PCB+2 根DAC copper+2 个光模块位于立方体角落的TPU(8 个):2 根PCB+1 根DAC+3 个光模块因此,单个4×4×4 的立方体需要96 个光模块,平均下来单个TPU 需要1 根PCB、1.25 根DAC copper 和1.5 个光模块。光模块能够连接OCS 交换机,使得立方体(机架)与立方体(机架)之间得以互连。图48:TPU 4×4×4 立方体互联逻辑示意图东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P51敬请参阅报告结尾处的免责声明东方财智 兴盛之源TPU v7 引入Twisted 3D Torus,不局限于4×4×4 立方体的拓扑单元。TPUv7 升级了标准的3D Torus,引入了步长的概念来构建了Twisted 3D Torus(扭曲环面)拓扑以降低通信跳数。以TPUv7 架构中128 TPUSlice (4x4x8 拓扑)为例,位于Cube A 边界的节点TPU 414 并没有像标准3D Torus 4×4×4 拓扑那样回环至自身的起点TPU 411 而是通过Twisted 3D Torus 和OCS 构建类似于“虫洞”的跳跃式链接至逻辑相邻的Cube B 起始节点TPU 415 上。这意味着网络拓扑可以被重构,从而支持大量不同拓扑——理论上可达数千种。目前,谷歌支持将TPU v7 配置成从4 颗TPU 到2048 颗TPU 之间的10 种不同slice 大小。图49:TPUv7 128(4×4×8)TPU 拓扑示意图P52东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源谷歌TPU v4 超节点设置64 个3D Torus,单个3D Torus 对外互联带宽4.8TB/s。可以看到,谷歌TPU v4超节点单个3D Torus 对外互联带宽,低于英伟达GB200 NVL72 计算节点访存带宽7.2TB/s,以及低于华为CloudMatrix 384 单个计算节点传输带宽5.6TB/s。谷歌TPU v4 超节点最大支持4096 个TPUv4 芯片互联,由64 个3D Torus 以及48 个OCS 交换机构成。具体来讲:每个3D Torus 连接6*16/2 = 48 个OCS;一个OCS 对应136 个端口,其中128 个端口用于连接3D Torus TPUv4,8 个用于测试或备份。考虑到3D Torus 中需要两个相对Link 连接到一个OCS,因此每个OCS 连接128/2=64 个3D Torus。3D Torus 之间互联通过光模块和OCS 光交换机实现。单个3D Torus 对外引出96 条光链路,TPUv4 每Link50GB/s,则单个3D Torus 对外互联带宽4.8TB/s。图50:谷歌TPU v4 超节点网络拓扑同理,谷歌TPUv7 Ironwood超节点(9216芯片)设置144个3D Torus,单个3D Torus对外互联带宽19.2TB/s。图51:谷歌TPU v7 超节点网络拓扑东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P53敬请参阅报告结尾处的免责声明东方财智 兴盛之源附:谷歌TPU Scale up 网络演进与TPU 代际发展紧密同步。TPU v2 首次引入ICI Link,配置4 条Link,每条带宽62 GB/s,ICI 总带宽为248 GB/s,尚未引入光模块。TPU v3 保持了与v2 相同的Link 数,每条带宽从62 GB/s 提升至82GB/s,ICI 总带宽达到328GB/s,首次引入光互连技术,采用400Gbps 有源光缆(AOC),光通道波特率为50G。TPU v4 采用3D 拓扑,在降低单条Link 带宽的情况下,Link 数量提升至6 条,ICI 总带宽达到300 GB/s,光模块升级为400G OSFP,同时引入光交叉连接(OCS),光通道波特率仍为50G。TPU v5p,采用3D 环面设计,Link 数量保持6 条,单链路带宽从50GB/s 翻倍提升至100GB/s,ICI总带宽达到600GB/s,光模块升级为800G OSFP,光通道波特率提升至100G。TPU v7 延续3D 环面设计,Link 数量保持6 条,单链路带宽从100GB/s 翻倍提升至200GB/s,ICI 总带宽提升至1200GB/s,沿用800G OSFP 光模块,光通道波特率提升至200G。表12:谷歌Scale up 网络演进与TPU 代际发展紧密同步TPU v2TPU v3TPU v4TPU v5pTPU v7首发时间互连拓扑2D 环面2D 环面3D 环面3D 环面3D 环面Link 数带宽/Link62GB/s82GB/s50GB/s100GB/s200GB/sOCS 数量\\ICI 带宽248GB/s328GB/s300GB/s600GB/s1200GB/sICI 光模块\400Gbps AOC400G OSFP800G OSFP800G OSFP光通道速率\50G50G100G200G信息来源:AI 闲谈公众号,东兴证券研究所P54东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源4.3 总结:光互联Scale up 网络实现技术标准化,技术路线独树一帜谷歌TPU 超节点建立成熟的光互联Scale up 网络。从技术成熟度看,2023-2025 年谷歌陆续推出TPU v4、TPU v5p、TPU v7 三代超节点,完成了技术路线探索和方案标准化。此外TPU v7 也获得外部企业认可。2026年,Anthropic 将直接从博通采购近100 万颗TPU v7 Ironwood AI 芯片,本地部署在其控制的数据中心。2027年,谷歌将推出第8 代TPU,对标 Nvidia Vera Rubin。可以看到,届时谷歌TPU 超节点的性能指标进一步优化提升。谷歌TPU 超节点竞争优势建立在OCS 交换机,技术路线独树一帜。相比英伟达、华为、AMD 等超节点厂商,谷歌是全球首个将光电路交换机(OCS)大规模商用部署于Scale up 网络的企业,技术路线独树一帜。谷歌OCS 交换机,涉及精密光学、机械工程与半导体工艺的深度交叉应用,在光互联领域构筑一道高壁垒的技术护城河。相较于电分组交换机,光电路交换技术具备诸多优势:光电路交换机可跨多代光收发模块技术复用、光电路交换机的每比特能耗较电分组交换机低数个数量级、光电路交换机引入的时延极小。OCS 交换机商用落地存在多重困难:光电路交换机需扩展至数百个端口以支撑足够数量NPU 互连;受限于光电路交换机的控制软件和反射镜配置时延,商用光电路交换机的交换时延通常为10~20 毫秒;为降低链路功率,光电路交换机插入损需要控制在理想水平。为搭建高性价比、大规模的光交换层,谷歌创新研发三大核心硬件组件:光电路交换机、波分复用光收发模块和光环形器。其中谷歌Palomar 光电路交换机的光学核心模块是实现光转向功能的MEMS 微反射镜;波分复用光收发模块是提升布线效率、支撑大规模且持续扩张数据中心的关键;光环形器是实现光电路交换机链路双向通信的核心器件,将所需的光电路交换机端口和光纤数量减半。东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P55敬请参阅报告结尾处的免责声明东方财智 兴盛之源
5. AMD:UALink 成为重要开放标准,超节点有望成为英伟达有力竞品
5.1 UALink:代表开放标准路线,受到业内广泛支持相比英伟达NVLink 以及谷歌ICI 协议,UALink 通过联合制定标准来避免被单一厂商锁定。UALink(UltraAccelerator Link)是用于连接AI 加速器的开放、高效的Scale-Up 互联标准,代表开放标准路线,旨在打破单一厂商垄断,使得基于开放标准的异构融合将成为可能。我们认为,UALink 在Scale-up 中的产业定位类似移动互联网发展历程中的“安卓”开放生态。经历一年多发展,UALink 协议1.0 持续完善,具体历程如下:2024 年5 月,AMD、博通、思科、谷歌、惠普(HPE)、英特尔、Meta 和微软携手成立UALink 小组,旨在推动数据中心AI 连接。2024 年10 月,博通退出董事会,新增亚马逊网络服务(AWS)、Astera Labs 两家公司为董事会成员,UALink 联盟正式成立,主推AI 服务器Scale UP 互连协议——UALink。2025 年1 月,阿里巴巴、Apple、Synopsys 当选为UALink 联盟新增董事会成员,进一步扩大联盟影响力。2025 年2 月,发布UALink 200G 候选规范,为正式标准奠定基础。2025 年4 月,正式发布UALink 200G 1.0 规范,并充分考虑中国市场落地,定义了AI 计算舱中加速器和交换机之间通信的低延迟、高带宽互连,支持最多1024 个加速器实现每通道200G 的扩展连接。2025 年12 月,UALink 1.0+协议陆续发布,新增INC 在网计算、IO Die、12G DL/PL。图52: UALink 发展时间线P56东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源UALink 联盟受到业内广泛支持,成员单位超过100 家(截止2026 年1 月底)。目前UALink 联盟董事会成员有阿里巴巴、AMD、苹果、Astera Labs、AWS、CISCO、谷歌、HPE、Intel、Meta、Microsoft、Synopsys等行业巨头以及产业链关键厂商。在100 多家UALink 联盟成员单位中,美国企业约44 家,中国企业约37家,其中字节跳动、
盛科通信、新华三、海光信息、中兴通讯等中国企业均加入UALink 联盟。图53: UALink 联盟成员名单东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P57敬请参阅报告结尾处的免责声明东方财智 兴盛之源Scale-Up 互联协议在物理层上已基本收敛至以太网。在超节点Scale-Up 场景中,GPU 卡间互联物理层主要有PCIe 和以太网两种技术路线。以太网物理层SerDes 技术凭借更高的单通道速率(当前主流达112Gbps,224Gbps 已商用),相较PCIe 5.0 x16(双向约128GB/s)具备显著的带宽扩展潜力。UALink 定义全栈开放协议,物理层采用标准以太网PHY,但链路层和传输层完全重新定义,旨在实现总线级的性能。UALink 协议栈自底向上分为物理层(PL)、数据链路层(DL)、事务层(TL)和协议层(UPLI)。图54: UALink 协议栈架构P58东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源对比博通SUE 协议,UALink 可实现单节点1024 个加速器互联。博通作为以太网交换芯片的领导者,选择中途退出UALink 董事会转向推动SUE,采用“网络总线化”思路,在传统以太网协议和交换技术基础上,针对Scale-Up 需求进行协议优化和交换芯片架构创新,意在将其市场主导地位从Scale-Out 自然延伸至Scale-Up 领域。而UALink 采用“总线网络化”思路,以传统总线技术为基础,结合网络技术元素,满足Scale-Up 高带宽和扩展性需求。(1)延迟优化方面,UALink 通过更短线缆(≤4 米)和优化的协议栈实现更低的端到端延迟。SUE 则通过报头压缩和交换芯片优化,在较长线缆(≤10 米)条件下仍保持较低延迟。(2)互连规模方面,UALink 通过专用交换机实现更大规模的单Pod 互联(1024 个加速器)。SUE 则通过与标准以太网设备的兼容性,支持更灵活的扩展架构,如两层Clos 架构可支持10 万+XPU。(3)应用场景方面,UALink 更专注于超节点内部的GPU 协同计算,特别是需要显存共享的大模型训练场景。SUE 则兼顾单机架Scale-Up 和跨机架Scale-Out,支持更广泛的混合架构部署。表13:UALink 与SUE 技术对比性能指标UALINKSUE物理层基于以太网SerDes完全兼容标准以太网SerDes数据链路层封装64B 事务为640B 数据帧,添加CRC 校验保留以太网MAC 层,新增10BA 转发包头传输层事务层(压缩寻址,直接内存操作)和协议层(内存语义逻辑)简化协议栈,直接处理内存语义通信,避免IP/UDP 层开销单通道带宽200Gb/s200Gb/s链路数量x1,x2,x4x1,x2,x4延迟交换机延迟100-150ns,端到端RTT<1μs交换机延迟250ns,端到端RTT<400ns互联规模单Pod 支持最多1024 个加速器单跳支持512 个加速器,扩展至1024 个加速器线缆长度限制不超过4 米不超过10 米显存共享支持完整支持,实现GPU 间显存直接访问不直接支持,通过集体操作卸载优化通信效生态兼容性需专用交换机,兼容PCIe/CXL 等服务器协议完全兼容标准以太网设备和工具链UALink 交换芯片预计2027 年商用。UALink 交换机ASIC 芯片主要供应商有Cisco、Arista、Marvell、HPE等。产品落地进展方面,Siemens EDA 已推出UALink VIP(验证IP),Broadcom、Marvell 等正在开发UALink兼容交换机芯片,Astera Labs 等厂商已发布支持UALink 的连接芯片和模块。东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P59敬请参阅报告结尾处的免责声明东方财智 兴盛之源5.2 AMD 超节点:英伟达NVL72 系列有力竞品,有望实现市场突破AMD 超节点方案进入标准化阶段。2024 年,MI300 系列超节点方案单节点最高8 卡,被超微、HPE 等集成到4U/8U 高密度服务器,用于中小模型训练与推理。2025 年-2026 年,AMD 陆续正式发布MI400 系列Helios机柜,单柜最大72 卡,面向超大规模模型训练。其中,在2026 年CES 大会,AMD 发布Helios 机架级平台,搭载72 颗MI455 GPU 的UALoE72 纵向扩展域。从时间维度,MI455 超节点推出时间落后英伟达GB200 NVL72(2024 年3 月发布)约2 年时间,但由于AMD 在算力芯片先进制程优势,双方差距有望快速缩小。在后续超节点发布节奏方面,AMD 将于2027 年推出下一代超节点MI500 UAL256。该超节点支持256 卡规模,采用开放解构架构,整体由三个互联的机柜构成。图55: AMD Helios AI Rack MI455X 72x GPU 超节点外观P60东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源MI455x 系列Helios 机柜具有较强竞争力,有望实现市场突破。MI455x 系列Helios 机柜是AMD 在机柜设计上的一次跨越级产品,AMD 称之为UALoE72(UALink over Ethernet),是目前业界最能挑战英伟达的NVL72 机柜的竞品,计划2026 年下半年出货,有望实现市场突破。算力方面,UALoE72 的FP4 算力达2.9EFLOPS,与Vera Rubin 的3.6 EFLOPS 差距不大;内存方面,UALoE72 配备31TB HBM4 内存容量,是Vera Rubin NVL72 的1.5 倍;此外,Helios 采用开放标准的UALink 协议,互联总带宽与Vera Rubin 持平。表14:AMD MI455x 系列Helios 与英伟达Vera Rubin NVL72 参数对比AMD HeliosVera Rubin NVL72GPU 数量72 Instinct MI455X GPUs
72 Rubin GPUs
CPU 数量
18 EPYC Venice CPUs
36 Vera CPUs
CPU 核心数量
4608 Zen6 Cores
3168 NVIDIA Olympus Cores制造工艺Advanced 2nm/3nmTSMC Custom 2nm/3nmFP4 算力2.9EFLOPS3.6EFLOPS互联技术UALinkNVLink6互联总带宽260TB/s260TB/s内存容量31TB HBM420.7TB HBM4东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P61敬请参阅报告结尾处的免责声明东方财智 兴盛之源对比GB200 NVL72 机柜,Helios 机架在功耗领域优势显著。Helios 机架采用双宽机架设计,宽度从1 个机架提升到2 个机架。双宽机架设计主要源于大型数据中心中的关键限制因素是功耗而不是占地面积,双机架宽度在复杂性、可靠性和性能间实现平衡。Helios 超宽机柜总功耗64.8kW,重量约3.2 吨。(GB200 NVL72 机柜尺寸为长1068 毫米、宽600 毫米、高2495 毫米;重约1.36 吨;功耗145KW。)图56: AMD MI455x 系列Helios 机架外观P62东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源单台Helios 机架布置18 个计算节点与6 个交换节点。MI450 Helios 机架由18 个计算托盘(顶部9 个,底部9 个)与6 个交换托盘交错排列,每个计算托盘容纳4 颗MI450 GPU,整机柜形成72 GPU 的统一计算域;每个交换托盘包含两个Tomahawk 6 102.4T 以太网交换机。双宽结构为未来升级预留物理空间,例如可扩展至144GPU 配置,而无需重新设计机架基础设施。图57: AMD MI450X UALoE72 Helio 机架示意图东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P63敬请参阅报告结尾处的免责声明东方财智 兴盛之源MI400 系列Helios 机柜Scale up 方案实现总交换容量260 TB/s,与VR200 NVL72 持平。计算节点:MI400 使用每条200Gbit/s 的72 条通道实现的单GPU 1.8TB/s(单向)纵向扩展带宽;交换节点:交换托盘包含两个Tomahawk 6 102.4T 以太网交换机和四个连接器。每个连接器有432 个差分对,相当于216 条UALink 通道,每条通道200G。每个102.4T 交换机提供512 个端口,交换托盘总共有 1024个端口。由于每个连接器仅输入216 条通道,总共864 条通道,导致TH6 以太网交换机有160 个未使用的端口。图58: AMD MI400s UALoE72 Scale Up 拓扑示意图P64东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源5.3 总结:UALink 成为重要标准,Helios 机架有望成为行业主流选择作为Scale up 网络开放技术路线方,UALink 成为重要标准。2025 年1.0 版本规范正式发布;2026 年,UALink 2.0 版本有望发布。我们认为,目前UALink 正处于从标准制定阶段走向产品落地阶段,预计UALink生态将在2027 年迎来突破发展,被众多数据中心接纳。目前UALink 联盟受到业内广泛支持,截止2026 年1 月底,成员单位超过100 家,将成为英伟达NVLink 有利挑战方。AMD 超节点Helios 机架有望成为行业主流选择。Helios 机架采用双宽机架设计,宽度从1 个机架提升到2个机架,在复杂性、可靠性和性能间实现良好平衡。从算力、内存、互联带宽等指标,MI455x 系列Helios机柜是目前业界最能挑战英伟达NVL72 机柜的竞品;而在功耗领域,对比GB200 NVL72 机柜,Helios 机架优势显著。此外,双宽结构为未来升级预留物理空间,例如可扩展至144GPU 配置,而无需重新设计机架基础设施。东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P65敬请参阅报告结尾处的免责声明东方财智 兴盛之源
6. 投资建议
自2025 年开始,超节点成为AI 算力网络重要的技术创新方向。从AI 基建竞争维度,AI 芯片厂商从芯片算力性能竞争延续至芯片+Scale up 网络的双战场。因此,除了原先英伟达、华为、AMD 以及谷歌等芯片公司,全球更多厂商加入超节点赛道的竞争,包括微软、Meta、Amazon、中国移动、阿里巴巴、字节跳动、腾讯、百度、中科曙光、中兴通讯、浪潮信息、紫光股份(新华三)、海光信息、沐曦股份、恒为科技等。全球超节点竞争格局尚未确立。英伟达目前处于领先地位,但谷歌、AMD、华为等巨头在超节点领域的持续发力已经对英伟达一家独大的格局构成挑战。从股价表现看,2023-2024 年,英伟达股价大幅跑赢谷歌、AMD以及A 股中证算力指数。但在2025 年,英伟达股价累计涨幅38%,显著落后于谷歌、AMD 以及A 股中证算力指数。我们认为,在超节点技术发展中,市场将继续对谷歌、AMD 以及国产超节点板块价值重估。投资建议:(1)看好谷歌、AMD 以及国内超节点厂商;(2)看好英伟达、谷歌与AMD 超节点供应链,包括PCB 背板、高速铜缆、光模块、供电与液冷系统等;(3)基于交换机及芯片是Scale up 网络互联的关键设备,看好谷歌光路交换机(OCS)核心零部件供应商以及UALink 标准下的交换机芯片研发商。图59:2023-2026 年2 月英伟达/谷歌/超威半导体/中证算力当年累计涨跌幅对比240%169%38%5%53%32%64%0%128%-18%78%-2%17%70%101%6%-50%0%50%100%150%200%250%300%2023年2024年2025年2026年1-2月英伟达谷歌A超威半导体中证算力(931688.CSI)P66东兴证券深度报告超节点与Scale up 网络行业:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局敬请参阅报告结尾处的免责声明东方财智 兴盛之源
7. 风险提示
(1)LLM 训练与推理技术路径变化;(2)超节点性能与功耗有待平衡;(3)受供应链影响,各厂商超节点出货量低于预期;(4)AI 应用端增长不及预期。东兴证券深度报告通信:谷歌、AMD、国产超节点持续发力,打破英伟达独大格局P67敬请参阅报告结尾处的免责声明东方财智 兴盛之源分析师简介石伟晶首席分析师,覆盖传媒、互联网、云计算、通信等行业。上海交通大学工学硕士。10 年证券从业经验,曾供职于华创证券、安信证券,2018 年加入东兴证券研究所。