Meta 的 IcePack 液冷网络机架在 2026 年 10 月 12 日由 Meta 工程博客在 OCP 全球峰会期间发布,它是 Meta 第一代液冷网络机架,里面装的是 102.4Tbps 的交换刀片 IceCube。同一篇发布里还有多平面后端织网 FPF、以太网纵向扩展交换机 Tahan 和跨地域聚合层 BAG。Meta 把这些放在一起讲,是因为它要支撑的已经不是单个机房里的集群,而是吉瓦级、跨地域连成一片的训练基础设施,网络先成了瓶颈。
IceCube:交换带宽翻倍,散热换成液冷
IceCube 提供 128×800G 的无阻塞交换容量,有两个版本,分别基于博通 Tomahawk6C 和英伟达 Spectrum-6 交换芯片,都运行 Meta 开源的 FBOSS 网络操作系统。整柜 IcePack 按 OCP 的 ORV3-HPRv1 机架标准设计。相比上一代 51.2T 平台,这一代带宽翻倍,真正的门槛其实在散热:交换芯片的功率密度已经高到风冷压不住,液冷从计算柜蔓延到网络柜,是这一代最直观的变化。做集群规划的人要注意,这意味着机房改造要把液冷回路算进网络区域,而不只是 GPU 区域。
FPF:每块GPU同时连八个网络平面
FPF(Flattened Planar Fabric)改的是 GPU 接入网络的方式。每块 GPU 用八条独立的 100G 链路连到八台不同平面的交换机,拓扑从传统的三层 Clos 压成两层,少一跳就少一份延迟和成本。负载均衡的起点也从交换机挪到了网卡:网卡在硬件层面把数据包喷洒到八个平面上。控制面把交换机和主机合在一起算,某个平面出故障时,主机能主动把流量绕开。Meta 称这套织网是和英伟达基于 Spectrum-X 多平面技术合作打磨的,相关经验还在和云厂商伙伴一起做标准化。
Tahan:以太网伸进纵向扩展域
纵向扩展(scale-up)是机柜内加速器之间的互连,过去基本是专有协议的地盘。Tahan 是 Meta 为自研 MTIA 300 训练加速器做的以太网纵向扩展交换机,基于博通 51.2T 的 Tomahawk 5,总容量 64×800G,其中一半给加速器的纵向扩展连接,四台 Tahan 以无阻塞方式互连 16 颗加速器。它复用了和横向扩展网络相同的 RoCE 传输,两种织网统一在 FBOSS 之下。下一代刀片已在预告中:基于 102.4T 芯片、216×400G,单柜互连 72 颗加速器,未来版本计划采用 OCP 的 ESUN 以太网纵向扩展规范。
开放的部分和实际边界
跨地域一层,Meta 的 BAG 聚合层把多个机房、园区乃至地域的织网连成一个 petabit 级的超级骨干,支撑约 1 吉瓦的 Prometheus 集群像一台机器一样训练。开放计划方面,Meta、微软和阿里巴巴共同牵头的 OSPA(开放交换平台架构)已向 OCP 提交 1.0 版规范,MetaRoCE 传输协议也给出了开源实现。需要泼一点冷水:这些首先是 Meta 自用基础设施,不是能直接采购的产品,外部价值要看 OCP 规范的落地速度。对多数团队,当下最实用的参考是两个判断:液冷要进网络柜,多平面织网值得在下一轮集群设计里认真评估。