来源: 紫光恒越 | 原文链接

算力×联接：集群内互联与跨域协同的技术破局

大模型训练对算力基础设施的要求，不是堆卡，而是卡间通信效率、跨节点协同能力和跨域调度弹性的综合较量。这三个指标各有其具体的技术命题。

1. 集群内部：互联决定集群的真实算力

一万张H100组成的集群，理论算力高达200EFLOPS（FP8），但实际训练中的线性加速比能达到多少，完全不取决于单卡算力，而取决于互联。

Scale-Up网络：让集群像一台计算机

Scale-Up解决的是单机柜或超节点内多卡之间的紧耦合通信。大模型张量并行（Tensor Parallelism）要求在微秒级完成跨卡数据传输，对带宽和时延极其敏感。以NVLink为例，第五代NVLink单卡带宽达到900GB/s，是PCIe 5.0（32GB/s）的28倍。2026年，国内多家芯片厂商的超节点方案已实现单机柜64卡全互联，跨物理节点统一内存编址空间达到256TB级别。

关键技术集中在两个方向：一是高带宽低时延互联协议，替代传统PCIe总线架构，实现内存语义的直接访问，GPU直接读写另一GPU的HBM，不经过CPU。二是统一编址，让集群内所有GPU的显存呈现为单一地址空间，上层软件无须感知物理拓扑。

Scale-Out网络：集群规模的扩展器

当集群从千卡扩展到万卡甚至十万卡，Scale-Out网络决定了扩展能力。大模型的数据并行（Data Parallelism）和流水线并行（Pipeline Parallelism）依赖All-Reduce等集合通信原语，需要在数千张卡之间同步梯度。

技术关键点在三个层面：

  • RoCE与IB的取舍。 InfiniBand提供无损网络和硬件级集合通信加速，但成本高昂且生态封闭。RoCE（RDMA over Converged Ethernet）基于以太网，成本更低，但需要额外处理拥塞和丢包问题。2026年主流的超大集群多采用Spine-Leaf架构，核心层使用400G/800G以太网交换，配合DCQCN（Data Center Quantized Congestion Notification）等拥塞控制算法，将PFC（Priority Flow Control）暂停帧的发生频率压到极低。
  • 集合通信库的优化。 NCCL（NVIDIA Collective Communications Library）和国内对应实现（如RCCL、HCCL）的性能直接决定了多卡同步的效率。2026年的关键优化包括：拓扑感知的通信调度（根据物理连接选择最优路由）、通信与计算重叠（将All-Reduce切分为多个细粒度操作，与反向计算并行）、以及NVSwitch和RoCE Switch之间的协同流量调度。
  • 拥塞控制。 大规模集群中，Incast拥塞（多对一通信）是常态。DCQCN通过接收端生成CNP（Congestion Notification Packet）主动反馈拥塞状态，发送端根据反馈调整速率，比传统ECN（Explicit Congestion Notification）更精细。

2. 跨集群协同：分布式训练的关键瓶颈

十万卡很难放在同一个物理集群。多个智算中心之间的分布式训练，卡在三个技术瓶颈上：

  • 通信带宽不足。 跨数据中心链路带宽与集群内互联相差几个数量级。千卡级All-Reduce需要同步GB级梯度数据，跨城链路只有百Gbps带宽，同步开销占训练总时间的30%-50%。2026年的主流方案是异步流水线并行——将模型按层切分到不同数据中心的GPU组，每个数据中心只负责若干连续层的前向和后向计算，数据中心间只传输激活值和梯度，通信量与模型深度而非参数量成正比。
  • 长距RDMA的稳定性。 跨城RDMA面临丢包重传、时延抖动等问题，TCP友好的拥塞控制算法在长肥网络（Long Fat Network）中表现不稳定。2026年，部分厂商在骨干网部署AI专用传输协议，针对AI训练的流量特征（周期性突发、对乱序敏感）做定制化拥塞控制，替代通用TCP。
  • 异构算力适配。 不同数据中心的芯片型号可能不同（A100/H100/国产芯片混用），计算能力、显存大小、算子实现都有差异。2026年的调度平台已实现算子级自动拆分——根据各节点算力比例动态分配计算任务，慢节点只承担小批量计算，减少木桶效应。

3. 算力池化：让异构芯片被统一纳管

单看算力总量，国内已不低。但实际可用算力远低于账面数字。原因在于不同厂商的芯片在指令集、内存模型、算子库上互不兼容，一个模型要在一家芯片上跑通，往往需要改写代码甚至重新实现算子。

异构算力统一编程框架，是2026年算力基础设施的关键技术方向。其技术实质是在硬件驱动和上层框架之间增加一个抽象层——向上提供统一的编程接口和内存模型（类CUDA语义），向下通过动态代码生成和运行时编译，将统一中间表示翻译为各芯片的原生指令。这意味着一个模型可以在不修改代码的前提下，在不同厂商的芯片上运行。

算子级调度进一步解决了性能不均问题。如果集群中混用了A100和国产芯片，调度器不再按卡分配，而是将一个计算图拆解为细粒度算子，根据各卡的实测算力动态分配。慢卡算得少，快卡算得多，集群整体吞吐最大化，而不是被最慢的卡拖死。

4. 联接的另一面：边缘侧的技术挑战

云侧十万卡集群只是算力版图的一半。工业质检、自动驾驶、具身智能等场景要求毫秒级响应，数据不能全部上云。

模型分割部署。 一个大模型不可能完整放在边缘设备上。2026年的部署方式是分层卸载——边缘设备运行轻量级模型处理实时响应，复杂推理通过确定性网络卸载到区域边缘节点，最复杂的训练任务上到中心云。三层之间的模型同步和增量更新，依赖高效的模型分发协议。

边边协同。 多个边缘节点之间需要共享局部模型更新（联邦学习的工程化落地），但边缘链路的带宽、时延、可靠性远不如数据中心内部。2026年的技术方向是异步联邦聚合——不要求所有边缘节点同步完成本地训练，中心节点持续异步接收更新并聚合，容忍边缘节点掉线和异构算力差异。

算力和联接是硬币的两面。没有联接的算力是孤岛，没有算力的联接是空转。十万卡集群的落地、跨域分布式训练的突破、异构芯片的统一纳管、边缘侧的工程化适配——这些技术正在同步演进。