中科曙光发布Token加速技术体系，IBGDA技术国内首

大模型竞争进入深水区，Token效率正成为衡量AI系统实力的新标尺。

近日，中科曙光发布Token加速技术体系。该体系以scaleFabric原生无损RDMA为核心网络传输底座，构建算-存-传三级紧耦合的Token加速超级通道。其中，支持GPU直通网络的IBGDA技术实现在国内的首次规模化落地。

Token效率成大模型竞争新标尺

Token是大模型处理和输出内容的基础单元，其生成效率直接影响模型的响应速度和服务能力。从模型训练时的梯度同步，到推理阶段KV Cache跨节点迁移，海量数据需要在多块GPU之间分发汇总，一旦出现CPU调度拖累、存储访问卡顿、网络链路抖动，就会造成GPU空转等待，直接拉低集群算力利用率，推高AI业务运行成本。

“算力”不等于“产出”。如何打通算存传的数据流转堵点，让硬件算力真正转化为模型的实际输出能力，已经成为亟待解决的现实难题。中科曙光基于scaleFabric的 Token加速技术体系，正是瞄准这一行业痛点打造的全链路解决方案。

“算存传”三级紧耦合加速Token流转

scaleFabric通过构建“算存传”三级紧耦合的Token加速通道，在网络层面和计算、存储紧密协同，加速token吞吐效率，实现 Token在大模型训练、推理到存储复用全链路的高速流转。

在计算环节，GDR允许网卡直接读写GPU显存，绕过CPU内存中转；IBGDA技术则进一步将通信控制交给GPU，使GPU能够直接驱动网卡并管理数据传输，彻底消除传统路径CPU在协调通信时产生的延迟和瓶颈，让 GPU 集群间的通信（尤其是高频、小包的场景）变得更加高效和可扩展，让计算与通信衔接得更加紧密。

在存储环节，scaleFabric围绕Token的存储访问瓶颈，构建了完整的存储直通技术体系。NVMe over RDMA、XDS和NFS over RDMA三项技术，分别用于加快远端NVMe存储访问、支持GPU直接访问远端存储，以及提升传统文件存储的传输效率，共同打造存储与算力之间的高速网络通道。

在大规模集群中，多级网络转发的时延成为影响Token流转效率的重要因素。在典型两层组网中，数据从源端到目标端通常需要经过“接入、汇聚、接入”三跳，网络时延也会随转发层级增加而累积。

数据显示，scaleFabric单跳转发时延低至260纳秒，网卡端到端时延低于1微秒，与英伟达NDR持平；在部分场景的三跳基准时延性能测试中，端到端时延较主流RoCE方案降低约63%，有效减少多级网络交换带来的时延累积。较低的三跳时延可以减少数据在多级网络中的传输耗时，使IBGDA和存储直通带来的路径优化进一步延伸至大规模集群，推动计算、存储和网络共同作用于Token生成效率。