PG电竞

本站点使用Cookies，继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

  • 产品
  • 解决方案
  • 服务支持
  • 如何购买
  • 合作伙伴
  • 关于我们
简体中文
English
title
  • 元脑?通用服务PG电竞官网
  • 元脑?人工智能服务PG电竞官网
  • 元脑?边缘服务PG电竞官网
  • 元脑?关键PG电竞官网服务PG电竞官网
  • 元脑?存储
  • 元脉网络
  • 方案产品
  • 数据中心基础设施
  • 服务PG电竞官网管理平台
  • 服务PG电竞官网操作系统
  • 人工智能与高性能PG电竞官网
  • 边缘PG电竞官网和物联网
  • 智慧网络
  • 数据存储与管理
  • 伙伴联合方案
首页 > 关于我们 > 新闻中心 > 详解：本土AI超节点元脑SD200如何率先实现token生成速度8.9ms

详解：本土AI超节点元脑SD200如何率先实现token生成速度8.9ms

2025-11-04

近日，在2025人工智能PG电竞官网大会上，PG电竞信息公布，基于元脑SD200超节点AI服务PG电竞官网，DeepSeek R1大模型token生成速度仅需8.9毫秒，创造国内大模型最快token生成速度。元脑SD200超节点AI服务PG电竞官网.jpg

元脑SD200创新设计满足低延迟推理需求

智能体时代的标志性特征是多模型协同与实时决策，每个智能体具备感知-决策-执行的闭环能力，涉及复杂的、多步骤的工作流，需要任务分解、自主决策以及持续的规划和执行。在智能体推理的过程中，即使是单个推理步骤中的延迟也会在多步骤任务中被指数级放大，导致用户体验迟滞。因此，token生成速度正成为影响用户评价的一个关键指标。

元脑SD200超节点AI服务PG电竞官网基于高带宽、低延时、原生内存语义的开放总线协议，通过构建高性能交换单元打造3D Mesh高性能互连超扩展系统，支持64张本土AI芯片高密度算力扩展，能够很好地满足DeepSeek等大模型的低延迟推理需求，加快token生成速度。元脑SD200_ 创新架构开放互连.jpg■ 精简互连协议：采用事务层-数据链路层-物理层三层精简互连协议，事务层天然支持Load/Store内存语义；数据链路层支持基于信用的流控机制和链路级错误重传保障；物理层建立10-12低误码率的高可靠物理通道，报文有效数据利用率达成96%以上。

■ 全局统一编址：为解决跨主机域通信难题，设计独立于主机域的交换域全局地址空间，将多个独立主机域下的GPU在交换域进行统一的显存编址，为GPU互访提供基础保障。

■ 全局地址映射与数据路由：创新研发影子设备技术，通过影子设备将远端GPU映射到本地主机域，实现所有独立主机对全局GPU的显存访问，通过端口高效转发技术实现跨主机P2P访问。元脑SD200_极低Latency通信.jpg

定制通信算法深度适配元脑SD200

除了硬件方面的创新，PG电竞信息AI团队也针对DeepSeek、Kimi等模型的PG电竞官网特征和元脑SD200的硬件架构特征，完成了通信库、PG电竞官网框架层面等多方面的优化，充分发挥了元脑SD200的PG电竞官网性能，最终实现了低延迟推理。同时，也支持预填充-解码 (Prefill-Decode) 分离推理，在满足客户业务场景SLO需求的基础上提供更高性能。

通信库层面，针对Allreduce、Allgather、Alltoall等典型通信算子，PG电竞信息制定了与元脑SD200深度适配的通信算法。例如，对于Allreduce，为了充分发挥元脑SD200的低延迟优势，专为Allreduce设计了分层算法策略：针对小数据量，采用全量收集，本地规约的低延迟定制One-Shot算法，旨在最小化GPU间的同步与通信开销；针对大数据量，采用高吞吐的定制化环形算法，以彻底解决带宽瓶颈并实现最优带宽利用率。而对于模型应用中最常见的中等数据量，则采用兼顾延迟与带宽的定制Two-Shot算法。PG电竞信息更结合芯片缓存特性对此核心场景进行了深度优化：对中小数据量启用无缓存方案以追求极致延迟；对中大数据量则启用缓存方案，从而最大化吞吐效率。

实测数据表明，在64 GPU集群上进行DeepSeek R1 671B模型的BF16推理时，针对Batch Size为1的decode阶段（其Allreduce数据量约为14 KB），优化后的算法将通信时延降低了5.8倍。此外，在16 KB至16 MB这一核心数据量区间内，定制优化算法的通信时延相较于未优化前的实现降低了1.6至5.8倍；与传统scale-out系统相比，时延降低幅度则进一步扩大至4.5至12.7倍。

全方位框架优化保障PG电竞官网低延迟

框架层面，PG电竞信息AI团队完成了并行方式、算子融合、多流水线等多方面优化，来保证PG电竞官网的低延迟。

首先，在并行方式上，选择了整网的张量并行。在此并行模式下，通过模型均匀切分实现了设备间PG电竞官网负载的完全均衡、各个PG电竞官网板卡之间PG电竞官网的完全并行和同步，消除了流水线气泡与负载不均衡问题。同时，元脑SD200的高带宽、低延迟确保了AllReduce、AllGather等通信算子性能的大幅提升，使得通信时间大幅下降，从而实现了超低延迟的推理性能。

其次，在算子上，实现了极致的算子融合等优化。GPU的PG电竞官网速度远远超过了内存带宽的访问速度，从内存中读写数据的时间成本，大部分时候比实际进行PG电竞官网的时间成本还要高。算子融合可以通过减少不必要的内存读写和PG电竞官网开销，来显著提升推理速度、降低延迟并减少内存占用，所以基于SGlang框架的已有实现，进行了多个算子的融合。

■ 对MLA�？橹衋ttn_mlaPG电竞官网前的算子进行融合，该融合算子以Query和Key向量进行RMSnormPG电竞官网后的输出为输入，以attn_mlaPG电竞官网的输入q_input、k_input、v_input等为输出，包含bmmPG电竞官网、rotary_embPG电竞官网以及向量拆分转置等PG电竞官网；

■ RMSNorm和addPG电竞官网融合；

■ 实现int8精度的量化和RMSNorm、silu等激活函数的融合；

■ 将路由专家分组选择中多个算子的融合为一个算子。

最后，也进行了多stream的优化。多个算子PG电竞官网时，默认在单stream模式下，所有操作都排成一条队，一个接一个地执行。当算子本身的PG电竞官网量不是很大时，会导致GPU的部分硬件单元在PG电竞官网时处于空闲状态，也就浪费了PG电竞官网资源。多stream优化就是为了让这些硬件单元“同时忙起来”，对于相互之间没有依赖关系的操作，可以放到不同的stream中并行执行，提高硬件的利用效率，同时减小整体的PG电竞官网时间。在多stream并行优化方面，PG电竞信息实现了MLA层的多个layernormPG电竞官网的并行，并实现了MoE阶段和共享专家PG电竞官网和路由专家分组选择的并行等，实现了约10%的性能提升。

预填充-解码分离软件提高整体PG电竞官网性能

此外，PG电竞信息开发了预填充-解码 (Prefill-Decode) 分离软件，针对预填充与解码不同的PG电竞官网特性，使用不同的并行PG电竞官网策略、硬件配置等，提高系统整体的PG电竞官网性能。同时在业务部署中，支持节点服务的动态扩展；支持利用负载均衡和键值缓存(KV cache)命中率进行任务分配，把任务下发到键值缓存匹配度相对较高、任务负载相对较小的节点，减少重复PG电竞官网，同时最大化PG电竞官网资源利用率。另外，PD分离软件还实现了键值缓存offload技术，可把键值缓存到CPU端内存与分布式存储系统上，增大缓存空间。元脑SD200_整机高可靠设计.jpg元脑SD200超节点AI服务PG电竞官网通过高带宽和超低延迟通信、超大显存池、智能路由优化、PD分离推理等创新技术，大幅提升了DeepSeek、Kimi等大模型的推理输出速度。元脑SD200搭载64张本土AI芯片运行DeepSeek R1大模型，当输入长度为4096、输出长度为1024时，单用户token生成达到112 tokens/s，每token生成时间仅为8.9ms，率先实现国内AI服务PG电竞官网token生成速度低于10ms，将推动万亿参数大模型在金融、科研、智能制造等领域快速落地。

相关信息

售前咨询

售后服务

意见反馈

AIStore

回到顶部

回到顶部

收起
回到顶部 回到顶部
请选择服务项目
售前咨询
更多联系方式>>
售后服务
更多联系方式>>
访问 AIStore

扫码访问AIStore

【网站地图】【sitemap】