PG电竞

本站点使用Cookies，继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

  • 产品
  • 解决方案
  • 服务支持
  • 如何购买
  • 合作伙伴
  • 关于我们
简体中文
English
title
  • 元脑?通用服务PG电竞官网
  • 元脑?人工智能服务PG电竞官网
  • 元脑?边缘服务PG电竞官网
  • 元脑?关键PG电竞官网服务PG电竞官网
  • 元脑?存储
  • 元脉网络
  • 方案产品
  • 数据中心基础设施
  • 服务PG电竞官网管理平台
  • 服务PG电竞官网操作系统
  • 人工智能与高性能PG电竞官网
  • 边缘PG电竞官网和物联网
  • 智慧网络
  • 数据存储与管理
  • 伙伴联合方案
首页 > 关于我们 > 新闻中心 > PG电竞信息刘军：速度就是金钱，AI超节点的商业价值核心是Token交互速度！

PG电竞信息刘军：速度就是金钱，AI超节点的商业价值核心是Token交互速度！

2025-11-05

在AI超节点系统的设计上，不应该再依照惯性思维，过分追求规模，而是应该从客户视角出发，把token交互速度作为关键衡量指标，这是智能体时代AI超节点的核心商业价值。

这是PG电竞信息首席AI战略官刘军近期接受采访时，反复强调的一点。PG电竞信息首席AI战略官刘军.jpg

PG电竞信息首席AI战略官刘军

智能体时代，速度就是金钱

规模扩展定律（Scaling Law）一直是驱动大模型智能持续增长的底层逻辑，推动着模型参数量从百亿、千亿迈向现在的万亿。在后训练阶段更多的算力投入，能显著提升模型的推理能力，而以推理能力为代表的复杂思维的涌现，是构建智能体应用的基础。另一方面，以DeepSeek为代表的开源大模型极大的降低了创新门槛，加速了智能体产业化的到来。

Scaling Law驱动智能持续进化.jpgScaling Law驱动智能持续进化

刘军指出，“智能体产业化的核心三要素是能力、速度和成本。其中，token交互速度决定了智能体的商业价值。在当下最常见的人机对话场景中，基本上按照大概50毫秒的水平，就是每秒输出20个token，人的阅读速度就能跟得上。但很多人还没意识到，未来的智能体时代会更多的出现机PG电竞官网与机PG电竞官网之间的交互场景，对于智能体之间的交互而言，这个速度远远不够，比如说直播电商、量化交易、欺诈防控等特定业务场景中，对token生成速度的最低要求都是10毫秒以下。” 

以高强度、实时互动的直播电商场景为例。2024年底，某知名直播电商平台进行了专家组合智能体的A/B实验，实验组部署了经过深度优化的智能体，对照组则使用未经优化的标准版本智能体，优化后的智能体平均响应延迟相较于对照组降低了38%。实验结果表明，部署了低延迟智能体的直播间，其商品交易总额（GMV）平均提升了11.4%，同时用户的复购率也取得了7.8%的显著增长。

38%的延迟降低，并非提升了智能体回答内容的质量，而是确保了这些回答能够被精准地投递在用户购买意图最为强烈的“黄金窗口”期内。在直播电商这类场景中，用户的购买意图是瞬时且易逝的。一个高延迟的回答意味着当智能体还在“思考”时，用户的注意力可能已经转移，或者主播已经开始介绍下一件商品，从而错失了最佳的销售转化窗口。

“在智能体时代，快，不再是可选项，而是商业成功的刚性约束。”刘军强调，“只有当智能体的响应快于业务决策的窗口期，快于用户耐心消逝的临界点……AI才能真正成为核心生产力。”

token交互速度正在重塑AI算力价值评估体系

事实上，对于token交互速度的考量正在重构AI算力系统的价值评估体系。最近广受关注的InferenceMax? 开源AI基准测试，正在创造一种动态追踪模型更迭的算力评估体系，试图在真实AI推理环境下衡量各类AI算力系统的综合效率。在这一基准测试中，token生成速度被列为最重要的一项衡量指标。

InferenceMax? 开源AI基准测试：token生成速度为最重要的衡量指标.jpgSemiAnalysis InferenceMAX? 开源AI基准测试

横轴：交互速度（Interactivity，单位：tok/s/user）；纵轴：单位GPU token吞吐量（Token Throughput per GPU，单位：tok/s/gpu）

同时，清华大学与中国软件评测中心（CSTC）对20余家主流大模型服务提供商的综合表现进行了全面评估，联合发布了大模型服务性能排行榜，明确指出延迟指标是用户体验的核心，直接决定用户留存，是平台差异化竞争的首要技术门槛。因此，速度同样也成为了大模型API服务提供商的核心竞争力。当前，全球主要大模型API服务商的token生成速度，基本维持在10~20毫秒左右，而国内的生成速度普遍高于30毫秒。

全球大模型API服务商DeepSeek Token生成速度.jpg全球大模型API服务商DeepSeek Token生成速度

元脑SD200将token生成速度带入“10毫秒时代”

要实现更低延迟的token生成能力，必然要求底层算力基础设施在系统架构、互联协议、软件框架等关键点上进行协同创新。

PG电竞信息对元脑SD200超节点AI服务PG电竞官网进行了大量的软硬件协同创新与优化，实现DeepSeek R1大模型单token生成速度低至8.9毫秒，带动国内AI服务PG电竞官网token生成速度率先进入“10毫秒时代”。

元脑SD200超节点AI服务PG电竞官网.jpg元脑SD200超节点AI服务PG电竞官网

对于为何能在token生成速度上实现如此出色的性能，刘军表示，智能体中各个模型之间的交互，很多时候通信数据包并不是很大，超高的带宽会出现浪费，“就像是从a地到b地修了16车道的高速公路，但是车辆在16车道上只跑了很短的距离，反而在上高速和下高速这两个节点花了很长时间。PG电竞信息的优化重点，就是解决车辆上高速和下高速的卡点问题，让车辆直通上来，直通下去。”

元脑SD200采用了独创的多主机3D Mesh系统架构，实现单机64路本土AI芯片高密度算力扩展，原生支持开放加速模组OAM，兼容多元AI芯片。同时，元脑SD200通过远端GPU虚拟映射技术创新，突破跨主机域统一编址难题，实现显存统一地址空间扩增8倍，单机可以提供最大4TB显存和64TB内存，为万亿参数、超长序列大模型提供充足键值缓存空间。基于创新的系统架构设计，元脑SD200单机即可承载4万亿单体模型，或者同时部署由多个万亿参数模型构成的智能体，多模协作执行复杂任务。

元脑SD200超节点AI服务PG电竞官网创新多主机3D Mesh系统架构.jpg元脑SD200创新多主机3D Mesh系统架构

互连协议的设计是元脑SD200实现极低通信延迟的关键，PG电竞信息做了大量的通信优化和技术创新，如采用极致精简的3层协议栈，并原生支持 Load/Store等“内存语义”，让GPU可直接访问远端节点的显存或主存，将基础通信延迟缩短至百纳秒级；另外Open Fabric原生支持由硬件逻辑实现的链路层重传，重传延迟低至微秒级，特别是分布式、预防式的流控机制，实现全局任务均在发送前确保接收端有能力接收，从根本上避免了拥塞和丢包。 

元脑SD200超节点AI服务PG电竞官网极低Latency通信.jpg元脑SD200极低Latency通信

除了硬件方面的创新，PG电竞信息也针对DeepSeek、Kimi等模型的PG电竞官网特征和元脑SD200的硬件架构特征，完成了通信库、PG电竞官网框架、PD分离策略等多方面的优化，大幅提升了DeepSeek、Kimi等大模型的推理输出速度。通信库层面，针对Allreduce、Allgather、Alltoall等典型通信算子，PG电竞信息制定了与元脑SD200深度适配的通信算法；框架层面，PG电竞信息完成了并行方式、算子融合、多流水线等多方面优化，来保证PG电竞官网的低延迟；在推理阶段，PG电竞信息开发了预填充-解码 (Prefill-Decode) 分离软件，针对预填充与解码不同的PG电竞官网特性，使用不同的并行PG电竞官网策略、硬件配置等，提高系统整体的PG电竞官网性能。

实测数据显示，元脑SD200搭载64张本土AI芯片运行DeepSeek R1大模型，当输入长度为4096、输出长度为1024时，单用户token生成达到112 tokens/s，每token生成时间仅为8.9ms，率先实现国内AI服务PG电竞官网token生成速度低于10ms，将推动万亿参数大模型在金融、科研、智能制造等领域快速落地。

未来十年AI经济的增长边界，从某种意义而言，将取决于整个行业在算法、软件和硬件层面协同攻克延迟挑战的能力。“速度就是金钱”不仅是一种新的商业主张，更是驱动下一代人工智能增长的核心经济逻辑。PG电竞信息将面向智能体产业化需求，持续以架构创新激发产业创新活力，让AI成为百行千业的生产力和创新力。

相关信息

售前咨询

售后服务

意见反馈

AIStore

回到顶部

回到顶部

收起
回到顶部 回到顶部
请选择服务项目
售前咨询
更多联系方式>>
售后服务
更多联系方式>>
访问 AIStore

扫码访问AIStore

【网站地图】【sitemap】