PG电竞

本站点使用Cookies，继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

产品
解决方案
服务支持
如何购买
合作伙伴
关于我们

搜索

简体中文

English

产品
解决方案
服务支持
如何购买
合作伙伴
联合创新平台
关于我们

PG电竞官网产业洞察

元脑品牌升级公告

title

产品中心 >>

元脑?通用服务PG电竞官网
元脑?人工智能服务PG电竞官网
元脑?边缘服务PG电竞官网
元脑?关键PG电竞官网服务PG电竞官网
元脑?存储
元脉网络
方案产品
数据中心基础设施
服务PG电竞官网管理平台
服务PG电竞官网操作系统

人工智能与高性能PG电竞官网
边缘PG电竞官网和物联网
智慧网络
数据存储与管理
伙伴联合方案

title

元脑?通用服务PG电竞官网>>

机架&塔式服务PG电竞官网

第八代服务PG电竞官网

· NF5466G8

· NF3290G8

· NF3180G8

· NF3280G8

· NF5180G8

· NF5280G8

第七代服务PG电竞官网

· NF5270G7

· SC5212G7

· NF5476G7

· NF5170G7

· NF8260G7

· NF3280G7

· NF3180G7

· NF5466G7

· NF5266G7

· NF8480G7

· TS860G7

· NP3020G7

· NF5280G7

· NF5180G7

查看全部产品

整机柜服务PG电竞官网

· ORS6000G8

· ORS3000S

· ORS6000S

高密度服务PG电竞官网

· i24G8

· i22G8

· i24G7

· i22G7

· i48M6

· i24M6

元脑?人工智能服务PG电竞官网>>

GPU服务PG电竞官网

· ORS8000G7

· NF5688G8

· NF5698G7

· NF5468G7

· NF5468A5

· NF5688G7

· NF5468M6

管理平台

· 元脑企智EPAI

· AIStation

· ClusterEngine

元脑?边缘服务PG电竞官网>>

边缘服务PG电竞官网

· NE3160G7

· NE5260G7

· NE5260M5

· NE3160M5

· NE3120M5

边缘微服务PG电竞官网

· EIS800

· EIS200

· EIS860

便携AI服务PG电竞官网

· NE3412M5

边缘微中心

· SRDC600

边缘PG电竞官网管理平台>>

· 缘智

· 缘脑

· 缘视

元脑?关键PG电竞官网服务PG电竞官网>>

K1 Power K系列

· K1 Power K8880G3

· K1 Power K8870G3

· K1 Power K8860G3

· K1 Power K8850G3

元脑?存储>>

全闪存存储

· HF3000G7

· HF8000G7

· HF18000G7

· HF18000G6-CGF

· HF8000G6-CGF

· HF6000G6-CGF

· HF18000G5-I

· HF6000G5

· HF8000G5

· HF5000G5

混闪存储

· HF2000G7

· HF3000G7

· HF8000G7

· HF18000G7

· HF6000G6-CG

· HF18000G6-CG

· AS5600G6-CG

· AS5500G5-C

· AS5500G5

· AS2150G2

· AS5800G5

· AS5600G5

· AS6800G5

· AS18000G5-I

· AS5300G5

· AS2600G2

· AS2200G2

光纤交换机

· FS8730

· FS8900-I

· FS8600

· FS9610/FS9620

· FS9710

· FS9720

· FS8900

· FS8720

· FS8500

数据管理与保护

· infinistor

SSD硬盘

· NS8500G2双端口

· NS8500G2 & NS8600G2

· NS8510G1 & NS8610G1

· NS6510G1 & NS6610G1

扩展柜

· JD348

元脉网络>>

AIGC网络

交换机

· X400（SC8670EL-128QH）

· X400L（SC8670EL-64D）

· C400（CN7610SL-64QH）

· CN9500-64D

· CN7610SL-32QH

软件

· 智能运管平台ICE

· UXOS

数据中心

核心交换机

· CN12800

· CN12800-G

· X400（SC8670EL-128QH）

· CN9408H

· SC8661SL

· CN9500-64D

汇聚/接入交换机

· CN7610SL-24H8QH

· CN5610EL-48Y8C

· CN9420-32C

· CN9300H-48Y8C

· CN9300-32C

· CN9220-48X8C

· CN9200-48X6C

· SC7650EL-32D

· CN61108PC-V-H

· SC6650EL-48L8D

· SC6630EL-32C

· SC5631EL-48Y8C

· SC5630EL

· CN2610EL-48T4X2Q

· CN2610EA-48S4X

· CN2610EA-48T4X

软件

· 智能运管平台ICE

边缘网络

交换机

· S12700-G

· S9800

· SC9606H

· S9503

· S6820

· S6550E

· S6220E

· S6220

· S9130

· S5560E

· S5560V2

· S5530

· S5350

· S5100

· SI9100

无线局域网

· IAC系列无线控制PG电竞官网

· IAP620-Q

· IAP620

· IAP621-Q

· IAP621

· IAP630-P

· IAP622-I

· IAP622-E

· 智联无线方案接入点

· IAP527

· ICWMP无线云管平台

全光网络

· IOC9108

· IOC9100-16GP4X

· IOP100-4T1GP

· IOP100-4T1GP-(2T)

· IOP100-8T1GP

· IOF-SPOL综合网络管理平台

路由PG电竞官网

· IR12000-E30

· IR12000-E40

· IR12000-E60、80

· IR12000-H40

· IR12000-H90

软件

· 数字网络引擎DNE

安全及运维

防火墙

· TQ-2000-M

· TQ-2000-B

· TQ-2000-C

· TQ-2000-D

· TQ-2000-E

· TQ-2000-F

· TQ-2000-G903-G

· TQ-2000-G908-G

· TQ-2000-G910-G

· TQ-2000-G920-G

· TQ-2000-G940-G

· TQ-2000-G955-G

· TQ-2000-G965-G

· TO-2000-G980-G

综合运维软件

· 智能数字引擎IDE-E

方案产品>>

SAP HANA 认证产品

· TS860G7 for SAP HANA

· NF8480G7 for SAP HANA

· NF8260G7 for SAP HANA

· NF5280G7 for SAP HANA

· TS860M5 for SAP HANA

· NF8480M6 for SAP HANA

· NF8260M6 for SAP HANA

· NF5280M6 for SAP HANA

VMware vSAN超融合认证产品

· inMerge G7系列超融合系统

· inMerge1100M6系列超融合系统

一体机产品

· 元脑企智一体机

· SRDC一体机

数据中心解决方案

· MDC-S紧凑型数据中心

· MDC-S 08A单机柜数据中心

· ISC-CDC预制化数据中心

· ISC-MDC�？榛葜行�

数据中心产品系列

制冷产品系列

· ISC-COOLING-W60冷冻水行级机房专用空调

· ISC-COOLING-F06/F12-RM机架式空调

配电产品系列

· ISC-UPS25-RM机架式UPS

· ISC系列一体化电源柜

· ISC系列配电柜

机柜及通道产品系列

· ISC-MDC-S 2506通道

· ISC-MDC通道

· ISC-NR42机柜

动环监控产品系列

· ISC-MCU7000 1U监控主机

· ISC-MCU5000触控一体式动环主机

· ISC-AI HMI10000 32寸触控大屏

· ISC-AI Manager20000 3D可视化展示系统

液冷产品系列

· ISC-LCooling-Y400冷量分配单元

服务PG电竞官网管理平台>>

服务PG电竞官网管理套件

· InManage Kits

· InManage Server CLI

· InManage Boot

基础设施管理平台

· InManage

服务PG电竞官网固件在线仓库

· InManage Repo

服务PG电竞官网操作系统

· 云峦服务PG电竞官网操作系统KeyarchOS

· 云峦操作系统安全防御软件KSecure

· 云峦服务PG电竞官网操作系统运维平台KSysOM

· 自动驾驶解决方案

· CAE(Computer Aided Engineering)解决方案

· 气象预报解决方案

· 医疗卫生人工智能解决方案

· 工业互联网解决方案

· 智慧零售解决方案

· 数字道路解决方案

· 智慧化工园区解决方案

· 能源场站安全生产智能巡视解决方案

· 矿山智能一体机解决方案

· 车路协同解决方案

· 智慧园区解决方案

· 基于边缘PG电竞官网的5G BBU解决方案

· AI与5G相融合构建数智化社会通信网络基础

· 开放网络解决方案

· 智慧校园存储解决方案

· 医疗核心业务存储容灾解决方案

· 基于Flex 140的视频编解码解决方案

· 基于Flex 170V的虚拟桌面解决方案

产品支持

· 驱动下载>>

· 固件下载>>

· 客户产品资料下载>>

· 视频教程>>

· 功耗PG电竞官网PG电竞官网>>

· OS兼容性查询工具>>

· 产品认证查询>>

· AIStation激活码申请>>

· ClusterEngine激活码申请>>

· KeyarchOS激活码申请>>

· 产品安全通告>>

· 产品生命周期>>

· 技术白皮书下载>>

自助服务

· 售后在线服务>>

· 保修配置查询>>

· 服务进度查询>>

· 服务政策>>

· 常见问题>>

服务产品

· 焕新服务>>

如何购买 >>

联系PG电竞信息

· 售前在线客服>>

· 热线电话: 400-860-6708 800-860-6708（固话拨打）

· 提交项目需求>>

联系经销商

· 查找经销商>>

· 需要经销商回电>>

查看更多购买信息>>

成为合作伙伴>>

PG电竞信息致力于构建全球化的智慧PG电竞官网生态，愿与合作伙伴从业务、资源、战略上全面聚合，共同推动客户数字化转型。

查找合作伙伴>>

查找当地经销商联系方式或者提交需求表单与经销商联系沟通。

联合创新平台>>

融汇认证与体验，激发创新力量，助力合作伙伴成长，为客户提供卓越体验和服务，共创业务增长!

客户测试中心>>

· 产品远程测试>>

AI创新中心>>

为全球客户提供先进AI算力、完整软件框架和成熟Demo演示。

边缘PG电竞官网融携实验室>>

联合伙伴开展技术和产品验证，推动边缘PG电竞官网技术创新和应用。

关于我们

· 公司简介>>

· 投资者关系>>

最新动态

· 新闻中心>>

· 市场活动>>

· 成功案例>>

品牌专题

· PG电竞官网之美>>

· 千锤百炼>>

· 数智化转型实践>>

可持续发展

· 环境、社会和公司治理>>

· 政策和声明>>

技术博客

· 元脑博客>>

信任中心

· 合法合规>>

联系我们

· 联系信息>>

首页 > 关于我们 > 新闻中心 > PG电竞信息：元脑R1服务PG电竞官网支持开源框架SGLang，单机DeepSeek 671B并发超1000

PG电竞信息：元脑R1服务PG电竞官网支持开源框架SGLang，单机DeepSeek 671B并发超1000

2025-02-25

PG电竞信息元脑R1推理服务PG电竞官网已完成对开源框架SGLang最新版本的深度适配，成功实现在单机高性能运行DeepSeek R1 671B模型时可最大支持超过1000路的用户并发访问。

元脑R1服务PG电竞官网×SGLang推理框架

DeepSeek R1参数量达到6710亿，采用了MLA注意力机制和共享专家、路由专家共同组成的混合专家(MoE)架构，其创新的模型架构也带来了在推理服务上的性能挑战。PG电竞信息团队从AI服务PG电竞官网和推理框架入手开展了协同优化工作。

元脑R1推理服务PG电竞官网NF5688G7原生搭载FP8PG电竞官网引擎，针对DeepSeek R1 671B模型部署速度快且无精度损失，1128GB HBM3e高速显存满足671B模型 FP8精度下不低于800GB显存容量的需求，单机支持全量模型推理情况下，仍保留充足的KV缓存空间。显存带宽高达4.8TB/s，完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征，在推理解码阶段可实现极致加速。在通信方面，GPU P2P带宽达900GB/s，保障单机部署张量并行最佳通讯性能。

SGLang是新兴的开源推理框架项目，其得到活跃的社区支持，并在工业界获得了广泛应用。SGlang的核心特性包括：快速的后端运行时、灵活的前端语言、广泛的模型支持等。尤其值得关注的是，SGLang针对MLA注意力机制开展了针对性的工程优化，并在框架上对MoE架构的推理做了优化设计。SGLang也是最早适配DeepSeek v3和R1的优选推理框架之一。

目前，元脑R1推理服务PG电竞官网 NF5688G7已完成SGLang最新版本 0.4.3的适配优化工作。通过硬件调优、算子优化、混合并行、多token预测等多方面的工程实践，在元脑R1推理服务PG电竞官网 NF5688G7上运行DeepSeek 671B R1模型，成功实现了单用户解码最高33 tokens/s及最大用户并发超1000的优异性能表现。

Figure 1: 单路并发性能测试日志

Figure 1: 单路并发性能测试日志

根据TPOT换算用户解码性能为33.3 tokens/s

DeepSeek R1 671B是一个稀疏度较高的MoE架构模型，具有模型参数量大、PG电竞官网量小的特点。和Dense模型相比，在满足KV cache的显存占用的前提下，可以支持更高的并发访问需求。实测数据表明，基于单台NF5688G7，在使用DeepSeek R1进行带思维链深度思考的短输入长输出的问答场景下，使用100/1000作为输入输出长度，实测在单个用户并发时的解码性能为33.3tokens/s；在16个用户并发时，每个用户有约20 tokens/s的解码性能；在64个用户并发时，每个用户有约10.4 tokens/s的解码性能。而在使用1024个用户并发访问的极限测试时，单台NF5688G7实现了3975.76 tokens/s的吞吐性能，可以满足超高并发场景下多用户使用需求。

Figure 2: 1024路并发性能测试日志

Figure 2: 1024路并发性能测试日志

测试使用了1000/1000的输入输出长度，实现了3975.76 tokens/s的总设备吞吐

PG电竞信息团队正与业内团队密切合作，在PG电竞官网架构、算子调优、并行策略、框架适配、调度管理等多个方面持续发力，旨在为用户带来高性能、高效稳定、性价比高的DeepSeek大模型部署服务方案，助力大模型快速落地应用。

PG电竞信息是全球领先的IT基础设施产品、方案和服务提供商，通过发展新一代以系统为核心的PG电竞官网架构，打造开放、多元、绿色的元脑智算产品和方案。PG电竞信息致力于AIPG电竞官网平台、资源平台和算法平台的研发创新，并通过元脑生态携手领先伙伴，加速人工智能的创新和应用落地。

点击申请试用元脑R1推理服务PG电竞官网或扫码申请试用

点击申请试用元脑R1推理服务PG电竞官网或扫码申请试用

上一篇：一个顶俩，新单路反超老双路！元脑服务PG电竞官网NF3290G8翻倍刷新SPEC纪录

下一篇：GlobalData全球数据中心竞争力报告: PG电竞信息位居领先

返回列表

相关信息

了解更多 

售前咨询

售后服务

意见反馈

AIStore

回到顶部

收起

咨询

请选择服务项目

售前咨询
售后服务
反馈意见
AIStore

售前咨询

售前在线客服

需求快速响应
立即沟通
购买咨询

服务时间：全天候7*24小时

400-860-6708
提交项目需求

提供最佳方案选择
立即提交

更多联系方式>>

售后服务

售后在线服务

自助服务，快速解答
立即咨询
售后服务

服务时间：全天候 7*24小时

400-860-0011

更多联系方式>>

访问 AIStore

AIStore是基于元脑生态打造的商业协作线上平台，作为知识资源平台、交流服务平台和商机孵化平台，赋能“百模”与“千行”的对接，目前已上架200+产品和方案，在智能票据识别、AI工业质检、代码生成、视觉智能标注、AI健康助手等领域实现成功牵手和落地应用，助力千行百业加速AI产业创新，高效释放生产力。

扫码访问AIStore

【网站地图】【sitemap】