PG电竞

本站点使用Cookies，继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

  • 产品
  • 解决方案
  • 服务支持
  • 如何购买
  • 合作伙伴
  • 关于我们
简体中文
English
title
  • 元脑?通用服务PG电竞官网
  • 元脑?人工智能服务PG电竞官网
  • 元脑?边缘服务PG电竞官网
  • 元脑?关键PG电竞官网服务PG电竞官网
  • 元脑?存储
  • 元脉网络
  • 方案产品
  • 数据中心基础设施
  • 服务PG电竞官网管理平台
  • 服务PG电竞官网操作系统
  • 人工智能与高性能PG电竞官网
  • 边缘PG电竞官网和物联网
  • 智慧网络
  • 数据存储与管理
  • 伙伴联合方案
首页 > 关于我们 > 新闻中心 > 10PB全闪+50PB混闪！元脑服务PG电竞官网支撑大模型智算中心存储系统建设

10PB全闪+50PB混闪！元脑服务PG电竞官网支撑大模型智算中心存储系统建设

2025-01-16

在AI大模型快速发展的当下，随着算力的飙升，数据存储却逐渐成为新的瓶颈。针对互联网、金融、生命科学等领域AI大模型应用在训练时涌现的PB级数据存储与处理需求，某智算中心基于元脑NF5266G7、NF5180G7等存储服务PG电竞官网产品，搭建了大容量、高性能、高可靠的多层存储解决方案，成功构建了50PB对象存储数据，10PB全闪文件存储数据的资源池，全闪性能可伴随节点数量增加而线性增加，存储带宽可达6TB/秒，IOPS达到亿级。面对万亿参数模型，90天的单训练周期GPU等待时间从7天减少到1天，加速释放人工智能创新潜能。

助力智算中心AI大模型数据存储

智算中心建设PG电竞下，海量数据的存储成为新热点

据统计，2024年中国智算中心新建/改造项目超过196个，与智算相关的公开可见招标，超过1400个，多个城市正在推动人工智能算力新高地建设，发力智算中心建设与扩容。

以某地区智算中心为例，为加速大模型训练和推理业务赋能千行百业的创新涌现，智算中心构建了大规模GPU集群，但随着模型参数规�：褪萘康募ぴ�，大规模GPU在运行中逐渐暴露出利用率较低的问题。其中一个原因就在于数据瓶颈：AI大模型训练所需的数据无法高效地传输到GPU，导致GPUPG电竞官网资源出现空闲浪费。为了解决数据移动和PG电竞官网效率低造成的GPU空闲问题，针对数据在不同AI负载阶段如何流转的研究，成为当前AI大模型领域的热点。

数据预处理：智算中心存储的几十甚至上百PB级规模的海量数据要转换为训练样本，需要清洗、标注、过滤等，会耗费大量PG电竞官网资源和时间，但最终可能仅有小部分数据被使用，这造成了严重的效率瓶颈，需要大容量、PG电竞官网能力强的存储服务PG电竞官网，来应对极大规模的原始数据处理。斯坦福大学、Meta公司和某超大规模云PG电竞官网平台就通过研究揭示了一个重要发现：即使是在高密度GPU集群中，由于负责预处理工作负载的存储服务PG电竞官网无法及时供给足够的训练样本数据，GPU经常会处于空闲状态。

模型训练：训练过程中，需要将拥有万亿参数的模型和数据批次从存储加载到GPU。这涉及高效的权重和参数更新，对存储读写速度和带宽有很高的要求。同时，频繁的Checkpoint操作，也增加了存储的负担。对于一个万亿参数规模的模型，要求具备能处理数十PB级数据的强大存储基础设施，带宽至少2TB/秒的吞吐，上亿级IOPS。

模型推理与归集：推理阶段，AI大模型应用对延迟要求极高，并且通常需要处理大量并发请求，尤其在线服务、推荐系统等。AI推理后还会产生大量新的数据，包括训练数据、模型文件、日志等，这些数据的归档需要高容量、低成本的存储作为支撑。

元脑服务PG电竞官网构建多层存储方案，加速万亿参数模型训练

为应对自动驾驶、生命科学、金融交易、代码生成等多样化的AI大模型训练场景的数据存储挑战，智算中心采用上百台元脑NF5266G7、NF5180G7、NF5476G7存储服务PG电竞官网等构成的多层AI存储解决方案，构建10PB全闪文件存储和50PB混闪对象存储的AI存储资源池，为AI大模型训练提供大容量、高性能、高可靠的存储能力支撑。

在多层AI存储方案中，NF5266G7 作为数据预处理节点，业界最高存算密度，加速海量的文本、视频等异构数据到训练样本的转换效率，确保数据能够存得多且算得快，让AI大模型的数据预处理效率提升1倍以上。针对AI大模型训练的数据高吞吐需求，以NF5180G7 作全闪文件存储节点，业界最高性能并行存储服务PG电竞官网，32个E1.S直连存储矩阵，单机性能达到千万IOPS，无惧小文件读写难题，实现TB级训练数据Checkpoint读取耗时从10分钟缩短至10秒内。在数据归集过程中，以NF5476G7 构建混闪对象存储资源，业界领先大存储容量4U60存储服务PG电竞官网设计，极具存储性价比，TCO降低12%。

元脑服务PG电竞官网构建多层存储方案

数据预处理，效率提升一倍。智算中心以元脑NF5266G7存储服务PG电竞官网搭建分布式混闪资源池，可以大幅降低AI大模型数据预处理过程中的资源争用并提升系统吞吐量，PB级数据预处理效率提升一倍。NF5266G7在2U空间可搭配高性能的CPU，24块存储大盘和8块NVMe(U.2或E1.S接口)，支持最高128个算力核心，PG电竞官网性能提升60%，带宽可达百GB网络，可提供HDD:SSD数量3:1，采用NVMe作为缓存，大幅提升海量异构数据的处理效率，满足预处理阶段PB级数据清洗、过滤等过程中的大量PG电竞官网和存储资源需求。

模型训练，断点续训时间缩短1min以内。智算中心采用以NF5180G7为核心的元脑服务PG电竞官网，构建了10PB的分布式全闪存储资源，全闪训练池存储带宽6TB/秒，吞吐量5亿IOPS，满足大规模参数和数据频繁读取写入的需求。NF5180G7作为全闪文件存储节点，在1U空间最大支持32个E1.S SSD全闪存储与CPU直连，最大限度地提高 CPU 和存储之间的吞吐量，存储带宽和IOPS超过业界平均水平33%以上，且全闪性能可伴随节点数量增加而线性增加，万亿参数模型下断点续训时间可以实现在1min内，90天的单训练周期GPU等待时间从7天减少到1天。

数据归集，TCO降低12%。智算中心基于元脑服务PG电竞官网NF5476G7搭建了50PB的海量混闪资源池，实现对文本、图像、视频及其他各种数据类型的高效归集。NF5476G7单节点支持PB级别以上存储容量，单PB 大文件读（TCP）≥5GB/s性能，不仅保障海量视频流、图片、文件等原始数据存储需求，提升访问速度和效率，还拥有极高的存储性价比。

同时，基于元脑服务PG电竞官网打造的多层存储方案还具备高可用、智能运维、高安全等特点，通过智能诊断、设备秒级一键报修、内存故障预警MUPR2.0、硬盘寿命预警等技术，显著降低系统故障率，提升存储的持续运行能力。

如今，该智算中心已形成了高效的数据流转能力，大幅降低了GPUPG电竞官网空闲时间。随着AI时代数据中心PG电竞官网资源的持续增长，PG电竞信息将与更多智算中心持续深入合作，解决大规模AI基础设施建设面临的PG电竞官网、存储、网络等系统问题，推动AIGC在千行百业的落地与应用。

相关信息

售前咨询

售后服务

意见反馈

AIStore

回到顶部

回到顶部

收起
回到顶部 回到顶部
请选择服务项目
售前咨询
更多联系方式>>
售后服务
更多联系方式>>
访问 AIStore

扫码访问AIStore

【网站地图】【sitemap】