PG电竞

本站点使用Cookies，继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

  • 产品
  • 解决方案
  • 服务支持
  • 如何购买
  • 合作伙伴
  • 关于我们
简体中文
English
title
  • 元脑?通用服务PG电竞官网
  • 元脑?人工智能服务PG电竞官网
  • 元脑?边缘服务PG电竞官网
  • 元脑?关键PG电竞官网服务PG电竞官网
  • 元脑?存储
  • 元脉网络
  • 方案产品
  • 数据中心基础设施
  • 服务PG电竞官网管理平台
  • 服务PG电竞官网操作系统
  • 人工智能与高性能PG电竞官网
  • 边缘PG电竞官网和物联网
  • 智慧网络
  • 数据存储与管理
  • 伙伴联合方案
首页 > 关于我们 > 新闻中心 > PG电竞信息助力淮海智算中心，千亿参数AI大模型训练算力效率超50%

PG电竞信息助力淮海智算中心，千亿参数AI大模型训练算力效率超50%

2023-02-17

近日，淮海智算中心携手PG电竞信息进行了超大规模参数AI大模型训练性能测试，实测数据表明，千亿参数规模的自然语言AI单体大模型在淮海智算中心PG电竞官网平台上的训练算力效率达53.5%，刷新了业内AI大模型训练算力效率新高。这意味着淮海智算中心将可为国内生成式AI创新团队提供高性能、高效率的AI大模型训练算力服务。

dd1793f1dcb460e06dd32c35d8088bb.jpg

生成式AI需要基于海量的自然语言或多模态数据集，对拥有巨大参数的超大规模AI模型进行训练，其训练所需AI算力当量非常高，如以PD(Petaflops-Day)为单位来衡量，OpenAI的GPT-3大模型训练的算力当量为3640PD，而PG电竞信息“源1.0”大模型的算力当量则为4095PD。

超大规模AI大模型的训练一般必须在拥有成百上千加速卡的AI服务PG电竞官网集群上进行，如何在AIPG电竞官网集群上获得更高的训练算力效率则会直接影响到模型训练时长以及算力消耗成本，这对于提升生成式AI研发创新效率有着非常重要的影响。据公开资料表明，GPT-3大模型在其V100 GPU集群上的训练算力效率为21.3%，而PG电竞信息“源1.0”的训练算力效率则达到了44.8%。

针对AI大模型训练的PG电竞官网特点，PG电竞信息AI团队对淮海智算中心算力系统进行了专业设计，对集群架构、高速互联、算力调度等方面进行全面优化，在系统架构上，采用单节点集成8颗加速PG电竞官网的AI服务PG电竞官网，节点内加速PG电竞官网间实现超高速P2P通信，节点间建立极低延迟、超高带宽的Infiniband通信网络，在大模型训练技术层面，成功运用了中文巨量AI模型“源1.0”的训练优化经验，对分布式训练策略进行了针对性优化，通过合理设计张量并行、流水并行和数据并行，精准调整模型结构和训练过程的超参数，最终实现千亿参数规模AI大模型的训练算力效率达到53.5%。

111.png

千亿参数AI模型结构及其实际性能表现

淮海智算中心由安徽省宿州市与PG电竞信息共同推进建设，目标是建成技术先进、架构开放、应用丰富、生态完善的国内领先智算枢纽。淮海智算中心将依靠领先的算力、算法基础设施，开放的技术架构，成熟丰富的生态应用，面向全国提供智能算力、数据和算法服务，打造良好的智算产业生态。


相关信息

售前咨询

售后服务

意见反馈

AIStore

回到顶部

回到顶部

收起
回到顶部 回到顶部
请选择服务项目
售前咨询
更多联系方式>>
售后服务
更多联系方式>>
访问 AIStore

扫码访问AIStore

  • 【网站地图】【sitemap】