奋斗
努力

盘古大模型用的什么服务器?

云计算

华为的盘古大模型主要运行在华为自研的昇腾(Ascend)AI芯片和鲲鹏(Kunpeng)处理器支持的服务器上,具体硬件和架构信息如下:

1. 昇腾AI芯片

  • Ascend 910:华为自研的高性能AI训练芯片,采用7nm工艺,支持全场景AI计算(训练+推理),单卡算力达256TOPS(FP16)。盘古大模型的训练主要依赖昇腾910集群。
  • 昇腾集群:通过华为的Atlas 900 AI计算平台(由数千颗昇腾910组成)提供大规模分布式训练能力,支持千卡级并行计算。

2. 鲲鹏处理器

  • 部分服务器可能搭载华为的鲲鹏920 CPU(基于ARM架构),用于通用计算和资源调度,与昇腾芯片协同工作。

3. 服务器型号

  • Atlas 900 PoD(Platform on Demand):模块化设计的AI训练集群,集成昇腾910、高速互联网络(如华为自研的HCCL通信库)和液冷散热技术。
  • TaiShan服务器:基于鲲鹏处理器的通用服务器,可能用于数据处理或推理场景。

4. 软件栈

  • MindSpore:华为自研的AI框架,深度优化昇腾硬件,支持分布式训练和自动并行技术,是盘古大模型的核心开发工具。
  • CANN(Compute Architecture for Neural Networks):昇腾芯片的底层计算引擎,提供算子提速和资源管理。

5. 网络与存储

  • 高速RDMA网络:通过华为CloudEngine交换机实现低延迟通信,提升多节点训练效率。
  • OceanStor存储:支持海量数据的高吞吐访问,满足大模型训练需求。

与其他大模型的对比

  • 不同于英伟达(NVIDIA)A100/H100的GPU方案,华为采用“国产化”技术栈(昇腾+MindSpore),强调自主可控。
  • 类似谷歌TPU+TensorFlow或微软Azure+英伟达的方案,但华为从芯片到框架均为自研。

总结

盘古大模型的服务器核心是昇腾910集群(如Atlas 900),搭配鲲鹏CPU、MindSpore框架及高速网络,形成全栈国产化AI解决方案。具体部署可能根据训练/推理需求调整硬件配置。

未经允许不得转载:云服务器 » 盘古大模型用的什么服务器?