华为的盘古大模型主要运行在华为自研的昇腾(Ascend)AI芯片和鲲鹏(Kunpeng)处理器支持的服务器上,具体硬件和架构信息如下:
1. 昇腾AI芯片
- Ascend 910:华为自研的高性能AI训练芯片,采用7nm工艺,支持全场景AI计算(训练+推理),单卡算力达256TOPS(FP16)。盘古大模型的训练主要依赖昇腾910集群。
- 昇腾集群:通过华为的Atlas 900 AI计算平台(由数千颗昇腾910组成)提供大规模分布式训练能力,支持千卡级并行计算。
2. 鲲鹏处理器
- 部分服务器可能搭载华为的鲲鹏920 CPU(基于ARM架构),用于通用计算和资源调度,与昇腾芯片协同工作。
3. 服务器型号
- Atlas 900 PoD(Platform on Demand):模块化设计的AI训练集群,集成昇腾910、高速互联网络(如华为自研的HCCL通信库)和液冷散热技术。
- TaiShan服务器:基于鲲鹏处理器的通用服务器,可能用于数据处理或推理场景。
4. 软件栈
- MindSpore:华为自研的AI框架,深度优化昇腾硬件,支持分布式训练和自动并行技术,是盘古大模型的核心开发工具。
- CANN(Compute Architecture for Neural Networks):昇腾芯片的底层计算引擎,提供算子提速和资源管理。
5. 网络与存储
- 高速RDMA网络:通过华为CloudEngine交换机实现低延迟通信,提升多节点训练效率。
- OceanStor存储:支持海量数据的高吞吐访问,满足大模型训练需求。
与其他大模型的对比
- 不同于英伟达(NVIDIA)A100/H100的GPU方案,华为采用“国产化”技术栈(昇腾+MindSpore),强调自主可控。
- 类似谷歌TPU+TensorFlow或微软Azure+英伟达的方案,但华为从芯片到框架均为自研。
总结
盘古大模型的服务器核心是昇腾910集群(如Atlas 900),搭配鲲鹏CPU、MindSpore框架及高速网络,形成全栈国产化AI解决方案。具体部署可能根据训练/推理需求调整硬件配置。
云服务器