AMD正式发布MI300X、MI300A人工智能处理器:赶超英伟达H100

AMD正式发布MI300X、MI300A人工智能处理器:赶超英伟达H100

AMD正式发布MI300X、MI300A两款人工智能处理器,在部分性能和能效上赶超英伟达H100。以下是详细介绍:

搭载304 CU、192GB HBM3显存、5.3TB/s带宽、256MB无限缓存(Infinity Cache)作为共享L3级高速缓存。

I/O方面,提供7×16第四代Infinity Fabric总线,处理器之间吞吐量可达896 GB/s,总功耗可达750W。

人工智能推理工作性能是英伟达H100的1.6倍,人工智能训练时性能与H100相当。

使用同样由8颗GPU组成的MI300X、H100 HGX计算平台对比,MI300X可提供高达1.5TB的HBM3存储容量,峰值性能10.4 PFlops(BF16/FP16),比H100平台提高1.3倍。

运行Bloom 1760亿参数大语言模型时,性能是H100的1.6倍;700亿参数Liama 2大模型性能达到1.4倍,多种通用LLM模型表现均超过H100平台。进行MPT 300亿参数模型训练时,表现与H100几乎一致。

配备400G高速网络连接,支持多种网卡。

系统基于开放计算项目(OCP)和通用底板(UBB)设计标准构建,简化超大规模服务器集群建设过程。

拥有228 CU GPU、24核CPU,共计128GB HBM3存储,256MB无限缓存(Infinity Cache),HBM带宽同样为5.3TB/s。

I/O连接性能方面,同时拥有4×16第四代Infinity Fabric总线、4×16 PCIe 5通道。

默认TDP为350W,最高可配置为760W,支持在CPU、GPU之间动态分配功率。

采用AMD标准的LGA6096插座,但在电气方面与EPYC处理器并不兼容。

MI300A平台OpenFOAM测试成绩是英伟达H100的四倍,与GH200超级芯片相比,每瓦性能达到2倍,运行多种跑分测试时均小幅超过H100平台。

是世界首款专用于HPC和AI的数据中心APU,用途广泛,能效是上一代MI250X的1.9倍。

便于训练最新的AI大模型,AMD正在进行创新以实现能效30×25目标,即在2020 - 2025年期间将服务器处理器、AI加速器的能效提升30倍。

戴尔、HPE慧与、联想、Meta、微软、甲骨文、超微以及其它AMD的合作伙伴,即日起都将采用MI300系列产品,构建AI数据中心解决方案。