英伟达推出H200,人工智能再次加速!
在今天美国股市开盘前,英伟达投资者关系官方网站宣布推出NVIDIA HGX H200用于生成人工智能和高性能计算工作负载。此前,市场预计H200产品将于24年发布,H200的发布显然超出了预期。
HBM3e首次用于H200,可以加速生成 AI 和大型语言模型,4.8TB/s速度提供 141GB 内存,与A100 相比之下,容量几乎翻了一番,带宽增加了 2.4 倍。H200将于2024Q2正式发货。
英伟达表示,与H100相比,训练700亿参数的Llama2模型的速度几乎翻了一番。预计未来的软件更新将为H200带来更多额外的性能优势。H200与H100的硬件和软件兼容,可与GH200兼容。
点评:从计算能力的角度来看,H200与H100几乎相同。本次升级的主要原因是HBM3e。相应的带宽改进直接提高了大模型训练效果,再次证实了打破“通信墙”的重要性。
计算核心环节光通信:中际旭创、新易盛、天府通信、源杰科技、太辰光、腾景科技、盛科通信等。 仅供参考的网络