商汤:人工智能推理计算能力需求如火如荼
2024-04-25 09:46:35
描述
华福证券:商汤4月23日推出日新sensenova 基于10TBB系统的5.0多个模型系统 tokens训练,综合能力“全面标杆GPT-4 Turbo”长文+多模态趋势确认,人工智能推理计算能力需求如火如荼【长文本】趋势确认,AI推理侧标配200K。日
[本文共字,阅读完需要分钟]

华福证券:商汤4月23日推出日新sensenova 基于10TBB系统的5.0多个模型系统 tokens训练,综合能力“全面标杆GPT-4 Turbo”

长文+多模态趋势确认,人工智能推理计算能力需求如火如荼

【长文本】趋势确认,AI推理侧标配200K。日新5.0推理时上下文窗口可以有效到达 200K Kimi约20万字(约250K),Claude3为200K,GPT-4 128KKTurbo

日新5.0增[多模态]交互能力,支持高清长图分析理解和文生图交互生成

参数继续爆发,人工智能训练继续支持计算能芯片的运输

人工智能训练对计算能芯片的需求并没有减少。5.0个模型达到6000亿参数。据澎湃新闻报道,训练100亿参数的模型大约需要10830个英伟达A100 GPU。若线性外推,H1000 大型GPU训练参数6000亿元,大约需要18940个H1000亿元 GPU

继续看好国产算力芯片的渗透。根据2023年年报,Sensecore大型商汤基础设施大装置总算力突破性增长至1.2万 petaFLOPS,GPU数量达到4.5万卡,其中国产计算能力为2000P,国产化率约为17%

人工智能大模型加速竞争,人工智能训练侧计算能力需求层出不穷

上周(4.18)Meta推出了基于15ttoken的最强开源LLaMA-3模型,包括8B和70B版本,以及400B+参数版本的持续训练

此前(3.19)OpenAI 首席执行官披露GPT-5性能改进或超出预期,一系列重要产品需要发布

产业链相关公司:

- CPU/GPU:寒武纪海光信息

- 服务器:工业富联

-PCB:上海电力有限公司盛宏科技有限公司

- 铜链接沃尔核材精达股份等