马斯克混合专家开源3140亿参数(MoE)模型“Grok
2024-03-19 09:34:05
描述
事件:马斯克旗下的大型模型公司XAI宣布,混合专家正式开源3140亿参数(MoE)模型「Grok-1」,以及该模型的权重和网络架构,Grok-1成为目前参数最大的开源大语言模型。Grok-1模型细节包括:(1)基础模型基于大量文本数据进行培训,不
[本文共字,阅读完需要分钟]

事件:马斯克旗下的大型模型公司XAI宣布,混合专家正式开源3140亿参数(MoE)模型「Grok-1」,以及该模型的权重和网络架构,Grok-1成为目前参数最大的开源大语言模型。

Grok-1模型细节包括:

(1)基础模型基于大量文本数据进行培训,不对任何具体任务进行微调;

(2)3140亿参数的Moe模型在给定token上的激活权重为25%;

(3)2023年10月,由JAX库和Rust语言组成的XAI自定义训练堆栈从零开始训练。

最近,Figure在与OpenAI合作13天后发布了机器人的最新视频。在视频中,OpenAI将其端到端的大语言视觉模型移植到Figure。 01上,Figure 01能够1)理解和区分面前的场景对象;2)区分苹果和一堆纸;3)理解自己行为的目的;4)判断下一个响应动作;5)评估自己的行为;6)手指足够灵活,动作快。就目前的情况而言,我们认为人形机器人有望打开C端市场。

#投资建议

1)高确定性:主机厂:【优必选】【博实股份】;总成【拓普集团】【三花智控】;部分环节龙头【鸣志电器】【绿色谐波】【双环传动】【柯力传感】等

2)高壁垒和价值:【北特科技】【贝斯特】【鼎智科技】【伟创电气】【步科股份】等

3)可能的增量:【东华测试】【安培龙】【申浩科技】【亿嘉和】【中研股份】【新汉新材料】等

来源:浙商证券