一个1000亿级的大模型最重要的是技术秘密
2023-12-03 12:26:04
描述
天宫大模型以周为单位快速迭代,先后发布了3B大模型、13B大模型、70B大模型。我们希望端推理将有更大的应用空间。未来,主要使用模型必须是可以在手机侧推理的模型,这是大模型能力的突破。天宫人工智能搜索是中国第一个大
[本文共字,阅读完需要分钟]

天宫大模型以周为单位快速迭代,先后发布了3B大模型、13B大模型、70B大模型。我们希望端推理将有更大的应用空间。未来,主要使用模型必须是可以在手机侧推理的模型,这是大模型能力的突破。天宫人工智能搜索是中国第一个大型搜索引擎,可以一键准确获取。将原本需要5-10分钟的检索、归纳、总结压缩到4-5秒,对用户来说效率提高了50倍。在人工智能音乐方面,我们做的是全过程闭环。例如,你写一个标题,哼一个短旋律。人工智能可以自动创作单词、作曲、表演、演唱和最终合成你输入的单词,而不需要任何音乐背景知识,你也可以生产专业级的完整歌曲。在现实生活中,我们已经着陆了。在人工智能漫画方面,我们进行了大约一年的技术预测研究,在多场景、多角色和一次性控制方面进行了深入的积累。目前,它是世界上最领先的漫画制作工具,在海外测试过程中非常受用户欢迎。当GPT3于2020年出来时,我们很快意识到AIGC将是一个非常大的里程碑。2021年开始铺计算能力,培养出参数140亿的大模型,成立了专门从事音乐生成的团队;2022年春节,内部召开战略会议,提出All in AIGC的口号;2022年底12月,疫情刚刚开放时,我们就发布了开源项目。事实上,当时ChatGPT还没有着火。对于像我们这样的中型互联网公司来说,我们比行业同行做得早一点。我们最初选择的是GPT路线,当时没有开源框架可供参考,所以我们沿着GPT路线努力工作了三年。我们最初选择的是GPT路线,当时没有开源框架可供参考,所以我们沿着GPT路线努力工作了3年。在国内制造商中,它相对非常早。当时,Bert的研究是主流路线。天宫大模型是一个通用的大模型,但如果你想登陆每个行业,你必须应用相应的专有模型。因此,在天宫大模型的基础上,还培养了3D生成模型、图像生成模型、视频生成模型、音乐生成模型等专有模型。目前,除人工智能搜索外,海外市场还测试了人工智能音乐、人工智能动画、人工智能社交网络和人工智能游戏等产品。任何大型企业都应该考虑商业化,这是很正常的。事实上,最重要的是底座大模型。对我们来说,一个1000亿级的大模型最重要的是技术秘密。在此基础上训练出许多小型模型开源供大家使用,完全没有问题。天行健jxp