专家背景介绍:AI
2023-11-18 09:34:03
描述
专家背景介绍:AI 目前主要是公共大模型、企业大模型和个人端侧模型,类似于公共大模型 OPEN AI 在巨头的参与下,企业大模型是我们常说的行业垂直模型,用于行业的具体需求,大模型具有一定的定制特征;个人侧模型是我们最近谈到
[本文共字,阅读完需要分钟]

专家背景介绍:AI 目前主要是公共大模型、企业大模型和个人端侧模型,类似于公共大模型 OPEN AI 在巨头的参与下,企业大模型是我们常说的行业垂直模型,用于行业的具体需求,大模型具有一定的定制特征;个人侧模型是我们最近谈到的 AI-PC 或者 AI 手机,是个人 Agent,最近 Intel、高通芯片制造商和DELLL、联想、小米 OPPP 会有相关行动,明年上半年会看到。 AI-PC、以及手机的商业化。

大模型与向量数据库的结合主要体现在提高推理效率上,类似于人脑,存储相关数据知识 知识,解决短期失忆的问题;目前,无论是公共云模型、企业垂直模型,甚至是端边的个人 AGENT 都需要向量数据库的支持,但技术侧重点不同,公共模型主要侧重于查询效率,端侧模型主要是性能功耗比。

Q:目前向量数据库是商业化的,市场空间怎么看?

A:国外向量数据库已经非常流行,国内刚刚与大型商业推广逐渐合作,目前主要是开源和商业套件;公共大型模型主要是自己做的,商业套件,目前主要是星环技术做得更好,我听说已经和微软做了 POC 测试;未来微软模型国内企业端落地,星环可提供,针对上述企业端(垂直) 类)模型。据了解,市场空间已经给了很多金融客户 POC,价格大约是一个节点 20 万,一般证券公司 10-20 一个节点;通常 300-400 万/中型企业,未来将伴随企业端 AI 深入应用,存在扩容。

Q:云自己做,那么企业端的市场空间,如何看星环呢?

A:他们和微软已经制作了星环 POC 测试,据说 12 本月应能通过,后企业端大模型微软应占有较大份额,目前企业端已备案,可使用。由于向量数据库对企业数据比较敏感,会选择国内厂商,星环有很大的优势。具体的市场空间,企业 300-400 未来不亚于传统数据库的投资和市场空间 500 计算1亿元,商业套件的比例为1亿元 星环市占40%-50%, 30%的话,应该是 50 超过1亿的收入空间可以触及。

Q:公共大模型星环做吗?

A:目前云公共大模型都是基于开源的大模型公司做的,不涉及星环;星环前几天和星环 Intel 在服务器上,合作也是基于企业端模型 CPU 优化向量数据库的计算效率。由于个人端侧模型的原因,以后会切入个人端侧模型。 Intel 在 AI-PC 上述战略重点也在与星环谈合作。

Q :您说的 AI-PC 端侧模型,Intel 和星环说话?

A:是的,星环公司董事长是技术背景,也是 Intel 研究院出来的,和 Intel合作一直非常紧密,前几天数据中心层面的合作已经落地。PC 市场一直是 WINTEL系统架构,星环和 Intel 以前和微软合作过,现在正在研发 PC 对端向量数据库进行系统优化。

Q:企业端的商业模式比较清晰,如何看待端侧的大模型?

A:端侧主要由操作系统制造商或大型模型制造商进行优化,需要对芯片进行优化和适应。目前,星环的向量数据库是基于容器缩小版本的。未来,由于计算能力不足,向量数据库可以解决数据记忆问题,提高推理效率,端侧对向量数据库的要求更高,刚性需求更强。

Q:商业模式?

A:目前,在开发和谈判中,一般来说,它是授权的,这可能类似于许多海外黑莓中间部件的授权。一台电脑或手机大约需要几十美元。一般来说,它是这样谈论的。记录私人圈