第一，历史上最快的大模型诞生了
一觉醒来，AI圈又变天了。
在消化了Sora带来的冲击之前，另一家硅谷初创公司以历史上最快的大模型和自主研发的芯片LPU占据了热门搜索。
就在昨天，人工智能芯片制造商Groq（不是马斯克的Gork）开放了自己产品的免费试用。与其他人工智能聊天机器人相比，Groq闪电响应速度迅速引爆了互联网讨论。经过网民测试，Groq每秒生成近500 tok/s，碾压GPT-4的40 tok/s。
但需要强调的是，Groq并没有开发出新的模型，它只是一个模型启动器，开源模型Mixtral运行在主页上 8x7B-32k和Llama 270B-4k。
来自驱动模型的硬件Groq并没有使用英伟达的GPU，而是开发了一种新型的AI芯片——LPU（Language Processing Units）。
每秒500 tokens，写论文比眨眼快
LPU最突出的特点是速度快。
Groq根据2024年1月的测试结果 LPU驱动Meta Llama 2模型，推理性能遥遥领先，是顶级云计算供应商的18倍。
前一篇文章提到，Groq LPU搭配Meta Llama 2 70B可以在7分钟内生成与莎士比亚哈姆雷特相同数量的单词，比普通人快75倍。
如下图所示，一些推特网民问了一个与市场营销相关的专业问题，Groq在四秒钟内输出了成千上万个单词。
还有网友同时测试Gemini、GPT-代码调试问题与Groq完成。
因此，Groq的输出速度是Gemini的10倍，是GPT-4的18倍。
Groq在速度上打击了其他AI模型的降维
二，LPU，英伟达GPU的挑战者？
Groq还没有开发出新的模型，它只是使用了不同的芯片。
根据Groq官网的介绍，LPU是专门为AI推理设计的芯片。GPU驱动，包括GPT等主流大型模型，是一种图形渲染并行处理器，有数百个核心，LPU架构不同于GPUSIMD（单指令、多数据），该设计可以使芯片更有效地利用每个时钟周期，确保一致的延迟和吞吐量，也减少了对复杂调度硬件的需求：
GroqLPU推理引擎不是一个普通的处理单元；它是一个端到端系统，为需要大量计算和连续处理的应用程序（如LLM）提供最快的推理。LPU推理引擎的性能比传统GPU高出几个数量级，以消除外部内存瓶颈。
简单地说，对用户来说，最直观的体验就是“快”。
使用过GPT的读者必须知道等待大模型一个接一个地吐出字符是多么痛苦，而LPU驱动的大模型基本上可以实时响应。
三、技术介绍
Groq没有走GPU路线，而是创造了世界上第一个LPU路线（anguage）PU方案。
2)简化设计:LPU是一种新型的端到端处理单元系统，不同于 GPU SIMD(单指令、多数据)模型采用更简洁的方法消除了对复杂调度硬件的需求。该设计允许有效地利用每个时钟周期，以确保一致的延迟和吞吐量。
3)擅长LLM：LPU可以为具有序列组件的计算密集型应用程序（如LLM）提供快速的推理速度。LPU的核心意义是克服两个LLM瓶颈——计算密度和内存带宽。
Groq芯片采用14nm工艺，配备230MBSRAM，保证内存带宽，内存带宽达到80TB/s。
Gorq芯片的整型(8位)运算速度为750TOPS，浮点(16位)运算速度为188TFLOPS。
与需要依赖高速数据传输的英伟达GPU不同，GroQLPU在其系统中没有使用高带宽存储器（HBM）。它使用SRAM，比GPU使用的存储器快20倍左右。
鉴于人工智能的推理计算，GroQLPU比模型训练所需的数据量更节能。在执行推理任务时，它从外部内存中读取的数据较少，消耗的电量也低于英伟达的GPU。
相关概念股：北京君正、纳思达、中电港、光力科技、C华微等。
特别是北京君正，其控股北京硅业务实体主要是ISSI，ISS主要业务是集成电路存储芯片、模拟芯片及其衍生产品的研发和销售，产品主要用于汽车电子、工业制造和通信设备行业，是全球DRAM和SRAM行业领导者之一。
兆易创新:是中国的存储芯片和芯片 MCU 领军企业。公司成立于 2005 年，于 2016 年在上 交所主板上市。以兆易创新产品 SRAM 开始，然后扩展到 NOR FLASH、MCU、NAND FLASH、DRAM 而传感器领域，目前是世界第三，国内第一 NOR Flash 供应商， 累计出货超 212 亿颗。公司连续 7 年位居国内 32 位 MCU 制造商第一，GD32 系列累 计出货量超 13 目前，它在世界上排名第一 7。公司拥有丰富的产品和平台布局 旅游消费、工业、汽车、安全等领域，并进入华为、苹果、三星等知名客户 应链。
西方测试：根据公司招股说明书，EEPROM可以通过电子元器件的检测和筛选来实现、SRAM、NOR fl ash等存储芯片读写擦除功能的自动测试提高了存储芯片的测试效率，接近思科瑞的水平。2024年1月30日，公司有能力为低空飞机测试提供部分测试。
航宇微：sram+卫星互联网；
新亚电子：SRAM+5.5.5G。
