群众AI算力竞赛出现首要本事拐点！

近日，谷歌公布的全新AI內存压缩本事“TurboQuant”，激发了业界的极大热诚。该本事声称能在不葬送模子精确度的前提下，将生成式AI推理阶段最吃资源的“键值缓存”（KV Cache）空间需求减少到原来的1/6，并让贪图速率暴增8倍。这一打破性的本事，也激发了统统这个词商场关于内存需求将断崖式下落的担忧，好意思光、Sandisk、西部数据等存储关连好意思股纷繁大跌。

TurboQuant究竟是什么？

在LLM（大谈话模子）推理进程中，为了处理长文本，系统必须将过往对话信息存放在KV Cache中，这如同AI的“随身条记本”。跟着对话长度加多，这本条记本需要存储的信息会赶紧挤爆AI GPU的高频宽內存（HBM），成为AI开首的最大瓶颈。

谷歌的TurboQuant本事的中枢上风在于贬责了传统内存压缩本事产生的“內存噪声”（Overhead）。该本事由两大关节部分构成：

PolarQuant（极坐标量化）：传统向量以XYZ坐标标注，运算繁琐。谷歌改为领受“极坐标”逻辑，将复杂的办法简化为“半径”与“角度”。这好比将原来要标记“往东走3公里、再往北走4公里”的信息，简化为“以37度角走5公里”。这种几何结构的调遣，大幅减少了数据处理的负荷。

QJL（Quantized Johnson-Lindenstrauss）：这是一套极其精简的1bit数学改良机制。仅哄骗荒谬的1bit来精确修正压缩进程中的残余纰谬，让模子即使被压缩到仅剩3bit，在LongBench等多项基准测试中仍能终了“零精度赔本”。

谷歌采用将这套足以成为中枢竞争力的本事皆备开源，不仅优化了Gemini等大型模子的检索后果，更为其他大模子减少关于内存依赖，加快端侧AI发展铺平谈路。

证实实测，在英伟达（NVIDIA）H100加快器上，TurboQuant比较未压缩决议，性能最高进步了8倍，且无用从头查验模子即可径直挂载，号称AI部署的降本增效的“神兵利器”。

Cloudflare首席实践官Matthew Prince等东谈主将TurboQuant称为谷歌的“DeepSeek时代”，合计其有望像DeepSeek相似，通过极高的后果收益大幅拉低AI的开首资本，同期在收尾上保握竞争力。

内存需求会裁减，仍是会带来更大需求？

针对TurboQuant本事会激发了统统这个词商场关于内存需求断崖式下落的担忧，产业大师与询查机构也给出了截然有异的想法：

富国银行（Wells Fargo）分析师Andrew Rocha指出：“当context window（障碍文窗口）越来越大，KV Cache的爆炸性成长原来是推升內存需求的保证。但TurboQuant正在径直报复这条资本弧线，一朝被深广领受，数据中心对內存容量的规格条目将被打上大问号。”

不外，著明投行摩根士丹利（Morgan Stanley）和询查机构Lynx Equity Strategies则给出了截然有异的不雅点，

摩根士丹利合计商场可能疏远了“后果进步带动总量增长”的经济规章。当AI贪图所需的内存资本裁减到原来的1/6，这将会使得原来因内存太贵而无法上线的AI应用（如长文本翻译、复杂代码生成）需求大规模爆发，反而会填补、以至越过被压缩掉的内存缺口。

这即是杰文斯悖论（Jevon's paradox），即当本事越过提高了使用资源的后果（减少任何一种使用所需的数目），但资本裁减导致需求加多，令资源奢侈的速率不减反增。

摩根士丹利分析师约瑟夫·摩尔（Joseph Moore）过火团队在周四发布的投资者呈报中指出： “有报谈称谷歌的TurboQuant会导致内存使用量减少了到原来的1/6，但这忽略了他们只是指的是KV Cache，而不是全体内存使用量。

“值得注目的是，谷歌的 Gemini 3 和 2.5 Pro 模子都领有 100 万个Token的障碍文窗口，但谷歌曾清晰，他们使用 Gemini 1.5 Pro 测试过高达 1000 万个Token的障碍文窗口，并得到了相配好的收尾，但由于推理资本较高，他们最终莫得发布该模子，”摩尔说谈。“因此，咱们瞻望，跟着此类改进以过火他本事的出现，资本将会裁减，这项本事将被用于职业于更智能、贪图密集型的居品。”

摩根士丹利进一步指出，TurboQuant主要优化的是“推理阶段”的缓存，并非“查验阶段”的模子权重。因此，关于撑握AI中枢查验的HBM（高频宽內存）采购逻辑影响相对有限。

比较之下，TurboQuant敌手机、条记本电脑等结尾开发的东谈主工智能部署更具意旨。由于出动开发的內存有限，这类高效压缩本事能让更庞大的AI模子在手机端开首，这反而会刺激种种结尾装配进行內存规格的全面换代。

Lynx Equity Strategies 的不雅点合计，固然东谈主工智能提供商需要改进来贬责推理中跟着Token障碍文长度加多而出现的瓶颈问题，但由于供应抑遏，这在昔时三到五年内并不会减少对内存和闪存的需求。

裁剪：芯智讯-浪客剑尊龙体育网