谷歌发布TurboQuant算法:3 bit量化KV缓存无精度损失,推理速度最高提升8倍

GateNews

Gate News 消息,3月25日,谷歌研究院发布量化压缩算法TurboQuant,可将大语言模型的KV缓存压缩至3 bit,内存占用缩减至少6倍,无需训练或微调,不损失模型精度。在4 bit模式下,于英伟达H100 GPU上计算注意力的速度较32 bit未量化基线提升最高8倍。研究团队在LongBench、Needle In A Haystack、ZeroSCROLLS等长上下文基准上使用Gemma和Mistral模型进行验证,TurboQuant在所有测试中均达到最优表现。该算法由两个子算法组成:PolarQuant通过极坐标变换消除传统量化方法的内存开销,QJL仅用1 bit校正残余误差。该研究由谷歌研究院Amir Zandieh和副总裁兼Google Fellow Vahab Mirrokni主导,与韩国KAIST和纽约大学合作完成,将在ICLR 2026上发表。谷歌表示该技术的主要应用之一是解决Gemini等模型的KV缓存瓶颈。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Sequans 在 2026 年第一季度出售 1,025 比特币,持仓几乎减半

据 BlockBeats 称,法国芯片制造商 Sequans Communications 在 2026 年第一季度出售了 1,025 比特币,将其持仓从 2025 年年末的 2,139 BTC 降至截至 4 月的 1,114 BTC。该公司在 2026 年第一季度录得 5,430 万美元的净亏损,运营亏损扩大至 5,050 万美元

GateNews4小时前

Cipher Digital 在 2026 年第一季度发布 $114M 净亏损,几乎同比翻倍

据 The Block 称,比特币矿工 Cipher Digital 在 2026 年第一季度录得 1.14 亿美元的净亏损,几乎翻倍于 2025 年第一季度的 3900 万美元。挖矿收入从 4900 万美元降至 3500 万美元,而公司的比特币持仓价值从 1.25 亿美元下滑至 7600 万美元。CEO Tyler

GateNews4小时前

策略报告:2026 年第 1 季度亏损 125.4 亿美元,持有 818,334 比特币

据 BlockBeats 报道,Strategy 于 5 月 6 日称,截至 2026 年 5 月 3 日其持有 818,334 枚 Bitcoin,比年初增长 22%,Bitcoin 收益率为 9.4%。该公司披露 2026 年第一季度营收为 1.243 亿美元,同比增长 11.9%,但录得净亏损 12.54 美元

GateNews6小时前

CoinShares 报告称上周加密货币净流入 1.178 亿美元,随着比特币上涨连续第五周实现增长

据 Coinshares 称,去年加密货币投资产品上周出现 1.178 亿美元的资金流入,连续第五周实现正增长。这些资金流入主要由比特币推动,比特币录得 1.921 亿美元的资金流入,累计资金流入现已达到 42 亿美元

GateNews9小时前

看涨收购 Equiniti,斥资 42 亿美元,以推动代币化证券业务

看涨方(Bullish)作为一家美国虚拟资产平台,于当地时间 5 日宣布,已签署最终协议以 42 亿美元(约 6 兆韩元)收购 Equiniti,这是一家全球证券过户代理和股东服务提供商,标志着其正式进入代币化证券领域

Crypto Frontier10小时前
评论
0/400
暂无评论