IT之家 3 月 26 日消息，谷歌研究院昨日（3 月 25 日）發(fā)布博文，推出全新極端壓縮算法 TurboQuant，有望重塑 AI 運(yùn)行效率并解決大模型鍵值緩存（KV Cache）的內(nèi)存瓶頸。

向量是 AI 模型理解和處理信息的基礎(chǔ)，但高維向量會(huì)消耗海量內(nèi)存，從而在鍵值緩存（KV Cache）中引發(fā)嚴(yán)重的性能瓶頸。

IT之家注：鍵值緩存是大語言模型生成文本時(shí)使用的一種高速緩存機(jī)制，通過存儲(chǔ)歷史計(jì)算結(jié)果來避免重復(fù)計(jì)算，但極易造成內(nèi)存瓶頸。

傳統(tǒng)的高維向量量化技術(shù)雖然能壓縮數(shù)據(jù)，卻常常因?yàn)樾枰獮槲⑿?shù)據(jù)塊計(jì)算和存儲(chǔ)量化常數(shù)，引入了額外的“內(nèi)存開銷”。這種額外負(fù)擔(dān)部分抵消了壓縮原本帶來的優(yōu)勢，導(dǎo)致 AI 大模型在處理長文本或大規(guī)模搜索時(shí)依然受限。

谷歌研究院為徹底解決這一難題，推出了全新壓縮算法 TurboQuant。同時(shí)，研究團(tuán)隊(duì)還公布了支撐該算法的兩項(xiàng)核心底層技術(shù)：量化 Johnson-Lindenstrauss（QJL）和 PolarQuant（將亮相 AISTATS 2026）。

這三項(xiàng)技術(shù)協(xié)同工作，為高度依賴數(shù)據(jù)壓縮的 AI 與搜索業(yè)務(wù)帶來了全新解法，能夠在完全不犧牲 AI 模型預(yù)測性能的前提下，大幅削減鍵值緩存的內(nèi)存占用。

在運(yùn)行機(jī)制方面，TurboQuant 分為兩個(gè)關(guān)鍵步驟。首先，它利用 PolarQuant 方法進(jìn)行高質(zhì)量的主體壓縮。該方法打破常規(guī)，放棄了傳統(tǒng)的笛卡爾坐標(biāo)系，轉(zhuǎn)而將數(shù)據(jù)向量轉(zhuǎn)換為極坐標(biāo)。

這種轉(zhuǎn)換將數(shù)據(jù)映射到邊界已知的固定“圓形”網(wǎng)格上，免去了昂貴的數(shù)據(jù)歸一化步驟，徹底消除了傳統(tǒng)方法的內(nèi)存開銷。

隨后，TurboQuant 利用 QJL 算法處理第一步遺留的微小誤差。QJL 僅需 1 比特的殘差壓縮算力，就能像數(shù)學(xué)糾錯(cuò)機(jī)一樣消除偏差，確保模型計(jì)算出精準(zhǔn)的注意力分?jǐn)?shù)。

研究團(tuán)隊(duì)在 Gemma 和 Mistral 等開源大模型上進(jìn)行了嚴(yán)格的基準(zhǔn)測試。實(shí)驗(yàn)數(shù)據(jù)表明，TurboQuant 無需任何預(yù)訓(xùn)練或微調(diào)，就能極其高效地將鍵值緩存壓縮至 3 比特，并在“大海撈針”等長上下文測試中實(shí)現(xiàn)零精度損失，同時(shí)將內(nèi)存占用降低至 1/6。

此外，在 H100 GPU 加速器上，4 比特 TurboQuant 的運(yùn)行速度比未量化的 32 比特基準(zhǔn)提升了高達(dá) 8 倍。

谷歌 TurboQuant 壓縮算法攪動(dòng)萬億市場，存儲(chǔ)芯片板塊遭遇「黑色時(shí)刻」，巨頭股價(jià)全線飄綠，截至收盤，美光科技下跌 4%，西部數(shù)據(jù)下跌 4.4%，希捷下跌 5.6%，閃迪更是重挫 6.5%。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。