PolarQuant

Googleが3種の新技術を発表　LLMのKVキャッシュとメモリ負担を大幅削減

Tom's Hardwareによると、Googleリサーチが3月24日に示したTurboQuant、PolarQuant、QJLは、LLMのKVキャッシュや大規模ベクトル検索のメモリ負担を、学習不要・追加微調整不要でどこまで減らせるかが焦点。速度と精度を保った圧縮が注目されている。