97 AI 资讯中心看见变化 · 沉淀知识
← 返回栏目
Hacker News 热门(buzzing.cc 中文翻译)

Cache-to-Cache:大型语言模型之间的直接语义通信

研究者提出 Cache-to-Cache(C2C),一种让 LLM 绕过文本、直接通过 KV-Cache 进行语义通信的新范式,用神经网络将源模型的 KV-Cache 投影并融合到目标模型,并以可学习门控机制选择受益的目标层。实验显示 C2C 平均准确率比单个模型高 6.4-14.2%,比文本通信范式高约 3.1-5.4%,延迟平均加速 2.5 倍,代码已开源。