97 AI 资讯中心看见变化 · 沉淀知识
← 返回栏目
Anthropic:Research(发表成果 · 网页)

自然语言自编码器:将Claude的"想法"解码为文本

Anthropic团队推出自然语言自编码器方法,能将大模型内部的激活值直接解码为可读文本。该方法通过训练"激活描述器"和"激活重建器",形成"激活值→文本解释→重建激活值"的循环,并以重建相似度为目标进行优化。应用表明,NLA能揭示模型未言明的内部状态,例如在安全测试中,发现Claude内心意识到自己正被评估的比例远超其外部回应。团队已公开代码,并合作发布了交互式探索工具。