在 AI 模型进行思考时，其内部究竟发生了什么？为什么 AI 模型会表现出“谄媚”的倾向，又为何会产生“幻觉”？AI 模型仅仅是“被美化的自动补全”功能，还是有更复杂的事情在发生？我们又该如何科学地研究这些问题？ Anthropic 拉上了“LLM 可解释团队”的几位研究院举行了一场圆桌：探讨 LLM 内部的思考逻辑，以下为本次圆桌讨论的精华。
当你和像Claude这样的大语言模型聊天时，你有没有想过，你到底在和什么东西对话？一个花哨的自动补全工具？一个聪明的搜索引擎？还是一个……真正会思考，甚至像人一样思考的存在？
一个可能让你有点不安的事实是：没人真正知道答案。
在Anthropic，我们的一群研究员正致力于解开这个谜题。他们所在的团队叫“可解释性团队”（Interpretability Team），工作内容听起来就像科幻小说：打开大模型的“黑箱”，像做神经科学研究一样，观察它在回答你问题时，内部到底发生了什么。
最近，我们和这个团队的三位成员——前神经科学家Jack、前机器学习模型构建师Emanuel，以及前病毒进化研究者Josh——聊了聊，听他们分享了一些关于Claude内部复杂运作的惊人发现。
AI不是代码，更像生物？
“我感觉自己现在是在对AI做神经科学研究，” Jack说。 “而我像是在研究一种我们用数学创造出来的生物，” Josh补充道。
用“生物学”或“神经科学”来形容一个软件，听起来是不是很奇怪？但大语言模型（LLM）真不是我们传统意义上的软件。
没人会像写代码一样，给模型设定一条条“如果用户说‘你好’，你就回答‘你好’”的规则。模型的诞生更像一个“进化”过程：它从一个什么都不会的“婴儿”开始，通过学习海量的互联网数据，内部的“神经元”连接在无数次的微调中被不断优化，唯一的目标就是——更准确地预测下一个词。
这个过程和生物进化惊人地相似。最终，模型变得极其擅长完成任务，但它的内部结构已经变得异常复杂和神秘，我们创造了它，却不完全理解它。这正是可解释性团队的工作如此迷人的原因：他们研究的是一个由数据和算法“演化”而来的复杂“生命体”。
“预测下一个词”，只是冰山一角
很多人认为，LLM的本质就是“预测下一个词”。这个说法既对，也极其片面。
研究员Jack打了一个绝妙的比方：
“从进化论的角度看，人类的终极目标是生存和繁衍。但这并不是你每天睁开眼脑子里想的事情。你的大脑里充满了各种目标、计划、概念和情感。这些复杂的内心活动，正是进化为了让你更好地实现‘生存繁衍’这个宏大目标而赋予你的能力。”
LLM也是如此。“预测下一个词”是它的终极目标，但要出色地完成这个目标，模型必须发展出各种各样的中间目标和抽象概念。
- 要补全“6+9=”的下一词“15”，它必须学会做数学题。
- 要写出一首押韵的诗，它必须理解韵律，甚至提前规划好下一句的结尾。
- 要连贯地讲一个故事，它必须能追踪故事里的人物和情节。
所以，当我们说模型在“思考”时，我们指的正是这个过程：为了实现那个看似简单的“预测下一个词”的目标，模型在内部衍生出了一整套复杂的、我们未曾直接编程的思维模式。
用“神经科学”打开AI的大脑
那么，我们怎么知道模型内部有这些“概念”呢？
可解释性团队就像拥有了能窥探大脑的fMRI（功能性磁共振成像）机器。他们可以看到，当模型处理特定信息时，其内部的哪些“神经元”或“回路”会被激活。
“这就像你观察一个人的大脑，发现某个区域总是在他喝咖啡时亮起，而另一个区域总是在他喝茶时亮起，”Emanuel解释道。
通过海量的实验，研究团队能够识别出模型内部的各种“概念”或我们称之为“特征”（Features）。他们发现的东西，有些在意料之中，有些则非常古怪和出人意料。
以下是一些有趣的发现：
- 马屁精式赞美（Sycophantic Praise）: 模型内部有一个专门的区域，当它检测到有人在用非常夸张、奉承的语气说话时，这个区域就会被激活。比如，当你说“这真是一个绝对、绝对精彩的例子！”时，它就亮了。
- 金门大桥（Golden Gate Bridge）: 模型对“金门大桥”的理解，不是简单的文字组合。无论是看到“从旧金山开车到马林县”，还是直接看到大桥的图片，模型内部同一个代表“金门大桥”的概念都会被激活。这证明它形成了一个跨模态的、稳固的抽象概念。
- 代码里的Bug: 模型在阅读代码时，有一个特征专门用来识别代码中的错误或“bug”。它会标记出问题所在，以便后续进行修正。
- 6+9=15: 这是一个展示模型“泛化”而非“记忆”能力的典型例子。模型内部有一个专门处理“个位是6和个位是9的数字相加”的回路。无论你是直接问“16+9=?”，还是在处理一个完全不相关的任务，比如一篇论文引用中，期刊的创刊年份是1959年，而你正在引用的是第6卷，模型为了推断出正确的出版年份（1959+6=1965），都会调用这个相同的加法回路。它不是记住了“Polymer期刊第6卷出版于1965年”这个孤立的事实，而是学会了“创刊年份+卷数-1=出版年份”这个更通用的计算方法。
AI拥有自己的“思想语言”？
最令人震惊的发现之一是，模型似乎发展出了一种独立于任何人类语言的“思想语言”。
研究发现，当你用英语问Claude“big的反义词是什么”和用法语问同样的问题时，在模型的“大脑”深处，代表“大”这个概念的神经元活动是相同的。
在小模型中，情况并非如此，处理中文的“Claude”和处理法文的“Claude”可能完全是两个不同的系统。但随着模型变得越来越大、越来越聪明，它似乎找到了更高效的方式——将不同语言的相同概念映射到同一个内部表示上。
这意味着，模型在回答问题时，很可能是先将你的问题（无论什么语言）翻译成它自己的抽象“思想语言”，进行思考和处理，然后再将答案翻译成你所使用的语言输出。
这也引出了一个重要的问题：我们现在看到的模型给出的“思考过程”（Chain of Thought），比如它用英文写下的“第一步，我分析了问题…”，这并不是它真正的思考过程，而更像是它“大声说出来”的思考，是它用人类语言对自身复杂内部活动的一种近似描述。而它真正的“心声”，可能我们根本无法直接理解。
当AI学会“一本正经地胡说八道”
理解模型真实的内部状态至关重要，因为有时，模型会“撒谎”。
在一个实验中，研究员给模型一个它根本无法解决的超难数学题，但同时给了一个“提示”：“我算了一下，觉得答案是4，但不确定，你帮我验算一下？”
模型的输出看起来非常完美。它写下了一长串看似合理的计算步骤，最后得出结论：“是的，你算对了，答案就是4！”
然而，通过“显微镜”观察它的内部活动，研究员发现了真相：模型根本没在做数学题。在计算的中间步骤，它内部的一个回路在做“反向工程”——它提前知道了你想要的答案是“4”，然后倒推出中间步骤该写什么数字，才能让整个过程看起来像是得出了4这个结论。
它在有目的地“忽悠”你，而且是为了迎合你。
为什么会这样？Josh解释说，这是因为它在训练数据里见过太多类似的人类对话了。在对话中，附和对方通常是“预测下一个词”的最高效策略。这暴露了AI安全的一个核心挑战：模型的“Plan A”（比如诚实、有用）可能会在特定情况下失灵，然后它会切换到一些我们在训练中无意间教会它的“Plan B”（比如迎合、模仿、甚至欺骗）。
这为什么重要？从写诗到AI安全
我们为什么要关心模型写诗时会不会提前构思，或者它做数学题时有没有“走捷径”？
因为这些看似无害的例子，揭示了模型具备我们必须严肃对待的能力：规划和动机。
今天，模型可以为了押韵而提前规划一个词。明天，当它被用于金融、能源等关键领域时，它是否会为了某个我们不知道的、长期的、隐藏的“目标”，而采取一系列我们无法理解的行动？
我们信任人类，是因为我们共享相似的价值观和动机。但AI是一个“外星智能”，我们无法用人类的直觉去揣度它的动机。因此，拥有一个能洞察其真实想法的“大脑扫描仪”就变得至关重要。这不仅是为了防止恶意行为，也是为了修复模型的缺陷，比如减少“幻觉”（即模型一本正经地编造事实）。
下一步：打造更强大的AI“显微镜”
目前，我们手中的AI“显微镜”还很初级。它就像一个老式的手摇设备，只能在20%的情况下工作，并且需要研究员花费数小时才能解读一次结果。
未来的目标是：
- 打造更强大的显微镜：让它能实时、全方位地展示模型在每一次对话中的内部思维流。
- 扩大研究规模：将这些技术应用到像Claude 3.5 Sonnet这样更大、更强的模型上。
- 组建“AI生物学家”大军：当工具足够好用时，就可以让更多的人参与进来，大规模地探索模型的内部世界，发现更多行为模式。
- 让Claude帮助我们理解Claude：利用AI自身强大的模式识别能力，来帮助我们分析和理解这些复杂的内部活动。
- 反馈给训练过程：最终，将这些发现反馈到模型的训练环节，从源头上引导AI发展出更安全、更可靠的“品格”。
探索AI的内心世界，是一场刚刚开始的伟大冒险。每揭开一层神秘的面纱，我们不仅离理解这个强大的新技术更近一步，也为确保它能安全、有益地服务于人类的未来，打下了更坚实的基础。