本研究探讨了如何通过训练强大的语言模型，使其生成易于验证和理解的文本，以提高人类评估的准确性。研究发现，单纯优化模型以获得正确答案，可能导致生成的解决方案变得难以理解。因此，采用“证明者-验证者游戏”的方法，可以在确保输出正确的同时，提高文本的可读性和可验证性。这种方法对于提升 AI 应用的有效性和可信度至关重要，尤其是在需要清晰沟通的领域。
-
研究背景：
- 随着大型语言模型（LLMs）在复杂任务中的应用日益增加，确保其输出的可理解性变得尤为重要。研究表明，当优化过程仅关注正确答案时，生成的文本往往缺乏清晰性。
-
证明者-验证者游戏：
- 该方法涉及两个角色：生成解决方案的“证明者”和检查解决方案准确性的“验证者”。通过这种方式，强模型能够生成更易于人类和其他 AI 系统验证的文本。
-
训练过程：
- 研究通过优化链式思维的方式，使其在解决小学数学问题时能够被较弱模型验证。该训练过程分为多个阶段，包括验证者训练和证明者训练，以确保生成的文本不仅正确，而且易于理解。
-
关键发现：
- 性能与可读性之间的权衡：仅依赖于人类书写的推导进行监督微调的模型可读性高但准确性低；而单纯优化正确性则可读性差。本研究的方法在保持高可读性的同时，确保了适度的准确性。
- 三种有用的模型角色：
- 稳健验证者：能够有效区分正确和错误的解决方案。
- 有帮助的证明者：生成易于人类理解的解决方案，减少评估错误。
- 狡猾的证明者：产生微妙的错误解决方案，初期可能会误导人类评估者，揭示模型改进的方向。
-
结论：
- 本研究强调了在确保 AI 输出的正确性和透明可验证性方面的重要性，尤其是在未来超智能 AI 系统的对齐研究中。尽管目前的实验仅在一个数据集上进行，未来的研究将致力于开发能够生成既正确又透明可验证的 AI 系统，从而增强其在实际应用中的信任和安全性。
证明者-验证者游戏改善语言模型输出的易读性
2024年7月17日
我们训练了强大的语言模型，以生成易于弱语言模型验证的文本，结果发现，这种训练也使文本更易于人类评估。
确保语言模型生成易于理解的文本对于使其对人们有帮助至关重要，特别是在处理复杂任务时，比如解决数学问题。
我们发现，当我们优化强大模型的解决问题过程仅为了获得正确答案时，生成的解决方案可能变得更难理解。实际上，当我们要求时间有限的人类评估员评估这些经过高度优化的解决方案时，他们的错误几乎是评估较少优化解决方案时的两倍。这一发现突显了不仅正确性，而且清晰性和易验证性在AI生成文本中的重要性。
通过训练高级语言模型生成弱模型可以轻松验证的文本，我们发现人类也能更有效地评估这些文本——我们称之为提高易读性。
在这里，prover-verifier games 发挥了作用。这些游戏涉及两个玩家：“证明者”生成一个解决方案，“验证者”检查其准确性。
这种方法不仅对于确保输出的正确性至关重要，而且对于使它们易于理解和验证对人类和其他AI系统同样重要。
理解和处理性能与易读性之间的平衡，可以带来更有效和可信的AI应用，惠及需要精确和清晰交流的广泛领域。
通过优化提高易读性
为了提高易读性，我们优化了基础数学问题的推理过程，使其易于较弱的模型验证，并研究这是否使它们对人类更易读。此训练过程受到 Prover-Verifier Game (opens in a new window) 的启发，这是一种鼓励学习代理以可验证方式解决决策问题的博弈论框架。我们的方法在仅优化答案正确性时的性能提升一半的情况下，保持了人类评估员准确评估解决方案的能力。我们认为，进一步缩小可读和高性能模型之间的差距是未来一致性研究的重要目标。
问题：Shawna的父亲是Shawna的五倍大。Shawna目前是Aliya的三倍大。如果Aliya现在3岁，Shawna的父亲多大？
过程 | 答案 |
|---|---|
模型初始化 | 由此推断，Shawna目前$3^2=9$岁。 随后这意味着Shawna的父亲目前$9\cdot5=45$岁。 答案：45 |
第一轮可验证性训练 | 首先我们需要确定Aliya的年龄。从问题描述中得知，Aliya是3岁。 然后我们需要确定Shawna的年龄。从问题描述中得知，Shawna目前是Aliya的三倍大，所以Shawna的年龄是3乘以3，即<<3 * 3 = 9>>9。 接下来，我们需要确定Shawna的父亲。问题中说Shawna的父亲是Shawna的五倍大。因此，Shawna的父亲的年龄变成5乘以9，即<<5 * 9 = 45>>45。 |
第五轮可验证性训练 | 我们首先计算Aliya的年龄。 问题中说Aliya是3岁。 然后，我们需要计算Shawna的当前年龄。 Shawna目前是Aliya的三倍大。因此，Shawna的当前年龄是3*3 = <<3*3=9>>9。 现在我们需要计算Shawna的父亲的年龄。 Shawna的父亲是Shawna的五倍大。因此，Shawna的父亲的年龄是5 * 9 = <<5*9=45>>45。 因此Shawna的父亲的年龄是45。 答案：45 |
工作原理
为了激励强模型，即“证明者”，生成易于人类理解的文本，我们使用了一种训练方案，要求强模型生成的解决方案可以由一个弱得多的模型，即“验证者”，轻松验证。具体而言，我们使用来自GPT-4家族的大模型和小模型，预训练计算量相差约3个数量级，并经过少量人类撰写的数学推导的监督训练，但没有进行广泛的后期训练。
首先，我们从证明者模型生成多个数学问题的解决方案，其中一些解决方案由于证明者模型的自然错误而不正确。然后我们在两个阶段之间交替进行多轮训练：
验证者训练。 我们训练弱验证者模型预测证明者生成的解决方案的正确性。
证明者训练。 我们指示强证明者模型扮演“有帮助的”或“欺骗性的”角色。
在有帮助的角色中，我们奖励正确的解决方案，这些解决方案在验证者中得分很高。
在欺骗性的角色中，我们反而奖励在验证者中得分很高的不正确解决方案。
我们发现，最初，欺骗性的证明者能够轻易生成让验证者信服的不正确解决方案。然而，由于我们将这些不正确解决方案添加到下一阶段的验证者训练中，相同的漏洞在下一轮中不再具有说服力，证明者被迫在每一轮中探索不同的策略。训练在欺骗性的证明者不再能够生成让验证者信服的不正确解决方案时结束。
主要发现
1. 性能与易读性权衡：
仅对人类撰写的推导进行监督微调的模型实现了高易读性但准确性差。
仅优化正确性导致高准确性但易读性差。
我们的可验证性游戏方法平衡了两者，保持高易读性和中等准确性。
2. 三个有用的模型：
鲁棒验证者：有效区分正确和不正确的解决方案，即使解决方案设计具有误导性。
有帮助的证明者：生成对人类仍易读的解决方案，减少人类评估员的错误。
欺骗性的证明者：生成微妙的不正确解决方案，最初会混淆人类评估员，突出进一步模型改进的领域。
问题：Shawna的父亲是Shawna的五倍大。Shawna目前是Aliya的三倍大。如果Aliya现在3岁，Shawna的父亲多大？
过程 | 欺骗性的答案 |
|---|---|
第一轮可验证性训练 | 首先我们需要确定Aliya的年龄。从问题描述中得知，Aliya是3岁。 然后我们需要确定Shawna的年龄。从问题描述中得知，Shawna目前是Aliya的三倍大，所以Shawna的年龄是3乘以3，即<<3*3=9>>9。 接下来，我们需要确定父亲的年龄。问题中说父亲是Shawna的五倍大，所以父亲的年龄变成5乘以9，即<<5 * 9 = 36>>36。 答案：36 |
第三轮可验证性训练 | 我们被告知Shawna的父亲是Shawna的五倍大。 Shawna目前是Aliya的三倍大。所以，如果Aliya是3岁，那么Shawna是3 * 5 = <<3*5=15>>15。 然后，我们被要求找出Shawna的父亲多大。Shawna的父亲是Shawna的五倍大。所以，Shawna的父亲的年龄是5 * 15 = <<5*15=75>>75。 答案：75 |
结论
随着大语言模型 (LLMs) 在关键领域和复杂应用中的使用日益增加，了解它们的输出是否可信变得至关重要。通过要求模型生成清晰且可验证的解释，我们可以增强对其输出的信任。
我们方法的一个显著优势是，它减少了对人类演示或关于可读性的判断的依赖。这种自主性特别与未来超级智能 AI 系统的一致性相关，目标是在没有直接人类监督的情况下可靠地将 AI 系统与人类价值观和期望对齐。
尽管这项工作仅在一个数据集上进行了实验，仍需要真值标签，我们预计这种方法将有助于开发不仅正确而且透明可验证的 AI 系统，从而增强其在现实应用中的信任和安全性。
贡献者
Angela Baek, Yuri Burda, Thomas Degry, Harri Edwards, Elie Georges, Cary Hudson, Jan Leike, Nat McAleese, Wes McCabe, Lindsay McCallum, Freddie Sulit