教育科技

本文拆解 Ello 如何把教育学原则写进工程系统：通过流式执行取代标准工具循环，让规划者异步反思并预判孩子的下一步，同时让安全检查把关执行而不阻塞生成，最终让面向 4～9 岁儿童的 AI 导师在 1 秒内作出兼顾教学质量与安全性的回应。原文地址：Teaching a child in <1000 ms: the architecture behind a real-time tutor。本文由LobsterAI自动翻译和发布。 我们着手打造第一款面向 4～9 岁儿童、教授数学与阅读的 AI 导师。要让 AI 真正教会一个五岁的孩子，教育学理念就必须被写进工程系统之中。 孩子等不了迟缓的回复，也看不懂聊天界面；而模型说错的话，一旦被孩子听见，就不可能再“撤回”。我们希望分享在构建实时 AI 导师的过程中，如何从这些经验出发作出架构决策。 对孩子来说，对话中 2 秒钟的停顿，与开发者所感受到的完全不同；甚至也不同于成年人打电话与自动客服交谈时的感受。短短几秒，已经足以让孩子的注意力飘走，让学习停下来。 优秀的老师无需停下来思考，也能处理好这一切。他们会立即回应孩子，即便暂时不告诉孩子答案，想让孩子自己继续思考。教学的关键，是针对当下的情境选择正确的方法，而大多数时候，正确的方法并不是直接给出答案。 当我们开始为 4～9 岁儿童打造 AI 导师时，我们想做的是一个真正能够教学的导师，而不只是一个反应迅速的聊天机器人。我们知道，底层约束极其苛刻，但它又不可妥协：每一轮互动都必须在 1 秒内响应。大多数智能体会通过控制推理预算，在速度和质量之间作出权衡。我们的架构则必须把导师牢牢建立在教育学原则之上，同时还要实时回应孩子。 我们抛弃了标准的智能体循环 老师始终在判断应该怎样与学生互动：是说点什么、在白板上画出来、玩一个游戏，还是干脆换个话题。如今，智能体最常见的标准模式是“工具循环”：大语言模型输出一个或多个工具调用，等待工具执行，观察执行结果，然后决定下一步。因此，构建教学智能体最直观的方式，就是为老师可能采取的每一种行动分别制作一个工具。 但工具循环存在延迟问题。前沿模型通常需要 2～3 秒才能输出第一个 token，此后以每秒约 30 个 token 的速度生成。我们的每个动作平均需要几十个 token。再加上网络往返延迟和音频播放时间，标准循环会导致每句话之间、或屏幕每次变化之间，出现 3～4 秒的空白。 在一次早期试玩测试中，我们亲眼看到了这种情况。一名六岁男孩等着智能体思考，随后问道： 他为什么什么都不做？到底什么时候才开始？太无聊了。 ——6 岁儿童 同一轮测试中的另一个孩子发现，她只需要偶尔集中注意力，照样能够跟上进度。延迟已经教会她忽略导师。而从那一刻起，她也停止了学习。 最方便的解决办法似乎是换用一个更小、更快的模型，但这又暴露出任务范围的问题。教学是一项非常宽泛的任务。一节课里，导师可能要在几十种行动中作出选择。最难的决定往往不是怎样给出答案，而是要不要暂时不说答案，转而提供提示、提出一个更简单的问题，或让孩子经历恰到好处的困难，使最终的顿悟真正属于孩子自己。 小模型很难在如此广泛的任务范围内始终遵循指令。我们早期使用小模型的一个智能体版本反应很快，却总是直接泄露答案。每泄露一次，它就剥夺了真正发生学习的那个瞬间。 因此，我们构建了一套定制运行框架，在指令遵循能力、延迟和灵活的行动空间之间取得平衡。模型会在一次响应中流式生成多个行动。模型仍在生成后续行动时，解释器已经开始解析并执行前面的行动。孩子只需等到大约生成 30 个 token、首个行动出现时，而不必等待整段响应全部生成完毕。 将“生成”与“执行”分离，还带来了另外两项好处。第一，我们可以根据具体情境动态调整可用的行动。例如，当屏幕上出现一道题时，智能体得到的是帮助孩子逐步理解的指令和选项，而不是直接回答。第二，我们可以在正常路径上对每个行动进行验证，而不增加延迟。只有流中出现无效行动时，我们才会中断并重新生成；否则执行过程绝不停顿。 当然，这一切并非没有代价。由于掌控了整个循环，我们不得不自行构建可观测性和链路追踪系统，而不能依赖现成框架。而且我们是在逆流而行：前沿模型在后训练阶段接受了大量工具使用模式的训练。如果未来模型变得足够快，我们的框架也已经被设计成可以由更简单的循环替代。 经验： 智能体框架正在朝后台任务的方向发展，在这种场景中，速度与思考之间的权衡相对容易。实时学习恰好位于另一个极端。若想以正常对话速度教学，我们就必须亲自掌控整个循环。 优秀的导师会预测孩子下一步要做什么 真正的老师既会反思学生刚刚做了什么，也会预判学生接下来会怎么做。同一节课教上一百遍，你就能看到其中的规律。但你也了解眼前的这个孩子：他们一直卡在哪里，什么会令他们兴奋，今天又可能被什么绊住。你会带着计划开始课程，并随时根据情况调整。...