清华团队再探 On-Policy Distillation：数据撑死，算法饿死
清华团队再探 On-Policy Distillation：数据撑死，算法饿死把 On-Policy Distillation（在线策略蒸馏，OPD）的训练集从 17000 道题删到 1 道，会发生什么？
来自主题: AI技术研报
10088 点击 2026-09-16 10:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
把 On-Policy Distillation（在线策略蒸馏，OPD）的训练集从 17000 道题删到 1 道，会发生什么？
大模型过去几年的能力跃迁，几乎都围绕一个词：Scaling。
真实家庭任务往往从「不完整的信息」开始：机器人不知道目标在哪里，用户也未必能一次说清自己想要什么。面对「帮我从餐桌上拿点零食」这样的模糊指令，机器人不仅要主动寻找候选物体，还要在发现面包和多个甜甜圈后进一步询问用户，确认究竟该拿哪一个。
多轮智能体任务只有一个终点奖励，但在一条包含搜索、工具调用和多轮决策的轨迹里，决定成败的往往是一个不起眼的查询词、动作或对象选择。
让 AI 帮忙发一封邮件，它可能把正文写得妥帖、附件整理得齐全，最后却发错了人。
最近，越来越多应用层 AI 企业走上了一条相似的路线：用自己积累的专业知识和业务经验，训练自己的模型。
让模型自己生成训练数据、自己改写提示词、自己修复代码，这条路线被称为： 递归自我改进（Recursive Self-Improvement，RSI）。
大语言模型智能体正越来越多地进入长期陪伴聊天这类场景 —— 不再答完一个问题就走，而是和用户处成一段长久的关系。
理解生成统一模型（Unified Multimodal Models, UMMs）正在成为多模态模型的重要发展方向。相比传统的理解模型 + 生成模型，UMM 希望在同一个模型中同时完成视觉理解和图像生成，让文本和图像能够在统一上下文中被理解、推理和生成。
MiniMax H3 的服务是一个系统问题。一个请求要经过一个庞大的 Qwen3-VL 编码器、一个长序列的音视频 DiT、相互独立的视频与音频 VAE、设备与进程的边界，最后还要完成 H.264/AAC 的封装。只优化 DiT，其余环节的时延依然留在那里。