看懂 mimo.xiaomi.com/rl
这是小米 MiMo 团队把自己的大模型强化学习(RL)训练过程实时“直播”出来的公开监控面板。 本页面把网站上的每一个仪表盘、每一个参数都翻译成大白话,并附上抓取时的真实数据作为例子。 数据抓取时间:2026-09-19 17:44 前后(北京时间)——原站是活的,数字会一直变,但结构和含义不变。
01这个网站是什么
一句话:小米把自家下一代模型 MiMo-v2.6 的两条强化学习训练线(pro 和 flash),从训练集群日志里直接抽出来,做成网页给全世界围观。 这种“把 RL 大 run 直播出来”的做法在大公司里非常少见——大部分实验室只发最终评测分数,中间过程(涨了多少、崩了几次、为什么重启)通常是不公开的。
官网 About 页原文(about 标签页):
“We are streaming our RL big runs. The mimo-v2.6 series is coming soon.”
翻译:“我们正在直播 RL 大规模训练。MiMo-v2.6 系列即将到来。”——也就是说,这个网站既是训练进度直播,也是 v2.6 发布前的预热宣传。
页面结构:一共就 3 个标签页
| 标签页 | 网址锚点 | 里面有什么 |
|---|---|---|
| overview(默认) | #overview | 公告栏、两条训练线的状态卡、三个外部评测榜、18 张核心指标图、动态采样器实时日志、训练数据构成 |
| metrics | #metrics | 全部指标的总目录:约 2000 个指标按树形排列,可以搜索、逐个画图 |
| about | #about | 上面那段话 + 官方 X(推特)账号 @XiaomiMiMo 链接 |
此外 URL 还支持 #metrics/actor(直达某个指标分组)和 #chart/<指标名>(直达单张图),可以直接把某张图分享给别人。
顶部和底部的小部件
- total cost(右上角):两条训练线累计烧掉的钱,按美元计。抓取时约 $2,756,000(pro 每秒 $5.71、flash 每秒 $2.855,是实打实的算力账单速度)。旁边还有北京 / 洛杉矶 / 纽约 / 伦敦四个城市的时钟——暗示团队跨时区盯训练。
- ◐ 按钮:深色 / 浅色主题切换。
- reconnecting… 小药丸:页面每 10 秒向服务器要一次新数据,连续两次失败就会弹出它,表示直播暂时断线(训练没停,只是网页连不上)。
- 页脚:@XiaomiMiMo 链接 + “Open is what we value.”(我们看重开放)。
02看懂面板前,先懂 6 个概念
整个网站所有的图,都围绕下面这个循环。RL 训练的一个 step(步),就是把循环跑一遍:
prompt / rollout / n
prompt = 一道任务题(写代码、修 bug、操作浏览器等)。rollout = 模型做题的完整过程记录(又叫 trajectory 轨迹)。
每道题做 n 遍(本站是 16 遍),所以卡片上写 1,568 × 16 seqs:每步 1,568 道题、共约 25,000 条轨迹。
avg@n —— 全站最重要的指标
一道题 16 遍里对了 8 遍,它的通过率就是 0.5;把本步所有题的通过率求平均,就是 dynsam/avg@n。
它相当于“模型现在的做题水平”,每步算一次,画成曲线就是学习曲线。它被选作两条 run 卡片上的“头条数字”。
为什么要“动态筛选”
全对的题学了没收获(没梯度),全错的题学不动(也没梯度),只有“有时对有时错”的题才最值得练。
这个筛选器叫 dynamic sampler(动态采样器,缩写 dynsam),是站上大量 dynsam/… 指标的来源。题不够时它会多采样一些来补,这带来“accepted 比 target 多”等现象(见 §3.5)。
任务域 / 数据源 / harness / 沙箱
题目分 5 个域:code(代码)、general(通用)、cyber(网络安全)、visual(视觉/图形界面)、chat(对话)。
每个域下有若干匿名化的数据源(如 code/dataset-obg8)。harness 是跑 agent 的脚手架框架;sandbox 是执行任务的隔离环境(跑代码、开浏览器都要真的沙箱)。
03Overview 页:逐块拆解
这是默认页,从上到下依次是:公告栏 → 两个 run 状态卡(含事件时间线)→ benchmarks 评测榜 → 一排核心指标图 → 每个 run 的动态采样器日志 → batch composition 数据构成。
3.1 notices —— 事故公告栏
训练出事时团队会在这里贴通知,并注明是哪条 run、发生在哪一步。例如抓取时最新的公告大意是: “pro 线在第 17 步因 GPU 显存溢出(OOM)重启”。其他常见公告包括网络故障、下架某个 cyber 数据集等。 这个栏目的存在本身就很说明问题:大规模 RL 训练极其依赖基础设施,出事故是常态,公告栏让每次事故可归因、可复盘。
3.2 两个 run 状态卡 —— 整个网站的“驾驶舱”
页面主体是两张大卡片,一条线一张。下面用 pro 卡片的真实数据做标注:
| 字段 | 大白话 |
|---|---|
| in progress / stopped | 这条训练线还在跑 / 已经停止。抓取时 pro 还在直播,flash 已于 9-19 上午 10:22(北京时间)跑完停止。 |
| step N · phase · % | 跑到第几步。一个 step 约 3–4 小时;phase 显示当前在 rollout(采样做题)还是 training(权重更新)阶段,以及本步完成百分比。 |
| dynsam/avg@n ▲▼ | 头条成绩 = 本步平均通过率;▲/▼ 后面的数是相对第 1 步的总进步量。这是判断“模型有没有在变强”的第一入口。 |
| cost so far | 这条 run 累计的算力花费(美元),按秒累加。 |
| tokens · step / total | 本步 / 累计训练的 token 量。pro 每步约 26 亿 token,可见单步训练规模之大。 |
| samples trained | 累计参与训练的轨迹(做题记录)条数。 |
| batch size × n | 每步题数 1,568 × 每题 16 次尝试。 |
| restarts(在 totals 里) | 累计重启次数。pro 抓取时已重启 11 次、flash 5 次——再次说明大 RL 训练的脆弱性。 |
卡片下半部分还有一条事件时间线(新事件在上):
step 23 done · dynsam/avg@n 0.6217 ▼0.001—— 某步完成,成绩多少、比上一步涨跌多少;trainer restarted—— 训练器重启一次;run stopped—— run 结束;- 夹杂着采样器的实时心跳:
accepted 1,920/1,568 · judged 1,818 · pass 0.629 (n=5,519) · …(含义见 3.5)。
3.3 benchmarks —— 三张外部评测榜
光看 avg@n 只知道“自己做题越来越顺”,还需要第三方考卷验证。面板放了三个公开/内部基准,每个 benchmark 一张图,pro 和 flash 各一条线,横轴是 step。分数是团队手工跑评测后填进来的(不是训练日志自动产出),所以点与点之间可能跳步。
| Benchmark | 考什么 | pro 起步 → 抓取时 | flash 起步 → 抓取时 |
|---|---|---|---|
| DeepSWE v1.1 mini-swe-agent, avg@3 | 软件工程任务:真实仓库里修 bug、写功能(SWE-bench 风格),用 mini-swe-agent 框架跑,每题跑 3 次取平均 | 58.41 → 67.46(step 18) | 48.67 → 64.90(step 25) |
| In-house Coding Bench avg@3 | 小米自建的代码能力基准,每题 3 次取平均 | 57.54 → 63.67 | 53.83 → 61.93 |
| AutomationBench v1.0.6 avg@3 | “自动化操作”基准:让 agent 操作图形界面/浏览器完成任务的执行力 | 45.20 → 49.80 | 44.80 → 51.60 |
三条曲线全部单调上升、flash 涨幅普遍更大(它起步分低、训练更激进),这就是这个网站最想让你看到的一件事:RL 真的在做有效功。
3.4 核心指标图(pinned metrics)—— 18 张默认展示的图
每张图卡片包含:指标名(如 actor/entropy_loss)、一句话官方说明、曲线(pro/flash 两条线,颜色即状态卡上的颜色)、右上角最新值 ± 变化量。交互:
- smoothing 滑杆(0–0.95):把锯齿状的曲线抹平,0 = 原始数据,拉到 0.9 = 强平滑看趋势;
- 点击任意图卡:弹出大图(modal),带统计摘要,方便细看;
- run 开关:可以只看 pro 或只看 flash。
18 个固定指标的完整解读见 §5 指标速查表。最值得盯的三张:dynsam/avg@n(成绩)、actor/entropy_loss(策略多样性是否还在)、train_infer_diff/new_infer/kl(训练/推理引擎是否一致)。
3.5 dynamic sampler —— 动态采样器实时日志
每个 run 下方有一块“直播弹幕”,滚动显示采样器每隔约 20 秒上报一次的心跳,外加一张分数据源进度表。心跳行长这样:
accepted 2,416/1,568 · judged 2,283 · pass 0.637 (n=6,226) · remaining 454 +958 partial +274 rewarding · prewarm 329
| 字段 | 大白话 |
|---|---|
| accepted 2,416/1,568 | 本步已收下 2,416 道“可学的”题,目标是 1,568 道。accepted 大于 target 是正常的:上一步做了一半的题会结转(carryover)进这一步,多收的题留给下一步用。 |
| judged 2,283 | 已经判完分的题数(判分 = 跑测试/执行代码,需要排队,所以 judged 总是略小于 accepted)。 |
| pass 0.637 (n=6,226) | 目前所有已判分尝试的总通过率 63.7%,分母 n=6,226 是已判分的尝试(rollout)条数。 |
| remaining 454 | 还差 454 道题凑齐目标;其中 +958 道正在“做了一半”(partial,跨 step 的未完成题),+274 道正在判分(rewarding)。 |
| prewarm 329 | 已为下一步预热好的题数(提前采样,让下一步开局不用等)。 |
心跳下面是data sources 表,把上面总数按 25 个数据源拆开:
| source 数据源 | accepted / target | 进度条 | remaining | judged | in flight |
|---|---|---|---|---|---|
| code/dataset-obg8 | 335 / 154 | 0 | 308 | 142 | |
| code/dataset-sin0 | 226 / 154 | 0 | 197 | 84 | |
| general/dataset-5610 | 36 / 31 | 0 | — | 27 | |
| code/dataset-yfch | 54 / 55 | 1 | — | 494 |
数据源名(dataset-xxxx)是匿名化后的内部 ID。这张表能看出“哪个题库供题慢”:比如上面 code/dataset-yfch 还差 1 道题,但背后有 494 条 rollout 正在跑——典型的“这道题又难又慢”。judged 为 — 表示该源的判分还没回来。
3.6 batch composition —— 每一步的“伙食结构”
这块回答:喂给模型的每一步训练数据,都是由哪些题构成的?副标题写着 “what each step's samples are made of”,数据从 dynsam/*/num_accepted 推导,抓取时共 25 个数据源。包含:
- 堆叠面积图 / 条形图:横轴 step、纵轴题数,按 code / general / cyber / visual / chat 五个域着色,直观展示“最近练的题偏科不偏科”;
- 可切换的 step 选择器:任选一步看明细;
- 明细表:列 = 域 | 数据源个数 | prompts 题数 | share 占比 | Δ share 与上一步比的变化;
- 第二条构成视图 harness (trained):按 agent 框架统计训练批次里的 rollout 数(来自
train/harness/*/training/rollouts),看练的是哪几种 agent 玩法。
04Metrics 页:2000 个指标的总目录
overview 只展示团队挑选的 18 张图;metrics 标签页把家底全部摊开——抓取时 pro 线共有 2,029 个指标(flash 类似)。布局:
- 左侧指标树:按
分组/子分组/指标层级折叠(如actor → code → dataset-obg8 → pg_loss),每组带指标数量徽章; - 搜索框:输入关键词即时过滤,显示“N tags match”;
- 右侧图区:点选指标后画折线,一屏最多 8 张;数据按 96 个指标一批拉取,每张图 48 个点;
- 同样有 smoothing 滑杆和 pro/flash 开关,面包屑支持
#metrics/actor这样的直达链接。
顶层分组地图(数字 = pro 线的指标个数)
| 分组 | 数量 | 管什么 |
|---|---|---|
| actor/* | 257 | 策略模型(被训练的那个模型)本身:损失、熵、梯度范数、学习率、各种裁剪比例,以及按 code/chat/general/cyber/visual/agentic 分域、按数据集分的细项,还有梯度里零元素占比、本次更新是否成功等健康检查 |
| critic/* | 324 | 奖励与价值侧:rewards(奖励)、advantages(优势,衡量“这次比平均好多少”)、returns(回报)、score(得分)的均值/最大/最小,同样按域和数据集细分 |
| ctx_prompt_length / ctx_response_length / ctx_total_length | 81+81+108 | 每条轨迹的输入长度 / 生成长度 / 总上下文长度(min/mean/max 及分域)。能看出不同域的任务多“长”——visual、code 的上下文明显更长 |
| dynsam/* | 83 | 动态采样器:avg@n、全对/全错占比、通过率九桶分布、基础设施错误率,以及每个数据源的 num_accepted / num_measurable(3.6 的构成图就是用它画的) |
| env/* | 15 | 沙箱环境池:正在运行的沙箱数等(环境不够 = 采样排队) |
| partial/* | 337 | 跨步部分 rollout:上一步没做完、拖到下一步的轨迹,包括平均“过期度”(staleness,采样时用的模型比训练时旧几个版本) |
| penalty/* | 535 | 各种惩罚项(格式不对、超长、重复等扣分)的统计,数量最多 |
| train/*、training/* | 191+2 | 训练批次构成:按 harness 框架统计的 rollout 数等 |
| train_infer_diff/* | 11 | 训练器与推理引擎的一致性:同一批 token 两边算出的对数概率差(KL)。理论应≈0,偏高说明数值实现有分歧 |
| timing_s/* | 3 | 三块墙钟耗时:整步 / 生成 / 训练器运算 |
| perf/* | 1 | 吞吐:每步训练 token 总量 |
数字格式是自动套的:时间类显示成时长(如 3h 12m)、比例类显示 0–1 或百分比、大数用 K/M/B 缩写、学习率用科学计数法。
05指标速查表(官方说明全翻译)
下面是官网配置里给每个核心指标写的官方说明的翻译,加上白话解读。其中 18 个就是 overview 默认展示的图。
| 指标名 | 官方说明(译) | 白话解读 |
|---|---|---|
| dynsam/avg@n ★ | 平均通过率:本步采样的每道题,其 n 次尝试的成功比例,再对题目求平均 | 模型当前做题水平,全站头条指标 |
| dynsam/avg@n_no_infra | 剔除因基础设施故障而失败的尝试后的 avg@n | 把“机器背锅的分”扣掉后的真实水平;两者差距大 = 基础设施在丢分 |
| critic/rewards/mean ★ | 本步参与训练的轨迹的平均奖励 | 模型这批“作业”的平均得分 |
| actor/entropy_loss ★ | 策略在每个 token 上的平均熵 | 模型的“犹豫程度”。健康状态 = 缓慢下降;骤降 = 思维固化(坍缩),骤升 = 崩了 |
| actor/pg_loss ★ | 裁剪后的策略梯度目标 | 主损失函数值,波动属正常,本身趋势不那么重要 |
| actor/grad_norm ★ | 裁剪前的全局梯度范数 | 每步更新的“力气”。量级稳定最好;尖峰常和训练不稳/重启同时出现 |
| actor/lr | — | 学习率,看阶梯式衰减 schedule |
| train_infer_diff/new_infer/kl ★ | 同一批 token 上,推理引擎与训练器的对数概率之间的 KL 散度 | “考卷和平时训练是不是同一套语言”。应贴 0;持续走高 = 两套系统数值不一致,会悄悄伤效果 |
| ctx_total_length/mean ★ | 每条轨迹的总上下文长度(prompt + 回答),单位 token | 任务变难、agent 变话多时它会上 |
| ctx_response_length/mean | 每条轨迹生成的 token 数 | 模型平均“写多长” |
| dynsam/agg_turn/mean ★ | 每条轨迹的 agent 轮数 | 平均每个任务要跟环境交互几轮,反映任务复杂度 |
| perf/total_num_tokens ★ | 本步训练的 token 总量 | 每步的训练量(约 26–37 亿),稳步上升 = 步子越迈越大 |
| timing_s/step ★ | 整个 step 的墙钟耗时 | 一步 3–4 小时;变长通常是环境或判分变慢 |
| timing_s/outer_gen ★ | rollout 生成的墙钟耗时 | 其中“做题”占多久 |
| timing_s/trainer_ops ★ | 训练器(前向/反向/更新)的墙钟耗时 | 其中“学习”占多久;两者之和≈step 耗时 |
| dynsam/passrate/zero ★ | 没有任何一次尝试成功的题的占比 | “全错题”比例。升高 = 题太难 / 环境坏 / 判分失灵,这类题会被丢掉不训练 |
| dynsam/passrate/one ★ | 所有尝试都成功的题的占比 | “全对题”比例。升高 = 题变简单了(好事),但它们不再提供学习信号 |
| dynsam/passrate/hist9_ratio | 按通过率分九桶(全错→全对)的题的分布占比 | 理想形状 = 中间桶堆积(大量“有时对有时错”的可学题) |
| dynsam/num_measurable ★ | 本步“通过率可度量”(非全对非全错)的题数;按数据源细分在 dynsam/<source>/num_measurable | 真正进入训练的题量 |
| dynsam/infra_error/seq_rate ★ | 因基础设施故障而损失的序列占比 | 机器背锅率,应≈0 |
| env/active ★ | 正在运行的沙箱环境数 | 环境池水位,掉了说明环境不够用 |
| partial/avg_staleness ★ | 采样到训练之间平均相差的策略版本数 | 过期度:数字越大,用的“旧模型经验”越多,一般应很小 |
| train/harness/*/training/rollouts | 训练批次中各 agent 框架贡献的 rollout 数 | batch composition 里 harness 视图的数据源 |
★ = overview 默认展示(pinned)的 18 个指标之一。
0630 秒判断“训练健不健康”
| 看哪里 | 健康的样子 | 要警惕的样子 |
|---|---|---|
| dynsam/avg@n | 台阶式上升 | 连跌多步(配合公告看是不是换了数据) |
| actor/entropy_loss | 缓慢下降后趋稳 | 直线下坠=策略坍缩;突然飙升=崩溃 |
| actor/grad_norm | 量级平稳 | 反复尖峰 → 常伴随 OOM 重启 |
| train_infer_diff/new_infer/kl | 贴近 0 的平线 | 持续抬升 → 训练/推理实现有分歧 |
| passrate/zero 与 one | 都在低位 | zero 升高=题太难或环境坏;one 升高=题太简单,学习信号变稀 |
| infra_error/seq_rate | ≈ 0 | 抬头 = 基础设施在丢样本 |
| timing_s/step | 平稳(3–4h) | 越走越长 = 环境/判分排队,吞吐被卡 |
| notices + restarts | 偶尔一次 | 连续多次 = 基础设施不稳(pro 前 8 步重启 4 次就是实例) |
07抓取时点的数据快照(2026-09-19)
以下数字是我抓取时的实况,用于让你对“正常值”有体感。原站会持续更新,请以官网实时数据为准。
| mimo-v2.6-pro | mimo-v2.6-flash | |
|---|---|---|
| 状态 | ● in progress 正在第 24 步 | stopped 第 30 步后于 9-19 10:22 停止 |
| 开始时间 | 09-15 18:32 | 09-15 23:16(北京时间) |
| dynsam/avg@n(step 1 → 最新) | 0.5647 → 0.6217(+0.057) | 0.5137 → 0.6435(+0.130) |
| 每步规模 | 1,568 题 × 16 次 ≈ 25,088 轨迹 | 同左 |
| 累计 token / 轨迹 / 沙箱任务 | 52.99B / 577,024 / 3,081,792 | 81.40B / 752,640 / 6,859,919 |
| 花费(费率) | $1,902,172($5.71/s) | $854,044($2.855/s) |
| 重启次数 | 11 | 5 |
| 单步沙箱任务数 | 37,888 | 170,368(更激进的环境并发) |
有意思的对比:flash 每步用 5 倍的沙箱任务量(170k vs 38k)、训练更“卷”,avg@n 提升也更大(+0.130 vs +0.057),且总花费反而更低。两条线像是一次公开的“大小模型 RL 成本收益对照实验”。
08术语表
| 术语 | 含义 |
|---|---|
| policy 策略 | 正在被 RL 训练的模型本身;“策略”= 从任务到行为的映射 |
| rollout / trajectory | 模型作为 agent 在环境里完整做一遍任务的全过程记录 |
| prompt | 一道任务题 |
| n / avg@n | 每题尝试次数 / 每题通过率再对题目取平均 |
| reward / judge | 奖励(判分,多为 0/1)/ 判分器(跑测试、执行代码、按规则打分) |
| dynamic sampling | 动态采样:只保留“部分成功”的题进入训练,全对全错的丢掉 |
| carryover / partial | 跨步结转的题 / 做了一半拖到下一步的轨迹 |
| staleness | 过期度:采样用的模型版本落后于训练版本多少步 |
| prewarm | 为下一步提前准备好的题 |
| sandbox | 沙箱:隔离的执行环境(跑代码、开浏览器),跑一次任务消耗一个 |
| agent harness | agent 脚手架:驱动模型与环境交互的框架(循环、工具调用等) |
| entropy 熵 | 策略的随机性/多样性,是防止模型“越练越死板”的仪表 |
| KL 散度 | 两个概率分布的差异;此处用于监控训练器与推理引擎是否一致 |
| PPO / pg clip | 近端策略优化:带裁剪的策略梯度算法,防止单步更新过猛 |
| TIS clipfrac | 截断重要性采样(修正训练/推理概率差)被裁剪的比例 |
| advantage 优势 | 某条轨迹比“平均水线”好多少,策略梯度的核心信号 |
| OOM | 显存/内存溢出,GPU 上最常见的崩溃原因 |