规模是否带来改善?
在同一任务上,所测指标有没有随数据、模型或算力变化。
自年初以来,有一个词在社区的聊天中不断出现,scaling。同时,机器人/具身领域的公司近期层出不穷,各显神通,纷纷讲述自己的scaling law发现。这让我非常好奇,我想系统盘点一下,到底现在市面上,大家都在讲的各种scaling law,到底是什么,讲明白了什么事,如果他们的scaling law成立,又意味着什么。
注:本文主要关注 bimanual manipulation,也就是拟人化的双臂操作能力,因为它仍然是当前机器人与具身智能领域最接近“圣杯”的核心问题之一:只有真正解决复杂、通用、可靠的双臂操作,机器人才能从“会移动、会模仿、会预测”进一步走向现实世界中的通用劳动。因此,本文没有考虑纯 locomotion、navigation、motion tracking,以及以未来状态或视频预测为主要目标的 world model 工作。唯一的例外是 Figure,因为它尝试将行走、全身协调与双臂操作整合到同一个任务闭环中。
在同一任务上,所测指标有没有随数据、模型或算力变化。
是否测试多档规模,同时尽量固定训练方法和评测。
真机任务上的指标是否改善?新环境、新任务、新本体要分开看;指标未必是完整任务成功率。
用已测规模拟合,再检验预留的大规模结果。这是额外验证,不代替真机评测。
预测离线动作损失。先说结论
语言模型的 Scaling Law 主要描述验证损失怎样随模型、数据和算力变化,帮助规划和安排大训练。对于机器人操作,这种可预测关系是否存在仍不明确。除了验证 loss,还要看离线指标的改善能否转化为真机表现,以及新增投入究竟值不值得。本文共调研 19 组公开结果:包含 Generalist、Sunday、Rhoda、Genesis 等公司,也包含小米、ABC-130K 等开源与大厂结果。
公开结果已经反复说明,在各自的实验范围内增加数据、模型或算力通常能改善所测指标。它们还不足以回答下一档训练会得到多少 loss、这些 loss 改善能换来多少真机收益,以及这笔投入是否划算。
下面五步是递进关系:先确定调研范围,再筛出多档曲线、控制变量、检验外推,最后用同一批模型验证真机结果。
其中 16 项进入正文曲线集合,3 项作为数据配方、跨本体或离线动作的间接证据。
至少改变一档数据、模型或算力。到这里可以称为 scaling curve。
训练方法与评测相对固定,主要变量和公开口径较清楚。
Figure Helix 2.5 用前三档预测 8× 档的离线动作验证损失。
目前没有公开工作完成从规模、loss 预测到真机成功率验证的完整闭环。
补充:16 项正文项目中有 14 项另行报告了真机或部署相关结果,但这些结果没有使用同一批模型完成“拟合 loss—预测下一档—验证真机”的连续检验。
由此得到三条结论
在各自的实验里,更多数据、更大模型或更多算力通常能改善所测指标。跨公司比较时,任务、指标和数据来源都变了,没有统一的曲线。
动作误差、阈值准确率和整任务成功率各有用途。某条离线曲线拟合得好,也不等于能据此算出机器人下一档会完成多少任务。
新物体、新接触、失败和恢复可能增加有效覆盖;反复采集相似场景,小时数会涨,新增信息却未必多。
背景 · LLM Scaling
首先明确,scaling law 主要是用来评估和预测更大规模训练的 loss 变化,而对于自回归模型,loss 本身反映了模型拟合数据分布的程度(likelihood)。对于 LLM 来说,预训练通常基于经过筛选、去重与配比的大规模、多来源语料分布(例如 Common Crawl 的通用互联网数据)。而绝大部分下游任务所需的知识与语言模式包含在这个分布里面。而下游任务的准确率(如各种 benchmark)受评测数据与计分方法影响,更多由数据分布决定,不是由数据量和参数量决定的,且方差很大,无法只凭损失曲线推算。
语言模型的 scaling law 是经验关系:在训练方法和数据分布相对稳定时,模型参数 N、训练数据 D 与算力 C 如何影响验证损失 L。它能帮助分配模型与数据预算;条件合适时,也能用较小训练估计更大训练的损失。比如,利用参数小实验,和小参数大实验,去大概推一下大参数大实验;或者,定一个不太多的一个数据量,看一下模型的参数量上去之后的 loss 降幅。
L(N,D) ≈ L∞ + ANN−α + ADD−β其中 L∞ 是固定训练目标和验证分布下的损失下限;即使模型和数据无限增大,这部分误差也不会消失。这个函数表示,在同一训练方案和评测分布下,用多种模型大小与数据量估计的损失形状;算力 C 决定可尝试的组合。
N*(C) 与 D*(C)给定总算力预算,模型参数和 token 数需要共同增长;任一侧配置不足都会浪费算力。
多档训练实验表明,预留集损失可以用简单曲线拟合,这为预测更大的训练提供了经验基础。[25]
这种模型—数据的计算最优关系通常称为 Chinchilla scaling。70B 参数、约 1.3T tokens 的 Chinchilla 在相同算力下超过 280B 参数的 Gopher,说明最优点取决于联合配置。[26]
用相同方法训练、算力最多小 10,000 倍的模型,提前估计大训练的最终损失。报告也给出特定代码评测的通过率预测,但不代表所有下游任务都能照此推算。[27]
从 LLM 到机器人
参考 LLM,scaling law 首先应描述某个固定目标下的验证 loss 如何随规模变化。采用 diffusion 或 flow matching 的机器人策略同样可以报告留出集上的去噪或向量场回归 MSE,视频 DiT 的 scaling 研究也常采用类似做法。不过,这类目标并不等同于 likelihood,也不能直接代表生成质量或真机能力。对机器人,通常还会倾向于在固定验证分布上报告解码后的 action validation objective(或称为 action prediction loss),以及同一批 checkpoints 的闭环真机结果。但与 LLM 不同,机器人操作的数据来自不同本体、硬件、环境和采集方式,至今还没有一个统一的预训练数据分布。
比如,机器人训练数据可以来自真机遥操作、人类第一视角视频(Egocentric)、UMI 等手持采集设备、仿真、甚至通用视频数据和第三人称数据。它们都能按小时计量,但提供的动作信息却不同。除非我们一步到位,把世界上所有人的行为数据都准确记录下来定义所谓的机器人预训练数据分布。但在现有的数据采集方式下,我们仍缺少一个定义清楚、又与下游任务相关的统一预训练分布。
横轴 · 数据规模
在 LLM 的 scaling law 实验中,数据量 D 通常以训练 token 数表示。对于常见的自回归预训练,模型以预测下一个 token 为训练目标。因此,在 tokenizer 和数据处理流程固定的情况下,token 数可以作为相对稳定的训练量指标,并与模型参数量 N 一起用于估算训练计算量 C。虽然不同 tokenizer 对同一段文本的切分结果不同,但在设定一致的一组实验中,D 的计量口径通常是明确的。token 数仍然只是名义训练量,不能说明新增数据包含多少新信息;不同规模之所以能够比较,依赖的是 tokenizer、数据处理流程和数据分布在同一组实验中相对稳定。
机器人不仅同样面临数据质量和重复问题,连数据量的基本计量单位也尚未统一:不同工作可能使用录制时长、轨迹数、帧数、动作步数或动作 token 数。这些指标各有用途,却难以直接用于比较训练规模。例如,录制时长适合衡量采集规模和成本,但同样一小时的数据,在采用不同的采样频率、动作表示、分块方式和筛选规则后,可能产生数量和形式都不同的训练样本。此外,即使训练样本数量相同,它们覆盖的任务、场景、物体和机器人本体也可能存在很大差异。
LLM 通常记录 token 数,机器人常用小时、轨迹、帧或动作步数。它们适合衡量训练或采集规模,却都不能单独说明新增数据包含多少新信息。
数据质量、重复程度和覆盖范围会影响同等名义规模的价值。机器人还要额外考虑任务、场景、物体、接触状态和本体差异,目前没有统一计量方法。
同样一小时数据,可能只是在重复熟悉轨迹,也可能覆盖了新的物体、接触状态、失败方式或恢复路径。Sunday 的精选子集实验进一步说明,数据内容和筛选方式可能比名义时长更重要。
Lreal = f(N, C, Drobot, Dhuman, Dsim | task, embodiment, environment)这个函数表示在不同本体、任务和环境下评估目标机器人操作数据的验证集上测到的动作预测损失。不难发现,目标分布比 LLM 预训练时更杂,也更难定义。因此,即使某个设置下的 loss 能拟合成一条线,也不能把系数直接搬去另一个任务或机器人。
真机成功率、任务耗时这些我们关心的实际任务相关指标,则更难从 loss 中推测(实际上 LLM 的下游任务也有类似问题,只是从数据分布看,大部分下游任务所需的知识和语言模式已经包含在预训练数据中)。因此,我们在读每一张 scaling 曲线时,都可以沿着下面这条路径去思考:
如果横轴是数据量,模型、训练方法和评测最好尽量固定。讨论模型大小与数据量如何配比时,两者需要放进同一组实验;跨代产品对比无法回答模型—数据配比问题。
离线动作误差可以是 MSE、L1 或阈值准确率,但动作空间、损失定义和验证分布必须保持一致。要用曲线指导下一次训练,还需要用较小规模拟合,预留最大一档检查预测误差和不确定性。
同一批 checkpoints 需要继续测整任务成功率、完成度、耗时和人工接管率。换家庭、换任务和换机器人对应三种不同的分布变化,结果也需要分开报告。
把新增数据采集、训练算力、机器人部署和运维成本放在一起,再看任务成功率、节拍和人工接管节省了多少。到这一步,曲线才能真正帮助安排下一笔投入。
下面把各家的 scaling 曲线放在一起,看看它们分别走到了哪一步。
规模曲线 · 逐家读图
很多公司都展示了各自的 scaling 曲线。下面逐项看这些图:横轴改变了什么,loss 在什么分布上测量,真机结果是否来自同一批模型和同一套协议。各项目的指标与评测方法不同,曲线斜率不能直接比较;官网中的交互图在此固定为静态截图。
点击任一项,在当前行下方展开原图、数据口径与结论。
| 项目 | 主要 scaling 变量 | 纵轴 | 场景 | Highlights |
|---|---|---|---|---|
| 预训练物理交互数据 | 离线动作误差;真机成功率 | 衣物、厨房与桌面操作 | GEN-0 内部有多档实验;GEN-1、GEN-1.5 是新的预训练,不能连成一条纯数据曲线。 | |
| Index 人类数据 1×–8× | 动作验证损失;整任务成功率 | 陌生家庭,含行走与双臂操作 | 唯一预留下一档检验 loss 预测的案例;3.7% loss 与 9%→56% 来自两组实验。 | |
| UMI 数据量;模型 2B–10B | 四项任务成功率 | 鞋子收纳、装包、桌面与沙发整理 | 数据和模型分别扫描,没有完整的模型 × 数据网格。 | |
| 人类第一视角视频 1k–1M 小时 | MSE / L1 / acc@x;真机归一化表现 | 桌面、衣物与家庭物体等 14 项操作 | 数据增加 1000×,acc@0.5 约提高 7 个百分点;新增 90 万小时的成本回报未知。 | |
| 网页视频预训练算力 | 100 秒内完整成功率 | 工业物体操作 | 57.8%→75.3%;最后两档可信区间重叠。 | |
| 预训练比例;数据筛选 | 离线 loss;真机成功率 | 熟悉与陌生家庭中的折衣 | 精选 12.5% 数据可以胜过均匀抽样的 50%。 | |
| 单任务演示 10–60 小时 | 每包耗时;条码识别率 | 单一物流现场 | 清楚的单现场学习曲线,没有覆盖跨现场迁移或通用策略 loss。 | |
| 通用视频与遥操作数据配比 | 离线动作损失等值线 | 桌面与家庭操作,35+ 机器人系统 | 210.3× 交换率只对应选定 loss 阈值,不能直接换成真机采集收益。 | |
| 混合数据 300–30k 小时 | 零样本成功率 | 家庭与工业操作,100 项技能 | 两种机器人均随数据增加而提高;尚未检验 30k 小时以上的外推。 | |
| 混合预训练数据 1k–100k 小时 | 累计步骤成功率 | 家庭与桌面长任务 | 指标允许失败后人工复位,不能读作全程无人干预成功率。 | |
| 真机数据、模型容量与算力 | 训练/验证指标;真机任务进度 | 桌面双臂物体操作 | 验证动作误差与真机表现相关,验证 loss 在所测检查点上几乎不相关。 | |
| 相对模型、数据与算力 | 开环 loss;仿真完成率;真机成功率 | 桌面与家庭物体操作 | 三组结果均随规模改善,但绝对刻度不足,也不是同一条曲线。 | |
| 第一视角视频 1k–20.9k 小时 | 验证损失;后训练任务完成度 | 灵巧手操作 | 离线拟合很强,尚未预留更大档位检验真机表现预测。 | |
| 多本体真机数据 3k–20k 小时 | 任务进度率与成功率 | 桌面与家庭操作,25 项任务 | 三种本体总体向上;没有对应的离线 loss law。 | |
| 立体第一视角视频 2k–20k 小时 | 动作预测验证损失 | 人类日常手部操作 | 较清楚的局部 loss 曲线,没有多档真机成功率。 | |
| 预训练任务多样性;下游数据比例 | 模拟任务进度 | 模拟桌面与家庭操作 | 说明预训练可提高下游数据效率,不能据此估算真机成功率。 |
有多少人发现 Gen0,Gen1 和 Gen1.5 都不是一个预训练模型?


GEN-0 从约 27 万小时物理交互数据中取不同规模的子集预训练,再用目标任务数据对 16 组任务做后训练。右侧上图以衣物操作为例:预训练动作轨迹越多,下一动作预测误差总体越低。虚线延伸到的 10 亿轨迹是按幂律外推的预测值。
右侧下图直接看真机:在同样使用 5.6 小时任务数据后训练的条件下,预训练数据从 0% 增至 100%,多任务平均成功率从 0% 升到 57%。中间并非逐档上升:33%→50% 数据档时,成功率由 18% 回落到 15%。图右单列的 79% 使用了 550 多小时任务数据,不能接在前面当作同一条受控曲线。
后续 GEN-1 使用扩至 50 万小时以上的数据池训练,并报告约一小时机器人数据下,部分简单任务达到 99% 成功率。官网称它是在 GEN-0 基础上的进一步扩展,也明确说 GEN-1 从头训练,预训练、后训练和系统方案都有改动。两版任务结果可以对照,但不能把差异简单当作“只增加预训练数据”的收益。
GEN-0 · 离线误差与真机成功率

横轴为预训练动作轨迹数,纵轴为后训练后的下一动作预测误差。约 5120 万至 3.635 亿轨迹为实测范围;10 亿轨迹是外推。

左侧各档都用 5.6 小时任务数据,竖线表示标准误;右侧 79% 用了 550 多小时,不属于同一档后训练预算。
Figure 将 Index 人类数据从 1× 逐档扩大到 8×,保持模型规模和下游训练不变,机器人动作验证损失约下降 3.7%。官方用前三档预测 8× 档,报告预测误差仅为全区间损失变化幅度的 0.54%;绝对训练小时数未公开。
另一组有无 Index 预训练的实验给出了真机结果:30 个陌生家庭中的整任务成功率从 9% 提高到 56%。但比较的是有无 Index 预训练,并未分别测试 1× 与 8× 模型,也无法把离线损失的下降换算成真机成功率。
Helix 2.5 · Index 数据规模与离线损失
小米收集了超过 10 万小时 UMI 数据,但实验只测试了约 2.5k、5k、10k、20k 小时。真机成功率随规模提高,但没有 loss law。
第一组实验,固定 5B 模型时,四项任务的平均成功率依次为 53%、56%、69%、75%;未做动作预训练的基线为 26%。
另一组实验固定约 20k 小时数据,比较 2B、5B、10B 模型,成功率分别为 61%、75%、79%。两组实验各只调整一个变量,没有测试三种模型与四档数据的全部组合。
在这四项任务上,数据从约 2.5k 增至 20k 小时,平均成功率提高 22 个百分点;模型从 5B 扩至 10B,提高 4 个百分点。这是很有价值的受控真机结果,纵轴是成功率。还不能回答“2B 模型适合配多少数据”这种配比问题。
Xiaomi-Robotics-1 · 数据与模型分别扩展
可交互的官网图在此固定为静态截图,图注保留原文入口。
四档数据使用相同模型架构与训练方案,只增加人类视频预训练量;各档保留相同的数据来源比例。图 5 先看人类数据验证集上的 MSE、L1,图 7 再看未见过的机器人数据上的离线预测误差,图 8 最后才看后训练后的真机表现。Dyna 定义的指标是 acc@x,表示模型预测的动作和真实动作之间的误差不超过 x 的比例,动作通常先被归一化到某个标准范围,所以是误差阈值。
值得注意的是,图 5 的 acc@0.5 从 1 千到 100 万小时只涨了约 7 个百分点,感觉边际收益不大,但尚不能判断新增数据具体出了什么问题。图 7 的跨本体离线结果、图 8 的真机结果还得分别看。
四项指标均随数据规模增加而改善:MSE、L1 下降,阈值准确率上升。其中 acc@0.1 相对提升了 51%,MSE 相对下降了 12%。这些是相对变化,不是增加或减少了相同数量的百分点。
acc@0.5 约为 40%、44%、45%、47%:预训练从 1 千增至 100 万小时,只增加 7 个百分点。这项指标要求预测动作的每个维度都落在归一化误差阈值 0.5 内;不是动作完成率,也不是真机成功率。MSE、L1 和更严格的 acc@0.1 也随规模改善,但斜率不同。
相同检查点直接预测 39 项未参与预训练的机器人任务数据;10k→100k 小时之间改善较明显。这支持人类数据的跨本体迁移,但衡量的仍是离线动作预测。
四档模型采用同一后训练方案,14 项任务的平均归一化表现为 20%、28%、45%、53%。从 10 万增至 100 万小时,平均分数又提高 8 个百分点;这项分数按各任务可达到的上限归一化,不是整任务成功率。多数任务每档测 10 次,语言任务测 12 次,读图时还要看误差范围。能看到收益,但公开数据不足以判断新增 90 万小时是否划算。

左图固定 5 万小时带动作标注的数据,右图固定 25 万小时;只增加纯视频数据,两组未见机器人数据的离线动作误差都下降。再结合图 10 的训练方案对照,可以看出小时数之外,训练目标和视频数据的用法也重要。它们没有单独测试新增数据的质量,因此不能仅凭图 5 中 acc@0.5 的有限增幅断言“多样性没跟上”。
固定 M 模型和下游任务训练数据,只增加预训练算力。四档算力对应的 100 秒内完整成功率为 57.8%、67.3%、74.5%、75.3%。
最后两档估计的成功率范围仍有重叠(图中给出 95% 可信区间),现有试验不能确认从 0.37× 增至 1× 还有可靠收益。原页保留了每档试验次数与可信区间。
Sunday 用预训练数据占总量的比例做横轴,分别看折衣任务在熟悉与陌生环境中的成功率、数据筛选的收益,以及离线损失与真机成功率的关系。它难得地把两类指标放在了同一组实验附近,但纵轴和数据选择方法仍要逐图分清。
这些图对应不同的比较,不能把图 1 的泛化差距、图 2 的成功率与图 3 的离线损失接成一条曲线。绝对预训练小时数未公开。
四张图均取自 Sunday ACT-2 官方报告 [3];保留原曲线、误差带和拟合线,仅扩展画布边距避免轴标题裁切。
模型架构不变,目标任务的操作数据从 10 增至 60 小时。按图中标注,平均每包处理时间从 6.34 秒降至 4.31 秒,条码识别成功率从 88.2% 升至 94.4%。
这组真机曲线说明同一物流现场、同一任务的数据加量带来更好的节拍和条码率。它没有测离线 loss,也没有测试换场地或换任务后的表现;把它叫“单任务学习曲线”更准确。

论文同时改变通用视频和机器人遥操作数据量,再比较离线动作损失。沿损失值 2.50 的等值线,通用视频从 1 千增至 100 万小时,达到同样损失所需的遥操作量由约 5,884 小时降至 28 小时。
图中的两个小时数是依据已测档位插值得到的,不是真机成功率;换成损失值 2.75,同样的交换率只有 27.6×。210.3× 不能当作通用的数据换算系数。

同一训练方案下,数据量从 300、1,200、5,000 增至 30,000 小时。G1-OP 的 100 任务平均成功率依次为 17.1%、22.6%、27.3%、44.1%;G2-90D 为 13.4%、21.0%、23.5%、31.1%。
每项任务每档做 10 次零样本测试。两种机器人在已测范围内都随数据增加而提高,这是真机部署相关的证据;但纵轴是成功率,不能和另一家公司离线 loss 的斜率并排比较,更不能凭四个点预测 30,000 小时以上的成功率。
官方图 4 比较两种任务提示:给模型看一段操作视频(ICL),或用语言描述任务(VLA)。在 10 万小时预训练档,未见任务的累计步骤成功率分别为 66% 和 9%。
长任务中失败后允许人工介入,不能把累计步骤成功率理解为全程无人干预的整任务成功率。这里测的是任务表现,不是固定测试分布上的动作 loss。

ABC(项目页 / 论文)公开了 3,553 小时、134,806 段轨迹、195 项任务的低成本双臂遥操作数据,并在 DiT 和 VLA 上分别测试数据量、模型容量与训练算力。它还公布了真机评测和离线指标的对照,因此可以看清:数据变多后,究竟是哪项指标改善了,改善是否也出现在真机上。
数据量。 ABC-DiT 分别用 1k、3k、10k 小时预训练,验证损失和验证动作误差总体随数据增加而下降;1k 档的验证损失在训练后半程反而上扬,提示小数据档可能过拟合。另一组单任务微调实验中,从零训练、先用约 3.5k 小时预训练、先用约 7k 小时预训练,对应的平均任务进度约为 25%、42%、61%。要区分公开池与实验数据:公开池约 3.5k 小时,10k 数据档和 7k 预训练档还用到了未公开的数据。
模型与算力。 固定训练步数或算力预算比较 DiT-S/B/L/xL,较大的动作模型达到更低的训练损失;约 30 万步时,xL 为 0.040,S 为 0.059。增加 batch 和训练算力后,DiT 与 VLA 的真机任务进度也提高。这里的训练损失、算力和真机进度是不同实验与纵轴,不能接成一条曲线。
离线指标与真机。 在他们比较的 16 个检查点上,训练损失、验证动作误差与真机严格成功率呈负相关(分别约 r=−0.84、−0.89),验证损失的相关系数却接近零(约 r=−0.04)。这些检查点跨架构、batch 与训练时长;结果说明,叫作“loss”的指标也要看定义和验证集,不能把任意一条离线曲线直接换算成真机成功率。
Genesis 把预训练、仿真闭环评测和少量真机数据微调放在一起讲。三张图都报告了规模收益,但横轴和纵轴各不相同。
开环损失:归一化算力为横轴,1×、2×、4× 三条线对应相对模型大小。已测范围里,更多算力和更大模型通常对应更低验证损失;官网未披露绝对参数量,也未展示留出大档位的预测误差。
仿真闭环零样本:横轴仍是归一化算力,三条线改为相对预训练数据量;纵轴是 Genesis World 中五分钟内的平均任务完成率,不是真机成功率。Genesis 称训练未使用仿真数据,每个图点约有 200 套评测、相当于 150 多小时机器人执行;整图若改用真机评测,约需 2,700 人机小时。
真机少量数据微调:0×、1×、2×、4× 预训练数据档的平均成功率分别为 16.6%、46.5%、53.9%、65.6%。任务在预训练时未见过,内部评测任务各用约 20–30 分钟目标任务数据微调。这显示该协议下预训练有收益,却不是从第一张图的离线损失直接算出了成功率。
公司称异构数据总池超过 20 万小时,但未给足以把图中相对档位换成绝对小时数的明细,模型绝对参数和拟合式也未披露。三张图应分别读作开环、仿真和真机的区间内结果,不能拼成一条通用 scaling law。



同一组三联图先给出不同预训练小时数的验证损失,再拟合收敛损失,最后报告后训练后的平均任务完成度。它把本文关心的两层结果都摆了出来,但三张图的纵轴不同。
R²=0.9983 属于离线损失拟合,不能拿来形容真机完成度的可预测性。真机结果只展示已测五档,没有留出更大一档验证 loss 是否能预测下一档任务表现。
论文图 5 分别画出 25 项任务的进度率与成功率;红线是总体均值,其余三条线对应三种机器人。在已测范围内,总体指标随预训练数据量的增加而上升。
两张图是不同的下游指标,不能混读;它们既没有测这里讨论的离线 loss law,也没有验证 2 万小时之后的预测。


官网双图展示四档人类数据的动作预测验证损失:左图是训练过程,右图把各档最优损失与原始录制小时数对应起来。
过滤后的有效训练时长少于原始录制小时数。这是人类数据验证集上的动作预测损失,属于较清楚的局部 loss 曲线;没有对应的多档真机成功率实验。

原图比较不同任务专用数据比例下,预训练模型与单任务基线的模拟任务进度。加入更丰富的预训练任务后,微调结果整体改善。
图中纵轴记录模拟任务进度,横轴记录下游任务数据比例;两者分别不同于预训练 loss 和数据小时数;它说明预训练任务的多样性可能帮助下游微调,但不能用它估算真机成功率。真机结果在官网另行报告。

官网图横向比较机器人预训练数据的多样性,纵向看加入人类第一视角视频后,在四项任务上多得到多少提升。右端还加入跨本体数据。
横轴不是人类视频小时数;柱状值是加入人类数据后的额外收益,不是模型本身的绝对成功率。这张图更像数据配方对照,不能从中读出人类视频的规模斜率。

跨公司比较的限度
LLM 能用 loss 做训练规划,前提之一是预训练和验证数据的分布相对稳定。机器人还没有这样一个公认的共同分布:横轴可能是真机遥操作、人类第一视角视频或穿戴式采集;纵轴可能是人类动作误差、机器人动作误差,也可能根本不是 loss。曲线都往好的方向走,并不代表斜率可以拼在一起比较。
前面说了,计算 loss 时需要固定验证集分布。到了真机,这个条件更容易变化:同一项任务换个家庭、换一种物体,和直接换任务、换机器人,三种变化对应不同的分布偏移,不能合并成一种“泛化”。成功率也可能受允许多少新数据、能否更新权重、人工是否接管等规则影响。“泛化”至少需要拆成下面几类。
Helix 2.5 在 30 个陌生家庭测试三项完整任务。测试地点和物体没见过,但任务本身由其他地方采到的数据定义。这回答的是“同一个任务换到新家还能不能做”,不等于零样本学会了新任务。[6]
Skild S1 用一段操作视频提示机器人尝试未见过的长任务,但主要指标按步骤累计,部分对照允许失败后由人重置场景。累计步骤成功率不能直接读成一次无人干预运行的整任务成功率。[11]
AGIBOT 与 LingBot 测了不同机器人平台;一换平台,传感器、可执行动作和控制频率也可能一起变。要问目标平台此前在训练数据中占多少,测试前又追加了多少数据。[5] [13]
GEN-1.5 展示了看过一个或少数几个操作示例后,不更新权重就完成部分短任务或使用新工具。这和先拿几十小时目标任务数据做后训练,不能算同一种泛化。[28]
还有一条横贯所有测试的时间轴:机器人能连续独立运行多久,失败后能否自己恢复?报告真机结果时,最好把无干预整任务成功率、试验次数、任务耗时、异常与失败恢复、人工接管规则一起说明。这样我们至少知道,一个离线 loss 的改善究竟对应哪种真机收益。
数据接口与预算
既然一小时不等于统一的 robot token,下面的数字只能按数据接口分别阅读。它们汇总各类公开实验实际测到的规模,以及对应的模型与指标;不能直接换算成不同数据来源之间的优劣或等价关系。
Xiaomi 在已测的 2.5k–20k 小时间看到四任务平均成功率上升;最终数据池虽超过 100k 小时,却没有公开对应的多档实验。Sunday 的精选 12.5% 数据可以胜过均匀抽样的 50%。这两组结果都提醒我:采集方式和筛选会改变数据分布,不能只拿“多少小时”预测下一档 loss 或真机表现。
模型大小:固定 20k 小时数据时,5B→10B 将四任务总体成功率从 75% 提高到 79%,只增加 4 个百分点;完整最优配比未知。各项目要拟合的分布也不一样:Dyna、Motus2 报告人类或机器人数据上的动作预测误差,EgoScale 还测了后训练的真机任务完成度;Helix 只公开 1×–8× 的相对 Index 数据规模,不能换算成小时。它们支持各自设置里的判断,却不能合推出“人类视频达到多少小时就一定能跨本体迁移”的门槛。
模型大小:多数实验固定模型,无法推导参数量和视频小时数应该怎么配。Rhoda 与 Isaac 都在问廉价视频能替代多少目标任务数据,但纵轴不同:Isaac 给出固定离线动作损失下的数据交换率;Rhoda 报告特定工业任务的真机结果。不能把前者的“同等 loss”直接当作后者的“省下多少真机采集成本”。
模型大小:Rhoda 的 XS–L 趋势向好,但绝对参数量和视频规模没有公开。ABC 在低成本双臂遥操作上扫了 1k–10k 小时,并把离线动作误差与真机结果对照;TRI、LingBot、AGIBOT 在各自协议下报告了模拟进度或真机任务收益;RT-X 比较跨本体混合训练与各实验室原方法,没有多档规模曲线。这些结果说明实际操作能力,却没有形成同一损失定义下、可跨平台复用的 law。真机数据采集和多平台整合也贵。
模型大小:ABC 的 DiT-S→xL 给出训练损失随容量下降;多数其他工作固定模型,或与数据同时变化。LLM 中的 Chinchilla scaling,是在给定算力下同时选择模型参数量和训练 token 数,让预训练损失尽可能低。Xiaomi 在固定约 20k 小时 UMI 数据下比较 2B、5B、10B,测的是四项任务成功率;ABC 在固定训练设置下扫 DiT-S→xL,测的是训练损失与算力效率;Being-H0 在固定 8B 下比较五档数据,测的是离线手部动作。公开结果还缺同一目标分布上的完整模型 × 数据网格,暂时算不出机器人版“每 B 参数该配多少有效小时”。
这张表是基于各类数据监督强弱提出的工作假设。真实投入顺序,仍得靠同协议 loss 实验、真机评测和成本记录来检验。
看得到的结论
把模型、任务和评测按住不动,多喂一些更广的数据,机器人的确通常会变好。问题是:到底好多少,要花多少钱,换个机器人、换个现场还算不算数?这些公司离“数据再堆 100 倍就自然得到通用机器人”,还远得很。
先把 scaling law 说清楚
Scaling law 不是一句“越大越好”。它是从一批不同规模的训练实验里拟合出来的经验关系:模型参数 N、训练数据 D、计算量 C 增加时,验证损失 L 会以多快的速度下降。
这条规律来自小规模实验拟合,并非理论常数。它的价值是提前规划规模最大的训练,而不是训练结束后再解释结果。
“The loss scales as a power-law with model size, dataset size, and the amount of compute used for training.”
OpenAI 在多档模型、数据与算力上观察到近似幂律。换句话说,只要训练配方和数据分布没有大变,小实验可以用来估计更大训练的 loss。[25]
“For every doubling of model size the number of training tokens should also be doubled.”
DeepMind 用 400 多次训练重新估计最优分配。在相同算力下,70B 参数、约 1.3T tokens 的 Chinchilla 超过了 280B 参数的 Gopher,说明模型大小与数据量要按算力预算一起配置。[26]
GPT-4 技术报告披露:团队用算力小 1,000–10,000 倍的训练来拟合曲线,提前预测最终损失,并进一步估计 HumanEval 表现。这展示了 scaling law 在规划昂贵训练时的实际价值。[27]
固定一套模型和任务,数据增加后当然可以画出一条响应曲线。但要称为 scaling law,通常还希望它足够稳定、能用简单公式描述,并且能外推到下一档规模。机器人恰好在这三点上都更难。
所以,“一定能画出某种曲线”是弱说法;“已经找到可预测、可外推的 law”是强说法。现在多数机器人公司证明了前者,只有少数开始接近后者。
先看这里
动作误差很容易画成顺滑曲线。真机成功率会抖、会饱和,还会被任务怎么定义左右。后者麻烦得多,也更值钱。
新物体、新房间、新接触方式、失败后怎么救回来,往往比在同一张桌子上重复采集一千遍更有用。
用便宜的人类视频换掉一部分昂贵的真机数据。Dyna、Figure、EgoScale、Isaac 和 Motus2,只是换了不同做法。
一百万小时真机遥操作,几乎没人烧得起;一百万人各拍一小时视频,则完全是另一回事。
Evidence map
这些工作分成四档。A 档最硬:对照干净、坐标有数、真机测试也够多。B 档有规范的多档规模实验,但总有些关键数字没交代。C 档更多是在讲方向。D 档只能算旁证。这个分级不评模型好坏,只看那张 scaling 图有多可信。
| 时间 / 团队 | 真正改变的量 | 最大公开规模 | 看什么结果 | 判断 |
|---|
“最大规模”保留原单位,不把 episode、轨迹、小时、视频小时强行换算。项目可能跨多次发布,表中取最能说明 scaling 的公开实验。
Curve atlas
所有图均按公司或论文公开数字重绘。纵轴、评测协议不同,绝不能把线的斜率直接横向比较;这里比较的是“证据形状”。
Case files
这是目前公开材料里跨度最大、控制也最干净的一条:1,000、1 万、10 万、100 万小时,一路跨了三个数量级。
Dyna 用的是嵌套数据集:大档只往里加数据,不偷偷换分布。四种离线指标都一路变好,39 个没在预训练里出现过的机器人任务也保持同样排序。再给每个任务不超过 10 小时真机数据,14 个任务的平均分从 20、28、45 涨到 53。
如果只读一篇偏落地的研究,Rhoda 最值得先看。它没喊最大,但账交得最清楚。
在真实客户的轴承拆包任务上,XS/S/M/L 的 100 秒内完整成功率为 3.7/65.0/75.3/84.7%;固定 M 模型把预训练算力从 0.08× 加到 1×,为 57.8→67.3→74.5→75.3%。总计超过 200 小时实机评测,每个策略 100–260 次试验(最差 XS 提前停在 27 次)。
Sunday 问的问题很实在:我在实验室里把机器人修好了,它去别人家还会好吗?
同一 post-training 程序下,预训练比例 0/12/25/50/100% 时,域外折衣成功率 14/90/92/96/100%,泛化鸿沟从 82 点掉到 0。另一组 12.5/25/50% 实验中,高质量子集成功率 75.6/87.9/92.3%,均匀子集仅 43.8/53.6/64.1%。
EgoScale 是“人类视频能不能教会灵巧手”这条路线里,公开得最像论文的一组。
人类动作验证损失给出显式拟合式 L=0.024−0.003·ln(D),并与 22-DoF 机器人手表现相关;最终策略比无预训练基线平均高 54%。这是论文级证据,且覆盖高自由度手。
AGIBOT 这组实验很直接:同一个 WAM,从零开始,数据从 300 小时一路加到 3 万,然后不微调就上机器人。
G1-OP 有非零成功的任务数从 39 增到 76,整体成功率 17.1→44.1%;训练占比低于 2% 的 G2-90D 也从 13.4→31.1%,可视为跨本体正迁移。数据还包含 2,000 小时失败与部署 rollout。
TRI 的数据不算夸张,实验却很舍得:1,800 次真机、4.7 万多次仿真 rollout。
随着加入更多预训练任务,fine-tune 后表现平滑提升;新任务达到相同水平所需数据减少 3–5×。团队明确报告:没有看到突变或“突然涌现”,且不 fine-tune 时多任务模型并不稳定优于单任务从零训练。
Figure 前后画过两种完全不同的曲线。2025 年那张只是物流现场的 10–60 小时学习曲线;2026 年 Helix 2.5 才是在问大预训练有没有用。结果是 8 倍 Index 数据让动作 loss 降约 3.7%,预训练把陌生家庭整任务成功率从 9% 拉到 56%。可惜 Index 到底用了多少小时没说,四档 loss 也没有逐档上真机。
GEN-0 有内部多档预训练实验;GEN-1 在扩大到 50 万小时以上的数据池上从头训练,也改进了训练与系统方案;GEN-1.5 则是在并行启动后连续预训练八个多月。这些公开结果回答的问题不同:GEN-0 的局部曲线可读,GEN-1 的任务成绩不能当作纯数据消融,GEN-1.5 的时间曲线也不等于只加数据的曲线。
Skild 把任务视频直接当 prompt。100k 小时时,没见过的长任务做到 66%,普通语言 VLA 只有 9%,差距很大。但这里的分数允许失败后由人复位,再累计后续步骤;它不是“一放手就完整做完”的 66%。看懂这个评测细节,比记住数字更重要。
Isaac 画的是一张很有商业味道的图:便宜视频到底能省掉多少遥操作?在选定的 loss=2.50 上,答案是从 5,884 小时降到 28 小时。很漂亮,也很容易被误读。210 倍只对这个 loss 阈值成立,目前还没有同样幅度的真机成功率证明。
最终预训练池超过 100k 小时 UMI,但多档规模实验因算力只在 20k 小时子池上做:无动作预训练 26%,约 2.5k、5k、10k、20k 小时依次为 53%、56%、69%、75%。同一 20k 数据下 2B/5B/10B 为 61/75/79%。数据比参数更像当前瓶颈;标题规模与实验规模必须分开读。
3k / 6k / 13k / 18k / 20k 小时真机双臂数据,跨 9 种本体,下游成功率持续上升且未饱和;代码、权重和 GM-100 数据公开。后续 2.0 扩至 60k 小时(50k robot + 10k ego),但 2.0 的发布更多是代际比较,而非干净的单变量 law。
Motus2 的 13 万小时是原始池,真正用于立体视觉数据规模实验的只有 2k/4k/10k/20k。这个区分很诚实:仓库里有多少,不等于一条曲线实际吃了多少。之后再用 100 多小时机器人轨迹做对齐。
把机器人预训练多样性从 0/25/50/75/100% 加到跨本体全量,观察人类视频带来的增益只在 75% 以后出现;四个泛化任务上接近翻倍。这更像“规模触发可利用新数据源”的涌现图,而非按小时拟合的幂律。
Being-H0 确实展示了模型和数据一起变大时,手部动作生成会更好。H0.8 又把原始人类视频池扩到 50 万小时以上。可公开材料没有把这 50 万拆成几档去测同一组真机任务,所以它证明了“能做大”,还没证明“做大以后按什么规律变好”。
RT-1 在相同任务族内做过数据量、多样性与容量消融;RT-X 汇合 22 种本体、百万级轨迹,比较的是混合训练模型与各实验室原方法,并没有逐档放大数据。On-Device 2 另有新本体适配小时数实验。三者不能拼成一条跨代 scaling 曲线。
先别急着比总量
占用机器人、操作者、场地;有动作与本体状态,接地最好。LingBot、TRI 的核心。
不占用目标机器人,保留手/夹爪轨迹。Sunday、Xiaomi、Figure Index 的关键赌注。
可众包到百万小时;动作来自手势追踪或伪标签。Dyna、EgoScale、Generalist、Motus2。
规模几乎无限,但动作与控制信号缺失。Rhoda、Isaac 试图证明视觉世界知识能转成控制先验。
资源估算
就算已经拟合出某个设置下的 loss 曲线,还要再问:为了把 loss 压低一点,下一档数据得花多少钱?而花了钱,机器人又能多干多少活?公开资料暂时凑不出这两笔完整的账。让我们先把“百万小时”换算成直观的采集量级。结果不含训练算力,且未完整计入硬件折旧、现场运维和多平台整合。
等于 114 个连续年,或约 170 个 16 小时清醒年。若是人类视频,可由上千人并行;若是目标机器人遥操作,对绝大多数团队不可接受。
35 分钟/秒意味着每天 5.75 个“连续人年”;理论上约 20 天上传 1M 小时。过滤和质量控制会进一步降低可训练数据量。
若每位采集者每周贡献 30 个有效小时,需要约 333 人持续工作。采集负载主要由人员承担,机器人数量可以更低。
等于 11.4 个连续机器人年,或约 67 台设备各采 6 小时/日、工作 250 天。这里还跨 35+ 系统,整合成本不可忽略。
对单一任务:如果新增数据仍是同一批场景、物体和动作,继续重复采集的边际价值可能很快变小。Figure 物流的条码率在 10→20 小时之间还略降;Rhoda 在下游数据充足时,最后两档的真机成功率区间有重叠。这些都是局部提醒,不能拿来给所有任务设一个小时数上限。
对基础模型:20k–100k 小时若来自 UMI、手套或人类视频,部分资金与运营能力较强的团队可能承担;若全部来自目标机器人遥操作,资本、硬件和现场运维门槛会显著提高。
到 1M:人类视频可以靠大量采集者并行完成;一百万小时目标机器人数据,通常只有在已经部署商业机群(fleet)后才更接近可行。真正要验证的是:便宜数据带来的 loss 改善,能否跨过人类动作与目标机器人之间的本体差距,在真机任务上兑现。
把曲线往现实里推一步
以后真正拉开差距的,未必是哪家又换了一个 backbone,而是谁能持续采到新东西、把脏数据筛掉、把客户现场的失败快速送回训练。Figure 的 Index、Generalist 的 foundry、Sunday 的手套,本质上都在抢这条管道。
Dyna 与 Figure 把人—机器人差距视为可随规模收敛;Sunday 更激进,直接共设计人类采集手套和 Memo 的手。人形并非只为适配人类环境,也可能是数据接口策略。
如果大预训练真能把新任务从几百小时压到 1 小时、一个操作示例,甚至零样本,那机器人部署才有机会从“每个客户一个研究项目”变成正常产品。这比榜单多两分重要得多。
高精度研究给出反方向的 law:接近系统精度极限时,所需操作样本数超指数增长。加腕部相机把极限从 3.85mm 改到 2.35mm,换更清晰的专家策略又到 1.27mm。改传感器与控制栈,可能比再采 10× 数据更便宜。
Sunday 的高质量 12.5% 胜过均匀 50%;学术研究也显示环境与物体多样性比每环境重复次数重要。接下来应更关注任务覆盖、新数据的边际价值和失败类型,而不只看总小时数。
别被漂亮折线带跑
看得到的结论
把这些图放在一起,支撑不了“堆到十亿小时自然会有 AGI”,但能看清下面三件事:
第一,只要新数据真的补了覆盖,机器人通常还会继续变好。至少在今天公开到 2 万—100 万小时的区间里,还没普遍撞墙。
第二,回报非常挑任务。有的平滑上涨,有的过了门槛突然会做,还有的被传感器和精度上限死死卡住。
第三,一种可行的数据分工是:用成本较低的人类视频和仿真扩大覆盖,再把昂贵的真机采集用于本体对齐、失败恢复和精度提升。这仍需同协议实验验证。
下一步需要什么证据
如果一家公司说自己找到了机器人 scaling law,我们可能需要先看到:选定一种数据接口和固定的留出评测分布,在控制模型与训练方法后,随着数据量或算力增加,loss 呈现什么关系;最大一档有没有在训练前留出来检验预测,误差有多大。没有这些,仅凭几档成功率上升,更像是有用的学习曲线。
然后才是第二笔账:同一批检查点在陌生现场能多完成多少任务,耗时、失败恢复和人工接管有什么变化?新环境、新任务和新本体要分开测,附上试验次数与不确定性。这样才能看 loss 降低是否伴随真机收益,目前 loss 和真机收益往往来自不同实验,二者之间的关系仍未建立。
最后再把新增数据、机器人采集、训练算力和部署运维成本一起放进来。有效覆盖——新的物体、环境、接触状态、失败方式和恢复路径——可能比总小时数更重要,但哪一种数据最值钱,仍还需要验证对照实验。
也许,机器人等来的不是一个 GPT 时刻,而是一个 iPhone 时刻。
补充材料 · 证据档案
这里不再重复项目结论,只为开头的 19→16→13→1→0 提供逐项核对依据。正文包含 16 项 scaling curve;π0.5 + ego、RT-X 与 Being 三项作为间接证据单列。
✓ 表示满足本文口径并计入分子;△ 表示已有相关结果,但仍缺少关键控制或连续检验;— 表示未见公开证据。完整闭环要求先预测预留档位的 loss,再用同一批模型验证真机结果。
| 项目 | 多档规模曲线 16/19 | 主要变量受控 13/19 | 预留档位检验 1/19 | 预测→真机闭环 0/19 | 来源 |
|---|---|---|---|---|---|
| Generalist | ✓ | ✓ | △有外推,未预留检验 | △离线与真机未形成预测链 | [9][10][28] |
| Figure Helix 2.5 | ✓ | ✓ | ✓ | △真机来自另一实验 | [6] |
| Xiaomi-Robotics-1 | ✓ | ✓ | — | — | [7] |
| Dyna-2 | ✓ | ✓ | — | △同档离线与真机,未做预留预测 | [1] |
| Rhoda | ✓ | ✓ | — | — | [2] |
| Sunday ACT-2 | ✓ | ✓ | — | △报告 loss—成功率相关性 | [3] |
| Figure Logistics | ✓ | ✓ | — | — | [4] |
| Isaac 0.5 | ✓ | ✓ | — | — | [8] |
| AGIBOT GE-Act 2.0 | ✓ | ✓ | — | — | [5] |
| Skild S1 | ✓ | △指标含人工复位 | — | — | [11] |
| ABC-130K | ✓ | ✓ | — | △离线—真机相关,未做预留预测 | [29] |
| Genesis GENE-26.5 | ✓ | △模型、数据与算力分别变化 | — | △三组实验纵轴不同 | [30] |
| EgoScale | ✓ | ✓ | — | △同档离线与下游结果,未做预留预测 | [12] |
| LingBot-VLA | ✓ | ✓ | — | — | [13] |
| Motus2 | ✓ | ✓ | — | — | [14] |
| TRI LBM | ✓ | △任务与数据混合一起变化 | — | — | [15] |
| π0.5 + ego间接证据 | —数据配方对照 | △人类视频量未扫描 | — | — | [16] |
| RT-X间接证据 | —方法对照 | △跨实验室协议不同 | — | — | [18] |
| Being-H0 / H0.8间接证据 | △离线手部动作曲线 | △不是真机策略评测 | — | — | [20][21] |
这些结果有助于理解数据互补、跨本体迁移和人类动作数据,但没有在同一目标分布上建立机器人操作策略的多档规模曲线,因此不进入正文 16 项。
原图横向改变机器人预训练数据的多样性,并比较加入固定规模人类第一视角视频后,四项操作迁移任务额外提高了多少。横轴不是人类视频小时数,纵轴也不是模型的绝对表现,因此它说明的是两类数据的互补关系,不能给出人类视频的规模斜率。

RT-1-X 在五个实验室的平均成功率为 63%,各实验室原方法均值为 41%;另一组比较 RT-2-X 与 RT-2 的新兴技能。两图横轴都是方法或场景,没有连续的数据、模型或算力档位。


Being-H0 固定 8B 模型,在 50 万至 250 万运动—指令样本上比较离线手部动作生成指标-不是真机整任务成功率。H0.8 的 50 万小时以上是原始人类视频池,图中展示的是来源与筛选比例,没有多档训练效果。


References
检索截止 2026-09-18。优先采用公司研究页、论文、模型卡与官方仓库;公司自评仍需独立复现。正文优先展示官方原图,并注明读图口径与证据边界。
警告⚠️:本文由codex(GPT6+GPT5.6)深度参与调研和写作,但经过 heavy 监督和高频反馈。
Yutao Sun, Yufei Xue, Bingyi Kang, Qiang Li, Tianyuan Dai, Ziyang Gong, Yunfeng Lin, Zhongxi Chen, Hongze Yu, Zhengbang Zhu