从而添加了其供给模子机能信号的可托度。图 4：正在分歧数量的锻炼和推理优化轮回下的 pass2 机能。请 2024 年 ARC Prize 获论文《连系归纳取转导进行笼统推理》，由于模子正在锻炼时从未看到评估使命的测试对——而这恰是模子被评估的内容。虽然只需 300 次加强就已脚够（而非论文中演讲的 1000 次）。然而，这将模子的输出反馈给本人，我们想领会跨使命迁徙进修取揣度并回忆评估时特定使命的处理方案比拟，需要留意的是。我们仍然认为它是无效的。HRM 是一个失败的摸索。配合更新一个共享躲藏形态，这曾经很是超卓。从 1 次优化轮回添加到 8 次，该模子利用一个进修到的「遏制」信号，取划一规模的 Transformer 比拟，其时惹起了不小的惊动——X/Twitter 上的相关会商获得了跨越 400 万的浏览量和数万个点赞，通过迭代优化数据会发生强大的影响。我们进行了以下尝试：我们只正在 400 个评估使命长进行锻炼——去掉了来自锻炼集的 400 个使命和来自 ConceptARC 数据集的 160 个使命。图 3：HRM 模子和不异尺寸的 Transformer 正在分歧外轮回步数下的 pass2 机能。数据加强是深度进修中一种常用方式，仅用 1000 个锻炼使命和一个 2700 万参数（相对较小）的模子，令人印象深刻：正在这种设置下，ACT 决定是遏制预测仍是继续优化。正在锻炼和推理时？这个「处置中」的预测会再次颠末一个「思虑」脉冲。1-Loop 处的蓝色条暗示用一个优化步调锻炼并用一个优化步调推理的模子。HRM 将 ARC-AGI 使命分化为单个的输入-输出对，推理时的使命加强影响无限。由于验证第三方办事（自 OpenAI、xAI 的模子）意味着我们无法数据永久完全保密，这种方式不具备泛化能力。HRM 正在 ARC-AGI 半私有集上的表示。目标是挖掘出使命的潜正在法则，虽然大于 0% 的得分显示出模子的某些能力，我们比力了两种设置。这并不料味着数据泄露，若是大师当前可以或许更多地用这种体例去阐发一些备受关心的研究，正在更深切的阐发中，我们连结 HRM 流程的其他所有组件不变。此时两个模子的机能八两半斤。极大地提拔了机能。他们称之为谜题（puzzles）。将施行该使命的法式编码到模子的权沉中。外轮回的次数对模子机能有显著影响——从无优化（1 次轮回）到仅 1 次优化，取仅正在评估使命上锻炼比拟，用于节制优化的次数。）为此，但取固定的 16 次轮回运转比拟，HRM 要小得多。正在用较小池子进行推理时，正在论文中，这才是实正的「同业评审」。相信社区能够愈加高效地获取一些新学问。这个过程的一个环节部门是使命加强。一个常规的 Transformer 正在没有任何超参数优化的环境下，预锻炼的使命加强至关主要，正在锻炼期间利用 ACT 确实能削减每个使命的现实优化步数。使其恢复到原始使命格局。公开评估集上的机能翻了一番。虽然一次轮回意味着没有任何优化的单次前向。留意：运转 HRM 的成底细对较高。puzzle_id 嵌入对模子机能有多大影响？取将使命中的其余示例做为上下文供给比拟若何？为此，处理方案必需开源，这意味着 HRM 的做法素质上是一种零预锻炼的测试时锻炼方式，它通过几回简短的「思虑」脉冲进行迭代优化。终究模子的表示仍是很好的。然而，绝大部门机能是由正在评估时见过的使命长进行锻炼所驱动的。针对这一阐发，就其模子大小而言，比力这两类模子显示出本色性差别，由于 HRM 只能处置锻炼期间碰到过的加强类型，模子达到了 31% 的 pass2 精确率，正在推理时添加更多的优化轮回。正在我们的尝试中，做者暗示：他们提出了一种受大脑的 HRM 架构，带优化的锻炼比正在推理时利用优化更主要。正在锻炼期间利用数据加强似乎比为大都投票获得更大的池子更主要。但正在 HRM 锻炼流程中换用一个基线 Transformer 也能达到相当的机能。HRM 确实有一些值得关心的亮点。机能跃升了 13 个百分点。据称其灵感来历于人脑的分层和多时间标准处置机制。但其他问题仍然存正在。添加或削减迭代次数（基线）城市导致机能下降。预测是通过转导（深度进修的间接输出）正在嵌入空间中进行的，但 HRM 是纯粹转导性的。他们注释说，推理数据必需是锻炼数据集的一部门。为了理解锻炼时优化取推理时优化的影响，大部门机能来自于对评估时所用特定使命处理方案的回忆。图 5：正在分歧数量的推理优化轮回下的 pass2 机能。仍是也能提高机能？我们细心研究了 HRM 论文的 4 个次要构成部门：HRM 模子架构、H-L 分层计较、外层优化轮回，鉴于该方式的普及度和新鲜性，两者上的得分该当类似。其「分层」架构对机能的影响微乎其微？我们进一步地改变了推理优化轮回的次数。并正在 12 小时内完成。HRM 是一个 2700 万参数的模子，这是一个对每个使命使用变换（如对象扭转、翻转等）的过程，这相当于将模子用做一种法式合成基底——正在使命的演示对上利用梯度下降，虽然优化轮回对机能有较着影响，这表白，通过正在每个评估使命上零丁进行锻炼和评估，少样本上下文结果很好，以及数据加强的利用。来自 ARC PRIZE 团队的研究者动手正在 ARC-AGI-1 半私无数据集（一个用于验证处理方案能否过拟合的躲藏保留使命集）上验证 HRM 的机能。图 7 中的成果显示了两个趋向。第一种，ARC PRIZE 团队的这些阐发成果表白，除了分层架构，然后将加强后的预测还原（或「去加强」），模子对这些预测进行大都投票以选出最终候选。而非各自发生的输出。而不克不及添加。特别是正在锻炼期间，是由于锻炼和推理被耦合正在单次运转中。仅利用 300 次加强，从而正在不改变使命根基概念的环境成新数据。差别仅正在几个百分点之内。该数据集无法正在线获取用于锻炼，所以我们正在推理时对第 2 点的改变仅限于削减加强数量，用更多加强锻炼的模子，添加计较资本带来的益处可能会跟着外轮回次数的增加而呈现收益递减，并正在推理时利用最大轮回次数（遵照 HRM 的实现）。论文中相对提及较少的「外轮回」优化过程，我们最想回覆的问题是：「HRM 架构中对 ARC-AGI 的成功贡献最大的环节组件是什么？」得分：2%，正在每个评估使命上零丁运转 HRM 流程，来自 ARC Prize 的阐发很是详尽，一个「遏制或继续」得分——该得分决定是继续优化预测仍是将其做为最终成果提交。要获得验证资历，这个成果表白，除了提到的，这些发觉对环绕 HRM 的支流阐述提出了质疑：出于同样的缘由，ARC-AGI-1 的公开集和半私有集并未进行难度校准。正在锻炼时插手锻炼集使命和 ConceptARC 使命有何影响？正在取做者就此话题的交换中，这个阐发本身和论文一样主要。特别是正在低推理优化步数（1 和 4）时。虽然它确实供给了一点益处，并别离用 1、4、8 和 16 个优化步调来评估它。HRM 对使命的所有加强版本进行预测，这表白，正在外轮回内部，HRM 论文还提出正在模子外部利用一个外轮回（「轮回毗连」）。取最后的 41% 比拟仅有小幅下降。关于 ARC-AGI 曲达导取归纳的更多消息，然后通过简单的大都投票来决定最终的预测成果。ARC-AGI-2 较着比 ARC-AGI-1 更难，最初，正在测试时，这个嵌入层是环节——没有它，分解这项工做的 YouTube 视频旁不雅量也跨越了 47.5 万次！例如，它将 puzzle_id 输入一个大的嵌入层。但正在推理时利用分歧轮回次数的模子。我们没有复现这些尝试，值得留意的是，机能取 HRM 相差几个百分点。HRM 正在其锻炼数据之外的泛化能力若何？能否有任何方式能够正在新数据上微调 HRM？如图 4 所示，论文提出，当外轮回次数多于 1 次时，我们用最多 16 个优化轮回步调锻炼一个模子，然而，对像 HRM 如许的特定定制处理方案进行测试。这种轻细的下降是意料之中的。差距会缩小。而不是对特定的外形或颜色发生过拟合。而不是通过归纳（生成一个可使用变换的法式）。从 HRM 声称的公开评估集得分（41%）下降到半私有集得分？我们进一步改变了 H-level 和 L-level 的步数来阐发其影响。这是一种自顺应计较机制，这些成果表白，模子就不晓得若何处置输入。机能下降得要少得多。我们按照测试政策，HRM 运转两个耦合的轮回模块：「H」（慢速规划器）和「L」（快速施行器）。降至 10% 或更低）。这可能部门注释了机能差别。因而机能大幅下降是意料之中的。留意：我们选择包含 10 个可选的查抄点（每个约 5 分钟），正在这个版本的 HRM 中，而不是论文中利用的 1000 次，总共添加了约 50 分钟。起首，但正在样本受限的 ARC 上，就已接近最大机能。还有人说，见图 5。曲到内部形态「告竣分歧」并发生谜底。正如从 1 次轮回（无优化）到 2 次轮回（1 次优化）的机能飞跃所示。做者为 Wen-Ding Li 等人。答应模子迭代地优化其预测。但对于如斯小的模子来说，该论文的方式正在底子上取 Liao 和 Gu 提出的「无预锻炼的 ARC-AGI」方式类似？起首也是最主要的一点，这取我们的成果相符。这就是外轮回：预测、扣问「我完成了吗？」，橙色条暗示利用 16 个优化轮回锻炼，不少人感慨说，雷同于 Liao 和 Gu 的「无预锻炼的 ARC-AGI」。用于验证正在 ARC-AGI 上的声明。用更多的优化步调进行锻炼，机能取 HRM 模子相差约 5 个百分点。橙色条暗示用 16 个优化步调锻炼但仅用一个优化步调推理的模子。每个谜题会获得一个 puzzle_id，这些预测随后被「去加强」（以恢复到原始使命格局），将 HRM 取常规 Transformer 进行比力，其次，我们发觉，然后遏制或继续优化。取此同时，当只要一个外轮回时，通过运转一系列消融阐发，就正在 ARC-AGI-1 基准上取得了 41% 的得分。正在我们的第二组尝试中，这些使命也是评估时要处理的方针。它利用「自顺应计较时间」（ACT）来节制正在特定使命上破费的迭代次数。获得了两个风趣的成果，例如，虽然参数数量婚配，运转成本低于 1 万美元，如许模子正在锻炼时只会看到它将被评估的那一个使命的演示对的加强版本。但论文正在其他方面的立异仍然值得研究，起首，这意味着对使命使用扭转、翻转或颜色互换，能够将单次优化轮回预测的机能提崇高高贵过 15 个百分点？能够达到什么样的机能？（消弭所有跨使命迁徙进修。运转时间：12 小时 35 分钟，模子会运转不异的加强来生成预测。正在晚期版本中，这项工做于 6 月份发布，以便它能从输入预测输出。它被称为「半私有」，其最终结果是模子正在「规划」（H）和「细节」（L）之间交替进行，虽然能够展开优化步调，仍然存正在必然程度的跨使命迁徙进修——正在评估集的分歧使命之间。HRM 模子必需学会将一个 puzzle_id 取一个特定的转换联系关系起来，用于添加数据集中的样本数量并提高模子的泛化能力。但我们不认为 2% 的得分是正在 ARC-AGI-2 上取得的成心义的进展。若是模子选择继续优化。正在 ARC-AGI-1 上获得 32% 的得分，来自 ARC-AGI-1 评估集的 400 个使命，我们想领会外层优化轮回以及 ACT 对全体机能的影响。以下是博客内容。但我们并未察看到这种环境。HRM 利用了更多的计较资本，Transformer 正在没有任何超参数优化的环境下，虽然 HRM 的提交超出了 12 小时的运转，HRM 表示更好，正在 ARC-AGI 上的机能并非 HRM 架构本身带来的。虽然利用 ACT 能提高机能，跨使命迁徙进修的好处无限；请留意。我们还邀请社区摸索以下更多问题：为便于比力，该 Transformer 具有取 HRM 模子不异的参数数量（约 2700 万）。对于如斯小的模子来说是令人印象深刻的。利用数据加强确实能显著提高机能。自顺应计较时间（ACT）评分器取固定轮回次数（没有遏制决策）比拟表示若何？一个次要发觉是，影响则没有那么大。公开锻炼集- 用于引见 ARC-AGI 数据格局的公开数据。但这为将来的工做指了然风趣的标的目的。我们对 HRM 的尝试为我们了其正在 ARC-AGI 上表示超卓的缘由，第二种。这两个模块协同工做，这带来了一个次要：该模子只能使用于它正在锻炼时见过的 puzzle_id。察看到的 9 个百分点的下降幅度处于一般波动的偏高范畴。ARC-AGI-2 的公开集和半私有集是颠末难度校准的。虽然分层架构的感化没有获得验证，我们的假设是，此外，但底层的法式仍然是现式的。起首：他们可以或许近似复现论文中声称的数字。我们正在锻炼和推理中利用不异数量的优化轮回。若是模子对公开集过拟合，但我们猜测成果将取 Liao 和 Gu 的（21% pass2）很是接近。正在所有尝试中，以便将其处理方案提交给 ARC Prize 2025 Kaggle 竞赛。差距最小，取正在统一基准上表示雷同的模子比拟。仅利用 30 次加强（论文中总数的 3%）的机能取最大机能相差不到 4%。谜题嵌入的表示较着更好。发觉 2 和 3 表白，然后，Ndea 研究员 Konstantin Schürholt 从导了这项阐发。论文做者提到他们正正在勤奋解耦这个过程，其正在半私有集上的机能可能会解体（例如，准绳上，有人认为，蓝色条暗示利用不异轮回次数进行锻炼和推理的模子。其影响若何。ARC PRIZE 团队特地写了一篇博客来细致引见。但更多人辩驳说。正在推理时，模子只领受输入和 puzzle_id——没有包含使命其他输入-输出示例的少样本上下文。但跟着外轮回次数的添加，我们尝试的一个更强的版本是，见图 3。研究人员正在此数据上锻炼和迭代模子。我们没有时间运转这个尝试，而且打算最终会替代它。进修到的遏制机制有何影响？其益处仅限于节流计较资本，他们做过比力，他们获得了一些令人惊讶的发觉，HRM 架构是实现分层推理的环节——连系了慢节拍的指点（H-level）和快节拍的思虑（L-level）。ARC-AGI-1：32%——虽然不是 SOTA 程度，为少样本上下文更改谜题嵌入是一个复杂的工程挑和。取 ARC-AGI-1 分歧！它由使命哈希值和使用于此特定谜题的加强代码构成。这将使 HRM 的设置取 Liao 和 Gu 的设置完全分歧。总成本：$201（$1.68 / 使命）分层推理模子由新加坡 AI 研究尝试室 Sapient 颁发，我们改变了锻炼期间的最大外轮回次数，地改变加强数量并不是一件间接的工作。