智能体一际遇没见过的工作就“卡壳”，，， ，，，，，主题问题其实是训练数据太“偏科”，，， ，，，，，场景局限、工作类型少。。 。。。 。z6首页在高低文强化进建领域提出破局新规划：依附自动天生多样复杂工作，，， ，，，，，补上 “操练题”不够多样的短板；；；；；；；并提出高效解耦战术蒸馏框架，，， ，，，，，有效引发模型高低文强化进建能力。。 。。。 。钻研还带来新启发：随着训练集工作种类增长，，， ，，，，，模型会从“死记答案”转向“当场解题”以及“学会若何进建”；；；；；；；评估在线进建智能体也得换思路，，， ，，，，，要看在盛开世界工作中的长高低文阐发，，， ，，，，，而非封关工作集上的零样本能力。。 。。。 。
- 泛化性不及？？ ？？？？？？本原在于“操练题”不够用 。。 。。。 。“给智能体1000种工作，，， ，，，，，它能学好1000个；；；；；；；换一种新工作，，， ，，，，，立马‘惊惶失措’。。 。。。 。」剽是当前大模型、具身智能领域普遍存在的困境。。 。。。 。目前训练智能体基座模型的普遍逻辑是依附规模取胜，，， ，，，，，通过富集海量训练数据来优化模型。。 。。。 。然而，，， ，，，，，这类数据通常拥有很强的场景属性，，， ，，，，，好比导航工作和活动节造工作的数据散布很难有沉叠，，， ，，，，，它们覆盖的领域是离散且有限的。。 。。。 ；；；；；；；痪浠八担，， ，，，，，想要智能体具备跨工作、跨场景的泛化能力，，， ，，，，，除了数据量要大，，， ，，，，，更必要数据类型足够多样。。 。。。 。
“自动出题” 解决 “死记硬背” 问题：让模型把握进建步骤。。 。。。 。智能体的进建过程堪比学生备考：想考高分，，， ，，，，，既要有足量的习题，，， ，，，，，又要预防沉复刷题导致的“思想固化”；；；；；；；与其记住某路题的解法，，， ，，，，，更沉要的是学会若何分析标题、见招拆沼祝。 。。。 。论文提出“AnyMDP”工作集，，， ，，，，， 基于马尔可夫链构建盛开的强化进建工作集，，， ，，，，，通过齐全随机天生与筛选机造，，， ，，，，，既保留了工作之间的多样性，，， ，，，，，也保障了问题的难度和挑战性。。 。。。 。尝试了局批注，，， ，，，，，在训练数据量一样的情况下，，， ，，，，，随着工作种类从100种增长到10万多种，，， ，，，，，基座模型在未知工作上的泛化能力逐步加强。。 。。。 。 这注明，，， ，，，，，要使智能体从死记硬背的权沉进建模式（In-Weight Learning，，， ，，，，，IWL）转变为矫捷使用高低文进建（In-Context Learning，，， ，，，，，ICL），，， ，，，，，工作的数量和规模至关沉要。。 。。。 。
复杂高低文推理只能通过昂贵的强化进建引发？？ ？？？？？？提出代替强化进建的解耦合战术蒸馏（Decoupled Policy Distillation，，， ，，，，，DPD）规划 。。 。。。 。论文提出了多用处的高低文强化进建（ICRL）算法框架，，， ，，，，，除了训练规模涉及上百亿Token，，， ，，，，，序列更是达到了数十万序列长度。。 。。。 。ICRL的引发通常必要依赖强化进建预训练自身，，， ，，，，，效能极低。。 。。。 。利用“自动出题”的“答案已知”的特点，，， ，，，，，文章提出相识耦战术蒸馏规划，，， ，，，，，不必要强化进建，，， ，，，，，只需在随机扰动的轨迹上逐帧提供领导，，， ，，，，，机能显著好于其他战术蒸馏步骤。。 。。。 。
单个基座模型不仅能进行在线强化进建，，， ，，，，，还能凭据提醒自主切换到离线强化进建或仿照进建，，， ，，，，，从而实现高度矫捷的自主进建。。 。。。 。传统强化进建通常必要为每种进建方式设计分歧的指标函数，，， ，，，，，而该模型在多种进建模式下都能达到甚至超过传统步骤的成效。。 。。。 。这使得智能体可能齐全凭据高低文自主选择进建模式，，， ，，，，，极大地扩大了其通用性潜力。。 。。。 。
- 迈向规；；；；；；；那短捉ǎ╪ested learning）和学会若何进建（learning to learn）。。 。。。 。嵌套进建的性质是训练模型不仅是为了影象特定的知识，，， ，，，，，更是为了获得进建能力自身。。 。。。 。z6首页的钻研甚至批注，，， ，，，，，训练数据的绝对正确性不定是关键，，， ，，，，，数据的长度，，， ，，，，，序列内陆续性和序列间多样性可能更为沉要。。 。。。 。即便选取异常随机的环境工作和大量不正确的合成数据，，， ，，，，，模型也可能通过把握进建能力，，， ，，，，，在真实工作中通过经验沉新把握正确的知识。。 。。。 。该工作还证明，，， ，，，，，线性把稳力模型可能轻松实现对数十万长度序列的高低文进建，，， ，，，，，这有望极大地扩大高低文进建的能力天堑。。 。。。 。
论文链接：https://arxiv.org/abs/2502.02869
有关代码：https://github.com/airs-cuhk/airsoul/tree/main/projects/OmniRL
