具身智能必要怎么的基础模型？？？？？？？？首先，，，，，，，具身智能基础模型需具备壮大的进建能力，，，，，，，以便索求未知环境。。。。。。。其次，，，，，，，具身智能基础模型应能在端上部署，，，，，，，从而加强安全性、靠得住性、以及部署端性价比。。。。。。。

为此，，，，，，，z6首页具身智能团队近日颁布了强化进建基座模型OmniRL。。。。。。。团队首先提出一种离散随机环境的规；；；；；；焐街瑁，，，，能够天生百万级别马尔可夫决策链工作，，，，，，，用于合成数百亿功夫步的泛强化进建过程数据进行训练。。。。。。。

进一步地，，，，，，，团队提出一种在高低文中整合强化进建和仿照进建的数据合成步骤和模型结构，，，，，，，利用随机世界训练的模型，，，，，，，能够无需梯度微挪用于解决没有见过的Gymasium环境。。。。。。。

论文地址：https://arxiv.org/abs/2502.02869

开源代码：https://github.com/airs-cuhk/airsoul/tree/main/projects/OmniRL

预训练和元训练：授模型以鱼和授模型以渔

预训练最初的指标是让模型实现多种工作，，，，，，，而在大规模预训练过程中，，，，，，，最关键的能力之一就是高低文进建（In-Context Learning）。。。。。。。这种能力使大模型可能通过提醒信息矫捷地应对新工作，，，，，，，而不必要为每个新工作进行额表训练。。。。。。。然而，，，，，，，OmniRL提出的大规模元训练与传统预训练有性质区别。。。。。。。它的沉点不在于影象工作的具体技术，，，，，，，而是进建若何进行强化进建的过程自身。。。。。。。元进建（Meta-Learning）早在1980年代就已提出，，，，，，，但OmniRL论文指出，，，，，，，现有的元进建步骤时时由于不足足够的工作规模和长序列支持，，，，，，，陷入“工作鉴别”模式。。。。。。。也就是说，，，，，，，模型仅仅记住了训练时的特定环境，，，，，，，并通过鉴别当前所处的环境来“激活”对应的技术。。。。。。。这种模式导致模型无法真正泛化，，，，，，，无法有效应对未见工作或散布表工作，，，，，，，从而限度了其在现实利用中的阐发和矫捷性。。。。。。。

图1. OmniRL模型结构和进建过程示意图

初次利用高低文进建统一多强化进建和仿照进建

OmniRL提出了通过同时利用先验信息和后验嘉奖（Feedback）进行高低文进建的创新步骤，，，，，，，使得模型可能凭据需要在分歧进建模式之间自主切换。。。。。。。图2展示了在随机世界中训练的 OmniRL模型，，，，，，，证了然该步骤的巨大矫捷性。。。。。。。在不依赖任何梯杜着化的情况下，，，，，，，模型可能在冷启动时，，，，，，，或仅凭借给定的一段演示轨迹（无论是专家演示还是较差的演示），，，，，，，通过在线强化进建（Online-RL）、离线强化进建（Offline-RL）和仿照进建（IL）的自主切换，，，，，，，实现优异阐发。。。。。。。这一了局凸起批注，，，，，，，高低文进建不仅具备高度的矫捷性，，，，，，，还可能在多种进建战术之间自由转化，，，，，，，从而适应复杂环境。。。。。。。更进一步，，，，，，，基于演示轨迹，，，，，，，模型通过自主索求不休提升自己的能力，，，，，，，展示了极强的自我优化能力。。。。。。。

图2. OmniRL可能通过高低文进建进行在线强化进建，，，，，，，离线强化进建或者仿照进建。。。。。。。并且齐全没有经历多智能体训练，，，，，，，相比传统人为设计强化进建步骤有巨大效能优势。。。。。。。

初次揭示出数据多样性和序列长度沉要性本原

OmniRL使用了高效的线性把稳力结构进行建模，，，，，，，在尝试中，，，，，，，OmniRL对比了一样数据量但工作数量分歧的成效，，，，，，，发现当工作数量不实时，，，，，，，模型会偏差于选取“影象+环境鉴别”模式，，，，，，，将所有训练环境的特点存储在模型参数中，，，，，，，通过高低文进行急剧辨识。。。。。。。这种模式下，，，，，，，智能体可能更高效地适应训练过程中已见过的环境，，，，，，，但却难以泛化到未见环境。。。。。。。然而，，，，，，，当工作数量充分时，，，，，，，模型才会引发出真正的通用高低文进建能力，，，，，，，这种能力可能有效地泛化到未见工作，，，，，，，但它必要更长的高低文进建周期能力实现最佳阐发。。。。。。。

这一发现凸显了两个关键概想：数据的齐全性和多样性比数据的绝对正确性更为沉要。。。。。。。即便选取带有失真的数据，，，，，，，通过提升高低文进建的泛化能力，，，，，，，模型也可能更好地适应真实工作环境。。。。。。。长序列建模和长时影象是通用进建能力的必然选择。。。。。。。随着训练工作数量的增长，，，，，，，模型天然会选择不再影象工作有关的具体知识，，，，，，，而是专一于影象进建步骤自身，，，，，，，这导致它在应对训练集中的工作时必要更多的适应功夫。。。。。。。这正是大规模元进建的主题特点地点。。。。。。。

图3： 一样数据量，，，，，，，分歧工作量训练的损失值（越低越好）和高低文长度以及元训练迭代次数的关系。。。。。。。工作数量越多，，，，，，，在已见（seen）和未见（unseen）工作上的阐发越一致，，，，，，，但在高低文维度上破费更长的降落功夫。。。。。。。

面向下一代通用具身智能体的技术索求

OmniRL的最终指标是实现可能在肆意环境中齐全自主索求和进建的智能体，，，，，，，这一指标对具身智能尤为沉要。。。。。。。与大说话模型分歧，，，，，，，后者通过参数影象捉拿大量的学问、百科知识和数理逻辑，，，，，，，为其零样本能力提供支持，，，，，，，具身智能面对的是多样化的环境、工作以及复杂的本体异构性，，，，，，，这些都使得学问难以成为解决问题的主题基础。。。。。。。

具身智能的主题在于自主进建能力和长时影象，，，，，，，这两者将成为通用具身智能体的关键。。。。。。。此表，，，，，，，OmniRL的高低文自主进建和影象能力与当前大说话模型在长时序推理和思想链方面的能力有所分歧。。。。。。。OmniRL越发侧沉于“系统1”（直觉思想）的进建，，，，，，，而大说话模型则侧沉于“系统2”（逻辑思想和规划）的提升。。。。。。。

只管这两种能力的进建与加强都至关沉要，，，，，，，但当前主流的大模型尚未充分索求这两个领域，，，，，，，而OmniRL刚好添补了这方面的空缺，，，，，，，使其在具身智能利用中展示出怪异的优势。。。。。。。