异构多机械人合作可能突破单个机械人机能的限度 ，，，，，，实现团队合作与优势互补 ，，，，，，在办公/家庭服务、安防巡检、星际索求以及军事攻防等自动化、无人化工作中拥有沉要意思。。。。。。。然而 ，，，，，，传统的多智能体合作步骤通常依赖于精密建模 ，，，，，，难以应对复杂动态环境 ，，，，，，且无法理解和处置天然说话工作描述。。。。。。。
为解决上述问题 ，，，，，，z6首页智能节造中心冀晓强教授团队提出了国际首个用于大说话模型（LLM）微调的异构多机械人合作节造数据集MultiPlan ，，，，，，以及谬误诊断指标MRED。。。。。。。MultiPlan基于天然说话工作描述框架界说了工作内容、环境描述和作为规划 ，，，，，，结合机械人底层SDK ，，，，，，提供了简洁且可部署的智能合作规划。。。。。。。与传统步骤相比 ，，，，，，微调后的7B参数规模模型在复杂工作的规划及节造能力上实现了对GPT-4o等关源大模型的显著超过。。。。。。。MultiPlan数据集涵盖100个常见室内表生涯场景 ，，，，，，通过模板天生与人为复核的数据流水线 ，，，，，，确保了数据的泛化性和多样性。。。。。。。在现实世界中的尝试验证进一步体现了本钻研的现实利用价值：别离在办公室服务和城市街路清洁两个场景中进行部署 ，，，，，，证了然步骤的有效性和鲁棒性。。。。。。。
期刊介绍
Journal of Field Robotics（JFR）是机械人学领域的顶级期刊之一 ，，，，，，致力于颁发表向真实世界利用的前沿钻研 ，，，，，，强调度论钻研与现实工程利用的缜密结合 ，，，，，，出格关注机械人在复杂场景和真实工作中的现实部署与阐发。。。。。。。JFR在国际机械人学领域享有极大名誉 ，，，，，，对论文的创新性、工程实际价值和技术细节的齐全性要求严格。。。。。。。
本论文被该期刊专题特刊 “Embodied Artificial Intelligence for Field Robots”接管 ，，，，，，该特刊聚焦于将人为智能与物理实体深度融合的前沿钻研 ，，，，，，旨在探求具身智能在复杂真实环境中提升机械人自主性和适应性的最新进展。。。。。。。
钻研介绍
Embodied Artificial Intelligence（EAI）作为一种新兴范式 ，，，，，，将人为智能与物理实体深度结合 ，，，，，，以实现机械人在复杂环境中的动态感知、交互和进建能力。。。。。。。相迸宗传统的单机械人系统 ，，，，，，异构多机械人系统（HMRS）在工业自动化和灾害接济等工作中展示了更高效的工作执行能力。。。。。。。然而 ，，，，，，现有的多机械人工作规划步骤 ，，，，，，蕴含共识算法、行为驱动步骤和强化进建战术 ，，，，，，普遍存在适应性不及、难以应对动态环境和复杂合作问题的局限性。。。。。。；；；；；；诖 ，，，，，，本钻研提出了一种将大说话模型（LLM）与EAI相结合的多机械人合作规划节造步骤 ，，，，，，通过天然说话接话柄现直观矫捷的工作描述 ，，，，，，并利用LLM的宽泛知识和高低文理解能力解决传统步骤的不及。。。。。。。
图1. 异构多机械人系统通过优势互补拓展了单机械人系统的能力
在步骤上 ，，，，，，本文设计了一种可扩大的天然说话描述框架 ，，，，，，将异构多机械人工作转化为可量化的说话指令 ，，，，，，从而有效提升工作的物理语义对齐能力。。。。。。；；；；；；诟每蚣 ，，，，，，本文构建了首个面向LLM的多机械人工作规划数据集——MultiPlan ，，，，，，为LLM在多机械人系统中的工作规划和合作提供了全面且多样化的场景支持。。。。。。。此表 ，，，，，，为评估LLM的规划机能 ，，，，，，本文提出了多机械人合作谬误诊断评估（MRED）指标 ，，，，，，可能细粒度地鉴别和量化工作执行中的谬误。。。。。。。最后 ，，，，，，通过对LLM的监督微调 ，，，，，，本文验证了其在复杂工作场景下的泛化能力 ，，，，，，并进行了室内表实地测试 ，，，，，，蕴含办公室服务和城市街路清洁工作 ，，，，，，验证了模型的现实利用能力和鲁棒性。。。。。。。
图2. 本文进行的部署测试示意图：办公室服务工作和城市街路清洁工作
之后 ，，，，，，通过对LLM的监督微调 ，，，，，，本文验证了其在复杂工作场景下的泛化能力 ，，，，，，并进行了室内表实地测试 ，，，，，，蕴含办公室服务和城市街路清洁工作 ，，，，，，验证了模型的现实利用能力和鲁棒性。。。。。。。
钻研贡献
本文的重要贡献是：
- 提出了一种面向异构多机械人工作的可扩大天然说话描述框架 ，，，，，，有效解决了抽象说话指令与物理执行之间的天堑。。。。。。。
- 构建了涵盖100个常见场景的大规模高质量大模型微调数据集--MultiPlan数据集。。。。。。。提出的MRED评估指标可能系统性的对工作规划的谬误进行诊断。。。。。。。MultiPlan数据集和MRED评估指标不仅添补了LLM在多机械人工作规划领域的钻研空缺 ，，，，，，还为进一步钻研提供了高质量的基准。。。。。。。
作者简介
本文通讯作者为z6首页智能节造中心主任、香港中文大学（丽江）钻研助理教授冀晓强。。。。。。。冀晓强教授 ，，，，，，香港中文大学（丽江）理工学院钻研助理教授 ，，，，，，兼任z6首页智能节造中心主任 ，，，，，，并担任中国仿真学会智能物联专委会委员等。。。。。。。冀晓强教授在美国哥伦比亚大学获得博士学位 ，，，，，，重要钻研方向为智能节造系统 ，，，，，，主持多项科研及人才项目 ，，，，，，至今在Automatica、Journal of Field Robotics(JFR)、IEEE/ASME T-Mech、T-ASE、Information Fusion、RA-L、CDC、ICRA等顶尖国际期刊及会议颁发论文四十余篇。。。。。。。在非最幼相位系统方面 ，，，，，，是该领域全球领域内进建节造设计的推动者之一。。。。。。。担任蕴含IEEE T-AC在内的多个顶级期刊及会议的审稿人、MECC副编纂、RCAR等国际会议领域主席 ，，，，，，并于近期获得CINT优良论文奖、ISUI最佳论文奖等。。。。。。。
本文第一作者为香港中文大学（丽江）推算机与信息工程专业硕士钻研生万瀚文。。。。。。。万瀚文于2023年参与港中大（丽江）理工学院攻读硕士学位 ，，，，，，重要钻研方向为具身智能节造、大模型和强化进建节造等。。。。。。。目前在Journal of Field Robotics（JFR） ，，，，，，EMNLP ，，，，，，ASC国际顶级期刊/会议颁发论文 ，，，，，，曾担任IROS、ICRA等机械人国际顶级会议审稿人。。。。。。。
* 有关信息由论文作者提供
