近日，， ，，，，，我院智能机械人中心团队在人为智能领域顶级期刊IEEE Transactions on Neural Networks and Learning Systems颁发题为“Lifelong-MonoDepth: Lifelong Learning for Multi-Domain Monocular Metric Depth Estimation”的文章，， ，，，，，深刻钻研了基于平生进建的机械人场景深度估计问题。。。。。。。。
面向机械人在分歧尺度场景的多域(multi-domain)深度估计需要，， ，，，，，论文提出了一种基于平生进建的单目深度估计模型框架，， ，，，，，通过构建轻量级多分支深度估计网络，， ，，，，，以实现机械人硬件资源受限情况下的实时绝对深度估计；； ；；；；；提出基于平生进建的实现算法，， ，，，，，可能实现模型的急剧更新和迭代，， ，，，，，从而急剧兼容新指标交互场景。。。。。。。。
论文链接：https://ieeexplore.ieee.org/document/10293000
期刊介绍
IEEE Transactions on Neural Networks and Learning Systems是推算机科学、神经网络和人为智能领域顶刊之一，， ，，，，，其影响因子为10.4，， ，，，，，为SCI一区和中科院一区顶刊，， ，，，，，登科率低于10%。。。。。。。。
钻研布景
多域深度估计对于真实世界的机械人利用，， ，，，，，如测距、避障和导航等，， ，，，，，阐扬着沉要作用。。。。。。。。已有的多域深度估计步骤预先网络分歧室内和室表场景下的大量数据，， ，，，，，通过混合大规模数据，， ，，，，，执行有监督进建的方式进行模型的训练。。。。。。。。然而，， ，，，，，由于场景尺度的差距，， ，，，，，如室内和室表深度差距达10倍，， ，，，，，这些步骤只能预测相对深度。。。。。。。。另一方面，， ，，，，，固然通过混合分歧场景数据的方式可能提高模型在分歧交互环境的泛化能力，， ，，，，，但当新的散布表场景出现时，， ，，，，，此类步骤依然必要网络新场景数据并沉新训练模型，， ，，，，，这就带来了在电力、训练功夫、存储空间等各方面的成本增长，， ，，，，，难以满足机械人现实部署的需要。。。。。。。。因而，， ，，，，，通过平生进建算法，， ，，，，，以最幼化模型训练功夫和数据网络价值为主张，， ，，，，，让模型兼容新指标域，， ，，，，，并保留其在原始域的感知能力拥有沉要意思。。。。。。。；； ；；；；；谄缴ǖ纳疃裙兰撇街柙谝延泄ぷ髦械玫搅顺醪剿髑，， ，，，，，然而这些步骤只索求了类似场景的平生进建方式，， ，，，，，域差距较。。。。。。。；； ；；；；；同时，， ，，，，，由于场景尺度的差距，， ，，，，，已有工作只估计相对深度。。。。。。。。本文所提算法仅需保留在原始域上的少量训练数据，， ，，，，，因而能够节俭数据存储空间并节俭模型训练成本。。。。。。。。另表，， ，，，，，所提算法在原始域和新域大尺度差距挑战下均可精确地估计场景绝对深度，， ，，，，，拥有较高的正确性和鲁棒性。。。。。。。。
钻研内容
1. 模型设计
为应对机械人硬件资源受限以及高实时性要求的挑战，， ，，，，，本文构建一种轻量级深度估计模型，， ，，，，，以便在资源受限的前提下使机械人高效地执行深度估计工作。。。。。。。。由于真实交互场景尺度差距大，， ，，，，，深度领域不一。。。。。。。。因而，， ，，，，，本文提出轻量级的多分支模型框架，， ，，，，，其中蕴含一个域共享的编码器以及多分支深度预测器，， ，，，，，各预测器可能独立进建以适应分歧场景的深度领域。。。。。。。。当必要在新域进前进建时，， ，，，，，只需动态增长一个参数较少的域特定预测器，， ，，，，，而无需沉新设计整个模型结构。。。。。。。。该动态扩大的能力可赋予模型更大的矫捷性和可扩大性，， ，，，，，以适应机械人指标交互场景不休变动的需要。。。。。。。。
图1给出了可视化了模型在三个分歧领域的进建框架。。。。。。。。该模型从一个深度预测器f1起头，， ，，，，，用于在指标域D1的进建，， ，，，，，并动态地扩大其预测器f2和f3，， ，，，，，从而顺次在指标域D2和D3上进前进建。。。。。。。。在模型揣度时，， ，，，，，通过对比输入数据在特点空间中与各域之间的距离，， ，，，，，自适应地拔取相应的预测器进行深度估计。。。。。。。。
图1：多分支场景深度估计模型
2. 模型训练
面对分歧场景的数据散布差距，， ，，，，，本文引入深度一致性和不确定性约束，， ，，，，，提出基于不确定性损失的新指标域深度估计能力获取和原始域深度估计能力保留步骤。。。。。。。。其中，， ，，，，，深度一致性约束有助于确保在分歧场景下，， ，，，，，模型对深度估计工作的执行维持一致性，， ，，，，，预防了分歧域之间的显著机能差距。。。。。。。。另一方面，， ，，，，，不确定性约束则使模型可能更好地捉拿各域之间的数据差距，， ，，，，，从而缓解各域之间的尺度差距。。。。。。。。此表，， ，，，，，为预防模型在进建新域时对原始域深度估计能力的苦难性忘却，， ，，，，，选取少量原始域数据的回放战术。。。。。。。。通过不休坚韧对原始域工作的深度估计能力，， ，，，，，确保在多域进建过程中维持不变的机能水平。。。。。。。。
3. 模型部署
在实现在所有指标域的进建之后，， ，，，，，梦想情况下，， ，，，，，该模型可能从多个指标域中取样的任何图像都正确估计其深度图。。。。。。。。由于模型拥有多个分支预测器，， ，，，，，一个现实的挑战是若何鉴别该图像的所属域，， ，，，，，并相应地自动选择相应的预测器。。。。。。。。为相识决这个问题，， ，，，，，本文提出鉴别给定图像与特点空间中每个域之间的最幼距离。。。。。。。。由于我们保留了每个域的一个幼子集，， ，，，，，因而能够得到每个域的均匀特点近似值，， ，，，，，通过对比输入数据与各域在特点空间中的差距，， ，，，，，从而判定相应的预测器。。。。。。。。
4. 尝试了局
如图2所示，， ，，，，，所提步骤可能对分歧尺度场景下进行精确的深度估计。。。。。。。。
图2：三个分歧场景下的深度估计示例
钻研结论
本文提出了面向分歧尺度场景下多域深度估计的平生进建模型。。。。。。。。与已有步骤相比，， ，，，，，所提模型在域差距大的挑战下，， ，，，，，拥有较高的精度和实时性。。。。。。。。本文步骤是初次可能在域差距较大的情况下，， ，，，，，进行平生进建并估计绝对深度。。。。。。。。
作者简介
本文第一作者胡君杰博士是我院智能机械人中心助理钻研员，， ，，，，，丽江市海表高档次人才、丽江市龙岗区深龙英才。。。。。。。。于2020年3月毕业于日本东北大学，， ，，，，，钻研方向为人为智能、模式鉴别、机械人。。。。。。。。已在 T-PAMI、TNNLS、T-RO、RA-L、ICCV、IJCAI、ICRA、IROS 等顶尖国际期刊及会议颁发论文20余篇。。。。。。。。
本文通讯作者林天麟，， ，，，，，香港中文大学（丽江）助理教授，， ，，，，，博士生导师，， ，，，，，广东省卓越青年基金获得者，， ，，，，，IEEE高级会员，， ，，，，，担任机械人与智能造作国度处所结合工程尝试室常务副主任、z6首页（z6首页）智能机械人中心主任。。。。。。。。师从徐扬生院士，， ，，，，，别离于2006年和2010年在香港中文大学获得一等荣誉学士学位和博士学位。。。。。。。。钻研方向蕴含模？？？？？？？榛等恕⒍嗷等讼低臣疤刂只等说。。。。。。。。林教授至今在T-RO、TPAMI、TIP、TMECH、ICRA、IROS等驰名期刊及会议颁发论文100余篇，， ，，，，，其中2023年以独立通讯作者身份在T-RO颁发论文5篇；； ；；；；；获TMECH年度最佳论文奖，， ，，，，，IROS机械人机构设计最佳论文奖；； ；；；；；作为项目掌管人，， ，，，，，主持国度天然科学基金委、国度科技部、广东省科技厅、丽江市科创委的多项科研项目；； ；；；；；有关钻研成就被路透社、索求频路、日本放送协会NHK、IEEE Spectrum等多多国际驰名媒体报导。。。。。。。。
团队介绍
z6首页智能机械人中心由林天麟教授辅导，， ，，，，，旨在钻研多机械人系统自由组成各类状态以解决不成预知问题的关键技术，， ，，，，，通过单一智能体的集群实现复杂的智能群体行为，， ，，，，，让机械人系统占有可复用、自由构型、可拓展、故障自建复等通用个性，， ，，，，，为机械人设计领域创造出一种全新切实可行的实现状态。。。。。。。。
团队持久从事机械人和人为智能钻研，， ，，，，，开发了十余种机械人和智能系统；； ；；；；；承担来自国度天然科学基金委、国度科技部、广东省科技厅、丽江市科创委等多项沉要钻研项目；； ；；；；；科研成就颁发于T-RO、TPAMI、TIP、TMECH、ICRA、IROS等机械人与人为智能领域的国际期刊和会议上，， ，，，，，其中2023年在T-RO颁发论文5篇。。。。。。。。关于模？？？？？？？榛猿凉够等薋reeBOT的钻研成就获2020年IROS机械人机构与设计最佳论文奖，， ，，，，，IEEE Spectrum、日本放送协会NHK和Engadget 等多家国际驰名媒体对其进行了宽泛报路。。。。。。。。
相识团队更多论文和视频信息：
团队主页：https://freeformrobotics.org
团队B站-CUHKSZ-RAIL：https://space.bilibili.com/691821613
* 有关论文信息由论文作者提供
