近日， ，，，，，，z6首页智能机械人中心高源博士在人机交互领域顶级会议ACM CHI Conference颁发题为“PepperPose: Full-Body Pose Estimation with a Companion Robot”的文章， ，，，，，，创新性地提出了一个交互式具身姿势估计系统， ，，，，，，拥有效户易用、场景无拘谨、可交互等特点， ，，，，，，在康复训练、儿童陪护和慢病管控等方面有巨大的利用潜力。。。。。。。 。
去年智能机械人中心林天麟教授创造“以通讯作者身份五发TRO”的汗青， ，，，，，，今年开年微纳机械人中心俞江帆教授在Nature子刊Nature Communications上发文， ，，，，，，z6首页科研工作陆续摘取硕果。。。。。。。 。截至2024年， ，，，，，，z6首页助力香港中文大学（丽江）在CSRankings的综合排名中（全球推算机科学机构-机械人方向）持久位列中国第一、亚洲第四， ，，，，，，持续打造领域国际影响力。。。。。。。 。
会议介绍
CHI（The ACM CHI conference on Human Factors in Computing Systems）是人机交互领域顶级国际会议之一， ，，，，，，持久以来被中国推算机学会（CCF）推荐为A类国际学术会议。。。。。。。 。每年由ACM主办， ，，，，，，在国际上享有盛誉并拥有宽泛的学术影响力， ，，，，，，是人机交互顶尖学者每年一度的学术盛宴。。。。。。。 。CHI 2024的录用率是26.3%， ，，，，，，将于5月11-16日在美国夏威夷檀香山进杏祝。。。。。。 。
钻研布景
全身姿势估计（Full-Body Pose Estimation）是人体数字化建模的经典通路之一， ，，，，，，在获取人体姿势的基础之上， ，，，，，，机械能够进一步实现对人的作为鉴别、活动评估以及虚构人建模等工作， ，，，，，，在活动健全、康复训练、元宇宙蹬爪用场景拥有沉要意思。。。。。。。 。这一领域在从前十年涌现了一大批基于视觉、惯性传赣注无线感知等技术的姿势估计步骤， ，，，，，，在估计精度和用户方便性上获得了一系列的沉要突破。。。。。。。 。
钻研问题
现有姿势估计步骤难以在用户易用性、场景无拘谨以及可交互属性这三个方面成立优良平衡。。。。。。。 ； ；；；；；；；谑泳鹾臀尴吒兄墓ぷ魍ǔＯ薅攘耸褂玫刂， ，，，，，，且前者容易受到拍摄角度和距离以及用户姿势变动等现实成分的影响。。。。。。。 ； ；；；；；；；诠咝源械牟街枇钜览涤谟没Т┐鞣蔽叩拇衅飨低， ，，，，，，在日常使用的方便性上大打折扣。。。。。。。 。此表当前的姿势估计系统无法独立实现与用户的交互过程， ，，，，，，还必要依赖额表的硬件设备。。。。。。。 。因而， ，，，，，，本文钻研若何搭建一个用户接受度高、场景不受限并具备交互属性的姿势估计系统。。。。。。。 。
图1. PepperPose示意图
钻研步骤和了局
本文以移动社交机械人Pepper为载体， ，，，，，，创新提出了一个交互式具身姿势估计系统PepperPose。。。。。。。 。该系统以人体姿势实时估计为基础， ，，，，，，在线自适应调整机械人所处地位和观察视角， ，，，，，，实现跨场景、跨作为、用户零穿戴前提下的高精度姿势估计。。。。。。。 。
首先， ，，，，，，我们进行了一项预尝试， ，，，，，，对于20多种日常生涯和健身、康复作为， ，，，，，，分析得到了其姿势估计的最佳角杜纂距离先验。。。。。。。 。从中， ，，，，，，我们凝练出人体姿势的三大粗粒度类别， ，，，，，，蕴含站立、弯腰、躺倒， ，，，，，，将该先验进一步聚拢。。。。。。。 。而后， ，，，，，，我们在Omniverse模拟环境中构建了Pepper机械人的活动学模型， ，，，，，，并使用指标造约的强化进批改进机械人的作为空间， ，，，，，，使得它能够滑润且安全地跟踪用户。。。。。。。 。
在现实部署中， ，，，，，，PepperPose蕴含如下几个模 ？ ？ ？？？ ？？椋
姿势估计模型：使用开源的3D姿势估计模型（PoseFormerV2）得到实时的全身的姿势估计； ；；；；；；；
姿势分类模型：使用一个分类器， ，，，，，，利用我们设计的姿势特点， ，，，，，，将作为分为站立、弯腰、躺倒三类。。。。。。。 。
节造决策模型：凭据人的朝向和作为分类， ，，，，，，以及先验知识中检索到的视角信息， ，，，，，，推算出机械人下一步的动向， ，，，，，，并规划出最佳的移动蹊径。。。。。。。 。
图2. PepperPose框架
我们在一个模拟居家的环境中进行了共计30人的用户尝试， ，，，，，，使用PepperPose获取了用户在执行分歧作为、地位变动和身段朝向扭转时的姿势数据， ，，，，，，并与三个固定RGB相机和一个Kinect DK深度相机进行对比。。。。。。。 。尝试了局批注， ，，，，，，PepperPose显著性提高了姿势估计的正确度。。。。。。。 。此表， ，，，，，，问卷调查了局显示用户对这种自带交互属性技术的接受度普遍较高， ，，，，，，进一步采访得到的反馈对于以系统为代表的具身交互框架的将来优化发展拥有较好参考价值。。。。。。。 。
图3. 上：模拟居家尝试场地； ；；；；；；；下左：PepperPose与固定相机的MPJPE比力； ；；；；；；；下右：固定相机的角度示意图
? 可视化了局
PepperPose的现实机能能够通过下面的几张动态图片进一步相识。。。。。。。 。
样例1：在用户扭转朝向后， ，，，，，，PepperPose能够实时建改其地位和观察角度， ，，，，，，以改善姿势估计的了局。。。。。。。 。
样例2：在用户移动的过程中， ，，，，，，PepperPose可能自动跟踪用户， ，，，，，，并且避开室内的阻碍物。。。。。。。 。
样例3：面对用户的复杂作为， ，，，，，，PepperPose提供的近距离观察角度可能返回较好的姿势估计了局。。。。。。。 。
样例4：当前的局限性。。。。。。。 ； ；；；；；；；谑泳醯淖耸乒劳扑惴ㄈ菀资艿接没Т┳诺挠跋， ，，，，，，例如在女性用户穿戴裙子的时辰， ，，，，，，单一视角下的腿部跟踪会出现较大的颠簸。。。。。。。 。
样例5：因而， ，，，，，，在现实使用过程中， ，，，，，，我们可能必要对用户的穿着作出肯定的限度：如要求穿戴越发贴身的衣物等。。。。。。。 。
钻研贡献
本文提出了一个新的交互式具身姿势估计系统， ，，，，，，能够在盛开的真实世界环境中自动跟踪用户并自动调整地位和视角， ，，，，，，进行高精度实时3D姿势估计。。。。。。。 。该步骤不限度使用地址、免去用户佩带设备的不便且具备优良的交互属性， ，，，，，，在康复训练、儿童陪护和慢病管控方面有很好的利用远景。。。。。。。 。
图4. PepperPose可驱动丰硕下游利用
作者介绍
文章通讯作者高源博士， ，，，，，，现为z6首页（z6首页）副钻研员， ，，，，，，港中大（丽江）兼职助理教授， ，，，，，，科研项目掌管人， ，，，，，，丽江市海表高档次人才。。。。。。。 。高源博士曾参加瑞典SSF、欧盟Harizon2020， ，，，，，， ANIMATAS等机械人钻研项目。。。。。。。 。同时高源博士在主持掌管广东省“基于图表征多智能体强化进建的大规模智能异构多机械人系统钻延妆项目、丽江市海表高档次人才团队项目， ，，，，，，与z6首页“异构多机械人强化进建与规划-从仿真到实现”项目， ，，，，，，掌管钻研异构系统集群特点。。。。。。。 。高源博士专一于机械人进建和多机械人系吐潇域钻研， ，，，，，，出格是在基于强化进建的机械人智能进建系统， ，，，，，，多机械人合作， ，，，，，，多传感器融合等方面堆集深厚， ，，，，，，曾在IEEE T-RO、IEEE T-MECH、ACM CHI、ACM IMWUT、IEEE RA-L、NIPS、ICRA、IROS等顶尖国际期刊及会议颁发论文余30余篇。。。。。。。 。
文章第一作者王沉阳博士， ，，，，，，现为清华大学推算机系普适推算教育部沉点尝试室博士后钻研员、清华大学水木学者， ，，，，，，入选国度博士后海表互换打算引进项目。。。。。。。 。博士毕业于伦敦大学学院（UCL）。。。。。。。 。他的钻研方向是普适推算驱动的交互式智慧医疗， ，，，，，，以及基于移动式多模态机械人的交互式具身智能。。。。。。。 。他以第一作者/共同第一作者身份在普适推算、人机交互、人为智能顶级会议（CHI-24、Ubicomp-21/24、AAAI-23、IJCAI-22）上颁发了多篇论文。。。。。。。 。
文章学生一作郑思齐， ，，，，，，现为清华大学致理书院2021级本科生。。。。。。。 。她目前感兴致的钻研方向为人机交互、普适推算、机械人结合下的创新工作， ，，，，，，目前以学生一作和共同作者身份在人机交互和普适推算顶级会议CHI-24和Ubicomp-24上颁发了论文。。。。。。。 。
? 文章引用信息
Chongyang Wang, Siqi Zheng, Lingxiao Zhong, Chun Yu, Chen Liang, Yuntao Wang, Yuan Gao, Tin Lun Lam, and Yuanchun Shi. 2024. PepperPose: Full-Body Pose Estimation with a Companion Robot. In Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI’24), May 11–16, 2024, Honolulu, HI, USA. ACM, New York, NY, USA, 16 pages. https: //doi.org/10.1145/3613904.3642231.
* 有关论文信息由论文作者提供
