近日，，，，，我院黄建伟教授与香港中文大学邢国良教授共同合作领导的钻延装Cosmo: Contrastive Fusion Learning with Small Data for Multimodal Human Activity Recognition”被第28届国际移动推算与网络会议（The 28th Annual International Conference on Mobile Computing and Networking, MobiCom 2022）接管。。。。。。。。

会议介绍

国际移动推算与网络会议（MobiCom）是无线网络和移动推算系吐潇域的世界顶级学术会议，，，，，是CCF A类会议。。。。。。。。MobiCom22将于2022年10月17日至21日进行，，，，，会议由ACM SIGMOBILE赞助。。。。。。。。；；；；；；嵋槊磕杲邮芰铰滞陡。。。。。。。。本轮中共有223篇投稿，，，，，其中仅41篇文章被接管，，，，，登科率仅为18.3%。。。。。。。。

钻研布景

人类活动鉴别（HAR）在智能家居、智能健全、虚构/加强现实（VR/AR）等领域有着宽泛的利用。。。。。。。。在现实利用中，，，，，人类活动通常是高度复杂且动态的，，，，，其中大部门难以通过仅使用单一传感器模态来捕获。。。。。。。。因而，，，，，越来越多的多模态传感器系统被用于活动鉴别利用中，，，，，以利用多种新兴且保；；；；；；ひ衷的传感器模态（例如深度相机和雷达），，，，，提供更正确的活动鉴别。。。。。。。。

然而，，，，，在人类活动鉴别中融合多种传感器模态数据存在诸多挑战。。。。。。。。首先，，，，，在活动鉴别利用中，，，，，分歧类型的传感器数据通常是高度异构的。。。。。。。。例如，，，，，惯性丈量（IMU）和深度图像拥有显著分歧的维度和状态，，，，，使得融合拥有挑战性。。。。。。。。其次，，，，，现实利用中通常存在极度有限的象征好的多模态数据，，，，，利用少量象征的多模态数据进行有效融合极度难题。。。。。。。。最后，，，，，活动鉴别利用中的传感器数据通常拥有隐衷敏感性，，，，，无法传输到云端；；；；；；；且活动鉴别模型通常必要针对分歧用户进行定造，，，，，这必要使用陆续的多模态数据进行设备上的训练（on-device training）。。。。。。。。

Cosmo在多模态活动鉴别中的利用场景

钻研步骤

通过基于真实世界的多模态HAR数据集的分析，，，，，我们发现：

1）分歧传感器模态的一致性信息（consistent information）有助于对齐数据特点，，，，，从而使融合了局对噪音越发鲁棒。。。。。。。。

2）模态间的互补性信息（complementary information）可能利用分歧传感器的优势，，，，，因而提高融合的正确率。。。。。。。。

3）当仅存在有限的象征好的多模态数据时，，，，，应在融合过程中同时进建和利用一致性和互补性信息，，，，，以在真实的HAR工作中实现更稳重的融合机能。。。。。。。。

在此布景下，，，，，我们设计了Cosmo，，，，，一个基于端云协同和少量象征数据的对比融合进建系统，，，，，用以提高多模态人类活动识此外正确性。。。。。。。。一方面，，，，，Cosmo利用了云端大量未象征的多模态活动数据进行对比融合进建（contrastive fusion learning），，，，，来进建多模态数据的一致性和有关性。。。。。。。。具体来说，，，，，此部门设计了一个基于数据融合的特点增广？？？？？？？椋╢usion-based feature augmentation），，，，，并通过设计基于对比进建的模型训练指标，，，，，使得来自于统一组多模态数据的正样本在特点空间的距离相近，，，，，而来自其他多模态数据的负样本距离更远。。。。。。。。所提出的对比融合进建提取的特点（unimodal representations）不仅能蕴含更多模态间的一致性信息，，，，，且对分歧的融合方式拥有更强的适应性（invariant to different fusion schemes）。。。。。。。。另一方面，，，，，Cosmo对边缘端用户少量象征的多模态活动数据进行监督进建，，，，，来进建多模态数据间的互补性。。。。。。。。具体来说，，，，，此部门提出了基于数据质量和把稳力机造的分类器，，，，，仅利用极度少量象征的数据实现有效的互补性融合。。。。。。。。同时，，，，，此部门将复用预训练的多模态特点提取模型，，，，，并利用交替训练（iteration fusion learning）的方式与分类器进行结合，，，，，更好地结合模态间的一致性和互补性信息。。。。。。。。

Cosmo系统设计框架

钻研了局

z6首页尝试使用了两个公开数据集和一个新采集的多模态活动数据集，，，，，这些数据集总共蕴含来自五种分歧传感器模态（即加快器、 陀螺仪、骨架、深度图像和毫米波雷达）和55种分歧的日常人类活动。。。。。。。。了局批注，，，，，Cosmo别离比单模态进建、监督融合进建和现有的对比进建步骤别离提高了51.61%、26.73%和20.90%的活动鉴别正确率。。。。。。。。同时，，，，，我们搭建了一个基于Nvidia Jetson TX的现实的端云系统，，，，，尝试批注Cosmo相迸宗传统的监督融合进建步骤收敛速度大大提升，，，，，在用户端拥有较高的训练效能。。。。。。。。

采集的多模态活动鉴别数据集

钻研结论

本文提出了一种有效的基于端云协同和少量象征数据的对比融合进建系统，，，，，用以提高异构多模态活动识此外正确性。。。。。。。。通过在融合过程中同时进建和利用分歧模态的一致性和互补性信息，，，，，该步骤可能利用用户端极度少量象征的数据实现高效的多模态数据融合。。。。。。。。在真实的多模态活动数据集和自主搭建的端云系统的尝试了局批注，，，，，z6首页步骤能在真实的活动鉴别工作中实现更稳重的融合机能和更高的训练效能。。。。。。。。

作者简介

论文第一作者欧阳幼敏，，，，，香港中文大学信息工程系在读博士生，，，，，2019年本科毕业于乐山大学。。。。。。。。目前钻研方向为基于机械进建的智慧健全系统，，，，，移动感知与推算，，，，，物联网，，，，，有关论文颁发于MobiCom, MobiSys, SenSys, TOSN等移动推算领域会议与期刊。。。。。。。。

论文共同通讯作者邢国良，，，，，现任香港中文大学信息工程系教授，，，，，IEEE Fellow，，，，，2006年获美国圣路易斯华盛顿大学博士学位，，，，，并曾在美国密歇根州立大学任助理教授、平生副教授。。。。。。。。邢教授在嵌入式人为智能、物联网、信息安全和无线网络领域颁发了150多篇论文，，，，，总的引用数超过10,000次，，，，，现辅导多个大型边缘人为智能项目，，，，，将利用于城市智能网络设施，，，，，自动驾驶，，，，，智能健全等多个领域。。。。。。。。从前10年期间其辅导开发并部署过地震火山传感器网络、智能健全、数据中心效力治理、水下机械人网络等大型系统，，，，，并于2010年获得青年科学家事业奖（CAREER）, 2014年获美国密歇根州立大学Withrow卓越教授奖。。。。。。。。邢教授的工作在多个国际一流会议上获得3篇最佳论文奖和5篇最佳论文候选。。。。。。。。邢教授的钻研成就在2013-2015年陆续三年获顶级会议MobiCom移动利用奖，，，，，开发的数项智能系统技术已被工业界产业化。。。。。。。。

论文共同通讯作者黄建伟教授，，，，，现任香港中文大学（丽江）协理副校长（候任），，，，，校长讲座教授，，，，，兼任z6首页副院长和群体智能钻研中心主任。。。。。。。。他是丽江市鹏城特聘教授，，，，，IEEE Fellow，，，，，IEEE通讯学会卓越讲者，，，，，汤森路透推算机科学领域全球高被引科学家。。。。。。。。

黄教授持久专一于网络通讯、网络经济学和群体智能交叉领域的开创性钻研，，，，，其特色是通过融入经济学理论给出网络中资源分配和优化的解决规划。。。。。。。。他已颁发7部学术专著和300余篇国际一流期刊和会讨论文，，，，，被谷歌学术引用超过14890 次，，，，，H-index为 61，，，，，9篇论文入选ESI高引论文，，，，，1篇文章入选ESI热点论文。。。。。。。。他的论文10次获得国际会议和期刊的最佳论文奖，，，，，陆续于2016、2017年入围科睿唯安（原汤森路透）全球高被引科学家榜（即颁发的ESI高引论文数在推算机领域排名全球前1%），，，，，2021年入选斯坦福大学评比的“世界前2%顶尖科学家”，，，，，2022年入选爱思唯尔“中国高被引学者”。。。。。。。。

黄建伟教授持久活跃于IEEE通讯学会，，，，，现任IEEE Transactions on Network Science and Engineering（JCR Q1）的主编（Editor-in-Chief）。。。。。。。。曾先后担任IEEE Open Journal of the Communications Society的副主编（Associate Editor-in-Chief），，，，，IEEE Communications Society Technology News 副主编（Associate Editor-in-Chief）。。。。。。。。

参考文件：[1] Xiaomin Ouyang, Xian Shuai, Jiayu Zhou, Ivy Wang Shi, Zhiyuan Xie, Guoliang Xing*, Jianwei Huang*, “Cosmo: Contrastive Fusion Learning with Small Data for Multimodal Human Activity Recognition”, The 28th Annual International Conference on Mobile Computing and Networking (MobiCom), 2022.