我院群体智能中心黄建伟教授、范晨悠博士和智能机械人中心胡君杰博士在多媒体与人为智能 CCF-A 类会议 ACM Multimedia 2021颁发了题为“Few-Shot Multi-Agent Perception（幼样本多智能体协同感知）”的文章。。。 。。。。。该论文钻研若何利用大量“拥有有限自主算力和通讯带宽的智能体”，，，，，，执行结合的环境感知工作。。。 。。。。。
ACM Multimedia 是全球名列前茅的学术峰会，，，，，，旨在展示多媒体领域科学成就和创新工业产品。。。 。。。。。
钻研布景
设想在将来的校园中，，，，，，校园送餐车或者警务车执行点到点的个别服务工作，，，，，，首先必要在人群中鉴别指标个别再进行蹊径规划。。。 。。。。。我们设计一种高效的空位协同模式：1）利用多个无人机进行人脸鉴别，，，，，，获取校园内人群动态信息；；；；；； ；2）自动驾驶送餐车或者警务车通过发送指标人脸到多个无人机数据进行匹配，，，，，，再返回类似度，，，，，，从而确定指标工作的地理地位再进行蹊径规划。。。 。。。。。
图1：多智能体协同感知示意图
我们钻研这个过程中的多智能体协同感知过程。。。 。。。。。如图1所示，，，，，，查问智能体（Query agent，，，，，，左）通过发送自己的少样本数据特点（如单张人脸图片）到多个支持智能体（Support agent，，，，，，右）。。。 。。。。。支持智能体自身能够不休更新自己的人脸数据库，，，，，，通过不休地飞行持续感知地面情况，，，，，，更新指标的坐标和表观特点。。。 。。。。。支持智能体接受查问智能体的查问，，，，，，通过比对自身的数据，，，，，，提供类似度推算了局并返回给查问智能体。。。 。。。。。查问智能体接管所有支持智能体的返回值进行排序和筛选！！ 。。。。。，，，，，从而最终确定指标地位。。。 。。。。。
钻研步骤
通过上述多智能体感知的过程，，，，，，我们必要解决如下两个难点。。。 。。。。。1）查问智能体若何提取感知数据的特点并发送给支持智能体；；；；；； ；2）散布式支持智能体若何高效地推算查问-支持数据之间的类似度。。。 。。。。。
图2：散布式怀抱进建框架示意图
我们设计一种散布式特点提取与怀抱进建的架构，，，，，，如图2所示。。。 。。。。。对于典型的感知数据，，，，，，如图像、音再三谱，，，，，，我们首先进行编码，，，，，，即天生其深度特点。。。 。。。。。通过使用深度进建网络（如CNN），，，，，，天生紧凑的查问数据的特点qu（用于发出广播查问），，，，，，以及在各个散布式智能体本地天生维度较大的支持数据特点kv，，，，，，其维度大幼能够凭据工作精度进行拔取！！ 。。。。。，，，，，并且能够设置为非对称大幼。。。 。。。。。我们进一步将图像 2D 特点平面分成 N-by-N 个特点区域，，，，，，利用余弦距离来推算查问特点与支持特点的图像各区域的类似度，，，，，，
并通过该类似度的累加来衡量查问及支持特点的区域沉要性水平。。。 。。。。。
通过推算查问数据与所有散布式支持数据之间的类似度，，，，，，得到最优匹配支持数据，，，，，，从而赋予其相应的数据标签作为回覆。。。 。。。。。
为了保障对图像数据的移动、视角和旋转等变换的鲁棒性，，，，，，我们利用最优传输（Optimal transport）优化指标得出查问-支持数据各个区域之间最佳匹配，，，，，，如下图所示。。。 。。。。。
最后，，，，，，通过加权均匀最优匹配值获得查问-支持数据整体的最优匹配值，，，，，，获得越发鲁棒的类似度怀抱。。。 。。。。。如上图所示，，，，，，我们给出多项式功夫的算法，，，，，，结合深度进建网络进行训练。。。 。。。。。
钻研了局
我们通过尝试验证了所提步骤，，，，，，在图像分类、图像宰割、人脸鉴别、音再三谱分析等目前人为智能的典型利用场景下，，，，，，均大幅超过现有的步骤。。。 。。。。。
图4：多智能体视频、人脸图像、音频采集示意图
在人脸鉴别方面，，，，，，我们网络了“Celebrity of z6首页”数据，，，，，，验证了在幼样本进建设定下（5-way 1-shot/5-shot）无人机和地面的人脸鉴别精度为 67%/70%，，，，，，精度比原有步骤（拜见下方参考文件[2]、[3]）提高了10-15%。。。 。。。。。在路路宰割工作上，，，，，，我们利用 Air-Sim 无人机模拟数据，，，，，，在路路的语义宰割工作上进行验证，，，，，，在幼样本进建设定下（3-way 1-shot/5-shot）精度为72%/78%，，，，，，比原有步骤提高5%左右。。。 。。。。。同样的，，，，，，在少样本图像分类和音再三谱风格分类工作上精度均有大幅度提高。。。 。。。。。
图5：Air-Sim 少样本路路宰割了局
钻研总结
我们提出了一种有效的散布式多智能体幼样本感知的进建框架。。。 。。。。。该框架体现了多智能体数据网络的优势，，，，，，即海量数据的协同网络；；；；；； ；同时体现了多智能体协同感知的算力优势，，，，，，即通过度布式执行的方式，，，，，，实现数据处置的本地化；；；；；； ；最后，，，，，，体现了多智能体少样本进建的算法优势，，，，，，即通过解耦散布式数据之间的关联，，，，，，保障了散布式执行返回的了局为全局最优，，，，，，而无需散布式节点之间的通讯，，，，，，节俭了通讯开销。。。 。。。。。
参考文件：
[1] Chenyou Fan, Junjie Hu, Jianwei Huang. "Few-Shot Multi-Agent Perception." 29th ACM International Conference on Multimedia 2021 (ACM MM'21)
[2] Abhishek Das, Théophile Gervet, Joshua Romoff, Dhruv Batra, Devi Parikh, Mike Rabbat, and Joelle Pineau. 2019. Tarmac: Targeted multi-agent communication. In ICML.
[3] Jake Snell, Kevin Swersky, and Richard Zemel. 2017. Prototypical networks forfew-shot learning. In NIPS.
作者简介
论文通讯作者为z6首页（z6首页）副院长，，，，，，群体智能中心主任黄建伟教授。。。 。。。。。他同时也是香港中文大学（丽江）校长讲座教授，，，，，，理工学院副院长。。。 。。。。；；；；；； ；平淌谑抢鼋信舫翘仄附淌凇EEE Fellow、IEEE通讯学会卓越讲者、汤森路透推算机科学领域全球高被引科学家。。。 。。。。。他持久专一于网络通讯、网络经济学和群体智能交叉领域的开创性钻延祝。。 。。。。。他已颁发 7部学术专著、 125 篇 JCR一区论文和 170 余篇国际会讨论文，，，，，，被谷歌学术引用超过 13900 次，，，，，， H-index为 59（位列全球推算机领域学者中前 0.05%）。。。 。。。。。
论文第一作者为 z6首页 群体智能中心助理钻研员范晨悠博士，，，，，，范博士毕业于美国印第安纳大学，，，，，，并在美国谷歌等IT公司有三年研发工程师经历。。。 。。。。。他的重要钻研方向蕴含深度进建、推算机视觉、少样本进建，，，，，，和联国进建等。。。 。。。。。他以第一作者在机械进建和推算机视觉领域会议颁发多篇钻研文章，，，，，，蕴含CVPR、ACM MM、AAAI、 KDD、NeurIPS。。。 。。。。。
论文第二作者为 z6首页 智能机械人中心胡君杰博士，，，，，，胡博士于2020年3月毕业于日本东北大学，，，，，，钻研方向为机械人感知、模式鉴别、推算机视觉。。。 。。。。。他在有关领域已颁发十几篇学术论文，，，，，，其中蕴含 wacv 2019（100+引用）、iccv 2019、Remote Sensing 2020、ral2021 等。。。 。。。。。
点击链接可查看“幼样本多智能体协同感知”技术的利用场景之一：通过遍布城市中的多智能体间的协同感知与交互，，，，，，援手自动驾驶车辆做出最优判断与规划。。。 。。。。。https://www.bilibili.com/video/BV1sF411Y72b/
