z6首页

近日，，，，，我院林天麟教授团队在图像处置领域顶级期刊 IEEE Transactions on Image Processing 颁发题为“Toward Better Accuracy-Efficiency Trade-Offs: Divide and Co-Training”的文章。。。。。。。。

近日，，，，，我院林天麟教授团队在图像处置领域顶级期刊 IEEE Transactions on Image Processing 颁发题为“Toward Better Accuracy-Efficiency Trade-Offs: Divide and Co-Training”的文章。。。。。。。。

该工作初次在深度神经网络架构设计领域提出了一种基于网络切分和协同训练的神经网络进建系统设计步骤，，，，，证了然在神经网络进建系统的设计中，，，，，单纯地增长神经网络的宽度或者深度并不是最优解，，，，，当令地增长网络的数量是更好的选择。。。。。。。。该工作在学界常用的基准测试平台上实现了当先的成效。。。。。。。。

论文链接：https://ieeexplore.ieee.org/document/9877850

代码链接：https://github.com/FreeformRobotics/Divide-and-Co-training

期刊介绍

IEEE Transactions on Image Processing 是图像处置领域公认的顶级期刊之一，，，，，其影响因子达到了11，，，，，代表了图像处置领域先进的沉猛进展，，，，，要求论文在理论和工程成效上对图像处置及有关领域拥有沉要推作为用。。。。。。。。

钻研布景

在深度神经网络设计中，，，，，神经网络的宽度是其架构设计中的沉要元素。。。。。。。。通常而言，，，，，增长网络的宽度，，，，，网络的进建表征能力也会加强。。。。。。。。然而，，，，，网络的进建表征能力并不是随着宽度的增长而线性增长的，，，，，当宽度增长到肯定水平后，，，，，网络的进建表征能力增长缓慢并趋于鼓和（如图1）。。。。。。。。

图1. 神经网络的分类精度随着宽度增长逐步趋于鼓和，，，，，但推算量却急剧增长

这种情况下，，，，，我们以为增长网络的数量是比单纯增长网络宽度更优的选择，，，，，可能实现更好的精杜纂效能之间的衡量。。。。。。。。为了论证z6首页概想，，，，，我们将一个大网络切分成几个一致大幼的幼网络，，，，，并保障切分前后的参数总量大体相称，，，，，即每个幼网络都有原来大网络的一部门参数量。。。。。。。。切分的过程也产生在网络的一些正则化？？？？？橹幼。。。。。。。而后我们给这些幼网络输入一样数据的多视角图片进行协同训练，，，，，协同训练的过程中幼网络也能相互进建推进。。。。。。。。最后，，，，，多个幼网络的集功成效就可能超过单个大网络的成效，，，，，同时网络推算量和参数量也没有产生显著变动。。。。。。。。在现实利用中，，，，，多个幼网络也具备更高的矫捷性，，，，，能够通过模型并行实现更快的处置速度。。。。。。。。在本工作中，，，，，我们在图像分类和指标检测两个工作，，，，，以及多达八种分歧的常见深度神经网络架构上验证了z6首页步骤，，，，，并在学界常用的测试基准上获得了当先的成效。。。。。。。。

钻研步骤

本工作在深度进建神经网络架构设计中引入了网络切分和协同训练的步骤（如图2）。。。。。。。。我们凭据分歧网络架构的特点，，，，，设计了一套合用于当前主流的神经网络的切分步骤，，，，，蕴含但不限于常见的 ResNet、DenseNet、ResNeXt、 PyramidNet 和 EfficientNet 等。。。。。。。。我们切分的准则是保障切分前后网络的总体参数量和推算复杂度大体维持不变，，，，，这是为了更好地验证我们前文提到的概想：增长网络数量是比单纯增长网络宽度更好的选择。。。。。。。。另表，，，，，随着切分前后网络表征能力的变动，，，，，网络训练时所合用的正则项也进行了参数上的调整。。。。。。。。网络切分的细节详见论文。。。。。。。。

图2. 网络切分与协同训练

网络切分实现后，，，，，我们接着对得到的幼网络进行协同训练。。。。。。。。对于多个幼网络的集功成效，，，，，我们在论文中给出了简化情况下的理论论证，，，，，并以此为领导，，，，，设计了一些协同训练的技巧。。。。。。。。首先是分歧的网络使用分歧的初始化权沉并在一样数据的分歧视角上进行训练，，，，，即分歧的幼网络有自己独有的数据加强过程，，，，，这些是为了增长幼网络的多样性以获得更好的集功成效。。。。。。。。除此之表，，，，，幼网络也能够在训练中通过相互进建合作的方式达到更好的成效。。。。。。。。我们提出的网络切分和协同训练的步骤在常用的图像分类工作上获得了学界当先的成效（如图3），，，，，从图3中，，，，，我们能够得到结论：增长网络的数量比单纯增长网络宽度或者深度实现了更好的成效与效能的衡量，，，，，这与我们最初的论点一致。。。。。。。。更多的图像分类了局与有关结论拜见论文。。。。。。。。

图3. CIFAR-100数据集上的测试误差，，，，，S是幼网络数量

网络切分和协同训练的思想也能够拓展到其他视觉工作上去，，，，，例如常见的指标检测工作（如图4）。。。。。。。。值妥贴心的是，，，，，指标检测系统用于预测检测框和物体分类相信度的预测网络往往和预测框的数量等深度绑定，，，，，难以进行切分，，，，，所以我们选取了预测网络权沉共享的方式以维持参数量不变，，，，，并在检测框集成时采取了一种凭据分类相信度进行检测框融合的战术，，，，，而不是单一的非极大值抑造（NMS）。。。。。。。。在主流的指标检测步骤上，，，，，网络切分后的检测系统相对单个大模型获得了显著的提升（如图5）。。。。。。。。

图4. 合用于指标检测系统的网络切分步骤

图5. MS COCO数据集上的指标检测成效

钻研结论

该工作中，，，，，我们会商了在神经网络系统设计中，，，，，一种新的实现更好成效与效能之间衡量的步骤——增长网络的数量。。。。。。。。我们设计了一种基于网络切分和协同训练的步骤，，，，，在分歧架构的神经网络和分歧的视觉工作上验证了z6首页论点。。。。。。。。z6首页工作在神经网络架构设计与实现中潜在性地引入了很多有趣的值得进一步探求的话题，，，，，例如，，，，，对于多个幼网络的协同训练，，，，，若何设计实现一套合用的异步训练框架以实现更高的训练效能；；；；；；；；若何设计更复杂的集成步骤和协同训练方式，，，，，援手视觉系统获得更好的机能；；；；；；；；网络切分和协同训练若何和网络架构搜索结合等。。。。。。。。

作者简介

本文通讯作者为我院智能机械人中心主任林天麟教授。。。。。。。。

林天麟，，，，，IEEE 高级会员，，，，，香港中文大学（丽江）助理教授，，，，，博士生导师，，，，，校长青年学者，，，，，担任机械人与智能造作国度处所结合工程尝试室执行副主任，，，，，及z6首页（z6首页）智能机械人中心主任。。。。。。。。师从徐扬生院士，，，，，别离于2006年和2010年在香港中文大学获得一等荣誉学士学位和博士学位。。。。。。。。钻研方向蕴含多机械人系统，，，，，特种机械人及人机合作等。。。。。。。。以第一/通讯作者，，，，，在 T-RO、T-IP、T-MECH、J-FR 等顶尖期刊和 ICRA、IROS 等顶级会议上颁发论文43篇，，，，，授权美国专利3项及国度发现专利34项，，，，，出版英文专著2部。。。。。。。。以第一作者获 IEEE/ASME Transactions on Mechatronics 期刊年度最佳论文奖，，，，，以通讯作者获 IROS 机械人机构设计最佳论文奖。。。。。。。。组织并主持了国内首个？？？？？榛猿凉够等肆煊蜓跸盗薪沧，，，，，约请 T-RO 主编、Science 编委、国度杰青等海内表驰名学者做学术汇报，，，，，累计在线听多逾4万人次。。。。。。。。林教授的有关钻研成就被路透社、索求频路、日本放送协会 NHK、IEEE Spectrum、Wired 等多多国际驰名媒体宽泛报导。。。。。。。。

本文第一作者和第二作者蕴含 z6首页钻研助理赵帅、香港中文大学（丽江）在读博士生周立广。。。。。。。。

赵帅，，，，，悉尼科技大学在读博士生，，，，，该论文是他在 z6首页担任钻研助理期间实现的工作。。。。。。。。他的钻研方向是推算机视觉与多媒体检索，，，，，有关论文颁发于 NeurIPS、ICML、AAAI、SIGIR、T-IP 等推算机视觉和多媒体检索领域期刊及会议上。。。。。。。。

周立广，，，，，香港中文大学(丽江) 在读博士生，，，，，他的钻研方向是机械人感知，，，，，场景理解，，，，，人机交互。。。。。。。。有关论文颁发于 ICRA、IROS、T-IP 等机械人和人为智能领域会议及期刊上。。。。。。。。

团队介绍

z6首页智能机械人中心由林天麟教授辅导，，，，，旨在钻研多机械人系统自由组成各类状态以解决不成预知问题的关键技术，，，，，通过单一智能体的集群实现复杂的智能群体行为，，，，，让机械人系统占有可复用、自由构型、可拓展、故障自建复等通用个性，，，，，为机械人设计领域创造出一种全新切实可行的实现状态。。。。。。。。

团队持久从事机械人和人为智能钻研，，，，，开发了十余种机械人和智能系统。。。。。。。。在承担国度科研项目方面经验丰硕，，，，，获得了国度天然科学基金面上项目、国度科技部 “智能机械人”沉点研发打算项目等多项纵向项目赞助。。。。。。。？？？？？蒲谐删桶浞⒂ T-RO、T-IP、T-MECH、JFR、ICRA、IROS 等机械人与自动化领域的国际顶级期刊和会议上。。。。。。。。关于 FreeBOT 的钻研成就获2020年 IROS 机械人机构与设计最佳论文奖，，，，，IEEE Spectrum、日本放送协会 NHK 和Engadget 等多家国际驰名媒体对其进行了宽泛报路。。。。。。。。

相识团队更多论文和视频信息：
团队主页：https://freeformrobotics.org
团队B站-CUHKSZ-RAIL：https://space.bilibili.com/691821613

【网站地图】【sitemap】