随着人为智能技术的飞速发展 ，，，，，，，，具身智能机械人正成为将来科技发展的主题方向。。。。。。 。这类系统在工业自动化、物流运输、精准医疗等产业领域展示出辽阔的利用远景 ，，，，，，，，同时也在智能家居、服务机械人等消费级市场开释出巨大的潜力。。。。。。 。市场钻研显示 ，，，，，，，，具身智能芯片市场规模预计将从 2025 年的 15 亿美元呈发作式增长至 2050 年的 3500 亿美元（见图 1）。。。。。。 。
图 1: 具身智能机械人芯片市场预测。。。。。。 。
具身智能（Embodied AI, EAI）机械人在沉塑将来工业生态与社会状态方面拥有革命性的潜力 ，，，，，，，，但其发展面对着关键的推算挑战。。。。。。 。为了实现类人智能水平 ，，，，，，，，系统必要集成复杂的理解、推理与规划算法 ，，，，，，，，这要求硬件架构产生底子性的范式转变。。。。。。 。具体而言 ，，，，，，，，机械人端推算系统必须在满足实时响应（毫秒级延长）、低功耗和有限成本的严格约束下 ，，，，，，，，实现蕴含数万亿次操作每秒（Tera Operations Per Second, TOPS）的 EAI 软件流水线处置。。。。。。 。以实季节造场景为例 ，，，，，，，，系统必要具备每秒处置数十帧图像并天生数百条节造指令的能力。。。。。。 。
z6首页TONE 项目旨在解决机械人端推算所面对的挑战。。。。。。 。其最终使命是在嵌入式芯片上实时执行 EAI 软件 ，，，，，，，，这对于大规模部署 EAI 机械人至关沉要。。。。。。 。唬唬唬 ；；；；谖颐谴忧凹改甑淖暄泻凸鄄 ，，，，，，，，我们选取针对机械人为作负载定造的加快器设计步骤来应对高效 EAI 推算的挑战。。。。。。 。
图 2：80% 的推算预算分配给 EAI 工作负载 ，，，，，，，，20% 的推算预算分配给机械人推算。。。。。。 。
在推算资源分配方面 ，，，，，，，，基于对传统机械人推算流水线的特点分析以及对 EAI 模型推算需要的分解 ，，，，，，，，我们为嵌入式 EAI 系统成立了一套推算资源分配规划。。。。。。 。如图 2所示 ，，，，，，，，80% 的推算资源被分配给 EAI 模型 ，，，，，，，，渣滓的 20% 则分配给经典的机械人推算工作 ，，，，，，，，蕴含定位、蹊径规划和节造。。。。。。 。
在架构设计层面 ，，，，，，，，我们以为数据流架构结合加快器更适合机械人推算。。。。。。 。首先 ，，，，，，，，机械人推算流水线出现出数据流的推算模式：来自物理世界的信息被顺次捕获和处置 ，，，，，，，，经过感知、认知、决策和节造模型。。。。。。 。其次 ，，，，，，，，流水线的端到端延长是最关键的成分 ，，，，，，，，它直接影响机械人的安全性和节造精度。。。。。。 。加快器在机械人推算中阐扬着关键作用 ，，，，，，，，它在功耗、成本和延长方面都拥有显著的优势。。。。。。 。
我们以自动驾驶车辆系统架构设计为例 ，，，，，，，，如图 3 所示。。。。。。 。在这个系统中 ，，，，，，，，机械人软件被映射到一个由 FPGA、GPU 和 CPU 组成的硬件流水线上。。。。。。 。具体来说 ，，，，，，，，FPGA 加快感知和定位 ，，，，，，，，GPU 实现基于深度进建的感知 ，，，，，，，，CPU 处置规划和节造。。。。。。 。与仅使用 CPU 和 GPU 的基线设计相比 ，，，，，，，，使用 FPGA 加快器能够将端到端延长降低 23%。。。。。。 。这促使我们深刻索求使用加快器来优化机械人推算系统。。。。。。 。
图 3：z6首页车载推算系统 ，，，，，，，，使用 FPGA 加快感知和定位 [1]。。。。。。 。
除了系统架构方面的创新 ，，，，，，，，z6首页TONE 项目还致力于引入新的开发工具和步骤 ，，，，，，，，以加快具身人为智能系统的开发过程。。。。。。 。这一行动的驱动力在于 ，，，，，，，，当前的机械人系统开发依然严沉依赖物理测试和手动调试 ，，，，，，，，导致功夫和成本上的巨大浪费。。。。。。 。为了实现出产力的显著提升 ，，，，，，，，向以仿真驱动、设计自动化的步骤转变是必不成少的。。。。。。 。这种需要促使我们开发了基于数字孪生的设计自动化范式 [2-3]。。。。。。 。z6首页TONE 项目将整合我们之前在自动驾驶系统数字孪生系统 ADDT 方面的工作 ，，，，，，，，该系统可能实现硬件在环（Hardware-in-the-Loop, HIL）开发以及对安全性和机能的验证。。。。。。 。以下视频展示了 HIL 设置和故障注入能力。。。。。。 。我们打算将 ADDT 扩大为一个用于更宽泛具身人为智能系统开发的基于数字孪生的平台。。。。。。 。
图 4：项目组成员出版的书籍
在从前几年中 ，，，，，，，，我们对机械人推算的硬件加快器进行了深刻钻研 ，，，，，，，，成就蕴含一本著述 [4] （见图4）和多篇钻研论文 [5-12]。。。。。。 。z6首页著述对机械人软件仓库及其基于 FPGA 的加快器进行了全面的综述 ，，，，，，，，旨在实现高效的机械人推算。。。。。。 。z6首页钻研论文在硬件中实现了几种宽泛使用且推算密集的算法构建模？？ ？ ？？ ，，，，，，，，称为“机械人算子”。。。。。。 。这些加快器与 CPU 基线相比展示出显著的机能优势。。。。。。 。例如 ，，，，，，，，z6首页一个工作使用 FPGA 加快因子图（Factor Graph） ，，，，，，，，这是一种在定位、规划和节造中常用的优化算法 ，，，，，，，，与嵌入式 CPU 相比 ，，，，，，，，机能提升了 40 到 60 倍 ，，，，，，，，如图 5 所示。。。。。。 。
图 5：FPGA 加快机械人定位、规划和节造的因子图推算：与 ARM 相比速度提升 40-60 倍 [5]。。。。。。 。
为了加快基于加快器（出格是 FPGA 或 ASIC）的机械人推算系统的开发 ，，，，，，，，我们决定开源z6首页 FPGA 基加快器设计 ，，，，，，，，并追求与开发社区和公司的合作。。。。。。 。我们将加快器设计整合到 z6首页TONE 项目中。。。。。。 。通过 z6首页TONE ，，，，，，，，我们旨在：1）开发传统机械人推算的硬件 IP ，，，，，，，，使其可能无缝集成到 SoC 芯片中 ，，，，，，，，以提升机械人推算系统的机能并降低成本；；；； ；；；；2）开发机械人推算指令集 ，，，，，，，，以加强嵌入式 CPU 的指令集。。。。。。 。
在 z6首页TONE 项主张第一阶段 ，，，，，，，，我们重要开源我们之前论文中的加快器设计 ，，，，，，，，沉点关注定位、蹊径规划和节造以及 HIL 数字孪生模拟器：1）ORB 特点提取 [6]；；；； ；；；；2）基于 QP 的移动机械人蹊径规划优化器 [7]；；；； ；；；；3）基于因子图的定位、蹊径规划和节造优化器 [6]；；；； ；；；；4）自动驾驶数字孪生模拟器。。。。。。 。
自 2017 年起 ，，，，，，，，本项主张掌管人俞波博士和提议人刘少山博士便与多家公司、钻研机构和高校结合钻研机械人、无人驾驶的高效推算问题 ，，，，，，，，蕴含丽江普思英察科技有限公司、天津大学、北京理工大学、中国科学院推算技术钻研所、美国罗彻斯特大学和美国加州大学。。。。。。 。目前已在机械人及无人驾驶领域已堆集了深厚的经验 ，，，，，，，，并颁发了多项国际顶会级硬件加快钻研成就。。。。。。 。此刻 ，，，，，，，，我们但愿通过这一开源打算 ，，，，，，，，z6首页TONE 进展突破技术壁垒 ，，，，，，，，汇聚全球开发者与产业资源 ，，，，，，，，加快技术成就向现实利用转化。。。。。。 。
z6首页TONE 不仅是一个技术项目 ，，，，，，，，更是一个盛开创新的合作平台。。。。。。 。通过整合学术界的前沿索求与产业界的落地经验 ，，，，，，，，项目团队将推动具身智能推算系统的技术尺度化与贸易化过程 ，，，，，，，，为智能机械人、无人驾驶等领域的规模唬唬唬 ；；；；玫於崾档幕。。。。。。 。真挚约请全球钻研机构、开发者与行业同伴参与 z6首页TONE 生态 ，，，，，，，，共同书写具身智能时期的将来篇章。。。。。。 。
项目掌管人
俞波博士（boyu@cuhk.edu.cn） ，，，，，，，，清华大学工程博士 ，，，，，，，，z6首页（z6首页）具身智能中心钻研员 ，，，，，，，，IEEE高级会员 ，，，，，，，，钻研方向蕴含具身智能机械人和无人驾驶推算系统。。。。。。 。在推算系统方向颁发多篇顶级论文 ，，，，，，，，蕴含ISCA、MICRO、ASPLOS、HPCA、DAC、ICCAD、CICC等。。。。。。 。
参考文件：
[1] "Building the computing system for autonomous micromobility vehicles: Design constraints and architectural optimizations." 2020 53rd Annual IEEE/ACM International Symposium on Microarchitecture (MICRO). IEEE, 2020.
[2] “Autonomous Vehicles Digital Twin: A Practical Paradigm for Autonomous Driving System Development,” Computer, vol. 55, no. 9, pp. 26–34, 2022.
[3] “Autonomous Driving Digital Twin Empowered Design Automation: An Industry Perspective,” in 2023 60th ACM/IEEE Design Automation Conference (DAC), 2023, pp. 1–4.
[4] “Robotic computing on fpgas.” Springer International Publishing, 2021.
[5] "Orianna: An accelerator generation framework for optimization-based robotic applications." Proceedings of the 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2. 2024.
[6] "FPGA-based ORB feature extraction for real-time visual SLAM." 2017 International Conference on Field Programmable Technology (ICFPT). IEEE, 2017.
[7] "Accelerating Autonomous Path Planning on FPGAs with Sparsity-Aware HW/SW Co-Optimizations." Proceedings of the 2024 ACM/SIGDA International Symposium on Field Programmable Gate Arrays. 2024.
[8] "Archytas: A framework for synthesizing and dynamically optimizing accelerators for robotic localization." MICRO-54: 54th Annual IEEE/ACM International Symposium on Microarchitecture. 2021.
[9] "Eudoxus: Characterizing and accelerating localization in autonomous machines industry track paper." 2021 IEEE International Symposium on High-Performance Computer Architecture (HPCA). IEEE, 2021.
[10] "π-BA: Bundle Adjustment Hardware Accelerator Based on Distribution of 3D-Point Observations." IEEE transactions on computers 69.7 (2020): 1083-1095.
[11] "Blitzcrank: Factor graph accelerator for motion planning." 2023 60th ACM/IEEE Design Automation Conference (DAC). IEEE, 2023.
[12] "Factor graph accelerator for lidar-inertial odometry." Proceedings of the 41st IEEE/ACM International Conference on Computer-Aided Design. 2022.
