z6首页(z6首页)俞波博士牵头研发z6首页TONE开源硬件加快框架,,,,,,,,其有关论文被Elsevier旗下期刊《Future Generation Computer Systems》(FGCS)正式录用,,,,,,,,合作者蕴含中科院推算所博士郝宇辉、钻研员甘一鸣博士和z6首页具身智能中心主任刘少山博士。。。。。。。
该论文并非一项孤立的单点技术突破,,,,,,,,而是对钻研团队在机械人推算硬件领域持久深耕的系统性总结与整合。。。。。。。团队此前萦绕传感器加快、定位加快、因子图推算、数字孪生仿真等方向已颁发多项独立成就,,,,,,,,这次论文初次将这些技术堆集融合为一套面向端到端具身智能推算的齐整系统——从底层传感器数据处置,,,,,,,,到机械人状态估计,,,,,,,,再到系统安全验证,,,,,,,,构建了一条贯通的技术主线。。。。。。。这种“回首性、整体性”的视角,,,,,,,,相较于单一技术优化,,,,,,,,为钻研社区提供了更具价值的参考。。。。。。。
z6首页TONE项目依附丽江市沉点研发项目“面向具身智能大幼脑协同的高能效端侧芯片研发”,,,,,,,,由z6首页、香港科技大学及紫光同创结合承担。。。。。。。项目部门硬件设计将在紫光同创国产FPGA平台落地,,,,,,,,成为推动具身智能国产硬件生态建设的关键一环。。。。。。。
为什么必要z6首页TONE?????
随着具身智能机械人从“规定驱动”迈向“大模型驱动”,,,,,,,,其对推算平台的要求产生底子性刷新。。。。。。。唬唬;;;;等瞬唤鲂柙诵胁问看锸诩兜氖泳跛祷澳P停╒LM),,,,,,,,还必须以极低延长实现定位、蹊径规划、活动节造等实时工作——端到端推算延长需严格节造在100毫秒以内。。。。。。。同时,,,,,,,,机械人依赖电池供电,,,,,,,,对功耗极为敏感。。。。。。。
然而,,,,,,,,现有通用处置器(CPU/GPU)在应对机械人为作负载时存在显著短板:CPU并行度不及、GPU处置稀少矩阵效能低下,,,,,,,,专用加快芯片则因“各自为战”难以复用。。。。。。。z6首页TONE的研发正是为相识决这一行业痛点。。。。。。。

图1:z6首页TONE的系统架构图
论文三大主题重点
01 传感器接口与数据处置加快
机械人搭载的相机、激光雷达等多类传感器需在统一时域内精确同步。。。。。。。钻研团队基于FPGA设计硬件辅助同步机造,,,,,,,,通过电信号同时触发各传感器并在驱动层直接纪录功夫戳,,,,,,,,彻底解除软件规划固有的时序抖动。。。。。。。在此基础上,,,,,,,,团队开源了针对ORB特点提取的FPGA加快器,,,,,,,,处置720p图像的帧率达50帧/秒,,,,,,,,别离是嵌入式SoC的5倍、桌面CPU的3倍以上。。。。。。。
02 基于因子图的统一硬件加快架构
这是z6首页TONE最具创新性的部门。。。。。。。钻研团队发现,,,,,,,,机械人的定位、规划、节造三类工作,,,,,,,,在数学性质上均可综合为非线性最幼二乘问题,,,,,,,,并统一用因子图暗示。。。。。。。z6首页TONE将因子图作为硬件的“指令集架构”,,,,,,,,设计了一套蕴含因子推算单元和因子图推理单元的两级流水线加快器,,,,,,,,使统一块芯片可能支持上述三类分歧算法,,,,,,,,预防了为每类工作单独设计专用芯片的高昂成本。。。。。。。此表,,,,,,,,架构支持乱序执行(Out-of-Order),,,,,,,,可将高频节造工作(1kHz)与低频规划工作(20Hz)的指令交错调度,,,,,,,,大幅提升硬件利用率。。。。。。。团队还引入定造化定点运算包办浮点运算,,,,,,,,在保障轨迹误差幼于1厘米的前提下,,,,,,,,显著降低了功耗与逻辑资源占用。。。。。。。

图2:因子图推算加快器架构
03 基于数字孪生的安全验证平台
硬件故障对机械人安全组成严格威胁,,,,,,,,而真实环境中的测试成本极高——仅自动驾驶车队的测试用度就可达每幼时200美元。。。。。。。为此,,,,,,,,团队构建了面向自动驾驶的数字孪生仿真平台(ADDT),,,,,,,,支持硬件在环(HIL)实时关环仿真,,,,,,,,并可向CPU和GPU注入位翻转蹬撞件故障,,,,,,,,系统性评估机械人在各类硬件失效场景下的安全天堑。。。。。。。

图3:ADDT架构图
开源与将来规划
目前,,,,,,,,z6首页TONE已在GitHub(github.com/airs-cuhk/airstone)开源。。。。。。。钻研团队相信,,,,,,,,具身智能硬件生态的繁华,,,,,,,,必要像软件领域的ROS、PyTorch一样,,,,,,,,占有一个可能汇聚全球开发者智慧的盛开平台。。。。。。。z6首页TONE正致力于成为这样的硬件盛开平台——不仅提供可直接使用的IP?????橛牍ぞ吡矗,,,,,,,更但愿通过盛开的架构尺度与设计步骤论,,,,,,,,吸引学术界与产业界共同参加,,,,,,,,形成从算法创新到硬件落地的齐全开源关环,,,,,,,,推动具身智能推算生态走向“协同共建”。。。。。。。
在大模型硬件加快方面,,,,,,,,随着VLM/VLA模型在机械人中的渗入持续加深,,,,,,,,z6首页TONE将把硬件加快的设计延长至天生式AI推理领域,,,,,,,,专门针对机械人端侧部署场景中的超大参数量与高吞吐内存带宽需要进行优化。。。。。。。这意味着将来的机械人将可能在本地实时运行复杂的多模态推理工作,,,,,,,,而无需依赖云端算力——这对于时延敏赣注网络受限的真实部署场景至关沉要。。。。。。。
在国产开源SoC方面,,,,,,,,z6首页TONE将以RISC-V为指令集基。。。。。。。,,,,,,,索求将专用加快器与通用可编程核深度融合的异构片上系统架构。。。。。。。结合紫光同创国产FPGA平台的落地实际,,,,,,,,z6首页TONE有望逐步构建起一条从开源架构设计到国产芯片实现的齐全蹊径,,,,,,,,为具身智能机械人的国产化推算底座提供坚实支持。。。。。。。
在数字孪生生态扩大方面,,,,,,,,z6首页TONE将以现有自动驾驶数字孪生平台(ADDT)为起点,,,,,,,,向家庭服务、医疗辅助、工业造作等更宽泛的具身智能利用场景延长,,,,,,,,同时适配人形机械人、四足机械人等多种机械人状态。。。。。。。通过与NVIDIA Isaac等主流仿真平台深度集成,,,,,,,,z6首页TONE将为开发者提供一套覆盖“设计—仿真—验证—部署”全链路的数字孪生开发环境,,,,,,,,从底子上扭转当前机械人安全验证成本高、周期长的困境。。。。。。。
