我院黄剑团队联合企业推出融合多模感知交互的智能分拣系统

近日，我院黄剑教授团队与软件学院和机械学院合作，联合华工科技成功研发 “融合多模感知交互的智能分拣系统”，并正式落地应用。该系统以 “2D 视觉 + 3D 建模 + AI 算法” 深度融合为核心，内嵌 12 大行业定制化算法，通过多模感知与数据处理构建多模态数据集，利用自注意力机制和迁移学习优化算法搭建感知 - 决策模型，采用迭代控制算法保障机器人执行的柔顺性与安全性。能在复杂工业环境中精准定位、随动抓取海量异形工件，即便 1mm 以内的零件割缝也可清晰识别，整体识别准确率超 99%，重构了工业生产 “眼 - 脑 - 手” 协同范式，为船舶海工、能源装备等离散型制造行业的智能化转型提供关键技术支撑。

当前，船舶海工、工程机械、能源装备等领域虽已逐步用自动化分拣替代传统人工作业，但行业痛点仍未彻底解决，严重制约智能分拣的工程化应用。一方面，人工分拣遗留的效率与稳定性问题尚未完全突破，部分场景仍依赖人工辅助，重工环境下劳动强度大、疲劳导致的分拣错误率高、生产周期延长等问题依旧存在；另一方面，现有自动化系统面临多重新挑战：工件特性复杂，异形件、多工艺零件的识别定位难度大；环境感知干扰强，粉尘、光线变化等因素易导致系统成像偏差、识别精度下降；同时安全隐患突出，机器人执行的柔顺性不足，易出现碰撞损伤或操作风险。此外，工件整理难度居高不下，不同工件工艺路线复杂、尺寸重量差异显著，传统产线固定流程与现有自动化系统的适配性有限，难以满足料框选择、码盘调度的柔性需求，进一步制约企业生产效率提升。

针对行业痛点，“融合多模感知交互的智能分拣系统” 从技术突破与功能优化双维度形成系统性解决方案，核心技术优势凸显。在 “看得清” 上，凭借弱特征切割件识别定位技术，实现 99% 识别率、≤0.5s 响应时间与≤1mm 定位精度，搭配鲁棒轮廓提取模型与行业专属 AI 检测模型，超大件检测准确率达 100%，同时大幅降低对环境稳定性的依赖；在 “抓得稳” 上，依托轮廓与位置信息，通过柔性端拾器开磁算法适配异形零件，结合多机器人协同抓取技术实现 40%-60% 效率提升，搭配自适应双臂协同计算与多机控制，抓取成功率稳定在 99%，切断线生成与识别技术更彻底解决行业卡料难题；在 “码得齐” 上，基于强化学习的任务决策模型提升分拣效率 20%，多约束码盘调度算法则实现料框利用率提升 20%、零件齐套性提升 15%。此外，系统开发配置标准化单元站设计，可根据项目需求快速适配应用，高复用性与高扩展性让中小企业智能化改造更灵活、成本更低，最终实现复杂工业场景下人员减少 80%、效率提升 100% 的高效柔性分拣目标。

该系统凭借技术创新性与行业价值，已获得多方高度认可与广泛应用。目前该成果被央视新闻联播报道，成为 “AI + 工业制造” 领域的典型案例，向全国展示我国智能制造技术突破；同时第五十届日内瓦国际发明展中斩获金奖，充分彰显我国在工业智能识别领域的自主创新实力。应用层面，技术已成功落地中联重科、太重集团、芜湖船厂、新能船业、顺特电气等国家或行业级标杆工厂，助力近百家智能工厂建设。其不仅推动工程机械、船舶海工、能源装备等行业高质量发展，更以绿色高效的技术特性驱动全球工业绿色转型，为共筑人类可持续未来提供 “中国方案”。