一种基于多模态行为在线预测的人机协作方法和系统【中国发明】

一、专利名称及专利号

名称：《一种基于多模态行为在线预测的人机协作方法和系统》

专利号：ZL  202110692988.2

二、应用领域

本发明涉及人机协同智能制造装配领域，尤其涉及的是一种基于多模态行为在线预测的人机协作方法和系统。

三、专利说明

1、摘要：

本发明公开了一种基于多模态行为在线预测的人机协作方法和系统，所述方法包括：获取视频数据；根据所述视频数据，确定与作业人员的人体行为所对应的视觉语义深层特征和人体姿态特征；所述视觉语义深层特征用于反映所述人体行为在时序性视觉模式下的时空间语义信息；根据所述视觉语义深层特征和所述人体姿态特征，确定所述作业人员对应的目标人体行为意图；根据所述目标人体行为意图确定移动式协作机器人对应的执行操作和移动路径。解决了现有技术中手工装配模式需要耗费大量的装配时间，难以适应工业技术体系中生命周期逐渐缩短、产品创新日益加快的发展模式的问题。

2、背景：

现有产品制造模式中，产品装配是整个制造生命周期中时间和精力耗费量最大的环节之一。据统计，在工业化国家的产品生产过程中，大约1/3左右人力从事于有关产品装配的活动，该阶段占用超过40％的生产成本。同时，由于产品的复杂性或个性化发展趋势，极大制约了现有装配的自动化和智能化水平，使得手工装配仍然是现有的主流装配方式之一，繁重紧张的装配任务会增加人员的疲劳程度，进而影响整个产品的生产装配质量，不科学的装配工艺以及工作环境影响着员工的工作状态甚至危害人的健康，降低了工作效率。因此，现有的手工装配模式需要耗费大量的装配时间，难以适应工业技术体系中生命周期逐渐缩短、产品创新日益加快的发展模式。

因此，现有技术还有待改进和发展。

四、相关文件下载

专利证书：/UploadFiles/20221027/2022102713570414414.pdf

专利详情：/UploadFiles/20221027/20221027135729902990.pdf