当前位置 : 中国机器人峰会 >> 大会新闻

【学术前沿】山东大学田国会教授团队:一种让服务机器人理解人类指令意图并规划任务序列的新方法

发布时间:2024-03-06发布人:中国机器人峰会

本文对智能空间下面向动作序列生成的指令智能解析方法进行了研究。根据家庭服务任务的执行流程,提出了指令解析-策略生成-序列规划-知识优化的框架,首先对用户服务指令进行任务类型识别与关键词的提取,明确用户需求,然后将关键词进行扩展,丰富任务信息,通过基于知识增强的文本生成模型生成服务策略。同时,引入基于智能空间本体交互的策略修正机制,进行服务策略的优化。最后将优化后服务策略转化为子任务问题描述,经任务规划器生成可执行动作序列,并利用搭建的家庭仿真平台进行了一系列验证。


由表1可见,以F1值作为关键词提取(KE)的评价指标, 以准确率作为任务类型识别(TD)的评价指标,同时统计KE和TD都正确(Overall)的准确率。本文提出的模型在HTUD上表现出最好的结果,在任务类型识别准确度方面,相较于目前最佳模型提升了0.9%,关键词提取性能提升了2.1%,框架语义识别准确率提升了2.1%,说明本文提出的任务类型识别与关键词提取联合模型在家庭服务任务指令解析中有更好的性能,能够准确识别出指令所蕴含的任务类型与关键词信息,从而更好地服务于动作序列的生成。而在公开数据集ATIS上,本文模型与目前最佳模型各有优劣,但总体说来,本文提出的联合模型在其他数据集上同样有效。


另外,本文模拟机器人在遇到物品缺失、属性缺失、物品消歧和环境状态变化时的任务执行的状况。首先将食物移除,创造一个物品缺失的待优化问题,该任务执行结果如图1(a)所示;然后将食物的位置属性设置为空,创造一个物品属性缺失的待优化问题,该任务执行结果如图1(b)所示;然后将两个属性类似的食物一起放在客厅桌子上,创造一个物品选择歧义的待优化问题,该任务执行结果如图1(c)所示;最后将必经之路的房门设置为关闭状态,创造一个环境状态变化引起的任务执行中断问题,该任务执行结果如图1(d)所示。由图可以看出,在诸多问题面前,机器人仍然能够顺利完成任务,证明了本文优化方法与自适应调整的有效性。首先通过补全消歧策略准确地获取目标物品,然后在环境状态发生变化时,能够重新规划动作序列,如图中第三步到第六步所示,排除问题干扰,从而顺利完成任务。


+ 总结与展望

本文在解决服务机器人指令智能解析问题、家庭环境下服务策略和动作序列生成及优化问题,以及智能空间下的人机交互问题上具有一定的优势,并具有较好的实际应用价值,可为后续智能空间下服务机器人的研究和推广工作提供参照。

受限于硬件算力及真实机器人运行环境,下一步研究将重点关注如何有效地处理含有隐藏意图和多意图的任务指令,并关注关键词的多属性匹配问题,以进一步提高机器人对指令的智能解析能力。同时对服务机器人在真实家庭环境中的动作序列执行进行实验研究。


返回