计算机系孙富春团队在具身智能类脑触觉研究中取得新进展

清华新闻网7月21日电 近日，清华大学计算机系孙富春教授团队联合中国科学院北京纳米能源与系统研究所团队，提出了一种脉冲—语言双编码的具身触觉感知与认知系统，将类脑触觉传感器、脉冲神经网络和大语言模型相结合，使机器人既能快速感知识别常见物体，也能够在遇到未知或异常物体时进行语义推理和深度认知。ldH知多少教育网-记录每日最新科研教育资讯

触觉是机器人实现具身智能、精细操作和安全交互的核心能力。近年来，电子皮肤和柔性触觉传感器已能够检测压力、振动、应变和温度等多种物理信号，但多数触觉系统仍主要停留在信号采集和模式分类层面。传统深度学习模型可以识别训练集中已有的类别，却难以快速应对真实环境中不断出现的新物体、新状态和异常情形；大语言模型虽然具备强大的语义推理能力，但如何将连续、复杂的触觉信号转化为可被语言模型理解的信息，仍是具身智能研究中的关键难题。ldH知多少教育网-记录每日最新科研教育资讯

ldH知多少教育网-记录每日最新科研教育资讯

人类触觉（a）与机器人类脑触觉（b）的工作机制ldH知多少教育网-记录每日最新科研教育资讯

针对这一挑战，研究团队受人类触觉系统启发，构建了类脑双通路触觉处理框架。在硬件层面，团队研制了基于激光诱导石墨烯材料的仿生皮肤式触觉传感阵列，实现了人类四种触觉感受小体的物理形态。进一步将触觉信号编码：一方面通过脉冲编码输入脉冲神经网络，实现毫秒级快速物体识别；另一方面将触觉信号中的结构化特征转化为自然语言提示，并结合知识库和大语言模型完成未知物体的语义推理。实验表明，该系统在多模态触觉识别任务中展现出高准确率，并在开放集识别中显著优于传统卷积神经网络，体现出机器人从“触觉感知”走向“触觉认知”的潜力。研究面向机器人触觉系统长期存在的“能感知、难认知”问题，为发展人形机器人触觉智能和具身触觉认知提供了新的系统框架。ldH知多少教育网-记录每日最新科研教育资讯

相关研究成果以“脉冲-语言双通道框架：贯通人工触觉系统中的快速感知与深度推理”（A spike-language dual framework bridges fast perception and deep reasoning in artificial tactile somatosensory systems）为题，于7月15日在《自然·传感》（Nature Sensors）上发表。审稿人评价指出，该工作连接了神经形态的触觉感知与基础模型驱动的具身智能两个相对独立发展的方向，是一项具有及时性和推动意义的研究。ldH知多少教育网-记录每日最新科研教育资讯

孙富春教授团队长期致力于具身智能、机器人智能控制与多模态感知研究，围绕机器人“感知—认知—行动”闭环，开展智能控制、触觉与视触觉融合、认知系统信息感知与处理等方面研究。团队提出了“知行体”具身智能体框架，并在触感灵巧手、电子皮肤、人形机器人、空间遥操作、智能假肢和3C精密装配等方向取得了一系列重要研究和应用成果。ldH知多少教育网-记录每日最新科研教育资讯

清华大学计算机科学与技术系2023级博士生孙豪为论文独立第一作者；清华大学计算机科学与技术系孙富春教授为论文共同通讯作者，并作为导师和课题负责人对研究工作给予重要指导。清华大学计算机科学与技术系为论文第一完成单位。ldH知多少教育网-记录每日最新科研教育资讯

该研究得到国家重点研发计划、北京市自然科学基金、国家自然科学基金联合基金、国家自然科学基金等项目的支持。ldH知多少教育网-记录每日最新科研教育资讯