靠触摸盲人摸象:Awesome-Touch带你深入触觉SLAM与6D位姿估计
- 文档
- 教程
【免费下载链接】Awesome-Touch
Tactile Sensing • Data Collection • IL/RL/VLA/WM • Manipulation • Simulation • Open Source
👆 想在触觉SLAM与6D位姿估计领域入门却不知从何读起?开源项目Awesome-Touch是一份持续更新的触觉感知"论文导航",系统收录了 Tactile Sensing、Data Collection、IL/RL/VLA、Manipulation、Simulation 等方向的数百篇论文与开源工具。本文将带你快速摸清它的结构,并沿着"触觉建图→位姿估计→开源工具"这条主线,用最短路径读懂触觉机器人如何靠指尖"摸"出物体的形状与位姿。
一、Awesome-Touch 仓库结构一览:先逛"目录地图"
Awesome-Touch 的全部内容都在一份精心组织的 README.md 中,整体分为四大板块:
| 板块 | 内容 | 适合人群 |
|---|---|---|
| Sensors | 视觉式 / 多模态 / 非视觉式触觉传感器论文 | 硬件与传感器方向 |
| Robotics Applications | 数据采集、VLA/WM、灵巧操作、抓取、建图定位、力估计等 | 算法与应用方向 |
| Software | 模拟器、工具库、数据集 | 想动手跑代码的读者 |
| Open Source | 传感器设计、SDK、算法与数据集的开源实现 | 工程落地人群 |
其中与本文主题最直接相关的是Mapping/Localization(建图/定位)一节(见 README.md),收录了从 2011 年到 2026 年的触觉建图与位姿估计代表作,是"盲人摸象"主题的最佳入口。
二、什么是触觉SLAM:机器人用指尖"画"地图
传统 SLAM 靠摄像头或激光雷达"看"环境,而**触觉SLAM(Tactile SLAM)**让机器人通过接触力、形变与滑动来"感知"物体——即使完全闭眼,也能推断形状并更新自身位姿。
🗺️ 建议按时间线精读这几篇里程碑工作(均可在 README.md 中检索到):
- Tactile SLAM: Real-time inference of shape and pose from planar pushing(Suresh et al., ICRA 2021):用平面推动实时推断形状与位姿,是触觉SLAM的代表作,仓库还提供了开源实现(README.md)。
- ShapeMap 3-D(Suresh et al., ICRA 2022):将"密集触摸 + 视觉"结合,高效完成形状建图。
- MidasTouch(Suresh et al., CoRL 2022):在滑动触摸中对接触分布做蒙特卡洛推断,把"摸一下"升级为"滑着摸"。
- FingerSLAM(Zhao et al., 2023):基于视触觉反馈的闭环未知物体定位与重建。
- GelSLAM(Huang et al., 2025):实时、高保真、鲁棒的三维触觉SLAM系统,代表该方向的最新进展。
💡 学习技巧:先理解"接触点云→物体表面"的对应关系,再看推断框架(因子图、蒙特卡洛、学习式),难度曲线更平滑。
三、6D位姿估计入门:从"第一次触摸"到持续追踪
6D位姿估计要回答的问题是:物体在三维空间中的位置 + 朝向(共6个自由度)到底是什么?触觉方案的最大优势是对透明、反光、纹理缺失物体不敏感——摄像头"看不见"的地方,指尖能"摸出来"。
🎯 推荐三阶段阅读路线:
- 首次触摸即出位姿
- Tac2Pose: Tactile Object Pose Estimation from the First Touch(Bauza et al., 2022):利用几何接触渲染,在"第一次触摸"就给出物体位姿。
- ViHOPE(Li et al., RAL 2023):视触觉在手物体6D位姿估计,并引入形状补全。
- 持续追踪与闭环控制
- NormalFlow(Huang et al., RAL 2024):基于视觉式触觉传感器法向流的快速、鲁棒 6DoF 位姿追踪。
- Tac-VGNN(Fan et al., 2023):用 Voronoi 图神经网络实现基于位姿的触觉伺服。
- 统一框架与最新进展
- UniTac2Pose(Wu et al., CoRL 2025):仿真中学习、类别级的视触觉在手位姿统一方案。
- TacLoc(Zhang et al., 2026):从"配准"视角出发的全局触觉定位。
以上条目集中在 README.md,建议配合论文标题关键词检索原文精读。
四、新手快速上手指南:三步开启触觉感知学习
- 逛清单:打开 README.md,利用顶部 Table of Contents 锚点直接跳转到 Mapping/Localization、Dexterous Manipulation、Simulator 等小节。
- 跑工具:想动手可以关注软件与开源板块(README.md),例如:
- 模拟器TACTO / Taxim / Tacchi / Taccel:快速生成或仿真高分辨率视觉式触觉图像;
- 工具库PyTouch / TacSL:触觉数据预处理与学习的常用基座;
- 算法实现Tactile SLAM / ShapeMap 3-D / MidasTouch(README.md):直接对应第二节的经典论文。
- 拿数据:Open Source 板块的 Dataset 小节(README.md)收录了 YCB-Sight、DenseTact、ObjectFolder 等触觉数据集,方便复现与实验。
📦 如需本地阅读或做笔记管理,可克隆仓库:
git clone https://gitcode.com/gh_mirrors/aw/Awesome-Touch克隆后建议开启 GitHub/GitCode 的通知更新,Awesome 类清单的价值在于持续跟进。
五、延伸阅读:从"摸得准"到"会思考"
当你熟悉触觉SLAM与位姿估计后,可以继续探索这些高热度方向(README.md 均有收录):
- 数据收集:MimicTouch、ViTaMIn、TactileAloha 等人机触觉示教系统(L477-L551);
- VLA/世界模型:Octopi、Tactile-VLA、OmniVTA 等把触觉接入大模型的前沿工作(L554-L616);
- 触觉表征学习:Sparsh、UniTac-NV、T3 等可迁移的触觉基础模型(L664-L714);
- 综述(Review):14 篇中英文综述(L1278-L1316)是建立全局认知的最快路径。
六、写在最后
从"盲人摸象"的成语到 Tactile SLAM 的实时推断,机器人触觉研究走的正是同一条路——用局部的接触信息重建全局的认知。Awesome-Touch 把这条路上的传感器、算法、软件、数据集与实验室都整理成了清晰的路标(完整文件见 README.md,许可证见 LICENSE.md)。希望这份指南能帮你少走弯路,早日"摸"出属于自己的触觉机器人能力版图。🚀
- 文档
- 教程
【免费下载链接】Awesome-Touch
Tactile Sensing • Data Collection • IL/RL/VLA/WM • Manipulation • Simulation • Open Source
相关推荐
Windows Touch Input 触摸注入实战:使用 InjectTouchPointerInput 样例向消息队列注入触摸事件
Windows Touch Input 触摸注入实战:使用 InjectTouchPointerInput 样例向消息队列注入触摸事件 导读 本篇文章围绕 Wi
示例工程any-touch:轻量级触摸手势库
any touch:轻量级触摸手势库 1. 项目基础介绍 any touch 是一个轻量级的触摸手势库,其体积在 1kb 到 5kb 之间,具有高度的可定制性,
Johnny-Five 实战:用 TinkerKit Touch 电容触摸传感器读取触摸事件(down / up / hold)
Johnny Five 实战:用 TinkerKit Touch 电容触摸传感器读取触摸事件(down / up / hold) 本篇技术指南聚焦 Johnny
IoT机器人嵌入式
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考