D-POINT :一款开源数字手写笔,它使用摄像头跟踪和惯性测量来实现 6DoF(六自由度)输入,它能够精确地追踪笔在空间中的位置和方向,然后在数字设备上创建相应的输入。具有低延迟、压力敏感度和亚毫米精度。
该手写笔可在任何平面上使用,不需要特定的硬件或表面,并可与消费级网络摄像头配合使用。
GitHub:https://t.co/GzZV8MaOJ0
硬件设计:笔的主体是通过 3D 打印制成的两半部分。它包含一个力感应器、一个通过 USB-C 充电的锂离子电池,以及一个用于逻辑和蓝牙的基于 Arduino 的开发板。
视觉姿态估计(VPE):VPE 过程包括四个主要步骤:标记检测、滚动快门校正、透视 n 点(PnP)算法和坐标转换。这些步骤共同工作以估计笔相对于摄像头的姿态。
惯性融合:使用扩展卡尔曼滤波器(EKF)将 VPE 估计与来自加速度计和陀螺仪的惯性数据融合,并使用 Rauch-Tung-Striebel (RTS) 算法实时精化估计。为了解决摄像头帧的时间延迟问题,使用了负时间测量更新算法。