background image

System diagram

Controller

Motor driver

Actuator

Encoder

Haptic hand

User’s hand

Fing

er

ti

pose

For

ce

 fee

dback

Joint angle

Desired torque

Driver

chai3d & ubuntu

FK

IK/Torque 

Virtual environment

Virtual fingertip

Virtual Force

Object

Imported mesh

Real time 

pointcloud

camera

Apriltag

Positioning

De
vice’

pose

Virtual

Reality


background image

Actuator requirements -

Good back-drive-ability
High power density

Actuator

Motor selection  

Capstan reducer

Tendon based reducer

Capstan reducer -

Zero backlash, Low rotational inertia 

Brushless motor  - 6.8g  130kv

Torque control via current feedback
When friction of reducer is small enough to ignore

Motor

Encoder

Capstan

Motor

Capstan


background image

Finger module 

Force feedback

3 DOF mechanic provides force feedback for user’s fingertip
3 actuated joints with 1 passive joint

Motor

Capstan

Encoder

Joint 1 (passive)

Joint 2

Joint 3

Joint 4

Fingertip module

Finger module’s workspace

Red – User finger  Blue – Finger module


background image

Fingertip module 

Tactile feedback

A parallel 3DOF translate mechanism in order to deliver useable 
tactile feedback to the user’s fingertip.

Motor

Encoder

Reducer

Moveable platform

Eye bearing

Design 1

Design 2

Finger

Moveable
platform

x

y

z


background image

Fingertip module can be used alone, without finger module
Example of thumb/index fingertip module assembly

Device mounted on user

Fingertip module 

Tactile feedback


background image

Finger & Fingertip module assembly 

Force & Tactile feedback

Thumb/index assembly


background image

Encoder

Driver

Controller

AMS magnetic encoder

12bit via IIC, easy to mount

STM32F103 

Motor driver , off the shelf part 

Version 1
No phase current feedback – no torque control 
mode

Encoder hub
Read encoder data and sent to host computer


background image

STM32F446RE 

Driver & Controller

3*IIC 

\

1*CAN 

\

1*SPI 

\

3*DRV8313

Version 2 with phase current feedback

FOC driver

Smaller encoder

Encoder

Driver

Controller


background image

Device tracking by vision

Using Apriltag

https://april.eecs.umich.edu/software/apriltag.html

to get device’s 3d pose

HTC vive

Vision
camera

Other possible tracking solutions

Apriltag on 
device

OptiTrack


background image

6DOF passive tracking arm to get device’s pose

Base

Fingertip module

Endpoint

Encoder

J2

J3

J1

J4/J5/J6
IMU

Higher refresh rate/accuracy compare to vision 
tracking solution

Device tracking by hardware tracker


background image

Application 

chai3d 

Feedback force rendering

𝝉 =

𝜏

𝑗1

𝜏

𝑗2

𝜏

𝑗3

= 𝑱

𝑇

𝐹

𝑥

𝐹

𝑦

𝐹

𝑧

𝑷

ℎ𝑖𝑝

=

𝑹

𝑷

𝟎

𝟏

𝑻

𝑏𝑎𝑠𝑒

∙ 𝑻

1

𝟎

∙ 𝑻

2

1

∙ 𝑻

𝟑

2

∙ 𝑻

4

3

FK

Device’s force to torque

𝑽

k

= 𝑷

ℎ𝑖𝑝

− 𝑷

𝑘

𝑭

𝑘

= 𝑘 ∙ 𝑽

𝑘

𝑭

ℎ𝑖𝑝

= ෍

𝑘=1

𝑁

𝑭

𝑘

For interacting with point cloud

For interacting with mesh

Finger-proxy algorithm 
by Ruspini and Khatib

https://www.chai3d.org/