10.2.1　手势识别

基于手部的人机交互被视为VR中不可或缺的部分，目前在VR系统中比较普及的是手柄控制器的交互，并不能算作一种自然交互。而手势识别能够让人手直接作为计算机的输入设备，人机通信不再需要中间媒介。手势是人手或者手和臂结合所产生的各种姿势和动作，包括静态手势(指姿势，单个手型)和动态手势(指动作，由一系列手部姿势组成)。静态手势对应空间里的一个点，而动态手势对应模型参数空间里的一条轨迹，需要使用随时间变化的空间特征量来表述。严格说来，手势识别技术主要指基于视觉图像的自然手势识别，通过摄像机连续拍摄手部的运动图像，然后采用图像处理技术提取出图像中的手部轮廓，进而分析出手势形态。在VR系统应用中，由于人类手势多种多样，而且不同用户在做相同手势时，手指的移动也存在或大或小的差异，因此需要对手势命令进行准确定义。

目前，手势识别在MR设备中使用较多。例如Holo Lens2目前能识别两种核心手势：空中点击(Air tap)和Home手势(Bloom)。Holo Lens的输入手势如图10.1所示。

图10.1　Holo Lens的输入手势

基于数据手套的手势识别虽然不能算作严格意义的手势识别，但可以视为技术发展的过渡。其优点是输入数据量小、速度高，可直接获得手在空间的三维信息和手指运动信息，并且可识别的手势种类多。例如诺亦腾的数据手套Noitom Hi5将动作捕捉手套和光学空间定位追踪器相结合，能够实现全手高精度低延迟追踪。Hi5已于2022年上半年推出2.0版本，实现了500 fps姿态计算帧率、120 fps数据输出帧率、传感器及算法升级，并且优化了手指姿态算法、解锁了分指功能。手套外形如图10.2所示。

图10.2　诺亦腾HI5 2.0数据手套

数据手套虽然在“人.机”之间还保留了物理介质，但是其具备提供触觉模拟的可能性，能够借助于手套搭载模拟触觉的元件，例如触觉手套也是自然交互技术中的一项重要研究目标。Meta(原名Facebook)的现实实验室(Reality Labs)于2021年发布了触觉感知手套的原型，宣称能在虚拟世界中再现现实生活中的一系列触觉感觉，包括模拟人手抚摸材质纹理的感觉、压力反馈、振动反馈等，如图10.3所示。

图10.3　Meta触觉手套原型