虚拟现实的人机交互是指通过用户与虚拟环境之间的双向感知建立起一个更为自然、和谐的人机环境，是虚拟现实为用户提供体验、走向应用的核心环节。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们对一种新型的虚拟现实交互技术-基于肌电反馈和Kinect融合的虚拟现实交互技术进行介绍。

1.基于肌电反馈和Kinect交互的交互技术

一种基于肌电反馈与Kinect交互的虚拟康复训练策略，即通过Kinect进行肢体动作识别，由肌电信号进行肌力大小评估，实现对虚拟场景的控制及难度系数的调整。主要包括两个模块：Kinect识别模块和肌电反馈控制及难度等级调整模块。如图1所示。

图1.基于肌电反馈和Kinect交互的虚拟现实交互技术

1.1基于Kinect的动作识别技术

Kinect识别的关键技术在于骨骼跟踪，Kinect v2能够同时对6个人的骨架信息进行侦测，其中可以跟踪到每个人20个关节点的骨骼信息，人体的运动姿态可由这些关节点反映出来。Kinect跟踪人体骨骼信息的具体流程如下：

(1)利用分割策略，将人体从比较复杂的背景中单独区分出来，即对人体以外背景图像进行排除，此过程减轻了体感器的计算量，即在后续的流程处理中，只需对人体图像进行操作即可。

(2)Kinect对目标图像进行评估，通过决策树分类器确定人体的各个部位，最后生成一幅包含25个关节点的骨架系统，从而确定人体的具体位置。其中基于Kinect的人体关节点的识别流程如图2所示。

图2.人体关节点识别流程图

识别出人体关节点后，下面要根据关节点进行动作识别，Kinect人体动作识别主要包括两个方面，下面以踢足球游戏为例进行介绍。

(1)需要确定用户的整体姿势是否标准，即通过判断关键关节点的相对位置来确定。进行该肢体动作，需要用户出现在摄像头的捕获范围之内，正向面对摄像头，使其能够捕获到膝关节和髋关节的相对位置信息。若用户左右两肩的关节点坐标基本一致，并且臀部坐标值低于肩部的垂直方向坐标值时，则认为初始位置满足识别要求，接下来可进行下一步的动作识别。如图3所示，Kinect的空间坐标系为X，Y和Z三个方向，坐标单位米(m)。定义Kinect的红外摄像头中心为坐标原点，面对着Kinect的照射方向的右方为X轴方向，面对着Kinect的照射方向的上方为Y轴方向，面对着Kinect的照射方向为Z轴方向。

图3.Kinect坐标系

(2)进行关键关节点的信息处理。我们知道，向量具有方向性，并且向量是可以平移的。因此，可以在Kinect的空间坐标系中，任意挑选两个坐标点(不重合)A(x1,y1,z1)和B(x1,y1,z1)将其变换转化到普通坐标系中，则组成新的向量,将其定义为坐标轴原点引出，则该向量的转换公式可以用下式表示：

通过前面所述可知，对于受试者的关节角度，可以简化对其的计算，换言之，可以通过对空间向量夹角的计算代替。

1.2基于肌电反馈的控制方法

基于肌电反馈的控制方法主要包括肌电信号采集、信号处理、特征提取以及动作分类识别等步骤。

1.2.1肌电信号采集

肌电信号的采集主要有两种方式：(1)插入式采集；(2)表面式采集。其中，插入式采集虽然可以获取到较高信噪比和良好分辨率的肌电信号，但是会对患者的皮肤造成一定的损伤，因此不适宜采用这种方式。而表面式采集只需将电极贴片贴在皮肤上即可，过程简单，操作方便，是目前最常用的采集方式。

1.2.2肌电信号处理

肌电信号处理根据有用信号的频率范围，设计滤波器，去除噪声与干扰，提高信号质量。主要包括带通滤波器、工频陷波器等。

1.2.3特征提取

提取肌电信号特征的方法同样有多种，以时域和频域两个方面为例，在频域方面，如中值频率和平均功率谱频率；在时域方面，如均方根值和积分肌电值。

1.2.4动作识别模型构建

对肌电信号的采集、预处理以及特征提取进行了分析，下一步任务将是对提取的肌电信号特征进行分类。常用的模型构建方法包括支持向量机（SVM）、线性判别分析（LDA）、人工神经网络（ANN）、卷积神经网络（CNN）等方法。通过动作识别模型进行对肌电信号进行分类，将分类结果转化为控制指令，进而实现对虚拟场景的控制。

微美全息科学院成立于2020年8月，致力于全息AI视觉探索科技未知，以人类愿景为驱动力，开展基础科学和创新性技术研究。全息科学创新中心致力于全息AI视觉探索科技未知, 吸引、集聚、整合全球相关资源和优势力量，推进以科技创新为核心的全面创新，开展基础科学和创新性技术研究。微美全息科学院计划在以下范畴拓展对未来世界的科学研究：

一、全息计算科学：脑机全息计算、量子全息计算、光电全息计算、中微子全息计算、生物全息计算、磁浮全息计算

二、全息通信科学：脑机全息通信、量子全息通信、暗物质全息通信、真空全息通信、光电全息通信、磁浮全息通信

三、微集成科学：脑机微集成、中微子微集成、生物微集成、光电微集成、量子微集成、磁浮微集成

四、全息云科学：脑机全息云、量子全息云、光电全息云

微美全息科学院旨在促进计算机科学和全息、量子计算等相关领域面向实际行业场景和未来世界的前沿研究。建立产研合作平台，促进重大科技创新应用，打造产业、研究中心深度融合的生态圈。微美全息科学院秉承“让有人的地方就有科技”为使命，专注未来世界的全息科学研究，为全球人类科技进步添砖加瓦。

微美全息成立于2015年，纳斯达克股票代码：WiMi。

微美全息专注于全息云服务，主要聚集在车载AR全息HUD、3D全息脉冲LiDAR、头戴光场全息设备、全息半导体、全息云软件、全息汽车导航、元宇宙全息AR/VR设备、元宇宙全息云软件等专业领域,覆盖从全息车载AR技术、3D全息脉冲LiDAR技术、全息视觉半导体技术、全息软件开发、全息AR虚拟广告技术、全息AR虚拟娱乐技术、全息ARSDK支付、互动全息虚拟通讯、元宇宙全息AR技术，元宇宙虚拟云服务等全息AR技术的多个环节，是一家全息云综合技术方案提供商。