装配操作AR智能化辅助系统

JHARAssembling装配操作AR智能化辅助系统包含软件子系统（初始虚实注册软件、AR智能化引导软件）和现场AR硬件设备（AR眼镜或平板电脑、AR辅助mark标以及其他传感器）。

用户在一个环境首次使用需要进行虚实注册。用户首先调入3D数字化装配操作手册，然后通过语音、手势等方式选择装配工艺内容，系统即根据所选择的内容在真实装配现场进行装配位置识别、装配动作引导、装配正误判断等，以此来引导用户完成正确的装配操作。用户在装配过程中，可以随时穿越装配工艺文件、2D装配图纸、3D装配演示。 

软件主要功能特色：

一、3D数字化装配手册查阅

Ø  支持在装配过程中呼叫产品数字化维修手册，查阅装配方法、工艺流程及相关的电子资料等。

图：装配过程中电子资料查阅

二、虚实融合辅助操作

Ø  根据Marker标志与注册摄像头位姿关系，完成虚实场景之间的定位注册；

Ø  通过虚实场景融合执行装配过程辅助引导：提示所使用的装配工具、要装配的对象、装配动作要领和装配参数；在真实装配环境中识别正确装配位置，并以3D方式显示出来；以3D方式显示本步骤的操作动作；根据用户当前操作情况，判断用户是否装配在正确位置；

Ø  当有远程专家端支持时，可以实时呼叫远程专家协助，此时专家可以同步观察装配现场，并以3D形式提供操作指导。

图：航空发动机机匣装配中的辅助引导与防错

三、语音与手势结合的交互方式

Ø  通过Leap Motion传感器检测手的姿态，并根据多个手的姿态以及运动轨迹计算用户手势，用于用户发送维修指令或交互操作指令。

四、语音识别

Ø  通过麦克风对声音进行捕获并识别出用户发出的特定语音命令词，用于用户发送交互操作指令。