基于多特征融合的指挥手势识别方法研究

doi:10.16182/j.issn1004731x.joss.17-0089

系统仿真学报 ›› 2019, Vol. 31 ›› Issue (2): 346-352.doi: 10.16182/j.issn1004731x.joss.17-0089

基于多特征融合的指挥手势识别方法研究

王远明¹, 张珺¹, 秦远辉¹, 柴秀娟²

1.中国船舶工业系统工程研究院,北京 100094;
2.中国科学院计算技术研究所智能信息处理重点实验室,北京 100190

收稿日期:2017-02-27 修回日期:2017-05-09 出版日期:2019-02-15 发布日期:2019-02-15
作者简介:王远明(1984-),男,江西井冈山,硕士,高工,研究方向为系统仿真、人机交互;张珺(1973-),男,黑龙江,硕士,研究员,研究方向为航空保障; 秦远辉(1981-),男,黑龙江,硕士,高工,研究方向为计算机仿真。

Gesture Recognition Method Based on Multi-feature Fusion

Wang Yuanming¹, Zhang Jun¹, Qin Yuanhui¹, Chai Xiujuan²

1.China State Shipbuilding Corporation System Engineering Research Institute, Beijing 100094, China;
2. Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, The Chinese Academy of Sciences, Beijing 100190, China

Received:2017-02-27 Revised:2017-05-09 Online:2019-02-15 Published:2019-02-15

摘要/Abstract

摘要： 针对飞行甲板指挥手势识别特定应用需求,提出一种基于多特征融合的手势识别方法。利用深度摄像头采集到的视觉信息,从轨迹和手形两方面特征入手,建立了三维轨迹特征向量和手形稀疏表示。一方面基于轨迹特征通过轨迹归一化、重采样、对齐等处理进行识别,另一方面基于HOG（Histogramof Oriented Gradients）特征通过稀疏观察对齐进行手形识别,将识别结果进行有效融合。实验结果表明,提出的基于多特征融合的指挥手势识别方法在准确率上有较大提升,同时具有较好的鲁棒性。

关键词: 飞行甲板, 手势识别, 深度信息, 稀疏表示, 特征融合

Abstract: Aiming at the specific application requirements of command gesture for flight deck, a gesture recognition method based on multi-feature fusion is proposed. The 3D trajectory feature vector and hand sparse representation are established from two aspects of the trajectory and posture based on the visual information collected by depth camera. On the one hand, the gesture is recognized through normalization resampling and alignment based on the trajectory feature. On the other hand, the gesture is recognized through sparse representation alignment based on the HOG feature. The recognition results are fused effectively. The experimental results indicate that our methods greatly enhance accuracy, and have better robustness.

Key words: flight deck, gesture recognition, depth information, sparse representation, feature fusion

中图分类号:

TP391

王远明, 张珺, 秦远辉, 柴秀娟. 基于多特征融合的指挥手势识别方法研究[J]. 系统仿真学报, 2019, 31(2): 346-352.

Wang Yuanming, Zhang Jun, Qin Yuanhui, Chai Xiujuan. Gesture Recognition Method Based on Multi-feature Fusion[J]. Journal of System Simulation, 2019, 31(2): 346-352.

参考文献

[1] 胡容兵, 谢君, 傅冰. 飞行甲板安全评价指标体系研究[J]. 海军工程大学学报, 2013, 25(6): 93-98.
Hu Rongbing, Xie Jun, Fu Bing.Analysis of Safety Evaluation Index System of Flight Deck[J]. Journal of Naval University of Engineering, 2013, 25(6): 93-98.
[2] Mohammadreza Asghari Oskoei, Huosheng Hu.Myoelectric Control Systems-A survey[J]. Biomedical Signal Process & Control (S1004-1699), 2007, 2(4): 275-294.
[3] 胡琼, 秦磊, 黄庆明. 基于视觉的人体动作识别综述[J]. 计算机学报, 2013, 36(12): 2512-2524.
Hu Qiong, Qin Lei, Huang Qingming.A Survey on Visual Human Action Recognition[J]. Chinese Journal of Computers, 2013, 36(12): 2512-2524.
[4] Carlsson S, Sullivan J.Action Recognition by Shape Matching to Key Frames[C]// European Conference on Computer Vision(ECCV). Copenhagen, Denmark:IEEE, 2002: 263-270.
[5] Wang Xiaogang, Tieu K, Grimson E.Learning Semantic Scene Models by Trajectory Analysis[C]// Proc of the 9th Europen Conference on Computer Vision. Berlin: Springer, 2006: 110-123.
[6] Shotton J, Fitzgibbon A, Sharp T, et al.Real-time Human Pose Recognition in Parts from A Single Depth Image[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: Colorado Springs, 2011: 1297-1304.
[7] Jiang Zhuo-Lin, Lin Zhe, Davis L S.Recognizing human actions by learning and matching shape-motion prototype trees[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence (S1062-8828), 2012, 34(3): 533-547.
[8] 刘鑫辰, 傅慧源, 马华东. 基于RGB-D摄像头的实时手指跟踪与手势识别[J]. 计算机学报, 2014, 41(10): 50-61.
Liu Xinchen, Fu Huiyuan, Ma Huadong.Real-time Fingertip Tracking and Gesture Recognition Using RGB-D Camera[J]. Computer Science, 2014, 41(10): 50-61.
[9] Shi Qinfeng, Wang Li, Cheng Li, et al.Human action segmentation and recognition using discriminative semi-Markov Models[J]. International Journal of Computer Vision (S0920-5691), 2011, 93(1): 22-32.
[10] 陶丽君, 李翠华, 张希婧, 等. 基于Kinect传感器深度信息的动态手势识别[J]. 厦门大学学报(自然科学版), 2013, 52(4): 493-497.
Tao Lijun, Li Cuihua, Zhang Xijing, et al.Dynamic Gesture Recognition Based on Kinect Depth Data[J]. Journal of Xiamen University(Natural Science), 2013, 52(4): 493-497.
[11] Datal N, Triggs B.Histograms of oriented grdients for human detection[C]// Proceedings of Conference on Computer Vision and Pattern Recognition, Montbonnot, France: IEEE, 2005: 886-893.
[12] 张汉灵, 李红英, 周敏. 融合多特征和压缩感知的手势识别[J]. 湖南大学学报(自然科学版), 2013, 40(3): 87-92.
Zhang Hanling, Li Hongying, Zhou Min.Hand Posture Recognition Based on Multi-feature and Compressive Sensing[J]. Journal of Hunan University (Natural Sciences), 2013, 40(3): 87-92.

[1]	曹建芳, 崔红艳, 张自邦, 赵爱迪. 结合迁移学习和底层特征的古代壁画分类模型[J]. 系统仿真学报, 2021, 33(5): 1095-1103.
[2]	徐胜, 冯文宇, 刘志诚, 涂鑫涛, 费敏锐, 张堃. 基于机器视觉的复杂环境下精确手势识别算法研究[J]. 系统仿真学报, 2021, 33(10): 2460-2469.
[3]	宋晓瑞, 邹玲, 吴玲达, 徐万朋. 基于背景重建的高光谱图像异常检测[J]. 系统仿真学报, 2020, 32(7): 1287-1293.
[4]	王鑫, 张春燕, 宁晨. 基于Gestalt优化的红外视频时空显著性检测[J]. 系统仿真学报, 2020, 32(6): 1021-1031.
[5]	薛艳萍, 王学松, 武仲科, 王醒策, 周明全. Myo手势识别方法在古建筑漫游系统中的应用[J]. 系统仿真学报, 2019, 31(9): 1907-1915.
[6]	姜华, 张良. 基于部位分割的人体再识别方法[J]. 系统仿真学报, 2019, 31(6): 1085-1091.
[7]	刘望, 孙金玉, 马世伟. 基于时空特征金字塔网络的动作时序检测方法[J]. 系统仿真学报, 2019, 31(11): 2382-2387.
[8]	王仕民, 叶继华, 王明文, 左家莉, 刘长红. 基于多尺度区域协方差的显著性特征提取方法[J]. 系统仿真学报, 2018, 30(7): 2767-2775.
[9]	马楠, 石祥滨, 代钦, 刘翠微, 刘芳. 一种音乐舞蹈视频关键帧提取方法[J]. 系统仿真学报, 2018, 30(7): 2801-2807.
[10]	黎明, 彭秀姣, 王艳. 基于改进的字典学习与稀疏表示的人脸表情识别[J]. 系统仿真学报, 2018, 30(1): 28-36.
[11]	牛为华, 梁贵书, 赵鹏. 基于稀疏表示和M-ELM的断路器故障诊断模型[J]. 系统仿真学报, 2017, 29(11): 2828-2839.
[12]	王仕民, 叶继华, 程柏良, 王明文. 基于多尺度张量空间的改进Itti视觉显著性检测[J]. 系统仿真学报, 2016, 28(9): 2138-2145.
[13]	叶继华, 兰清平, 刘长红, 王仕民. 结合互信息量和Log-Gabor特征的嵌入式人脸识别[J]. 系统仿真学报, 2016, 28(9): 2214-2219.
[14]	蔡芝蔚, 吴淑燕, 宋俊锋. 基于SVM和组合优化模型的手势识别[J]. 系统仿真学报, 2016, 28(8): 1812-1817.
[15]	杨恢先, 刘昭, 刘阳, 刘凡, 贺迪龙. 基于超像素和局部稀疏表示的目标跟踪方法[J]. 系统仿真学报, 2016, 28(5): 1017-1030.

基于多特征融合的指挥手势识别方法研究

Gesture Recognition Method Based on Multi-feature Fusion

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价