基于ARM的视频流实时稳像增强算法

系统仿真学报 ›› 2016, Vol. 28 ›› Issue (10): 2423-2430.

基于ARM的视频流实时稳像增强算法

陈晓权, 张磊, 黄华

北京理工大学计算机学院,北京 100081

收稿日期:2016-05-28 修回日期:2016-07-12 出版日期:2016-10-08 发布日期:2020-08-13
作者简介:陈晓权(1992-),男,浙江东阳,硕士生,研究方向为图像与视频处理;张磊(1981-),男,山东宁阳,副教授,研究方向为计算机图形学、图像与视频处理;黄华(1975-),男,湖北当阳,教授,研究方向为模式识别、图像与视频处理。
基金资助:
国家自然科学基金面上项目(61472035)

ARM-Based Real-Time Video Stabilization Enhancement Algorithm

Chen Xiaoquan, Zhang Lei, Huang Hua

School of Computer Science, Beijing Institute of Technology, Beijing 100081, China

Received:2016-05-28 Revised:2016-07-12 Online:2016-10-08 Published:2020-08-13

摘要/Abstract

摘要： 针对ARM处理器的性能特点,提出一种在几何变换空间内进行视频抖动检测和运动平滑的高效视频稳像增强算法。首先通过平移和旋转分量的振幅变化检测视频流中出现的抖动;然后对平移向量和旋转角度进行线性插值,获得平滑路径的最优变换;最后分别对平移和旋转变换进行运动补偿,生成稳定的视频帧。由于采用刚性变换空间中的线性插值,该算法的计算速度要远高于以往算法,而且可以有效控制补偿后视频帧的裁剪率并保证不会出现画面扭曲现象。实验结果表明,该算法能够在基于ARM处理器的平台上实现视频流实时稳像处理,并输出令人满意的稳定视频。

关键词: 视频稳像, 实时, 刚性变换, 抖动检测

Abstract: Considering the performance characteristic of ARM processor, an ARM-based real-time video stabilization enhancement algorithm was proposed that identified shakiness of video and implements motion smoothing in the space of geometric transformations. The algorithm identified the shakiness of video with the amplitudes’ change of translation and rotation. Then the optimal path could be obtained by linear interpolation on translational vector and rotational angle. Stable frames were generated by implementing motion compensation of translation and rotation transformations respectively. Because the algorithm used linear interpolation in the space of rigid transformations, it was much faster than the previous algorithms. Moreover, it could control cropping ratio in motion compensation and guarantee no extra distortion drawn into the warped frames. Experiments show that the algorithm can stabilize video based on ARM platform in real time and obtain good video stabilization as well.

Key words: video stabilization, real-time, rigid transformation, shakiness detection

中图分类号:

TP391

陈晓权, 张磊, 黄华. 基于ARM的视频流实时稳像增强算法[J]. 系统仿真学报, 2016, 28(10): 2423-2430.

Chen Xiaoquan, Zhang Lei, Huang Hua. ARM-Based Real-Time Video Stabilization Enhancement Algorithm[J]. Journal of System Simulation, 2016, 28(10): 2423-2430.

参考文献 13

[1]	Grundmann M, Kwatra V, Essa I.Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths[C]// IEEE Conference on Computer Vision & Pattern Recognition. USA: IEEE, 2011: 225-232.
[2]	Liu F, Gleicher M, Wang J, et al.Subspace Video Stabilization[J]. ACM Transactions on Graphics (S0730-0301), 2011, 30(1): 623-636.
[3]	姜文涛, 陈卫东, 李良福. 一种基于特征点跟踪的电子稳像算法[J]. 应用光学, 2010, 31(1): 73-77.
[4]	张国栋, 王明泉, 郭栋. 基于灰度投影算法的实时电子稳像研究[J]. 微电子学与计算机, 2010, 27(10): 53-56.
[5]	张坤, 许廷发, 王平, 等. 高精度实时全帧频SURF电子稳像方法[J]. 光学精密工程, 2011, 19(8): 1964-1972.
[6]	邢慧, 颜景龙, 张树江. 基于Kalman滤波的稳像技术研究[J]. 兵工学报, 2007, 28(2): 175-177.
[7]	Liu F, Gleicher M, Jin H, et al.A. Content-Preserving Warps for 3D Video Stabilization[J]. Acm Transactions on Graphics (S0730-0301), 2009, 28(3): 341-352.
[8]	Zhang G, Hua W, Qin X, et al.Video Stabilization Based on a 3D Perspective Camera Model[J]. Visual Computer (S0178-2789), 2009, 25(11): 997-1008.
[9]	Zhou Z, Jin H, Ma Y.Plane-Based Content Preserving Warps for Video Stabilization[C]// IEEE Conference on Computer Vision & Pattern Recognition. USA: IEEE 2013:2299-2306.
[10]	Wang Y S, Liu F, Hsu P S, et al.Spatially and Temporally Optimized Video Stabilization[J]. IEEE Transactions on Visualization & Computer Graphics (S1077-2626), 2013, 19(8): 1354-61.
[11]	Liu S, Yuan L, Tan P, et al.Bundled Camera Paths for Video Stabilization[J]. ACM Transactions on Graphics (S0730-0301), 2013, 32(4): 96-96.
[12]	Goldstein A, Fattal R.Video Stabilization Using Epipolar Geometry[J]. ACM Transactions on Graphics (S0730-0301), 2012, 32(5): 573-587.
[13]	Ogino R, Suzuki T, Nishi K.Camera-Shake Detection and Evaluation of Image Stabilizers[C]// SICE Annual Conference, 2008. USA: IEEE, 2008: 528-531.

[1]	于帆, 罗东琦, 司宾强, 朱纪洪. 可交互式相控阵雷达DOA估计仿真系统设计[J]. 系统仿真学报, 2022, 34(5): 964-977.
[2]	唐传谦, 刘志强, 苏毅俊, 刘晓静. 基于Kinect的皮影动作实时匹配研究[J]. 系统仿真学报, 2022, 34(3): 633-639.
[3]	刘芸, 韩松, 黄秋立. 基于实时电价响应行为的源荷协调日前调度模型[J]. 系统仿真学报, 2021, 33(5): 1196-1204.
[4]	熊俊涛, 李中行, 林国茂, 吴升伟, 林冬婷, 李洽锋, 肖文淳. 基于交互式控制的AGV实时仿真系统研究[J]. 系统仿真学报, 2021, 33(3): 657-668.
[5]	刘云钦, 李妮, 赵路明, 白金鹏, 李婷珽, 王晨光. 高超声速飞行器流热固耦合实时仿真技术[J]. 系统仿真学报, 2021, 33(12): 2820-2827.
[6]	邹序焱, 何汉武, 吴悦明, 邓景威. 基于手势交互的虚实融合实验仿真技术[J]. 系统仿真学报, 2021, 33(10): 2488-2498.
[7]	任福深, 孙雅琪, 胡庆, 李兆亮, 孙鹏宇, 范玉坤. 基于Unity3D的水下机器人半实物仿真系统[J]. 系统仿真学报, 2020, 32(8): 1546-1555.
[8]	沈景凤, 李初蕾, 武殿梁, 张佳欣. 航空发动机半物理仿真试车系统的设计研究[J]. 系统仿真学报, 2020, 32(5): 808-816.
[9]	刁桂杰, 倪虹, 刘哲, 李洋. 时变海场景双基SAR回波实时模拟方法研究[J]. 系统仿真学报, 2020, 32(11): 2176-2184.
[10]	佟佳慧, 刘金, 张津源, 张永祥. 基于多核调度的实时仿真平台架构研究[J]. 系统仿真学报, 2019, 31(8): 1495-1504.
[11]	刘畅, 贾金原, 陆一凡, 张乾, 赵磊. 光图树：Web3D动态场景全局光照的协同实时渲染[J]. 系统仿真学报, 2019, 31(8): 1591-1604.
[12]	田传艳, 胡军照, 刘继奎, 杨黔龙. 一种低成本的半实物飞行仿真系统[J]. 系统仿真学报, 2019, 31(6): 1123-1127.
[13]	刘海洋, 胡晓峰, 雷旭. 基于图形集群的远程实时渲染系统研究[J]. 系统仿真学报, 2019, 31(5): 886-892.
[14]	贾金原, 郑乃豪. 带疤痕轴承的动态干涉检验算法[J]. 系统仿真学报, 2019, 31(3): 502-510.
[15]	薛文霞, 林彬, 胡旭, 张晶泊. 基于AUG的海洋牧场水质监测网络动态仿真[J]. 系统仿真学报, 2019, 31(12): 2758-2767.