基于Hadoop的探地雷达数据并行处理方法研究

doi:10.16182/j.issn1004731x.joss.201701017

系统仿真学报 ›› 2017, Vol. 29 ›› Issue (1): 120-128.doi: 10.16182/j.issn1004731x.joss.201701017

基于Hadoop的探地雷达数据并行处理方法研究

梁胤程, 袁媛, 杨峰

中国矿业大学(北京) 机电与信息工程学院,北京 100083

收稿日期:2015-04-27 修回日期:2015-07-10 出版日期:2017-01-08 发布日期:2020-06-01
作者简介:梁胤程(1983-),男,山东,博士生,研究方向为大数据处理;袁媛(1990-),女,河北,硕士,研究方向为并行计算;杨峰(1968-),男,河南,教授,研究方向为探地雷达仪器开发。
基金资助:
国家重大科学仪器设备开发专项(2012YQ 030126),核三废专项科研课题(环FZ1402-3)

Research of Parallel Process Method of Ground Penetrating Radar (GPR) Data Based on Hadoop

Liang Yincheng, Yuan Yuan, Yang Feng

School of Mechanical Electronic&Information Engineering, China University of Mining&Technology, Beijing 100083, China

Received:2015-04-27 Revised:2015-07-10 Online:2017-01-08 Published:2020-06-01

摘要/Abstract

摘要： 大数据及云计算等技术带来的科研方式的转变影响着探地雷达数据处理领域的研究工作,利用云计算平台对大规模探地雷达数据进行了数据解析的研究工作,通过流式处理框架Storm平台对产生的探地雷达数据进行了数据预处理,解决了探地雷达数据格式与Hadoop平台数据处理输入格式不匹配的问题。并在Hadoop平台下实现了并行化的卷积、反卷积与增益相结合的数据滤波处理,对滤波效果和运行性能指标进行了分析。仿真实验结果表明,该方法能准确有效地对探地雷达数据进行滤波解析,在运算速度、并行化加速度性能上都较传统方法有明显的改善。

关键词: Hadoop, 探地雷达数据, Storm, 卷积, 增益, 并行化

Abstract: The change of research way brought by big data and cloud computing has an impact on the research of GPR data processing. Filtering and analysis research for large scale GPR data was conducted by cloud computing platforms. Data preprocessing to GPR data was realized through flow computing framework Storm so as to solve the mismatch of GPR data format and input data format of Hadoop and realize parallel convolution and gain process based on Hadoop. The filtering result and performance index was analyzed. Experimental results show that the proposed method is accurate and effective on GPR data process, and it has significantly improved operating speed and parallel speed-up in comparison with previous method.

Key words: Hadoop, GPR data, Storm, convolution, gain process, parallel

中图分类号:

TP391

梁胤程, 袁媛, 杨峰. 基于Hadoop的探地雷达数据并行处理方法研究[J]. 系统仿真学报, 2017, 29(1): 120-128.

Liang Yincheng, Yuan Yuan, Yang Feng . Research of Parallel Process Method of Ground Penetrating Radar (GPR) Data Based on Hadoop[J]. Journal of System Simulation, 2017, 29(1): 120-128.

参考文献

[1] 杨峰, 彭苏萍. 地质雷达探测原理与方法研究 [M]. 北京: 科学出版社, 2010.
(Yang Feng, Peng Suping.Research on principle and method of geological radar detection [M]. Beijing, China: Science Press, 2010.)
[2] Xiang X, Gao Y, Shang L, et al Parallel Text Categorization of Massive Text Based on Hadoop[J]. Computer Science(S1002-137X), 2011, 38(10): 184-188.
[3] Wang Fei, Vuk E, David B, et al.Large-scale multimodel mining for healthcare with MapReduce[C]// Proceedings of the 1st ACM International Health Informatics Symposium, USA: ACM, 2010.
[4] Malewicz Grzegorz, Austern Matthew H, Bik Aart J C, et al. Pregel: A system for large-scale graph processing[C]// Proceedings of the SIGMOD, USA: ACM, 2010: 135-146.
[5] 李贵兵, 金炜东, 蒋鹏, 等. 面向大规模监测数据的高铁故障诊断技术研究[J]. 系统仿真学报, 2014, 26(10): 2458-2464.
(Li Guibing, Jin Weidong, Jiang Peng, et al.Research on Fault Diagnosis Technology of High-speed Rail for Large Scale Monitoring Data[J]. Journal of System Simulation, 2014, 26(10): 2458-2464.)
[6] Gu T, Zuo C, Liao Q, et al.Improving MapReduce Performance by Data Prefetching in Heterogeneous or Shared Environments[J]. International Journal of Grid and Distributed Computing (S2005-4262), 2013, 6(5): 71-82.
[7] Shvachko K, Kuang H, Radia S, et al.The hadoop distributed file system[C]//Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium on. USA: IEEE, 2010: 1-10.
[8] 周敏奇. Hadoop权威指南 [M]. 北京: 清华大学出版社, 2011: 198-215.
(Zhou Minqi.Hadoop the definitive guide [M]. Beijing: Tsinghua University Press, 2011: 198-215.)
[9] Jonathan Leibiusky, Gabriel Eisbruch, Dario Simonassi.Getting started with storm [M]. Sebastopol: O'reilly Press, 2012.
[10] Massie M L, Chun B N, Culler D E.The ganglia distributed monitoring system: design, implementation, and experience[J]. Parallel Computing (S0167-8191), 2004, 30(7):817-840.

[1]	王银, 王飞翔, 孙前来. 多尺度特征融合车辆检测方法[J]. 系统仿真学报, 2022, 34(6): 1219-1229.
[2]	张立峰, 王会忍. 基于卷积神经网络及有限元仿真的电容层析成像图像重建[J]. 系统仿真学报, 2022, 34(4): 712-718.
[3]	敖邦乾, 杨莎, 令狐金卿, 叶振环. 基于级联神经网络疲劳驾驶检测系统设计[J]. 系统仿真学报, 2022, 34(2): 323-333.
[4]	赵瑛, 陆耀, 张健, 梁启弟, 龙炜. 基于深度神经网络的多视角人体动作识别[J]. 系统仿真学报, 2021, 33(5): 1019-1030.
[5]	仝卫国, 庞雪纯, 朱赓宏. 基于卷积神经网络的气液两相流流型识别方法[J]. 系统仿真学报, 2021, 33(4): 883-891.
[6]	王步维, 王敏, 范谦, 王雅男, 章涵文, 乐云亮. 基于深度学习的晶体性质预测研究[J]. 系统仿真学报, 2021, 33(12): 2854-2863.
[7]	马榕, 陈秋瑞, 张晗, 梅铮, 王锐, 魏伟. 基于单目深度估计的低功耗视觉里程计[J]. 系统仿真学报, 2021, 33(12): 3001-3011.
[8]	霍志浩, 金炜东, 唐鹏. 融合自监督学习的单帧图像运动视差关键点估计[J]. 系统仿真学报, 2021, 33(11): 2753-2759.
[9]	杜金莲, 李淑飞, 金雪云. 三维烟雾流场超分辨率数据生成网络模型的研究[J]. 系统仿真学报, 2021, 33(10): 2381-2389.
[10]	刘东江, 黎建辉. 基于Spark的并行图聚类算法研究[J]. 系统仿真学报, 2020, 32(6): 1038-1050.
[11]	黄欣, 方钰, 顾梦丹. 基于卷积神经网络的X线胸片疾病分类研究[J]. 系统仿真学报, 2020, 32(6): 1188-1194.
[12]	王静, 刘洪岩, 刘芳芳, 王青青. 基于随机森林和卷积特征学习的人机交互语音情感识别[J]. 系统仿真学报, 2020, 32(12): 2388-2400.
[13]	樊名鲁, 王艳, 纪志成. 基于特征生成的轴承不均衡数据故障诊断[J]. 系统仿真学报, 2020, 32(12): 2438-2448.
[14]	王红军, 黎邹邹, 邹湘军. 基于Adaboost与CNN的木材表面缺陷检测[J]. 系统仿真学报, 2019, 31(8): 1636-1645.
[15]	郭玉栋, 左金平. 基于霍普菲尔德网络的云作业调度算法[J]. 系统仿真学报, 2019, 31(12): 2859-2867.

基于Hadoop的探地雷达数据并行处理方法研究

Research of Parallel Process Method of Ground Penetrating Radar (GPR) Data Based on Hadoop

PDF (PC)

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价