Map Reduce框架下空间大数据的关联规则分析方法

doi:10.16182/j.issn1004731x.joss.201803009

系统仿真学报 ›› 2018, Vol. 30 ›› Issue (3): 840-845.doi: 10.16182/j.issn1004731x.joss.201803009

Map Reduce框架下空间大数据的关联规则分析方法

张明智¹, 李义^1,2

1.国防大学信息作战与指挥训练教研部,北京 100091;
2.66194部队,北京 100012

收稿日期:2016-04-01 出版日期:2018-03-08 发布日期:2019-01-02
作者简介:张明智(1962-),男,陕西,博士后,教授,博导,研究方向为战争复杂系统建模与仿真、数据与规则;李义(1981-),男,河北,博士后,助工,研究方向为数据与规则、计算机战争模拟。
基金资助:
国家自然科学基金(61174156, 61273189),中国博士后科学基金特别资助(2017T100791)

Association Rules Analysis Method of Spatial Data Under MapReduce Framework

Zhang Mingzhi¹, Li Yi^1,2

1.The Department of Information Operation & Command Training, National Defense University, Beijing 100091, China;
2.The Forces of 66194, Beijing 100012, China

Received:2016-04-01 Online:2018-03-08 Published:2019-01-02

摘要/Abstract

摘要： 空间数据具有空间性、时间性、多维性、大数据量、空间关系复杂等特点,如何在空间大数据里面寻找模式、规律和特征知识,用于战场态势感知和战场空间管理,这需要利用和开发一些非传统的数据筛选工具进行分析、挖掘。针对现有Apriori算法扫描数据库过于频繁的问题,结合Map Reduce的工作原理,对Apriori算法进行了改进,提出基于Map Reduce的空间大数据快速分析思路和技术框架,初步搭建了验证原型,对关键技术进行实验。实例验证结果表明,利用该技术路线和框架,可以提升海量空间数据的处理分析速度。

关键词: 空间数据, 大数据, 关联规则, 分析方法, 并行计算

Abstract: Spatial data has the characteristic of extensity, timeliness, multidimensional, large amount of data and complex relations. Some non-conventional data screening tool for analysis and mining is required to find out the patterns, rules and characteristics knowledge in the spatial big data for battlefield situation awareness and battle space management. In view that the existing Apriori algorithm scans the database too frequently, the Apriori algorithm is improved on the basis of working principle of Map Reduce .The fast analysis ideas and technologyframework of spatial data is proposed. An elementary validate prototype is built for the key technology experimentation.Experimental results show that, the technical route and framework can improve the speed of massive spatial data analysis and processing.

Key words: spatial data, big data, association rules, analysis method, parallel computing

中图分类号:

TP393

张明智, 李义. Map Reduce框架下空间大数据的关联规则分析方法[J]. 系统仿真学报, 2018, 30(3): 840-845.

Zhang Mingzhi, Li Yi. Association Rules Analysis Method of Spatial Data Under MapReduce Framework[J]. Journal of System Simulation, 2018, 30(3): 840-845.

参考文献 16

[1]	张晓祥. 大数据时代的空间分析[J]. 武汉大学学报(信息科学版), 2014, 39(6): 655-659.ZHANG Xiaoxiang. Spatial Analysis in the Era of Big Data[J]. Geomatics and Information Science of Wuhan University, 2014, 39(6): 655-659.
[2]	Tong D, Mrrray A T.Spatial optimization in geography[J]. Annals of the Association of American Geographers (S1467-8306), 2012, 102(6): 1290-1309.
[3]	尹芳, 冯敏, 诸云强, 等. 基于开源Hadoop的矢量空间数据分布式处理研究[J]. 计算机工程与应用, 2013, 49(16): 25-29.YIN Fang, FENG Min, ZHU Yunqiang, et al. Research on vector spatial data distributed computing using Hadoop projects[J]. Computer Engineering and Applications, 2013, 49(16): 25-29.
[4]	Isard M, Budiu M, Yu Y, et al.Dryad: Distributed dataparallel programs from sequential building blocks[J]. ACM SIGOPS Operating Systems Review(S0163-5980), 2007, 41(3): 59-72.
[5]	Zhao Dongjie, Yang Haitao, Jiang Jian, et al.Modeling and simulation of the invulnerability of space information network[C]// Internet Technology and Applications, 2010 International Conference on, 2010: 1-5.
[6]	Chang F, Dean J, Ghemawat S, et al.Bigtable: A distributed storage system for structured data[J]. ACM Transaction Computer Systems(S0734-2071), 2008, 26(2): 4-5.
[7]	Melnik S, Gybarev A, Long J J, et al.Dremel: Interactive analysis of web scale datasets[J]. Proceedings of the VLDB Endowment(S2150-8097), 2010, 3(1/2): 330-339.
[8]	Beaver D, Kumar S, Li H C, et al.Finding a needle in Haystack: facebook's photo storage[C]// Usenix Symposium on Operating Systems Design and Implementation, OSDI, Vancouver, Bc, Canada, Proceedings, 2010: 47-60.
[9]	DeCandia Giuseppe. Dynamo: Amazon’s highly available key value store[J]. ACM SIGOPS Operating Systems Review(S0163-5980), 2007, 41(6): 205-220.
[10]	Shvachko Konstantin.The hadoop distributed file system[C]//IEEE 26th Symposium on Mass Storage Systems and Technologies. IEEE, 2010: 15-16.
[11]	王树良, 丁刚毅, 钟鸣. 大数据下的空间数据挖掘思考[J]. 中国电子科学研究院学报, 2013, 8(1): 8-17. WANG Shu-liang, DING Gang-yi, ZHONG Ming. On Spatial Data Mining under Big Data[J]. Journal of China Academy of Electronics and Information Technology, 2013, 8(1): 8-17.
[12]	SHEKAR S, XIONG H(Eds.) Encyclopedia of GIS[M]. New York: Springer, 2007.
[13]	李德仁, 王树良, 李德毅. 空间数据挖掘理论与应用[M]. 北京: 科学出版社, 2006.LI De-ren, WANG Shu-liang, Li De-yi. Spatial Data Mining: Theory and Application[M]. Beijing: Science Press, 2006.
[14]	LIN Xueyan.MR-Apriori: Association rules algorithm based on Map Reduce[C]//IEEE Beijing Section. Proceedings of 2014 IEEE 5th International Conference on Software Engineering and Service Science, Beijing: IEEE Beijing Section, 2014.
[15]	周芳. 基于关联规则Apriori算法的物联网海量数据挖掘系统研究[J]. 河北北方学院学报(自然科学版), 2015(31): 15-18.ZHOU Fang. Mass Data Mining System for Internet of Things Based on Association Rules Apriori Algorithm[J]. Journal of Hebei North University(Natural Science Edition), 2015(31): 15-18.
[16]	贾文珏, 安琼. 基于“分治网格”的空间大数据快速分析方法[J]. 计算机工程与设计, 2015, 36(8): 2317-2321.JIA Wen-jue, AN Qiong. Fast method for analysis of big spatial data using divide and conquer grids[J]. Computer Engineering and Design, 2015, 36(8): 2317-2321.

Map Reduce框架下空间大数据的关联规则分析方法

Association Rules Analysis Method of Spatial Data Under MapReduce Framework

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献 16

相关文章 15

编辑推荐

Metrics

本文评价

[1]	孙一铃, 陈谊, 单桂华, 李晓兴. 基于AR技术的多人互动地球仪系统[J]. 系统仿真学报, 2022, 34(6): 1367-1374.
[2]	高胜东, 于鑫. 盘坯温度分布参数系统冷速控制并行联合仿真[J]. 系统仿真学报, 2021, 33(8): 1839-1845.
[3]	韩驰, 熊伟. 航天侦察装备体系指标关联信息挖掘研究[J]. 系统仿真学报, 2021, 33(10): 2372-2380.
[4]	马宁, 林圣琳. 面向多装备协同的体系效能仿真评估方法[J]. 系统仿真学报, 2020, 32(6): 1155-1163.
[5]	胡杨, 张小咏, 肖迪. 基于手机大数据的城市建筑物人口时空估算[J]. 系统仿真学报, 2020, 32(10): 1874-1883.
[6]	黄子赫, 高尚兵, 潘志庚, 惠浩, 廖麒羽, 赵锋锋. 基于快速密度聚类的载客热点可视化分析方法[J]. 系统仿真学报, 2019, 31(7): 1429-1438.
[7]	司光亚, 王飞, 刘洋. 基于仿真大数据的体系分析方法研究[J]. 系统仿真学报, 2019, 31(3): 511-519.
[8]	孔源, 杜怡曼, 吴建平, 胡可臻. 基于浮动车大数据的电动汽车潜在用户分析[J]. 系统仿真学报, 2019, 31(3): 575-584.
[9]	肖迪, 张小咏, 胡杨. 基于手机大数据的城市功能区识别方法[J]. 系统仿真学报, 2019, 31(11): 2281-2288.
[10]	李莉, 朱永利, 宋亚奇. 泄漏电流数据的Spark-KNN并行模式识别方法[J]. 系统仿真学报, 2018, 30(4): 1473-1481.
[11]	董泽, 尹二新. 基于状态跟踪的非线性工业系统全工况建模[J]. 系统仿真学报, 2018, 30(3): 846-856.
[12]	陈鸿, 黄洁, 李毅, 柳森. 一种基于动态区域分解的SPH并行算法研究及应用[J]. 系统仿真学报, 2018, 30(10): 3717-3723.
[13]	黄文成, 贾立, 彭道刚, 李望. 基于Apriori的关联规则算法及其在电厂中的应用[J]. 系统仿真学报, 2018, 30(1): 266-271.
[14]	王子硕, 翟岩龙, 陶文俊, 杨浩, 张晗, 卿杜政. 高通量仿真中数据存储与访问技术研究[J]. 系统仿真学报, 2017, 29(9): 2016-2024.
[15]	薛传宇, 董洪伟, 张明敏, 潘志庚. 一种基于人体胖瘦模型的穿衣实时仿真方法[J]. 系统仿真学报, 2017, 29(11): 2847-2855.