基于深度强化学习的机场货运业务优化研究

doi:10.16182/j.issn1004731x.joss.20-0794

系统仿真学报 ›› 2022, Vol. 34 ›› Issue (3): 651-660.doi: 10.16182/j.issn1004731x.joss.20-0794

• 国民经济仿真 • 上一篇

基于深度强化学习的机场货运业务优化研究

王红微(), 杨鹏()

天津理工大学，天津 300384

收稿日期:2020-10-16 修回日期:2021-01-03 出版日期:2022-03-18 发布日期:2022-03-22
通讯作者: 杨鹏 E-mail:1096087995@qq.com;29139475@qq.com
作者简介:王红微(1995-)，女，硕士生，研究方向为复杂系统仿真及民航系统仿真。Email：1096087995@qq.com
基金资助:
国家自然科学基金青年科学基金(61603396);中国民航局安全能力专项(TMSA2017-246-1/2)

Research on Optimization of Airport Cargo Business Based on Deep Reinforcement Learning

Hongwei Wang(), Peng Yang()

Tianjin University of Technology, Tianjin 300384, China

Received:2020-10-16 Revised:2021-01-03 Online:2022-03-18 Published:2022-03-22
Contact: Peng Yang E-mail:1096087995@qq.com;29139475@qq.com

摘要/Abstract

摘要：

为了将智能Agent技术架构应用于机场货运业务的仿真模型开发，以机场货运资源优化为目标，提出了将深度强化学习与机场货运业务仿真模型结合的决策支持系统框架，用仿真数据实现对深度学习网络的训练，运用深度学习网络优化模型中的调度方案。训练成熟的系统采取在线模式，可以用于实时优化货运流程的调度方案。为了验证架构的有效性，在Anylogic仿真平台进行模型开发和实验，并将深度强化学习的调度与OptQuest的优化结果进行比较。结果表明，在保证机场货运业务有序进行的基础上，深度强化学习可以更好地对机场货运业务进行优化。

关键词: 在线仿真, 机场货运业务, 深度强化学习, 仿真模型优化

Abstract:

An intelligent agent technology architecture is adopted to the simulation model development of airport cargo business. Aiming at the optimization of airport cargo resources, a decision support system framework combining deep reinforcement learning (DRL) and airport cargo business simulation model is proposed. The simulated results are applied as the training data of the DRL network, and the DRL is used to optimize operation parameter of the simulation model. The mature system can be run online, which can provide optimized operation order in real time. In order to verify the effectiveness of the architecture, model development and experiments are conducted in Anylogic simulation platform, and the performances of DRL and OptQuest are compared. The results show that DRL can better optimize airport cargo business on the basis of ensuring orderly airport cargo operations.

Key words: online simulation, airport cargo business, deep reinforcement learning, simulation model optimization

中图分类号:

TP391.9

王红微, 杨鹏. 基于深度强化学习的机场货运业务优化研究[J]. 系统仿真学报, 2022, 34(3): 651-660.

Hongwei Wang, Peng Yang. Research on Optimization of Airport Cargo Business Based on Deep Reinforcement Learning[J]. Journal of System Simulation, 2022, 34(3): 651-660.

图/表 17

表1

图1

图2

表2

表3

图3

图4

图5

图6

图7

图8

表4

表5

图9

图10

图11

图12

参考文献 11

1	2019年民航行业发展统计公报[R]. 北京: 中国民用航空局, 2020.
	Statistics Bulletin of Civil Aviation Industry Development in 2019[R]. Beijing: CAAC, 2020.
2	白杨, 朱金福. 基于随机Petri网的航空货运出港系统分析[J]. 数理统计与管理, 2011, 31(2): 199-206.
	Bai Yang, Zhu Jinfu. Analysis of Air Cargo Departure System Based on Stochastic Petri Net[J]. Mathematical Statistics and Management, 2011, 31(2): 199-206.
3	赵悦. 航空快递中心作业流程优化和布局规划研究[D]. 北京: 北京交通大学, 2017.
	Zhao Yue. Research on Operation Process Optimization and Layout Planning of Air Express Center[D]. Beijing: Beijing Jiaotong University, 2017.
4	孟钊. 基于随机时间Petri网的万翔航空冷链物流流程优化研究[D]. 天津: 中国民航大学, 2015.
	Meng Zhao. Research on Cold Chain Logistics Process Optimization of Wanxiang Aviation Based on stochastic time Petri Net[D]. Tianjin: Civil Aviation University of China, 2015.
5	Miquel Angel Piera, Novikov Alexey, Trapote Cesar, et al. A Simulation Model to Improve Air Cargo Operations in Passenger Aircraft[C]// Summer Computer Simulation Conference. Ottawa, Canada: SCSC, 2010: 446-451.
6	周泓, 欧建新, 李政道. 航空货运中心物流系统建模及仿真研究[J]. 系统仿真学报, 2008, 20(12): 3314-3320.
	Zhou Hong, Jianxin Ou, Li Zhengdao. Research on the Modeling and Simulation of Air Cargo Center Logistics System[J]. Journal of System Simulation, 2008, 20(12): 3314-3320.
7	崔华春, 尹纯建, 贾焜, 等. 基于实体流程图和Witness仿真的航空货运离港系统仿真分析与优化研究[J]. 物流科技, 2016, 39(10): 83-89.
	Cui Huachun, Yin Chunjian, Jia Kun, et al. Simulation Analysis and Optimization of Air Cargo Departure System Based on Entity Flow Chart and Witness Simulation[J]. Logistics Technology, 2006, 39(10): 83-89.
8	Nsakanda Aaton L., Turcotte Michel. Air Cargo Operations Evaluation and Analysis Through Simulation[C]// 2004 Winter Simulation Conference. Washington, USA: IEEE, 2004: 1790-1798.
9	Mnih V, Kavukcuoglu K, Silver D, et al. Human-Level Control Through Deep Reinforcement Learning[J]. Nature, 2015, 518(7540): 529-533.
10	Law A M, Kelton W D. Simulation Modeling and Analysis[M]. New York, USA: MeGraw-Hill, 2000.
11	刘庆鸿, 陈德源, 王子才. 建模与仿真校核、验证与确认综述[J]. 系统仿真学报, 2003, 15(7): 925-930.
	Liu Qinghong, Chen Deyuan, Wang Zicai. Modeling and Reviews of Verification, Validation of Simulation Models[J]. Journal of System Simulation, 2003, 15(7): 925-930.

机场货运仿真系统	DQN
货物量观测值	环境状态
货运业务系统	学习主体
相关设备增减	决策行为
采取行动的反馈	环境奖励
观测值变化	系统状态变化
货物流动	触发事件启动

时段	客运	货运	合计
00:00—00:59	1	2	3
01:00—01:59	2	2	4
02:00—02:59	4	2	6
03:00—03:59	2	2	4
04:00—04:59	4	2	6
05:00—05:59	3	2	5

参数	初始值
安检口数量/个	4
安检速度/(m·s^-1)	Triangular(3，9，6)
每票所需拖板数量(个)	Triangular(1,8,1)
拖车数量(台)	42
拖车速度/(m·min^-1)	仓库内74.405 仓库外148.81

参数	最优值
安检通道数量	4
进港仓库内拖车数量	2
进港仓库外拖车数量	15

[1]	张森, 张孟炎, 邵敬平, 普杰信. 基于随机策略搜索的多机三维路径规划方法[J]. 系统仿真学报, 2022, 34(6): 1286-1295.
[2]	倪凌佳, 黄晓霞, 李红旮, 张子博. 基于协作式深度强化学习的火灾应急疏散仿真研究[J]. 系统仿真学报, 2022, 34(6): 1353-1366.
[3]	李启锐, 彭心怡. 基于深度强化学习的云作业调度及仿真研究[J]. 系统仿真学报, 2022, 34(2): 258-268.
[4]	高昂, 董志明, 张国辉, 梁涛, 郭齐胜. LVC训练系统中计算机生成兵力生成技术研究[J]. 系统仿真学报, 2021, 33(3): 745-752.
[5]	曾贲, 房霄, 孔德帅, 宋祥祥, 贾政轩, 林廷宇. 一种数据驱动的对抗博弈智能体建模方法[J]. 系统仿真学报, 2021, 33(12): 2838-2845.

基于深度强化学习的机场货运业务优化研究

Research on Optimization of Airport Cargo Business Based on Deep Reinforcement Learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 11

相关文章 5

编辑推荐

Metrics

本文评价