基于改进DQN算法的自动化码头AGV调度问题研究

doi:10.16182/j.issn1004731x.joss.23-0912

系统仿真学报 ›› 2024, Vol. 36 ›› Issue (11): 2592-2603.doi: 10.16182/j.issn1004731x.joss.23-0912

• 研究论文 • 上一篇

基于改进DQN算法的自动化码头AGV调度问题研究

梁承姬¹, 张石东¹, 王钰¹, 鲁斌²

^1.上海海事大学，物流科学与工程研究院，上海 201306
^2.上海市政工程设计研究总院有限公司，上海 200092

收稿日期:2023-07-18 修回日期:2023-10-03 出版日期:2024-11-13 发布日期:2024-11-19
通讯作者: 王钰
第一作者简介:梁承姬(1970-)，女，朝鲜族，教授，博士，研究方向为港口物流、地下物流、调度优化等。
基金资助:
国家自然科学基金(71972128);上海市青年科技英才扬帆计划(21YF1416400);上海市青年科技启明星计划(21QB1404800)

AGV Scheduling Problem at Automated Terminals Based on Improved DQN Algorithm

Liang Chengji¹, Zhang Shidong¹, Wang Yu¹, Lu Bin²

^1.Institute of Logistics Science and Engineering, Shanghai Maritime University, Shanghai 201306, China
^2.Shanghai Municipal Engineering Design Institute Co. , Ltd. , Shanghai 200092, China

Received:2023-07-18 Revised:2023-10-03 Online:2024-11-13 Published:2024-11-19
Contact: Wang Yu

摘要/Abstract

摘要：

针对自动化码头AGV（automated guided vehicle）调度问题，提出了一种考虑未来任务的深度Q网络（future tasks considering deep Q-network，F-DQN）算法指导AGV进行实时调度。对系统状态进行了改进，结合实时调度和静态调度的优点，在做出实时决策时考虑了静态的未来任务信息，以获得更优的调度方案。以洋山四期自动化码头的真实布局和设备情况为参考，使用仿真软件Plant Simulation进行了一系列仿真实验。实验结果表明：F-DQN算法可以有效解决自动化码头AGV实时调度问题，且F-DQN算法相比于传统DQN算法，能够显著缩短岸桥的等待时间。

关键词: 自动化码头, AGV调度, DQN, MDP, 仿真模型

Abstract:

A future tasks considering deep Q-network (F-DQN) algorithm was proposed to output real-time scheduling results of automated guided vehicles (AGVs) at automated terminals. This algorithm combined the advantages of real-time scheduling and static scheduling, improving the system status by considering static future task information when making real-time decisions, so as to obtain a better scheduling solution. In this study, the actual layout and equipment conditions of the Yangshan phase IV automated terminal were considered, and a series of simulation experiments were conducted using the Plant Simulation software. The experimental results show that the F-DQN algorithm can effectively solve the real-time scheduling problem of AGVs at automated terminals. Furthermore, the F-DQN algorithm significantly reduces the waiting time of quay cranes compared to the traditional DQN algorithm.

Key words: automated terminal, AGV scheduling, DQN, MDP, simulation model

中图分类号:

TP391.9

梁承姬,张石东,王钰等 . 基于改进DQN算法的自动化码头AGV调度问题研究[J]. 系统仿真学报, 2024, 36(11): 2592-2603.

Liang Chengji,Zhang Shidong,Wang Yu,et al . AGV Scheduling Problem at Automated Terminals Based on Improved DQN Algorithm[J]. Journal of System Simulation, 2024, 36(11): 2592-2603.

图/表 15

图1

表1

参数和注释

参数	注释
$V$	AGV $i$ 的集合， $i ∈ V$
$Q$	岸桥 $q$ 的集合， $q ∈ Q$
$Y$	场桥 $y$ 的集合， $y ∈ Y$
$N$	集装箱 $n$ 的集合， $n ∈ N$
$M$	经验回放池容量
$E M$	训练迭代次数(episodes)
$L R$	学习率
$U F$	目标Q网络更新频率
$ε$	贪婪因子
$τ$	目标Q网络参数更新系数
$α$	完工时间折扣因子
$β$	岸桥等待时间折扣因子
$μ$	奖励函数中的比例因子
$ω$	奖励重构因子

表1

表2

变量和注释

变量	注释
K	调度决策阶段 $k$ 的集合， $k ∈ K$
t_k	决策阶段k的时刻
s_k	状态变量，代表t_k 时刻的环境信息
a_k	决策阶段k的动作
s_k₊₁	下一决策阶段的状态变量
r_k	状态变量从s_k 转换到s_k₊₁的奖励值
$s k + 1'$	改进后的状态变量
$r k'$	重构后的奖励值

表2

表3

图2

图3

图4

图5

图6

表4

图7

表5

图8

图9

表6

参考文献 15

1	张素云, 杨勇生, 梁承姬, 等. 自动化码头多AGV路径冲突的优化控制研究[J]. 交通运输系统工程与信息, 2017, 17(2): 83-89.
	Zhang Suyun, Yang Yongsheng, Liang Chengji, et al. Optimal Control of Multiple AGV Path Conflict in Automated Terminals[J]. Journal of Transportation Systems Engineering and Information Technology, 2017, 17(2): 83-89.
2	He Junliang, Huang Youfang, Yan Wei, et al. Integrated Internal Truck, Yard Crane and Quay Crane Scheduling in a Container Terminal Considering Energy Consumption[J]. Expert Systems with Applications, 2015, 42(5): 2464-2487.
3	谢旦岚, 郭笛, 纪媛, 等. 自动化码头运输设备充电策略优化的仿真研究[J]. 系统仿真学报, 2020, 32(10): 1927-1935.
	Xie Danlan, Guo Di, Ji Yuan, et al. Simulation Research on Optimization of AGV Charging Strategy for Automated Terminal[J]. Journal of System Simulation, 2020, 32(10): 1927-1935.
4	Hwan Kim Kap, Jong Wook Bae. A Look-ahead Dispatching Method for Automated Guided Vehicles in Automated Port Container Terminals[J]. Transportation Science, 2004, 38(2): 224-234.
5	Homayouni Mahdi, Tang Saihong, Ismail Napsiah, et al. Using Simulated Annealing Algorithm for Optimization of Quay Cranes and Automated Guided Vehicles Scheduling[J]. International Journal of the Physical Sciences, 2011, 6(27): 6286-6294.
6	Shiue Y R, Lee K C, Su C T. Real-time Scheduling for a Smart Factory Using a Reinforcement Learning Approach[J]. Computers & Industrial Engineering, 2018, 125: 604-614.
7	Wang Haoxiang, Sarker B R, Li Jing, et al. Adaptive Scheduling for Assembly Job Shop with Uncertain Assembly Times Based on Dual Q-learning[J]. International Journal of Production Research, 2021, 59(19): 5867-5883.
8	Mnih V, Kavukcuoglu K, Silver D, et al. Human-level Control Through Deep Reinforcement Learning[J]. Nature, 2015, 518(7540): 529-533.
9	Hu Hao, Jia Xiaoliang, He Qixuan, et al. Deep Reinforcement Learning Based AGVs Real-time Scheduling with Mixed Rule for Flexible Shop Floor in Industry 4.0[J]. Computers & Industrial Engineering, 2020, 149: 106749.
10	Wei Qinglai, Yan Yutian, Zhang Jie, et al. A Self-attention-based Deep Reinforcement Learning Approach for AGV Dispatching Systems[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(6): 7911-7922.
11	Chen Xuchao, He Shiwei, Zhang Yongxiang, et al. Yard Crane and AGV Scheduling in Automated Container Terminal: A Multi-robot Task Allocation Framework[J]. Transportation Research Part C: Emerging Technologies, 2020, 114: 241-271.
12	Egbelu P J, Tanchoco J M A. Characterization of Automatic Guided Vehicle Dispatching Rules[J]. International Journal of Production Research, 1984, 22(3): 359-374.
13	Sutton R S, Barto A G. Reinforcement Learning: An Introduction[M]. Cambridge: MIT Press, 2018.
14	李凯文, 张涛, 王锐, 等. 基于深度强化学习的组合优化研究进展[J]. 自动化学报, 2021, 47(11): 2521-2537.
	Li Kaiwen, Zhang Tao, Wang Rui, et al. Research Reviews of Combinatorial Optimization Methods Based on Deep Reinforcement Learning[J]. Acta Automatica Sinica, 2021, 47(11): 2521-2537.
15	Banino A, Barry C, Uria B, et al. Vector-based Navigation Using Grid-like Representations in Artificial Agents[J]. Nature, 2018, 557(7705): 429-433.

规则名称	规则描述
NV	将首先选择距离当前任务最近的AGV
FV	将首先选择距离当前任务最远的AGV
LIV	将首先选择等待时间最长的AGV
LUV	将首先选择利用率最低的AGV

算法	最大完工时间/s	岸桥等待时间/s	AGV等待时间/s
F-DQN	5 438	423	288
DQN	5 453	457	304
NV	5 510	599	398
FV	5 637	1 198	224
LIV	5 601	1 281	321
LUV	5 604	1 743	232

算法	最大完工时间/s	岸桥等待时间/s	AGV等待时间/s
DQN	13 814	680	6 493
F-DQN-1	13 746	593	6 376
F-DQN-2	13 601	477	6 224
F-DQN-3	13 659	568	6 312
F-DQN-4	13 638	524	6 286

[1]	丘建栋, 唐易, 暨育雄, 刘恒, 罗钧韶. 高速公路立体复合扩容设计的仿真模型研究[J]. 系统仿真学报, 2024, 36(5): 1072-1080.
[2]	秦保新, 张羽霄, 吴思锐, 曹卫冲, 李湛. 基于改进D3QN的煤炭码头卸车排产智能优化方法[J]. 系统仿真学报, 2024, 36(3): 770-781.
[3]	包哲, 张潇方, 李薇, 许野, 王旭. 基于智能融合算法的冷热电联供系统灵活性运行优化研究[J]. 系统仿真学报, 2024, 36(10): 2330-2344.
[4]	罗宇成, 张明恩, 刘飞, 陆营波, 叶丰. 基于分段特征提取的仿真模型结果验证方法[J]. 系统仿真学报, 2024, 36(1): 272-281.
[5]	李盈萱, 王中训, 董云龙. 两种新的机动目标仿真模型[J]. 系统仿真学报, 2023, 35(7): 1581-1589.
[6]	杨海兰, 祁永强, 吴保磊, 荣丹, 洪妙英, 王军. 动态环境下基于忆阻强化学习的移动机器人路径规划[J]. 系统仿真学报, 2023, 35(7): 1619-1633.
[7]	戴宇轩, 崔承刚. 基于深度强化学习的Boost变换器控制策略[J]. 系统仿真学报, 2023, 35(5): 1109-1119.
[8]	陈亚绒, 管舒晨, 黄成军, 朱立夏, 周富得. 基于仿真的双目标并行机开放车间自适应动态调度[J]. 系统仿真学报, 2023, 35(1): 69-81.
[9]	陈爱斌, 丁福博, 周国雄, 周波. 基于群体智能的森林火灾蔓延仿真模型[J]. 系统仿真学报, 2022, 34(7): 1439-1448.
[10]	王红微, 杨鹏. 基于深度强化学习的机场货运业务优化研究[J]. 系统仿真学报, 2022, 34(3): 651-660.
[11]	张博远, 龚光红, 王泽, 李妮. 基于深度网络的蓝军装备模型参数生成方法研究[J]. 系统仿真学报, 2022, 34(12): 2629-2638.
[12]	李荣强, 文爱兵, 花斌, 李嘉骏, 姜兵. 航空装备虚拟维修训练仿真模型快速开发技术[J]. 系统仿真学报, 2021, 33(5): 1167-1176.
[13]	李笑, 李树, 彭伟鸿, 关婷. 基于工质饱和蒸汽压的排尿助力系统建模仿真[J]. 系统仿真学报, 2021, 33(4): 927-934.
[14]	马文欣, 李瑞敏. 检测数据驱动的交通仿真参数标定方法研究[J]. 系统仿真学报, 2021, 33(12): 2808-2819.
[15]	梁丰, 张志利, 李向阳, 李亦豪, 王蓓, 龙勇. 力反馈特种车辆驾驶舱半实物仿真模型研究[J]. 系统仿真学报, 2021, 33(12): 2935-2943.

基于改进DQN算法的自动化码头AGV调度问题研究

AGV Scheduling Problem at Automated Terminals Based on Improved DQN Algorithm

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 15

相关文章 15

编辑推荐

Metrics

本文评价