基于DQN的异构测控资源联合调度方法

doi:10.16182/j.issn1004731x.joss.21-0879

系统仿真学报 ›› 2023, Vol. 35 ›› Issue (2): 423-434.doi: 10.16182/j.issn1004731x.joss.21-0879

• 论文 • 上一篇

基于DQN的异构测控资源联合调度方法

薛乃阳¹(), 丁丹²(), 贾玉童¹, 王志强¹, 刘渊³

^1.航天工程大学研究生院, 北京 101416
^2.航天工程大学电子与光学工程系, 北京 101416
^3.中国人民解放军61646部队, 北京 100192

收稿日期:2021-08-31 修回日期:2021-10-11 出版日期:2023-02-28 发布日期:2023-02-16
通讯作者: 丁丹 E-mail:2163628670@qq.com;ddnjr@163.com
作者简介:薛乃阳(1997-)，男，硕士生，研究方向为测控与通信技术。E-mail：2163628670@qq.com

DQN-based Joint Scheduling Method of Heterogeneous TT&C Resources

Naiyang Xue¹(), Dan Ding²(), Yutong Jia¹, Zhiqiang Wang¹, Yuan Liu³

^1.Graduate School, Space Engineering University, Beijing 101416, China
^2.Department of Electronic and Optical Engineering, Space Engineering University, Beijing 101416, China
^3.PLA 61646 Troops, Beijing 100192, China

Received:2021-08-31 Revised:2021-10-11 Online:2023-02-28 Published:2023-02-16
Contact: Dan Ding E-mail:2163628670@qq.com;ddnjr@163.com

摘要/Abstract

摘要：

以异构测控网资源联合调度为研究对象，提出一种基于强化学习的深度Q网络(deep Q network, DQN)算法。在充分分析异构测控资源联合调度问题特点后，用数学语言对影响问题求解的约束条件进行描述，建立了资源联合调度模型；从应用强化学习解决问题的角度，对求解的问题进行马尔科夫决策过程描述后，分别设计了2个结构相同的神经网络和基于 $ε$ 贪婪算法的动作选择策略，并建立了DQN求解框架。仿真结果表明：基于DQN的异构测控资源调度方法较遗传算法能够找到调度收益更优的测控调度方案。

关键词: 航天测控, 异构测控资源联合调度, 深度Q网络, 调度收益, 强化学习

Abstract:

Joint scheduling of heterogeneous TT&C resources as research object, a deep Q network (DQN) algorithm based on reinforcement learning is proposed. The characteristics of the joint scheduling problem of heterogeneous TT&C resources being fully analyzied and mathematical language being used to describe the constraints affecting the solution, a resource joint scheduling model is established. From the perspective of applying reinforcement learning, two neural networks with the same structure and the action selection strategies based on $ε$ greedy algorithm are respectively designed after Markov decision process description, and DQN solution framework is established. The simulation results show that DQN-based heterogeneous TT&C resources scheduling method can identify a TT&C scheduling scheme with better scheduling revenue than the genetic algorithm.

Key words: telemetry, track and command (TT&C), joint scheduling of heterogeneous TT&C resources, deep Q network, scheduling revenue, reinforcement learning

中图分类号:

TP273+.1

薛乃阳, 丁丹, 贾玉童, 王志强, 刘渊. 基于DQN的异构测控资源联合调度方法[J]. 系统仿真学报, 2023, 35(2): 423-434.

Naiyang Xue, Dan Ding, Yutong Jia, Zhiqiang Wang, Yuan Liu. DQN-based Joint Scheduling Method of Heterogeneous TT&C Resources[J]. Journal of System Simulation, 2023, 35(2): 423-434.

图/表 12

图1

图2

图3

表1

测控弧段调度收益

测控资源属性 $S T k$	卫星属性 $R T k$	弧段调度收益 $A P r k$
1	1	10
1	2	5
2	1	6
2	2	10

表1

表2

图4

表3

DQN模型部分参数设置

参数名称	参数值
迭代次数	1 050
观察期迭代次数	50
经验池大小	8 000
随机梯度下降采样样本大小	400
目标Q网络更新频率	1 200
学习率	0.000 15
$ε$ 贪婪算法的初始探索值	1
$ε$ 贪婪算法的最终探索值	0.06
$ε$ 衰减因子	0.4

表3

图5

图6

图7

图8

图9

参考文献 12

1	于志坚. 我国航天测控系统的现状与发展[J]. 中国工程科学, 2006, 8(10): 42-46.
	Yu Zhijian. Status Quo and Development of Spaceflight TT&C Systems[J]. China Engineering Science, 2006, 8(10): 42-46.
2	宋永生, 李铎, 陈劭睿. 商业航天测控管理[J]. 数字通信世界, 2019(7): 29.
3	郭夏锐. 商业卫星测控发展现状及趋势[J]. 国际太空, 2019(10): 44-48.
4	薛乃阳, 丁丹, 王红敏, 等. 基于改进遗传算法的多类测控资源调度方法[J]. 系统工程与电子技术, 2021, 43(9): 2535-2543.
	Xue Naiyang, Ding Dan, Wang Hongmin, et al. Multi-type Measurement and Control Resource Scheduling Method Based on Improved Genetic Algorithm[J]. System Engineering and Electronic Technology, 2021, 43(9): 2535-2543.
5	Stottler R, Richards R. Managed Intelligent Deconfliction and Scheduling for Satellite Communication[C]//2018 IEEE Aerospace Conference. IEEE, 2018: 1-7.
6	张天骄, 李济生, 李晶, 等. 基于混合蚁群优化的天地一体化调度方法[J]. 系统工程与电子技术, 2016, 38(7): 1555-1562.
	Zhang Tianjiao, Li Jisheng, Li Jing, et al. Space-ground Integrated Scheduling Based on the Hybrid ant Colony Optimization[J]. Systems Engineering and Electronics, 2016, 38(7): 1555-1562.
7	李长德, 徐伟, 徐梁, 等. 基于深度神经网络的多星测控调度方法[J]. 中国空间科学技术, 2022, 42(1): 65-72.
	Li Changde, Xu Wei, Xu Liang, et al. Multi-satellite TT&C Scheduling Method Based on DNN[J].Chinese Space Science and Technology, 2022, 42(1): 65-72.
8	朱凤龙. 遗传算法"早熟"现象的探究及改进策略[D]. 重庆: 西南大学, 2010.
	Zhu Fenglong. Research on the Premature Convergence of Genetic Algorithm and Its Improved Politics[D]. Chongqing: Southwest University, 2010.
9	陈仲铭, 何明. 深度强化学习原理与实践[M]. 北京: 人民邮电出版社, 2019: 6-7.
	Chen Zhongming, He Ming. Deep Reinforcement Learning: Principles and Practices[M]. Beijing: Posts & Telecom Press, 2019: 6-7.
10	薛乃阳, 丁丹, 王红敏, 等. 引入微元法思想的混合测控资源联合调度方法[J].系统仿真学报, 2022, 34(4): 826-835.
	Xue Naiyang, Ding Dan, Wang Hongmin, et al. Idea of Infinitesimal Method-introduced Hybrid TT&C Resources Joint Scheduling[J]. Journal of System Simulation, 2022, 34(4): 826-835.
11	杨子璇. 基于深度Q网络的带返工汽车涂装作业重排方法[D]. 大连: 大连理工大学, 2020.
	Yang Zixuan. A Resequencing Method for Automotive Painting Operations Considering Rework Based on Deep Q Network[D]. Dalian: Dalian University of Technology, 2020.
12	安元元, 李伟超, 王伟, 等. 一种低轨卫星星座测控地面站调度策略研究[J]. 时间频率学报, 2021, 44(2): 120-131.
	An Yuanyuan, Li Weichao, Wang wei, et al. Research on Schedule Strategy of Ground Stations for LEO Satellites[J]. Journal of Time and Frequency, 2021, 44(2): 120-131.

神经网络结构名称	神经元个数
输入层	19
隐藏层1	40
隐藏层2	30
输出层	1

[1]	史佳洁, 杨鹏, 皮雁南. 基于机器学习的地铁行人流在线优化控制研究[J]. 系统仿真学报, 2023, 35(2): 386-395.
[2]	赵也践, 王艳红, 张俊, 于洪霞, 田中大. 改进Q学习算法在作业车间调度问题中的应用[J]. 系统仿真学报, 2022, 34(6): 1247-1258.
[3]	张森, 张孟炎, 邵敬平, 普杰信. 基于随机策略搜索的多机三维路径规划方法[J]. 系统仿真学报, 2022, 34(6): 1286-1295.
[4]	倪凌佳, 黄晓霞, 李红旮, 张子博. 基于协作式深度强化学习的火灾应急疏散仿真研究[J]. 系统仿真学报, 2022, 34(6): 1353-1366.
[5]	薛乃阳, 丁丹, 王红敏, 樊怡乐, 刘仲谦. 引入微元法思想的混合测控资源联合调度方法[J]. 系统仿真学报, 2022, 34(4): 826-835.
[6]	王红微, 杨鹏. 基于深度强化学习的机场货运业务优化研究[J]. 系统仿真学报, 2022, 34(3): 651-660.
[7]	王霄汉, 张霖, 赖李媛君, 谢堃钰, 胡听春. 基于DEVS原子模型的智能体离散仿真构建方法[J]. 系统仿真学报, 2022, 34(2): 191-200.
[8]	李启锐, 彭心怡. 基于深度强化学习的云作业调度及仿真研究[J]. 系统仿真学报, 2022, 34(2): 258-268.
[9]	江达, 蔡志勤, 刘忠振, 彭海军, 吴志刚. 基于强化学习的连续型机械臂自适应跟踪控制[J]. 系统仿真学报, 2022, 34(10): 2264-2271.
[10]	吴曦, 孟祥林, 杨镜宇. 下一代战略博弈推演系统研究[J]. 系统仿真学报, 2021, 33(9): 2017-2024.
[11]	赵毓, 郭继峰, 颜鹏, 白成超. 稀疏奖励下多航天器规避决策自学习仿真[J]. 系统仿真学报, 2021, 33(8): 1766-1774.
[12]	高昂, 董志明, 张国辉, 梁涛, 郭齐胜. LVC训练系统中计算机生成兵力生成技术研究[J]. 系统仿真学报, 2021, 33(3): 745-752.
[13]	王霄汉, 张霖, 任磊, 谢堃钰, 王昆玉, 叶飞, 陈真. 基于强化学习的车间调度问题研究简述[J]. 系统仿真学报, 2021, 33(12): 2782-2791.
[14]	曾贲, 房霄, 孔德帅, 宋祥祥, 贾政轩, 林廷宇. 一种数据驱动的对抗博弈智能体建模方法[J]. 系统仿真学报, 2021, 33(12): 2838-2845.
[15]	马骏, 杨镜宇, 吴曦. 基于人机混合智能的联合作战仿真实验方法研究[J]. 系统仿真学报, 2021, 33(10): 2323-2334.

基于DQN的异构测控资源联合调度方法

DQN-based Joint Scheduling Method of Heterogeneous TT&C Resources

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 12

相关文章 15

编辑推荐

Metrics

本文评价