基于深度强化学习的立体投送策略优化方法研究

doi:10.16182/j.issn1004731x.joss.22-0886

系统仿真学报 ›› 2024, Vol. 36 ›› Issue (1): 39-49.doi: 10.16182/j.issn1004731x.joss.22-0886

基于深度强化学习的立体投送策略优化方法研究

安靖¹^,²^,³(), 司光亚³(), 张雷¹^,²^,³

^1.国防大学联合勤务学院，北京 100858
^2.国防大学研究生院，北京 100091
^3.国防大学联合作战学院，北京 100091

收稿日期:2022-08-02 修回日期:2022-09-27 出版日期:2024-01-20 发布日期:2024-01-19
通讯作者: 司光亚 E-mail:anj21_2000@sina.com;sgy863@sina.com
第一作者简介:安靖(1981-)，女，副教授，博士，研究方向为军事运筹学、战争设计系统工程。E-mail：anj21_2000@sina.com

Strategy Optimization Method of Multi-dimension Projection Based on Deep Reinforcement Learning

An Jing¹^,²^,³(), Si Guangya³(), Zhang Lei¹^,²^,³

^1.Joint Logistics College, PLA National Defense University, Beijing 100858, China
^2.Graduate School, PLA National Defense University, Beijing 100091, China
^3.Joint Operations College, PLA National Defense University, Beijing 100091, China

Received:2022-08-02 Revised:2022-09-27 Online:2024-01-20 Published:2024-01-19
Contact: Si Guangya E-mail:anj21_2000@sina.com;sgy863@sina.com

摘要/Abstract

摘要：

基于深度强化学习算法在策略优化问题中的良好表现，以立体投送作战行动为主要研究对象，提出了一种深度强化学习框架与仿真推演实验协同的作战行动策略优化 方法。在分析策略优化研究现状的基础上，根据研究问题对深度学习框架进行了分析比较，构建了基于A3C算法的深度强化学习立体投送策略模型，并通过仿真推演和分布式计算，实现深度强化学习模型与“人不在回路”仿真推演的交互学习，获得优化后的立体投送策略，验证了深度强化学习框架与仿真推演实验协同优化策略的有效性。

关键词: 深度强化学习, 仿真推演, 策略优化, 立体投送, A3C算法

Abstract:

Based on the perfect performance of deep reinforcement learning (DRL) in strategy optimization, this paper proposes a strategy optimization method of action taking the multi-dimension projection action as the main research object. The method combines the simulation experiment method with the DRL method. After analyzing the current situation of strategy optimization research, the deep learning framework is selected according to the research problems, and a DRL multi-dimension projection strategy model based on the asynchronous advantage actor-critic (A3C) algorithm is constructed. Through simulation experiments, the interactive learning between the DRL model and the simulation of "out of the loop" is realized, and the optimized multi-dimension projection strategy is obtained. Finally, the effectiveness of the cooperative optimization strategy between the DRL framework and the simulation experiment is verified.

Key words: deep reinforcement learning (DRL), simulation, strategy optimization, multi-dimension projection, asynchronous advantage actor-critic (A3C) algorithm

中图分类号:

TP391.9

安靖,司光亚,张雷 . 基于深度强化学习的立体投送策略优化方法研究[J]. 系统仿真学报, 2024, 36(1): 39-49.

An Jing,Si Guangya,Zhang Lei . Strategy Optimization Method of Multi-dimension Projection Based on Deep Reinforcement Learning[J]. Journal of System Simulation, 2024, 36(1): 39-49.

图/表 10

图1

图2

表1

表2

图3

图4

图5

图6

表3

图7

参考文献 15

1	杨峰, 李群, 王维平, 等. 基于仿真的探索性评估方法论[J]. 系统仿真学报, 2003(11): 1561-1564.
	Yang Feng, Li Qun, Wang Weiping, et al. Simulation Based Exploratory Evaluation Methodology[J]. Journal of System Simulation, 2003(11): 1561-1564.
2	杨镜宇, 司光亚, 胡晓峰. 信息化战争体系对抗探索性仿真分析方法研究[J]. 系统仿真学报, 2005(6): 1469-1472, 1496.
	Yang Jingyu, Si Guangya, Hu Xiaofeng. Study on Simulation-based Exploratory Analysis Method of Information Warfare System of System (SoS) Encounter[J]. Journal of System Simulation, 2005(6): 1469-1472, 1496.
3	Payne D. Commond Decision Model Technologey Assess-ment: ADAY34926, 19-5[R]. [S.l.]: [s.n.]: 16-27.
4	李斌, 刘苏洋, 李春洪, 等. 探索性仿真实验仿真想定空间筛选[J]. 火力与指挥控制, 2013, 38(5): 152-156.
	Li Bin, Liu Suyang, Li Chunhong, et al. Screening the Simulation Scenario Space in Exploratory Simulation Experiment [J]. Fire Control & Command Control, 2013, 38(5): 152-156.
5	喻飞飞, 赵志敏, 包俊. 探索性仿真分析框架下的实验点设计方法[J]. 指挥控制与仿真, 2014, 36(2): 80-84.
	Yu Feifei, Zhao Zhimin, Bao Jun. Experiment Points Design Methods Under the Framework of Exploratory Simulation Analysis[J]. Command Control & Simulation, 2014, 36(2): 80-84.
6	姚桐, 王越, 董岩, 等. 深度强化学习在作战任务规划中的应用[J]. 飞航导弹, 2020(4): 16-21.
7	吴昭欣, 李辉, 王壮, 等. 基于深度强化学习的智能仿真平台设计[J]. 战术导弹技术, 2020(4): 193-200.
	Wu Zhaoxin, Li Hui, Wang Zhuang, et al. The Design of Intelligence Simulation Platform Based on DRL[J]. Tactical Missile Technology, 2020(4): 193-200.
8	于博文, 吕明, 张捷. 基于分层强化学习的联合作战仿真作战决策算法[J]. 火力与指挥控制, 2021, 46(10): 140-146.
	Yu Bowen, Ming Lü, Zhang Jie. Joint Operation Simulation Decision-making Algorithm Based on Hierarchical Reinforcement Learning[J]. Fire Control & Command Control, 2021, 46(10): 140-146.
9	石鼎, 燕雪峰, 宫丽娜, 等. 强化学习驱动的海战场多智能体协同作战仿真算法[J]. 系统仿真学报, 2023, 35(4): 786-796.
	Shi Ding, Yan Xuefeng, Gong Lina, et al. Multi-agent Cooperative Combat Simulation in Naval Battlefield with Reinforcement Learning[J]. Journal of System Simulation, 2023, 35(4): 786-796.
10	Lillicrap T P, Hunt J J, Pritzel A, et al. Continuous Control with Deep Reinforcement Learning[J]. (2019-07-05) [2022-06-26]. .
11	Schulman J, Wolski F, Dhariwal P, et al. Proximal Policy Optimization Algorithms[EB/OL]. (2017-08-28) [2022-06-26]. .
12	Mnih V, Adrià Puigdomènech Badia, Mirza M, et al. Asynchronous Methods for Deep Reinforcement Learning[C]//Proceedings of the 33rd International Conference on International Conference on Machine Learning. Cambridge: JMLR, 2016: 1928-1937.
13	曹雷. 基于深度强化学习的智能博弈对抗关键技术[J]. 指挥信息系统与技术, 2019, 10(5): 1-7.
	Cao Lei. Key Technologies of Intelligent Game Confrontation Based on Deep Reinforcement Learning[J]. Command Information System and Technology, 2019, 10(5): 1-7.
14	孙长银, 穆朝絮. 多智能体深度强化学习的若干关键科学问题[J]. 自动化学报, 2020, 46(7): 1301-1312.
	Sun Changyin, Mu Chaoxu. Important Scientific Problems of Multi-agent Deep Reinforcement Learning[J]. Acta Automatica Sinica, 2020, 46(7): 1301-1312.
15	孙彧, 李清伟, 徐志雄, 等. 基于多智能体深度强化学习的空战博弈对抗策略训练模型[J]. 指挥信息系统与技术, 2021, 12(2): 16-20.
	Sun Yu, Li Qingwei, Xu Zhixiong, et al. Game Confrontation Strategy Training Model for Air Combat Based on Multi-agent Deep Reinforcement Learning[J]. Command Information System and Technology, 2021, 12(2): 16-20.

序号	作战力量	状态参数
1	作战单元(除投送编队外)69个	剩余数量
2	投送编队(除运输直升机外)3支	剩余数量，当前速度，出航状态
3	运输直升机编队3支	剩余数量，当前速度，出航状态，当前高度

序号	作战力量	动作空间
1	未行动的投送力量	[0,1] (0表示维持等待，1表示出航)
2	未行动的投送力量，但已决定在本时间步内行动	规模数量，速度，高度(直升机)
3	已行动的投送力量	速度，高度(直升机)

仿真时间/h	行动	仿真系统截图
0	战斗力量升空
2.0	两栖输送编队航渡
4.0	空中输送编队起飞
4.5	海上编队卸载空中编队空机降
5.0	上岛力量集结

[1]	林俊强, 王红军, 邹湘军, 张坡, 李承恩, 周益鹏, 姚书杰. 基于DPPO的移动采摘机器人避障路径规划及仿真[J]. 系统仿真学报, 2023, 35(8): 1692-1704.
[2]	刘家义, 王刚, 付强, 郭相科, 王思远. 基于分配策略优化算法的智能防空任务分配[J]. 系统仿真学报, 2023, 35(8): 1705-1716.
[3]	杨来义, 毕敬, 苑海涛. 基于SAC算法的移动机器人智能路径规划[J]. 系统仿真学报, 2023, 35(8): 1726-1736.
[4]	丁飞, 沙宇晨, 洪莹, 蒯晓, 张登银. 智能网联汽车计算卸载与边缘缓存联合优化策略[J]. 系统仿真学报, 2023, 35(6): 1203-1214.
[5]	戴宇轩, 崔承刚. 基于深度强化学习的Boost变换器控制策略[J]. 系统仿真学报, 2023, 35(5): 1109-1119.
[6]	徐浩添, 秦龙, 曾俊杰, 胡越, 张琪. 基于深度强化学习的对手建模方法研究综述[J]. 系统仿真学报, 2023, 35(4): 671-694.
[7]	史佳洁, 杨鹏, 皮雁南. 基于机器学习的地铁行人流在线优化控制研究[J]. 系统仿真学报, 2023, 35(2): 386-395.
[8]	琚翔, 苏圣超, 徐超杰, 何蓓蓓. 边缘计算下基于深度强化学习的车联网任务调度[J]. 系统仿真学报, 2023, 35(12): 2550-2559.
[9]	王宇琨, 王泽, 董力维, 李妮. 基于分层的智能建模方法的多机空战行为建模[J]. 系统仿真学报, 2023, 35(10): 2249-2261.
[10]	张森, 张孟炎, 邵敬平, 普杰信. 基于随机策略搜索的多机三维路径规划方法[J]. 系统仿真学报, 2022, 34(6): 1286-1295.
[11]	倪凌佳, 黄晓霞, 李红旮, 张子博. 基于协作式深度强化学习的火灾应急疏散仿真研究[J]. 系统仿真学报, 2022, 34(6): 1353-1366.
[12]	王红微, 杨鹏. 基于深度强化学习的机场货运业务优化研究[J]. 系统仿真学报, 2022, 34(3): 651-660.
[13]	李启锐, 彭心怡. 基于深度强化学习的云作业调度及仿真研究[J]. 系统仿真学报, 2022, 34(2): 258-268.
[14]	王国陈. 空中联合投送任务规划仿真与效能评估系统[J]. 系统仿真学报, 2022, 34(11): 2497-2506.
[15]	黄晓冬, 谢孔树, 李妮, 燕雪峰, 赵亚丽. 面向体系对抗的仿真支撑平台研究及应用[J]. 系统仿真学报, 2021, 33(8): 1914-1926.

基于深度强化学习的立体投送策略优化方法研究

Strategy Optimization Method of Multi-dimension Projection Based on Deep Reinforcement Learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 15

相关文章 15

编辑推荐

Metrics

本文评价