基于强化学习的导弹突防决策建模研究

doi:10.16182/j.issn1004731x.joss.23-1397

摘要/Abstract

摘要：

突防能力是导弹等装备的关键评价指标，针对传统基于知识工程的突防决策方法难以自适应演进的不足，提出了基于作战仿真和深度强化学习结合的智能突防决策建模方法。搭建了基于WESS的导弹智能决策训练环境；以导弹机动突防决策建模为例进行了应用研究，建立了机动突防决策网络模型；基于离散SAC算法进行了决策模型的强化学习训练，并开展智能化测试对比。初步试验结果表明：基于机器学习的智能决策模型具有更好的突防效果。

关键词: 导弹突防, 智能决策, 深度强化学习, 作战仿真, WESS仿真系统

Abstract:

Penetration capability is a primary measure of missile systems. In response to the shortcomings of traditional knowledge-based decision-making methods that are difficult to adaptively evolve, an intelligent penetration decision-making based on combat simulation and DRL is proposed. A missile intelligent decision-making training environment is constructed based on the WESS system. Taking missile maneuver penetration decision-making as an example, a maneuver penetration decision-making network model is designed and trained based on the SAC-discrete algorithm and the test of intelligence is conducted. Experimental results show that the intelligent decision model derived from machine learning has a better combat outcome than traditional methods.

Key words: missile penetration, intelligent decision-making, DRL, combat simulation, WESS simulation system

中图分类号:

TP391.9

张斌,雷永林,李群等 . 基于强化学习的导弹突防决策建模研究[J]. 系统仿真学报, 2025, 37(3): 763-774.

Zhang Bin,Lei Yonglin,Li Qun,et al . Reinforcement Learning Modeling of Missile Penetration Decision Based on Combat Simulation[J]. Journal of System Simulation, 2025, 37(3): 763-774.

图/表 18

图1

图2

图3

表1

机动突防决策网络输入状态空间设计

状态变量	符号	数据类型	归一化处理
剩余燃料	$F r e m a i n$	double	当前剩余燃料量/总燃料数量
目标点距离	$d w t$	double	相对距离/地球半径
拦截弹相对位置	$x i, y i, z i$	double[3]	相对位置分量/弹头探测距离
拦截弹相对速度	$v x i, v y i, v z i$	double[3]	相对速度/拦截弹最大速度
速度与视线夹角	$q w i$	double	夹角/π
拦截弹速度与视线夹角	$q i w$	double	夹角/π

表1

图4

表2

机动时机决策网络输出动作空间设计

决策动作变量	取值范围	动作解析
机动开始距离 $d$	{1,2,…,10}	基本机动距离( $d m a x - d m i n$ )/10的倍数

表2

表3

机动时长决策网络输出动作空间设计

决策动作变量

取值范围

动作解析

弹头机动时长t_m,max

{1,2,…,10}

基本机动时长

$t m, m a x / 10$ 的倍数

表3

图5

图6

图7

图8

表4

突防作战场景想定生成设计

场景生成变量	取值范围	水平数
海基反导拦截平台初始位置经度 $λ$ /(°)	[ $λ - 5, λ + 5$ ]	10
海基反导拦截平台初始位置纬度 $ϕ$ /(°)	[ $ϕ - 5, ϕ + 5$ ]	10
陆基拦截指控反应时间/s	[30, 90]	10
陆基拦截弹发射间隔/s	[5, 15]	10
陆基拦截瞄准点弧段位置	[0, 1]	10

表4

表5

机动突防决策规则优选实验设计

决策规则变量	取值范围	水平数
机动开始距离 $x 1$ /km	[ $x 1 - 5, x 1 + 5$ ]	10
单次机动时长 $x 2$ (单次最大可机动时长的1/10)	[ $x 2 - 5, x 2 + 5$ ]	10

表5

图9

图10

图11

表6

新场景多样本试验设计表

实验变量	取值极差/(°)	水平数
海基拦截阵地经度	[ $λ 3 - 4, λ 3 + 5$ ]	10
海基拦截阵地纬度	[ $ϕ 3 - 4, ϕ 3 + 5$ ]	10

表6

表7

参考文献 14

1	程传浩, 王瑞臣, 路德信. 弹道导弹的突防与拦截[J]. 现代防御技术, 2002, 30(2): 20-23.
	Cheng Chuanhao, Wang Ruichen, Lu Dexin. Penetration and Interception of Ballistic Missile[J]. Modern Defense Technology, 2002, 30(2): 20-23.
2	文苏丽, 陈琦, 苏鑫鑫, 等. 智能化导弹与导弹智能化研究[J]. 战术导弹技术, 2015(6): 21-26.
	Wen Suli, Chen Qi, Su Xinxin, et al. Study of Intelligent Missile and Missile Intelligentization[J]. Tactical Missile Technology, 2015(6): 21-26.
3	Diehl Douglas D, Lt U S N. How to Optimize Joint Theater Ballistic Missile Defense [EB/OL]. (2004-03) [2023-10-03]. .
4	Sutton R S, Barto A G. Reinforcement Learning: An Introduction[M]. Cambridge: MIT Press, 1998.
5	刘全, 翟建伟, 章宗长, 等. 深度强化学习综述[J]. 计算机学报, 2018, 41(1): 1-27.
	Liu Quan, Zhai Jianwei, Zhang Zongchang, et al. A Survey on Deep Reinforcement Learning[J]. Chinese Journal of Computers, 2018, 41(1): 1-27.
6	Wang Xu, Wang Sen, Liang Xingxing, et al. Deep Reinforcement Learning: A Survey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(4): 5064-5078.
7	Qiu Xiaoqi, Gao Changsheng, Jing Wuxing. Maneuvering Penetration Strategies of Ballistic Missiles Based on Deep Reinforcement Learning[J]. Proceedings of the Institution of Mechanical Engineers, Part G: Journal of Aerospace Engineering, 2022, 236(16): 3494-3504.
8	Shalumov Vitaly. Cooperative Online Guide-launch-guide Policy in a Target-missile-defender Engagement Using Deep Reinforcement Learning[J]. Aerospace Science and Technology, 2020, 104: 105996.
9	Gaudet B, Furfaro R, Linares R, et al. Reinforcement Metalearning for Interception of Maneuvering Exoatmospheric Targets with Parasitic Attitude Loop[J]. Journal of Spacecraft and Rockets, 2021, 58(2): 386-399.
10	左家亮, 杨任农, 张滢, 等. 基于启发式强化学习的空战机动智能决策[J]. 航空学报, 2017, 38(10): 212-225.
	Zuo Jialiang, Yang Rennong, Zhang Ying, et al. Intelligent Decision-making in Air Combat Maneuvering Based on Heuristic Reinforcement Learning[J]. Acta Aeronautica et Astronautica Sinica, 2017, 38(10): 212-225.
11	Zhang Liang, Xu Jia, Gold Dara, et al. Air Dominance Through Machine Learning: A Preliminary Exploration of Artificial Intelligence-assisted Mission Planning[EB/OL]. (2020-05-29) [2023-10-05]. .
12	Arulkumaran K, Cully A, Togelius J. AlphaStar: an Evolutionary Computation Perspective[C]//Proceedings of the Genetic and Evolutionary Computation Conference Companion. New York: ACM, 2019: 314-315.
13	雷永林, 姚剑, 朱宁, 等. 武器装备作战效能仿真系统WESS[J]. 系统仿真学报, 2017, 29(6): 1244-1252.
	Lei Yonglin, Yao Jian, Zhu Ning, et al. Weapon Effectiveness Simulation System (WESS)[J]. Journal of System Simulation, 2017, 29(6): 1244-1252.
14	Christodoulou P. Soft Actor-critic for Discrete Action Settings[EB/OL]. (2019-10-18) [2023-08-06]. .

机动策略	样本总数	成功突防次数	平均突防概率
最优规则策略	1 000	826	0.826
智能机动决策策略	1 000	952	0.952

[1]	王贺, 许佳宁, 闫广宇. 基于深度强化学习的AGV行人避让策略研究[J]. 系统仿真学报, 2025, 37(3): 595-606.
[2]	黄思进, 文佳, 陈哲毅. 面向边缘车联网系统的智能服务迁移方法[J]. 系统仿真学报, 2025, 37(2): 379-391.
[3]	费帅迪, 蔡长龙, 刘飞, 陈明晖, 刘晓明. 舰船防空反导的目标分配方法研究[J]. 系统仿真学报, 2025, 37(2): 508-516.
[4]	张鹏, 冯柯, 宫建成, 杨小强, 申金星. 基于RBF神经网络的防空导弹武器系统作战效能评估[J]. 系统仿真学报, 2025, 37(2): 529-540.
[5]	姜嘉成, 贾政轩, 徐钊, 林廷宇, 赵芃芃, 欧一鸣. 基于博弈对抗复杂系统的决策建模与求解[J]. 系统仿真学报, 2025, 37(1): 66-78.
[6]	李超, 李贾宝, 丁才昌, 叶志伟, 左方威. 基于DRL的边缘监控任务卸载与资源分配算法[J]. 系统仿真学报, 2024, 36(9): 2113-2126.
[7]	王红军, 林俊强, 邹湘军, 张坡, 周铭轩, 邹伟锐, 唐昀超, 罗陆锋. 基于数字孪生的果园虚拟交互系统构建[J]. 系统仿真学报, 2024, 36(6): 1493-1508.
[8]	王远, 徐琳, 宫小泽, 张永亮, 王永利. 基于梯度的深度强化学习解释方法[J]. 系统仿真学报, 2024, 36(5): 1130-1140.
[9]	刘飞, 赖鹏, 陆营波, 汪敏, 陆志沣. 作战仿真混合实验方案设计研究[J]. 系统仿真学报, 2024, 36(3): 735-742.
[10]	秦保新, 张羽霄, 吴思锐, 曹卫冲, 李湛. 基于改进D3QN的煤炭码头卸车排产智能优化方法[J]. 系统仿真学报, 2024, 36(3): 770-781.
[11]	赵莹莹, 董普森, 朱天晨, 李凡, 苏运, 邰振赢, 孙庆赟, 凡航. 面向电网拓扑调度仿真的采样效率优化方法研究[J]. 系统仿真学报, 2024, 36(2): 283-295.
[12]	王鑫鹏, 傅汇乔, 邓归洲, 唐开强, 陈春林, 留沧海. 基于DRL和自由步态的六足机器人运动规划研究[J]. 系统仿真学报, 2024, 36(2): 373-384.
[13]	潘海南, 陈柏良, 黄开宏, 任君凯, 程创, 卢惠民, 张辉. 基于深度强化学习的履带机器人摆臂控制方法[J]. 系统仿真学报, 2024, 36(2): 405-414.
[14]	李明, 叶汪忠, 燕洁华. 基于深度强化学习的沙漠机器人路径规划[J]. 系统仿真学报, 2024, 36(12): 2917-2925.
[15]	张永夫, 刘洋, 袁禾. 一种基于兵棋推演的作战目标体系关键节点识别方法[J]. 系统仿真学报, 2024, 36(11): 2654-2661.