Method for Testing and Evaluating Intelligence Level of Virtual Forces Based on Operational Experiments

doi:10.16182/j.issn1004731x.joss.25-0674

Abstract

Abstract:

The intelligence level of virtual forces is a key factor affecting the credibility and effectiveness of tactical confrontation simulations. To address the current lack of a testing and evaluation system, a method for testing and evaluating the intelligence level of virtual forces based on operational experiments is proposed. Guided by operational experiment theory, the method stimulates the intelligent behavior of virtual forces by constructing dynamic confrontation environments, and collects, calculates, analyzes, and evaluates their intelligence performance data according to a systematic process. The overall architecture, logical functional modules, and basic evaluation process of the method are designed. A "4M" baseline evaluation index system is conducted, covering task completion effectiveness, cognitive effectiveness, cognitive adaptability, and cognitive efficiency, along with a nine-level intelligence level model. The applicability of three typical evaluation experiment implementation modes is analyzed and compared. A case study demonstrates the method's application.

Key words: virtual forces, intelligence level, operational experiment, testing and evaluation, baseline evaluation index system, intelligence level model

CLC Number:

E917

Liu Dayong, Dong Zhiming, Zhang Weidong, Zhang Wenjun, Gao Jiancheng. Method for Testing and Evaluating Intelligence Level of Virtual Forces Based on Operational Experiments[J]. Journal of System Simulation, 2026, 38(4): 1030-1045.

Figures/Tables 11

Table 1

Fig. 1

Fig. 2

Fig. 3

Table 2

"4M"-based baseline evaluation indicators and definitions

一级指标	二级指标	三级指标	指标释义	评估类型	测量方法/数据来源
MTE	任务完成度	主要任务目标达成率	在多次仿真推演中，虚拟兵力成功完成上级赋予的核心、首要任务的次数占总次数的比率	定量	推演结果分析：目标点是否占领、指定兵力是否歼灭、侦察任务是否完成
	任务完成度	任务完成质量(评分1~5)	根据其完成过程的效率、资源消耗、战术合理性及对整体战局的贡献等综合评判	定性	专家评估完成任务的资源消耗等
	生存能力	存活率	存活率：推演结束时，仍然具备战斗能力的虚拟兵力单元所占的百分比	定量	推演中所有该兵力实体从开始到被毁伤的平均时间或最终存活比例
MCE	信息感知效能	关键目标发现率	在指定区域内成功发现、识别并上报预设关键目标的比率	定量	推演日志分析：比较上报目标数据与想定中真实目标数据
	信息感知效能	情报准确度	上报情报的误报率与漏报率	定量	推演日志分析：误报数/总上报数；漏报数/真实目标数
	决策规划效能	目标分配合理性	对多个目标进行优先级排序和火力分配的决策与最优解或专家方案的吻合度	定性定量	专家评分(1~5分)；与算法生成的最优解进行对比分析
	决策规划效能	机动路线优越性	所规划路线的隐蔽性、安全性及到达效率	定性定量	路径生存概率模型计算；与最优路径算法结果对比；专家评分
	协同交互效能	协同请求恰当性	发起协同(如火力支援、掩护)的时机、对象和内容的合理性	定性	专家事后复盘评判；根据协同后的整体效能提升来间接衡量
	协同交互效能	指令理解与执行力	接收、正确理解并有效执行上级指示或友军协同指令的能力	定性定量	通过推演日志分析计算
MCA	环境鲁棒性	复杂环境效能保持率	在电磁干扰、恶劣天候等复杂环境下，其核心效能指标相较于基准环境的保持或下降程度	定量	复杂环境下效能/基准环境下效能
	任务泛化能力	跨想定任务表现	在A想定中训练/构建的模型，在未经历的B想定中执行同类任务时，其MCE指标的表现	定量	计算在新想定下的MCE指标值(如任务完成度、目标发现率)
	学习进化能力	在线学习效率	在连续推演中，通过积累经验优化策略，从而提升MCE指标的速度	定量	绘制MCE指标随推演次数的变化曲线，计算其提升斜率或收敛速度
	可解释性	决策逻辑可追溯性	其决策过程是否可被追溯和理解(如为何选择此路线、为何攻击此目标)	定性	检查模型是否能输出决策依据(关键因素、推理链)；专家评分
MCEff	决策时效性	OODA周期	完成一次OODA循环的平均时间	定量	模型决策日志、仿真日志
	决策时效性	实时性满足度	决策时间满足战术实时性要求的比率(如防空决策必须在数秒内完成)	定量	(决策时间≤仿真系统决策要求时间)的次数/总决策次数
	资源利用效率	单位决策开销(FLOPs)	单次决策所消耗的计算资源(浮点运算次数)	定量	性能剖析工具监测
	资源利用效率	内存占用峰值	模型运行过程中占用的最大内存	定量	系统监控工具记录
	通信效率	协同通信带宽占用	为达成协同，单位时间内与其他实体交换信息的数据量	定量	网络流量监控工具

Table 2

Fig. 4

Table 3

Table 4

Qualitative criteria for complexity levels

复杂度等级	环境复杂程度(EC)	任务复杂程度(MC)	对手实力(AS)
E	结构化环境：开阔、平坦、无障碍物，视野极佳，天气晴朗，无电磁干扰。所有信息已知且确定	单一原子任务：指令明确、具体、单一，无任何附加条件或分支。例如，“沿A路径机动至B点”	反应式对手：行为模式固定、简单、可预测，仅能基于预置规则做出最低限度的反应，无协同能力
D	轻度动态环境：存在简单障碍物(如稀疏树木、缓坡)，有基本的天气变化(如小雨)，存在轻微通信延迟。环境要素基本可预测	简单序列任务：由多个简单子任务按固定顺序组成，目标间无冲突。例如，“占领1号高地，随后肃清2号区域”	规则驱动型对手：遵循条令条例行动，战术风格单一但规范，具备基础兵种内协同能力，决策周期较长
C	中度复杂环境：地形起伏，植被/建筑增多形成盲区，存在中等电磁干扰或恶劣天候(如雾、夜)。环境存在部分不确定性	多目标权衡任务：任务目标多样化，且目标间存在资源(时间、兵力)竞争，需进行优先级排序和权衡。例如，“同时保障侧翼安全并支援主攻方向”	适应性对手：具备基本态势感知和学习能力，能根据战场情况在一定范围内调整战术，具备跨兵种基础协同能力
B	高度复杂环境：极端地形(如密林、陡坡、城镇废墟)，强电磁压制，严重恶劣天气(如暴雨、沙尘暴)。环境动态多变，充满不确定性	动态重构任务：任务目标在过程中会根据态势发生根本性变化或出现临机目标，需要快速调整整体计划。例如，由“进攻”转为“掩护撤退”	智能灵活型对手：战术灵活多变，能实施欺骗和非对称战法，决策速度快，具备较强的体系协同和战术创新能力
A	极度复杂环境：环境本身构成致命威胁(如核生化污染、极端复杂城市地下管网)，信息完全迷雾，物理规律可能异常(如模拟未来战场)	创造性任务：仅给定高层意图和约束条件，需自主生成任务目标、规划路径并评估风险，要求具备战略层面的理解和创新能力	专家级对手：由经验丰富的指挥员(人类专家或顶尖AI)操控，战术决策具有前瞻性和颠覆性，能充分利用战场环境创造优势

Table 4

Table 5

Table 6

Fig. 5

References 14

[1]	郭齐胜. 计算机生成兵力导论[M]. 北京: 国防工业出版社, 2006.
	Guo Qisheng. An Introduction to Computer Generated Forces Introduction to Computer Generated Forces[M]. Beijing: National Defense Industry Press, 2006.
[2]	朱松纯. 为人文赋理: 从通用人工智能视角看中国思想[J]. 国家现代化建设研究, 2024, 3(1): 42-66.
	Zhu Songchun. Making Mathematical Models for the Humanities: Chinese Thought from the Perspective of Artificial General Intelligence[J]. Journal of Modernization Studies, 2024, 3(1): 42-66.
[3]	Meredith Ringel Morris, Sohl-Dickstein Jascha, Fiedel Noah, et al. Position: Levels of AGI for Operationalizing Progress on the Path to AGI[C]//Proceedings of the 41st International Conference on Machine Learning. Chia Laguna Resort: PMLR, 2024: 36308-36321.
[4]	Huang Yu. Levels of AI Agents: From Rules to Large Language Models[EB/OL]. (2024-10-22) [2025-07-14]. .
[5]	Peng Yujia, Han Jiaheng, Zhang Zhenliang, et al. The Tong Test: Evaluating Artificial General Intelligence Through Dynamic Embodied Physical and Social Interactions[J]. Engineering, 2024, 34: 12-22.
[6]	郑华利, 陈铁健, 徐蕾, 等. 作战辅助决策模型设计及评估方法[J]. 火力与指挥控制, 2021, 46(10): 67-72.
	Zheng Huali, Chen Tiejian, Xu Lei, et al. Discussion on Model Design and Evaluation Method of Assitant Combat Decision-making[J]. Fire Control & Command Control, 2021, 46(10): 67-72.
[7]	欧微, 李卫军, 廖鹰. 基于深度学习的兵棋实体决策效果智能评估模型[J]. 军事运筹与系统工程, 2018, 32(4): 29-34.
	Wei Ou, Li Weijun, Liao Ying. Intelligent Evaluation Model for Wargaming Entity Decision-making Effectiveness Based on Deep Learning[J]. Military Operations Research and Systems Engineering, 2018, 32(4): 29-34.
[8]	方伟, 王玉佳, 徐涛, 等. 航空兵智能决策模型的评估方法[J]. 兵器装备工程学报, 2021, 42(8): 126-132.
	Fang Wei, Wang Yujia, Xu Tao, et al. Research on Evaluation Method of Aviation Intelligent Decision Model[J]. Journal of Ordnance Equipment Engineering, 2021, 42(8): 126-132.
[9]	韩超. 作战推演中智能博弈对抗算法水平评估模型研究[J]. 舰船电子工程, 2020, 40(9): 27-30.
	Han Chao. Research on the Evaluation Model of Intelligent Game Confrontation Algorithms in Combat Deduction[J]. Ship Electronic Engineering, 2020, 40(9): 27-30.
[10]	张人文, 赖俊, 陈希亮, 等. 面向作战决策智能体的融合赋权评估方法[J]. 火力与指挥控制, 2024, 49(2): 180-188, 194.
	Zhang Renwen, Lai Jun, Chen Xiliang, et al. Efficiency Evaluation of Operational Decision-making Agent Based on Fusing Weight Method[J]. Fire Control & Command Control, 2024, 49(2): 180-188, 194.
[11]	汪霜玲, 李宇飞, 黄凯鹏, 等. 指挥信息系统智能化水平评估方法[J]. 指挥信息系统与技术, 2022, 13(5): 55-59.
	Wang Shuangling, Li Yufei, Huang Kaipeng, et al. Intelligent Level Evaluation Method for Command and Control System[J]. Command Information System and Technology, 2022, 13(5): 55-59.
[12]	金欣. 发展智能指挥控制与打造博弈试验平台[J]. 指挥信息系统与技术, 2018, 9(5): 37-42.
	Jin Xin. Intelligent Command and Control Development and Gaming Test Platform Building[J]. Command Information System and Technology, 2018, 9(5): 37-42.
[13]	Zhang Tianyun, Zhang Jun, Wang Feiyue, et al. Parallel System Based Quantitative Assessment and Self-evolution for Artificial Intelligence of Active Power Corrective Control[J]. CSEE Journal of Power and Energy Systems, 2024, 10(1): 13-28.
[14]	司光亚, 吴曦, 王艳正, 等. 联合作战实验概论[M]. 北京: 国防工业出版社, 2024.
	Si Guangya, Wu Xi, Wang Yanzheng, et al. Introduction to Joint Operations Experimentation [M]. Beijing: National Defense Industry Press, 2024.

评估维度	AGI评估	虚拟兵力智能评估
核心目标	评估通用认知能力，追求人类水平的泛化智能	评估在军事对抗环境中完成任务的智能水平，追求制胜效能
关注焦点	智能的“广度”	智能的“深度”与“有效性”
关键能力	推理、学习、语言、泛化	战术决策、协同协作、适应性学习、军事创新
评估环境	标准化测试集、虚拟通用环境	动态、对抗性作战仿真环境
价值标准	逼近人类认知	任务效能、军事合理性、体系贡献度
适用对象	通用智能体	平台级&聚合级虚拟实体

智能水平等级	想定条件维度			三者综合复杂度 (EC, MC, AS)	能力表现维度 (MTE, MCE, MCA, MCEff)
智能水平等级	EC	MC	AS	三者综合复杂度 (EC, MC, AS)	能力表现维度 (MTE, MCE, MCA, MCEff)
L0					不能完成任何任务
L1	低(E) 较低(D) 中等(C) 较高(B) 高(A)	低(E) 较低(D) 中等(C) 较高(B) 高(A)	弱(E) 较弱(D) 一般(C) 较强(B) 强(A)	(D, E, E); (E, D, E); (E, E, D)	MTE：任务目标达成率>60%；完成质量≥3 MCEff：决策周期满足实时性要求
L2				(D, D, E); (E, D, E); (E, D, D)	MTE：任务目标达成率>60%；完成质量≥3 MCEff：决策周期满足实时性要求
L3				(C, D, D); (D, C, D); (D, D, C); (D, D, D)
L4				(C, C, D); (C, D, C); (D, C, C)
L5				(B, C, C); (C, B, C); (C, C, B); (C, C, C)	MTE：任务目标达成率>60%；完成质量≥4 MCA：任务泛化能力达标；学习进化能力达标 MCEff：决策周期满足实时性要求
L6				(B, B, C); (B, C, B); (C, B, B)
L7				(A, B, B); (B, A, B); (B, B, A); (B, B, B)
L8				(A,A,B); (A,B,A); (B,A,A)	MTE：任务目标达成率>60%；完成质量≥5 MCA：任务泛化能力为优；学习进化能力为优 MCEff：决策周期满足实时性要求
L9				(A,A,A)

维度	人机对抗	机机对抗	人机混合对抗
评估实验设计阶段	设计与人类操控能力匹配的想定场景	保证高维参数空间覆盖性，通过正交实验设计生成多样化对抗组合	人机职能分割方案设计
评估实验准备阶段	重点是构建人与仿真系统及无智能兵力模型的接口、推演人员的培训	部署算力资源，选择并构建某一等级实力的自主型虚拟兵力作为对手	着力验证交互协议完备性，开发指令语义匹配引擎
评估实验实施阶段重点	尽可能消除或弱化推演人员对推演结果造成的影响，保证推演数据的可信	中断监测与及时恢复	同步监测人机双向效能数据，实施动态职责切换机制，重点化解高频指令冲突
评估实验分析	评估结果人因影响分析	运用大数据挖掘技术识别行为模式聚类，通过扰动响应分析揭示鲁棒性边界	人机贡献解耦
评估焦点	战术合理性、创新性	性能稳定性、场景覆盖性	协同流畅性、意图理解力
数据规模	小样本	大样本	中样本
结果稳定性	低	高	中
创新激发力	高，可检测非预期策略	低，依赖预设对手库	中，依赖人机交互设计
成本效益比	低	高	中

实验方案	环境复杂度(EC)		任务复杂度(MC)		对手实力(AS)	对应虚拟兵力智能等级
sch-1	低(E)	街道宽阔笔直，建筑低矮稀疏，视野开阔，无明显障碍物，主要干道通畅，建筑物不构成严重视野死角	低(E)	单一主要任务，目标明确具体。如在H时前沿1号路线机动至A点集结	较弱(D)	L1, (E, E, D)
sch-2	低(E)	街道宽阔笔直，建筑低矮稀疏，视野开阔，无明显障碍物，主要干道通畅，建筑物不构成严重视野死角	较低(D)	多目标任务，但目标间无直接冲突，可顺序完成。如夺取2号高地，随后肃清高地南侧树林之敌	较弱(D)	L2, (E, D, D)
sch-3	较低(D)	街道网络复杂，多层建筑较多，出现街垒、损毁车辆等零星障碍，影响路径规划、观瞄、打击	较低(D)	多目标任务，但目标间无直接冲突，可顺序完成。如夺取2号高地，随后肃清高地南侧树林之敌	较弱(D)	L3, (D, D, D)
sch-4	中等(C)	高密度居民区，街道狭窄，大量废墟、瓦砾阻塞主干道，严重影响路径规划、观瞄、打击	中等(C)	多目标任务，且目标间存在资源竞争或决策冲突，需进行权衡	较弱(D)	L4, (C, C, D)
sch-5	较高(B)	建筑大面积坍塌，基础设施完全破坏，部分街道封死，只能通过建筑内部或爆破开辟通路；敌我战线模糊，呈立体交织状态	中等(C)	多目标任务，且目标间存在资源竞争或决策冲突，需进行权衡	中等(C)	L5, (B, C, C)
sch-6	较高(B)	建筑大面积坍塌，基础设施完全破坏，部分街道封死，只能通过建筑内部或爆破开辟通路；敌我战线模糊，呈立体交织状态	较高(B)	任务目标在过程中发生根本性转变，需要快速调整整体行动计划	中等(C)	L6，(B,B,C)