An Event Ontology and Dataset Construction Method for Strategic Operations Analysis

doi:10.16182/j.issn1004731x.joss.23-1435

Abstract

Abstract:

Aiming at the lack of professional datasets for information extraction technology research in the field of strategic operations research analysis, this paper proposes an event ontology and dataset construction method for strategic operations research analysis. The method proposes an event ontology model for strategic operations research analysis according to the needs of situation judgment in strategic operations research analysis, and uses the method of "a small amount of manual annotation + fine-tuned large language model annotation" to construct the event dataset EfSOA for strategic operations research analysis. The dataset construction method proposed in this paper and the constructed dataset EfSOA highlight the domain knowledge of strategic operations research analysis, which can effectively support the research of information extraction methods in this field, and lay a foundation for the future construction of event extraction and relationship mining models for strategic operations research analysis.

Key words: strategic operations analysis, large language modeling, event ontology, datasets, information extraction

CLC Number:

TP391.1

Chen Quanlin, Jia Jun. An Event Ontology and Dataset Construction Method for Strategic Operations Analysis[J]. Journal of System Simulation, 2025, 37(4): 943-952.

Figures/Tables 9

Fig. 1

Table 1

Fig. 2

Table 2

Types of events and event elements for strategic operations analysis

事件类型		事件要素
一级分类	二级分类	事件主体	事件客体	事件时间	事件地点
军事	军事-国防建设	发起方	建设内容	建设时间	建设地点
	军事-军事训练	发起方	训练内容	训练时间	训练地点
	军事-非战争行动	发起方	承受方	行动时间	行动地点
	军事-战争行动	发起方	承受方	行动时间	行动地点
	军事-军事援助	发起方	承受方\援助内容	援助时间	—
经济	经济-贸易	出售方	收购方\贸易物	贸易时间	—
	经济-投资	投资方	被投资方	投资时间	投资地点
	经济-制裁	制裁方	被制裁方\制裁内容	制裁时间	—
	经济-能源	事件主体	事件客体	事件时间	事件地点
	经济-援助	发起方	承受方\援助内容	援助时间	—
外交	外交-访问	访问方	被访问方	访问时间	访问地点
	外交-谈判	谈判方A	谈判方B	谈判时间	谈判地点
	外交-建交	建交方A	建交方B	建交时间	—
	外交-断交	断交方A	断交方B	断交时间	—
	外交-缔约	缔约方A	缔约方B	缔约时间	缔约名称
	外交-制裁	制裁方	被制裁方\制裁内容	制裁时间	—
	外交-交涉	交涉方	被交涉方	交涉时间	交涉地点
	外交-参加国际组织	参加方	参加国际组织名称	参加时间	—
	外交-退出国际组织	退出方	退出国际组织名称	退出时间	—
	外交-会议	召开方	召开名称	召开时间	召开地点
	外交-对话/沟通	发起方	接受方	对话/沟通时间	对话/沟通地点
	外交-发声	发声人	发声内容	发声时间	发声地点/平台
	外交-终止协议	终止协议方	终止协议名称	终止协议时间	—
	外交-撤出外交人员	撤出方	撤出人数	撤出时间	撤出地点
政治	政治-立法	立法方	立法名称	立法时间	—
	政治-司法	司法方	被司法人	司法时间	司法地点
	政治-选举	选举方	被选举人\选举职位	选举时间	—
	政治-任免	任免方	被任免人\职位名称	任免时间	—
	政治-会议	召开方	召开名称	召开时间	召开地点
科技	科技-研发	研发方	研发内容	研发时间	研发地点
科技	科技-理论/技术突破	研发方	研发内容	研发时间	研发地点
社会	社会-突发事件	事件主体	事件客体	事件时间	事件地点
社会	社会-民生	事件主体	事件客体	事件时间	事件地点
非事件	非事件-评论	\
非事件	非事件-预测	\

Table 2

Table 3

Table 4

Sample EfSOA dataset annotation

数据类型	类别	标注结果
事件1	事件类型：经济-制裁	触发词：实施[14, 16] 制裁方：七国集团[2, 6] 被制裁方：俄罗斯石油[9, 14] 制裁内容：“限价令”[17, 22]
事件2	事件类型：外交-发声	触发词：表示[36, 38] 发声人：美国财政部[31, 36] 发声内容：华盛顿及其盟友将很快敲定俄罗斯石油的价格上限[39, 62] 发声时间：当地时间22日[23, 30]
事件3	事件类型：外交-发声	触发词：说[243, 244] 发声人：分管能源工作的俄罗斯副总理诺瓦克[227, 243] 发声内容：俄罗斯不会向对俄石油实施限价的国家供应石油和石油产品，将为此重新调整出口方向或减少产量[245, 289] 发声时间：21日[223, 226]
事件4	事件类型：外交-缔约	触发词：达成[365, 367] 缔约方A：七国集团财长 [357, 363] 缔约名称:协议[367, 369] 缔约时间：9月[363, 365]
事件5	事件类型：外交-发声	触发词：表示[436, 438] 发声人：俄罗斯总统普京[427, 434] 发声内容:七国集团限制从俄进口石油和对俄石油设置价格上限等提议，只能导致油价像天然气价格一样飙升[439, 483] 发声时间：此前[434, 436]
事件关系1	事件关系类型：因果	头事件：能源实行价格上限以及“能源政治化”[296, 313] 尾事件：供应短缺[317, 321]
事件关系2	事件关系类型：因果	头事件：供应短缺[317, 321] 尾事件：行业整体投资下降[348, 356]
事件关系3	事件关系类型：因果	头事件：对俄石油设置价格上限[452, 462] 尾事件：油价像天然气价格一样飙升[470, 482]
事件关系4	事件关系类型：时序	头事件：石油设置价格上限[374, 382] 尾事件：对俄原油实施限价[400, 408]
事件关系5	事件关系类型：时序	头事件：石油设置价格上限[374, 382] 尾事件：对俄精炼石油产品限价[416, 426]
负样本1	负样本类型：非事件-预测	七国集团最快在当地时间23日或24日就价格上限水平作出决定[124, 153]
负样本2	负样本类型：非事件-预测	价格上限可能会限定在每桶60或70美元，实施日期预计在12月5日[168, 200]
负样本3	负样本类型：非事件-预测	七国集团应该很快宣布对俄罗斯石油出口的价格上限，可能每年进行几次调整[80, 114]

Table 4

Table 5

Table 6

Fig. 3

References 24

1	张最良, 黄谦, 蔡游飞. 加强军事战略运筹分析方法研究[J]. 军事运筹与系统工程, 2009, 23(4): 36-40.
	Zhang Zuiliang, Huang Qian, Cai Youfei. Enhancing the Study of Methods for Conducting Military Strategic Operational Analysis[J]. Military Operations Research and Systems Engineering, 2009, 23(4): 36-40.
2	Gruber T R. A Translation Approach to Portable Ontology Specifications[J]. Knowledge Acquisition, 1993, 5(2): 199-220.
3	李爱华, 徐以则, 迟钰雪. 本体构建及应用综述[J]. 情报理论与实践, 2023, 46(11): 189-195.
	Li Aihua, Xu Yize, Chi Yuxue. Review of Ontology Construction and Applications[J]. Information Studies: Theory & Application, 2023, 46(11): 189-195.
4	George R D, Alexis M, Mark A P, et al. The Automatic Content Extraction (ACE) Program-tasks, Data, and Evaluation[C]//Proceedings of the 4th International Conference on Language Resources and Evaluation, 2004: 837-840.
5	Lagoze C, Hunter J. The ABC Ontology and Model[C]//Proceedings of International Conference on Dublin Core and Metadata Applications. Tokyo: National Institute of Informatics, 2001: 160-176.
6	Shaw R, Troncy Raphaël, Hardman Lynda. LODE: Linking Open Descriptions of Events[C]//Proceedings of Asian Conference on the Semantic Web. Berlin: Springer Berlin Heidelberg, 2009: 153-167.
7	Kaneiwa Ken, Iwazume Michiaki, Fukuda Ken. An Upper Ontology for Event Classifications and Relations[C]//AI 2007: Advances in Artificial Intelligence. Berlin: Springer Berlin Heidelberg, 2007: 394-403.
8	Willem Robert van Hage, Malaisé Véronique, Segers Roxane, et al. Design and Use of the Simple Event Model (SEM)[J]. Journal of Web Semantics, 2011, 9(2): 128-136.
9	刘宗田, 黄美丽, 周文, 等. 面向事件的本体研究[J]. 计算机科学, 2009, 36(11): 189-192, 199.
	Liu Zongtian, Huang Meili, Zhou Wen, et al. Research on Event-oriented Ontology Model[J]. Computer Science, 2009, 36(11): 189-192, 199.
10	胡杭乐, 程春雷, 叶青, 等. 开放信息抽取研究综述[J]. 计算机工程与应用, 2023, 59(16): 31-49.
	Hu Hangle, Cheng Chunlei, Ye Qing, et al. Survey of Open Information Extraction Research[J]. Computer Engineering and Applications, 2023, 59(16): 31-49.
11	Li Xinyu, Li Fayuan, Pan Lu, et al. DuEE: A Large-scale Dataset for Chinese Event Extraction in Real-world Scenarios[C]//Natural Language Processing and Chinese Computing. Cham: Springer International Publishing, 2020: 534-545.
12	Yao Feng, Xiao Chaojun, Wang Xiaozhi, et al. LEVEN: A Large-scale Chinese Legal Event Detection Dataset[C]//Findings of the Association for Computational Linguistics: ACL 2022. Stroudsburg: ACL, 2022: 183-201.
13	Han Cuiyun, Zhang Jinchuan, Li Xinyu, et al. DuEE-fin: A Large-scale Dataset for Document-level Event Extraction[C]//Natural Language Processing and Chinese Computing. Cham: Springer International Publishing, 2022: 172-183.
14	Yang Hang, Chen Yubo, Liu Kang, et al. DCFEE: A Document-level Chinese Financial Event Extraction System Based on Automatically Labeled Training Data[C]//Proceedings of ACL 2018, System Demonstrations. Stroudsburg, PA, USA: ACL, 2018: 50-55.
15	Radford A, Narasimhan K, Salimans T, et al. Improving Language Understanding by Generative Pre-training[EB/OL]. [2023-10-16]. .
16	Radford A, Wu J, Child R, et al. Language Models are Unsupervised Multitask Learners[EB/OL]. [2023-10-16]. .
17	Brown T B, Mann B, Ryder N, et al. Language Models are Few-shot Learners[C]//Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook: Curran Associates Inc., 2020: 1877-1901.
18	OpenAI. GPT-4 Technical Report[EB/OL]. [2023-10-16]. .
19	Zeng Wei, Ren Xiaozhe, Su Teng, et al. PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation[EB/OL]. (2021-04-26) [2023-10-16]. .
20	Nijkamp E, Pang Bo, Hayashi H, et al. CodeGen: An Open Large Language Model for Code with Multi-turn Program Synthesis[C]//ICLR 2023. New York: ICLR, 2023: 11335.
21	Chung H W, Hou Le, Longpre S, et al. Scaling Instruction-finetuned Language Models[J]. Journal of Machine Learning Research, 2024, 25(70): 1-53.
22	Zhang Susan, Roller S, Goyal, et al. OPT: Open Pre-trained Transformer Language Models[EB/OL]. (2022-06-21) [2023-10-16]. .
23	Teven Le Scao, Fan Angela, Akiki Christopher, et al. BLOOM: A 176B-parameter Open-access Multilingual Language Model[EB/OL]. (2023-06-27) [2023-10-16]. .
24	Zeng Aohan, Liu Xiao, Du Zhengxiao, et al. GLM-130B: An Open Bilingual Pre-trained Model[C]//ICLR 2023. New York: ICLR, 2023: 11329.

属性	描述
主体	事件的发起者
客体	事件的接收者
时间	事件发生的时间节点
地点	事件发生的物理空间
触发词	触发词是指标志某一事件的关键词，其决定了事件类型
类型	事件的分类，事件类型与触发词相对应。同时包括子类型
时序关系	事件之间发生的先后次序
因果关系	事件之间的相互作用
包含关系	事件之间的归属关联，即事件B是事件A的子事件
共指关系	多个事件共同指向同一目标事件

方法	标注结果
Our(p-tuning+multi-stage)	事件1、2、4、5，事件关系1、3、5，负样本2、3
zero-shot+multi-stage	事件1、5(缺少事件元素)
p-tuning+one-stage	事件1、4、5，事件关系1、2，负样本3

指标	训练集	验证集
新闻数量	800	87
事件个数	2 847	293
事件关系个数	412	33
负样本个数	282	25
新闻平均长度	425	408

[1]	Jing Zheng, Weili Xiong, Xiaodong Wu. kNN Fault Detection Based on Reconstruction Error and Multi-block Modeling Strategy [J]. Journal of System Simulation, 2023, 35(1): 95-109.
[2]	Xiangping Wu, Lijun Ping, Dongshi Xu. A Visual Analytics of Urban Traffic Events Using Social Media Data [J]. Journal of System Simulation, 2022, 34(5): 1140-1151.