Robocup2D项目中Agent2D底层动作链机制的分析优化

doi:10.16182/j.issn1004731x.joss.201711026

系统仿真学报 ›› 2017, Vol. 29 ›› Issue (11): 2782-2787.doi: 10.16182/j.issn1004731x.joss.201711026

Robocup2D项目中Agent2D底层动作链机制的分析优化

陈冰¹, 许非凡², 徐涵延², 程泽凯³, 刘诚¹

1.信息工程大学理学院,河南郑州 450001;
2.信息工程大学指挥军官基础教育学院,河南郑州 450001;
3.安徽工业大学计算机学院,安徽马鞍山 243002

收稿日期:2016-06-24 发布日期:2020-06-05
作者简介:陈冰(1982-),男,湖北孝感,硕士,讲师,研究方向为系统分析与集成;许非凡(1993-),男,北京,本科,研究方向为仿真系统及实现;徐涵延(1994-),男,贵州,本科,研究方向为仿真系统及实现。

Analysis and Optimization of the Action Chain Mechanism in Agent2D Underlying in RoboCup2D Soccer League

Chen Bing¹, Xu Feifan², Xu Hanyan², Cheng Zekai³, Liu Cheng¹

1. School of Arts and Sciences, Information Engineering University, ZhengZhou City, 450001, China;
2. School of Junior Commanding Officers, Information Engineering University, ZhengZhou City, 450001, China;
3. School of Computer Science, AnHui University of Technology, Ma Anshan City, 243002, China

Received:2016-06-24 Published:2020-06-05

摘要/Abstract

摘要： 在RoboCup2D仿真足球项目中,Agent2D是我国使用最为广泛的球队底层之一。仿真平台中数据传输的噪声干扰及代码自身动作链机制不完整等因素,导致采用Agent2D底层的球队在应对不同的队伍时,存在着适应能力不足的缺点,影响了球队的整体能力。该论文引入了动作修正参数,利用强化学习的手段对动作链机制进行优化,使Agent底层球队在面对不同风格的对手时可以选择更加有效的动作执行,以此来提升球队的适应性。仿真实验证明,此法具有一定效果。

关键词: RoboCup2D, 仿真, 动作链, 动作修正参数, 强化学习

Abstract: In the RoboCup2D soccer league, Agent2D is one of the most widely used underlying team in China. Data transmission noise and the incomplete action chain mechanism make the underlying teams using Agent2D be lack of flexibility. This paper introduces an action correcting parameter and optimizes the operation of the action chain by reinforcement learning mechanism. The performance of the Agent2D underlying team is improved in the game and the adaptability of the team is enhanced. Simulation experiment results show that this method has a certain effect.

Key words: RoboCup2D, Simulation, action chain, action correcting parameter, reinforcement learning

中图分类号:

TP391.9

陈冰, 许非凡, 徐涵延, 程泽凯, 刘诚. Robocup2D项目中Agent2D底层动作链机制的分析优化[J]. 系统仿真学报, 2017, 29(11): 2782-2787.

Chen Bing, Xu Feifan, Xu Hanyan, Cheng Zekai, Liu Cheng. Analysis and Optimization of the Action Chain Mechanism in Agent2D Underlying in RoboCup2D Soccer League[J]. Journal of System Simulation, 2017, 29(11): 2782-2787.

参考文献

[1] 赵发军. RoboCup仿真2D系统的研究[D]. 安徽大学, 2013.
ZHAO Fajun.The research of RoboCup simulation 2D system[D]. Anhui University. 2013.
[2] 李实, 徐旭明, 叶棒, 等. 国际机器人足球比赛及其相关技术[J]. 机器人ROBOT, 2000, 9(22): 420-426.
LI Shi, XU Xu-ming, YE Bang, et al.International Robot Soccer Tournament and correlative technique[J]. ROBOT. 2000, 9(22): 420-426.
[3] 龚剑. 关于高校开展机器人足球比赛的思考[J]. 安徽建筑工业学院学报(自然科学版), 2005(4): 94-96.
GONG Jian.On robotic soccer game in college[J]. Journal of Anhui Institute of Architecture &Industry. 2005(4): 94-96.
[4] 王婕. 机器人足球仿真比赛的综合评价研究[D]. 广东工业大学, 2011.
Jie Wang.Research of Comprehensive Evaluation Based on Robot Simulation Soccer[D]. Faculty of Automation Guangdong University of Technology, 2011.
[5] 肖圳杰. RoboCup_2D仿真比赛中多智能体协作问题的研究[D]. 西安理工大学, 2011.
Zhenjie XIAO.Cooperation Strategy Research of Multi-agents System based on Robocup-2D Soccer Simulation[D]. Xi'an University Of Technology, 2011.
[6] 李学俊. RoboCup仿真2D实验平台[J]. 实验室研究与探索, 2014:58-61.
LI Xue-jun.An Experimental Platform for RoboCup 2D Simulation[J]. RESEARCH AND EXPLORATION IN LABORATORY, 2014: 58-61.
[7] 金文文. 基于球员协作关系的RoboCup仿真2D阵型学习[D]. 安徽工业大学, 2015.
Jin Wenwen.Formation Learning of RoboCup Simulation2D Bases on Player Cooperative[D]. Anhui University Of Technology, 2015.
[8] 章惠龙, 李龙澍. Q学习在 RoboCup 前场进攻动作决策中的应用[J]. 计算机工程与应用, 2013(7): 240-242.
ZHANG Huilong, LI Longshu.Application of Q- Learning in local attacking decision[J]. Computer Engineering and Appli-cations, 2013, 49(7): 240-242.
[9] 秋山英久. ロボカップサッカーシミュレーション2D リーグ必勝ガイド[M]. 2010.
[10] 王军. 基于分层强化学习的RoboCup 3D球队的设计与实现[D]. 江苏大学, 2006.
Jun Wang.Design and Implement of RoboCup 3D Simulation Team Bases on Layered Learning[D]. Jiangsu University, 2003.
[11] 孙清. 基于强化学习的多智能体协同机制研究[D]. 浙江工业大学, 2015.
Qing Sun.Research of Multi-agent Cooperation Mechanism Based on Reinforcement Learning[D]. College of Information Engineering Zhejiang University of Technology, 2015.
[12] 章惠龙. RoboCup仿真2D中的Agent智能决策系统[D].安徽大学, 2012.
ZHANG Huilong.The Agent Intelligent Decision System in RoboCup 2D Simulation League[D]. Anhui University. 2012.
[13] 宋园, 刘乾, 王灿, 等. RoboCup2D日志文件数据挖掘研究及应用[J]. 大庆师范学院学报, 2015, 6: 31-34.
SONG Yuan, LIU Qian, WANG Can, et al Research and Application on RoboCup2D Log Data Digging. JOURNAL OF DAQINGN ORMAL UNIVERSITY, 2015, 6: 31-34.
[14] Bing C, Kaixuan L, Zijian Z, et al.The establishment and implement of evaluation index system in RoboCup 2D Simulation Soccer Platform[C]//35th Chinese Control Conference (CCC), 2016.

[1]	陆淼嘉, 黄承媛, 滕靖. 基于多智能体的网购生鲜无人车配送调度仿真[J]. 系统仿真学报, 2022, 34(6): 1185-1195.
[2]	赵也践, 王艳红, 张俊, 于洪霞, 田中大. 改进Q学习算法在作业车间调度问题中的应用[J]. 系统仿真学报, 2022, 34(6): 1247-1258.
[3]	张森, 张孟炎, 邵敬平, 普杰信. 基于随机策略搜索的多机三维路径规划方法[J]. 系统仿真学报, 2022, 34(6): 1286-1295.
[4]	陆承, 靳学胜. 基于Steam VR的交互仿真水枪灭火训练系统设计[J]. 系统仿真学报, 2022, 34(6): 1312-1319.
[5]	倪凌佳, 黄晓霞, 李红旮, 张子博. 基于协作式深度强化学习的火灾应急疏散仿真研究[J]. 系统仿真学报, 2022, 34(6): 1353-1366.
[6]	胡冰山, 程科, 陆盛, 喻洪流. 变刚度储能助力髋外骨骼设计及助力效果仿真[J]. 系统仿真学报, 2022, 34(5): 1090-1100.
[7]	古鹏飞, 张霖, 陈真, 叶俊杰. 基于X语言的起飞场景民机协同设计与仿真一体化方法[J]. 系统仿真学报, 2022, 34(5): 929-943.
[8]	刘文正, 张和明. 面向复杂系统运动仿真的信息物理融合建模[J]. 系统仿真学报, 2022, 34(5): 954-963.
[9]	于帆, 罗东琦, 司宾强, 朱纪洪. 可交互式相控阵雷达DOA估计仿真系统设计[J]. 系统仿真学报, 2022, 34(5): 964-977.
[10]	付建林, 丁国富, 张剑, 江海凡, 郭沛佩. 基于响应面和NSGA-II的AGV系统多目标优化配置[J]. 系统仿真学报, 2022, 34(5): 994-1002.
[11]	李伟, 张欢, 马萍, 杨明. 云仿真系统可信度评估问题探讨[J]. 系统仿真学报, 2022, 34(4): 679-687.
[12]	刘永奎, 曾鸣, 张霖, 郭金维, 原思阳, 平垚垚. 基于微服务架构的云制造调度仿真系统设计与开发[J]. 系统仿真学报, 2022, 34(4): 700-711.
[13]	张立峰, 王会忍. 基于卷积神经网络及有限元仿真的电容层析成像图像重建[J]. 系统仿真学报, 2022, 34(4): 712-718.
[14]	马庆禄, 张琳, 袁新新, 刘丰杰. 城市道路交通多状态演化下的连续仿真技术研究[J]. 系统仿真学报, 2022, 34(4): 847-855.
[15]	吴枫, 刘秀罗, 王佳, 刘阳, 李苏疆, 仲妍. 航天发射可视化仿真分析技术与应用研究[J]. 系统仿真学报, 2022, 34(4): 856-869.

Robocup2D项目中Agent2D底层动作链机制的分析优化

Analysis and Optimization of the Action Chain Mechanism in Agent2D Underlying in RoboCup2D Soccer League

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价