多感知通道融合虚拟实验的快速生成方法

doi:10.16182/j.issn1004731x.joss.21-0009

摘要/Abstract

摘要：

针对传统虚拟实验存在的开发效率低、体验单一等问题，提出多感知通道融合虚拟实验的可视化快速生成方法。对虚拟实验的实验步骤、实验步骤序列进行定义。提出基于Petri网的实验元素参数化描述方法对实验步骤序列进行描述，突破传统虚拟实验一步步按既定程序走的约束，支持建立探究式虚拟实验。提出路由图的可视化表达方法及其与Petri网之间的转换方法，使用户能通过编辑路由图的方式实现实验的快速开发，融入了嗅觉与温感两个通道的反馈，使实现视、听、嗅、触多感知通道融合的虚拟实现成为可能。为验证所提出的方法，开发了相应的原型系统，并以铝热反应实验为例，介绍生成过程。结果表明：该可视化快速编辑方法对虚拟实验的编辑有效且可行。

关键词: 虚拟实验, Petri网, 路由图, 多通道融合, 生成方法

Abstract:

Aiming at the low development efficiency and single experience in traditional virtual experiments, a rapid generation method of multi-sensing channel fusion virtual experiment visualization is proposed. The experimental steps and sequence of experimental steps of the virtual experiment are defined. A parameterized description method of experimental elements based on Petri net is proposed to describe the sequence of experimental steps, which breaks through the constraints the established procedure steps of traditional virtual experiments and supports the exploratory virtual experiments. The visual expression method of the routing graph and the conversion method between the routing graph and the Petri net are proposed, in which users can quickly edit the sequence of experimental steps by editing the routing graph. The feedbacks of the two channels of smell and temperature are incorporated, to realize the virtual realization of the fusion of multi-sensing channels of sight, hearing, smell and touch. To verify the proposed method, a prototype system is developed, and the thermite reaction experiment is taken as an example to introduce the generation process. The results show that the visual rapid editing method is effective and feasible for the editing of virtual experiments.

Key words: virtual experiment, Petri net, routing graph, multi-channel fusion, generation method

中图分类号:

TP391

邓景威, 何汉武, 吴悦明, 苏健豪. 多感知通道融合虚拟实验的快速生成方法[J]. 系统仿真学报, 2022, 34(12): 2639-2648.

Jingwei Deng, Hanwu He, Yueming Wu, Jianhao Su. Fast generation Method of Multi-sensing Channel Fusion Virtual Experiment[J]. Journal of System Simulation, 2022, 34(12): 2639-2648.

图/表 19

图1

表1

表2

图2

图3

图4

图5

表3

子步骤式为空时，由父步骤式决定步骤的可操作条件下的Petri网

关系类型		父步骤式	父步骤式描述
顺序关系		$f 1 p$ 为空 $f 2 p$ 为1 $f 3 p$ 为2	开始实验时 $p 1$ 即可操作 $p 1$ 完成后 $p 2$ 才可操作 $p 2$ 完成后 $p 3$ 才可操作
并发关系		$f 1 p$ 为空 $f 2 p$ 为1 $f 3 p$ 为1 $f 4 p$ 为2 $f 5 p$ 为3	开始实验时 $p 1$ 即可操作 $p 1$ 完成后 $p 2$ 才可操作 $p 1$ 完成后 $p 3$ 才可操作 $p 2$ 完成后 $p 4$ 才可操作 $p 3$ 完成后 $p 5$ 才可操作
选择关系	只需完成任意分支	$f 1 p$ 为空 $f 2 p$ 为1 $f 3 p$ 为1 $f 4 p$ 为2\|3	开始实验时 $p 1$ 即可操作 $p 1$ 完成后 $p 2$ 才可操作 $p 1$ 完成后 $p 3$ 才可操作 $p 2$ 或 $p 3$ 完成后 $p 4$ 才可操作
选择关系	只能完成一条分支	$f 1 p$ 为空 $f 2 p$ 为1&!3 $f 3 p$ 为1&!2 $f 4 p$ 为2\|3	开始实验时 $p 1$ 即可操作 $p 1$ 完成且 $p 3$ 未完成时 $p 2$ 才可操作 $p 1$ 完成且 $p 2$ 未完成时 $p 3$ 才可操作 $p 2$ 或 $p 3$ 完成后 $p 4$ 才可操作
共生关系		$f 1 p$ 和 $f 2 p$ 为空 $f 3 p$ 为1 $f 4 p$ 为2 $f 5 p$ 为3&4	开始实验时 $p 1$ 、 $p 2$ 即可操作 $p 1$ 完成后 $p 3$ 才可操作 $p 2$ 完成后 $p 4$ 才可操作 $p 3$ 和 $p 4$ 完成后 $p 5$ 才可操作

表3

表4

加入子步骤式后的并发关系

Petri网	步骤式	步骤式描述
	$f 1 p$ 为空	开始实验 $p 1$ 即可操作
	$f 2 p$ 为1	$p 1$ 完成后 $p 2$ 才可操作
	$f 3 p$ 为1	$p 1$ 完成后 $p 3$ 才可操作
	$f 2 c$ 为4	$p 2$ 完成后只能先做 $p 4$
	$f 3 c$ 为5	$p 3$ 完成后只能先做 $p 5$

表4

图6

表5

图7

图8

图9

图10

图11

表6

路由图每个节点的步骤式

步骤索引	步骤式	步骤索引	步骤式
1	—	9	$f 9 p$ 为8
2	$f 2 p$ 为1， $f 2 c$ 为3	10	$f 10 p$ 为9
3	$f 3 p$ 为2， $f 3 c$ 为4	11	$f 11 p$ 为10
4	$f 4 p$ 为3	12	$f 12 p$ 为11
5	$f 5 p$ 为1， $f 5 c$ 为6	13	$f 13 p$ 为11
6	$f 6 p$ 为5， $f 6 c$ 为7	14	$f 14 p$ 为9
7	$f 7 p$ 为6	15	$f 15 p$ 为14
8	$f 8 p$ 为4&7

表6

图12

图13

参考文献 12

1	朱敏, 朱焱. 虚拟实验与物理课程教学[M]. 南京: 东南大学出版社, 2008.
	Zhu Min, Zhu Yan. Virtual Experiment and Physics Course Teaching[M]. Nanjing: Southeast University Press, 2008.
2	Sun C, Pan Z, Li Y. SRP Based Natural Interaction between Real and Virtual Worlds in Augmented Reality[C]//International Conference on Cyberworlds. Hangzhou: IEEE Computer Society, 2008: 117-124.
3	Tsuda N, Morikawa A, Nomura Y, et al. Pressure Presentation Strength for Calligraphy Brushwork Instruction[C]//IEEE International Symposium on Robotics&Intelligent Sensors. Ottawa: IEEE, 2017: 198-202.
4	Luo Tianren, Zhang Mingmin, Li Zheng, et al. Dream-Experiment: A MR User Interface with Natural Multi-Channel Interaction for Virtual Experiments[J]. IEEE Transactions on Visualization and Computer Graphics(S1077-2626), 2020, 26(12): 3524-3534.
5	Nicholas H, Pooi-Mun W, Matthew C, et al. Virtual Reality Training for Assembly of Hybrid Medical Devices[J]. Multimedia Tools & Applications(S1380-7501), 2018(77): 1-32.
6	卿烈华. 基于Petri网的民航机电维护优化研究[D]. 兰州: 兰州大学, 2016.
	Liehua Qing. Research on Civil Aviation Maintenance Process Based on Petri Net[D]. Lanzhou: Lanzhou University, 2016.
7	董健康, 杨柳, 耿宏. 基于循环迭代的飞机虚拟拆装过程建模方法[J]. 计算机工程与设计, 2020, 41(2): 494-499.
	Dong Jiankang, Yang Liu, Geng Hong. Aircraft Virtual Disassembly Process Modeling Method Based on Cyclic Iteration[J]. Computer Engineering and Design, 2020, 41(2): 494-499.
8	Al-Khalifa Hend S. CHEMOTION: A Gesture Based Chemistry Virtual Laboratory with Leap Motion[J]. John Wiley&Sons, Ltd(S1180-4009), 2017, 25(6): 1-16.
9	Coelho H, Melo M, Martins José, et al. Collaborative Immersive Authoring Tool for Real-Time Creation of Multisensory VR Experiences[J]. Multimedia Tools and Applications(S1380-7501), 2019, 78(14): 19473-19493.
10	Mujika A, Oyarzun D, Iparragirre I, et al. MACHS: An Authoring Tool to Create Serious Games for Machine-Tool Operator Training[C]//International Conference on Emerging Elearning Technologies& Applications. Stara Lesna: IEEE, 2011: 147-152.
11	黎永斌, 吴悦明, 何汉武, 等. 一种气味发生器: 201922340576.3[P]. 2020-08-28.
	Li Yongbin, Wu Yueming, He Hanwu, et al. An Odor Generator: 201922340576.3[P]. 2020-08-28.
12	吴悦明, 许明西, 何汉武, 等. 一种虚拟实验平台的热触觉再现装置: 201910667640.0[P]. 2019-07-23.
	Wu Yueming, Xu Mingxi, He Hanwu, et al. Thermal Tactile Reproduction Device of Virtual Experiment Platform: 201910667640.0[P]. 2019-07-23.

操作动作		参数指标
需要操作	移动物体	对象物体、目标位姿、工具、提示信息
	物体移离
	物体移近
	倾倒物体	对象物体、目标位姿、工具、倾倒角、提示信息
无需操作	显示物体	对象物体、显示位姿、提示信息
	隐藏物体	对象物体、提示信息
	出现特效	特效对象、显示位姿、持续时长、特效尺寸
	出现文字	文字内容、显示位姿、持续时长、文字尺寸
	物体动画	对象物体、目标位姿、动画速度
	播放视频	视频对象、播放时段、持续时长
	发出声音	声音对象、目标位姿、持续时长、声音大小
	散发气味	气味种类、持续时长、气味浓度、风扇功率
	释放热量	温度、持续时长、风扇功率

操作动作		实验现象
需要操作	移动物体	-
	物体移离	-
	物体移近	-
	倾倒物体	-
无需操作	显示物体	对象物体从不可见状态变为可见状态
	隐藏物体	对象物体从可见状态变为不可见状态
	出现特效	特效对象出现在目标位姿，并持续一定时长
	出现文字	文字对象出现在目标位姿，并持续一定时长
	物体动画	对象物体朝目标位姿以一定速度移动和旋转
	播放视频	在目标位姿播放一段视频
	发出声音	在目标位姿出现一段声音，支持立体声效果
	散发气味	嗅觉呈现装置散发指定气味
	释放热量	温感呈现装置释放指定温度的热风

操作动作	其他可选参数
移动物体	索引号、步骤式、对象物体、目标位姿、工具、提示信息
物体移离
物体移近
倾倒物体	索引号、步骤式、对象物体、目标位姿、工具、倾倒角、提示信息
显示物体	索引号、步骤式、对象物体、显示位姿、提示信息
隐藏物体	索引号、步骤式、对象物体、提示信息
出现特效	索引号、步骤式、特效对象、显示位姿、持续时长、特效尺寸
出现文字	索引号、步骤式、文字内容、显示位姿、持续时长、文字尺寸
物体动画	索引号、步骤式、对象物体、目标位姿、动画速度
播放视频	索引号、步骤式、视频对象、播放时段、持续时长
发出声音	索引号、步骤式、声音对象、目标位姿、持续时长、声音大小
散发气味	索引号、步骤式、气味种类、持续时长、气味浓度、风扇功率
释放热量	索引号、步骤式、温度、持续时长、风扇功率

[1]	郑红, 刘泽润, 黄建华, 钱诗慧. 基于CPN的智能合约交易顺序依赖漏洞的验证[J]. 系统仿真学报, 2022, 34(7): 1629-1638.
[2]	黄光球, 吴甜甜. 基于对象函数Petri网的关联区域VOCs危害成因解析[J]. 系统仿真学报, 2022, 34(3): 470-481.
[3]	邹序焱, 何汉武, 吴悦明, 邓景威. 基于手势交互的虚实融合实验仿真技术[J]. 系统仿真学报, 2021, 33(10): 2488-2498.
[4]	郑红, 叶成, 邓文轩, 潘理. 一种基于工作流网的游戏作弊检测系统[J]. 系统仿真学报, 2020, 32(3): 455-463.
[5]	黄光球, 何通, 陆秋琴. 矿尘迁移致生态系统损害级联传播评价研究[J]. 系统仿真学报, 2020, 32(2): 278-288.
[6]	张志利, 张云荣, 马世欣. 基于CPN Tools的“多种权限+操作队列”并发冲突控制方法研究[J]. 系统仿真学报, 2019, 31(6): 1092-1100.
[7]	张云荣, 张志利, 李向阳, 徐卫昌, 韩奎侠, 李良. 虚拟维修人员与工步等级匹配调解方法研究[J]. 系统仿真学报, 2019, 31(4): 624-631.
[8]	孙启鹏, 郭鑫, 马飞. 基于petri网的城际旅客出行服务流程建模与仿真[J]. 系统仿真学报, 2019, 31(2): 189-198.
[9]	周鹏飞, 邢小伟. 回字形布置的双轨轮小车自动化码头仿真[J]. 系统仿真学报, 2018, 30(9): 3264-3273.
[10]	苏佳, 黄光球. 矿区生态系统脆弱性的对象函数Petri网评价模型[J]. 系统仿真学报, 2018, 30(5): 1681-1689.
[11]	黄光球, 刘权宸, 陆秋琴. 矿区生态环境脆弱度动态评价的随机Petri网方法[J]. 系统仿真学报, 2018, 30(5): 1787-1795.
[12]	高迪驹, 兰熙, 沈爱弟. 基于Petri网的锂电池故障诊断系统[J]. 系统仿真学报, 2018, 30(2): 614-621.
[13]	宋中越, 甄冬, 张浩, 师占群, 马姣姣. 基于联合仿真的风力发电机试验台系统研究[J]. 系统仿真学报, 2018, 30(2): 740-746.
[14]	黄光球, 陆秋琴. 广义随机系统动力学相关性分析模型[J]. 系统仿真学报, 2018, 30(1): 69-79.
[15]	黄光球, 白璐. 基于对象Petri网的信任攻击建模与分析[J]. 系统仿真学报, 2017, 29(8): 1702-1711.