(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210996062.7 (22)申请日 2022.08.19 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 杨海根　耿竞赛　祝林群　陈延庆　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 冯宁 (51)Int.Cl. G06F 30/20(2020.01) G06F 30/13(2020.01) G06T 17/30(2006.01) G06K 9/62(2022.01) G06T 17/10(2006.01)G06F 3/01(2006.01) (54)发明名称 基于多模态融合的三维建模系统及建模方 法 (57)摘要 本发明公开了一种基于多模态融合的三维 建模系统及建模方法， 方法为： 分别采集脑电传 感器、 肌电传感器、 眼动传感器、 手势传感器以及 语音传感器的反馈数据， 对反馈数据进行多模态 融合， 获得多模态融合的模型数据， 将模型数据 与数据库指令进行匹配， 获得指令集并进行解 析， 获得出相关建模参数并进行识别， 获取建模 方法， 根据建模方法进行自动建模， 获得可视化 实体模型； 通过本发明的方法将多元体感人机交 互与传统几何建模相结合， 无需操控键盘、 鼠标 等交互设备进行复杂的建模命令输入操作， 提高 建模效率和减少操作人员操控精力的浪费， 进而 提升操作者建模体验。 权利要求书2页 说明书6页 附图2页 CN 115329578 A 2022.11.11 CN 115329578 A 1.一种基于多模态融合的三维建模方法， 其特 征在于， 包括： 分别采集脑电传感器、 肌电传感器、 眼动传感器、 手势传感器以及语音传感器的反馈数 据； 对反馈数据进行多模态融合， 获得多模态融合的模型 数据； 将模型数据与数据库指令进行匹配， 获得指令集； 对指令集的属性进行解析， 获得 出相关建模参数； 对相关建模参数进行识别， 获取建模方法； 基于建模方法进行自动建模， 获得 可视化实体模型； 其中， 将可视化实体模型的模型数据与指令集进行映射测试， 获得指令集与模型数据 的对应关系， 并将指令集与模型 数据的对应关系存 储到后端数据库用于后期加载。 2.根据权利要求1所述的一种基于多模态融合的三维建模方法， 其特征在于， 分别采集 脑电传感器、 肌电传感器、 眼动传感器、 手势传感器以及语音传感器反馈数据的方法包括： 将脑电传感器、 肌电传感器、 眼动传感器、 手势传感器以及语音传感器分别设置在操作 员身体的不同位置； 通过脑电传感器采集操作员大脑命令数据， 通过肌电传感器采集操作员面部肌肉变化 数据， 通过眼动传感器采集操作员眼动变化数据， 通过手势传感器采集操作员手势变化数 据， 通过语音传感器采集操作员发出的语音数据。 3.根据权利要求1所述的一种基于多模态融合的三维建模方法， 其特征在于， 对反馈数 据进行多模态融合， 获得多模态融合的模型 数据的方法包括： 将大脑命令数据、 面部肌肉变化数据、 眼动变化数据、 手势变化数据以及语音数据进行 数据融合， 获得模型 数据。 4.根据权利要求1所述的一种基于多模态融合的三维建模方法， 其特征在于， 将模型数 据与数据库指令进行匹配， 获得指令集的方法包括： 模型数据根据 数据库中不同类别数据与不同指令的对应关系， 获得生成不同指令汇总 的指令集； 其中， 大脑命令数据用于生成模型指 令， 面部肌肉变化数据用于生成几何模型指 令， 眼动变化数据用于生成确定建模位置指令， 手势变化数据用于生成旋转、 收缩指令， 语 音数据用于生成撤销或删除指令 。 5.根据权利要求1所述的一种基于多模态融合的三维建模方法， 其特征在于， 所述相关 建模参数包括： 名称、 分类、 型号、 几何特 征以及数 学表达式。 6.根据权利要求1所述的一种基于多模态融合的三维建模方法， 其特征在于， 对指令集 的属性进行解析， 获得 出相关建模参数的方法为： 将指令集发送到建模系统， 获得相关建模参数， 其中， 建模系统根据指令集的属性分析 建模物体的数 学特性和物理特性。 7.根据权利要求1所述的一种基于多模态融合的三维建模方法， 其特征在于， 所述建模 方法包括： 基本体建模、 扩展体建模、 布尔运 算建模、 拉伸建模、 旋转建模、 复杂建模； 所述基本体建模包括： 长方体、 球体、 圆柱体、 圆锥体、 楔形体和圆环体、 几何球体、 茶 壶、 四棱锥、 管状 体以及若干不 规则形体的几何体建模 命令； 所述扩展体建模 包括： 对基本体建模中的几何体建模 命令参数的扩展； 所述布尔运算建模为对扩展体建模和基本体建模的基础上通过各实体元素间的布尔权　利　要　求　书 1/2 页 2 CN 115329578 A 2运算来构造更为复杂的三维 实体模型； 所述拉伸建模为 二维图形基面， 构造三维 实体模型； 所述旋转建模为选择任一基线旋转 生成三维 实体模型； 所述复杂建模为 导入数学函数进行三维 实体模型的曲面构建。 8.一种基于多模态融合的三维建模系统， 其特征在于， 包括： 体感传感器模块、 通信模 块、 模型建立模块以及数据库模块； 所述体感传感器模块用于将采集的多种反馈数据进行多模融合， 获得多模融合的模型 数据； 所述通信模块用于将模型 数据上传； 所述数据库模块用于将模型数据与数据库指令进行匹配， 获得指令集； 以及存储指令 集与模型 数据的对应关系； 所述模型建立模块用于对指令集的属性进行解析， 获得出相关建模参数， 对相关建模 参数进行识别， 获取建模方法， 并基于建模方法进行自动建模， 输出 可视化实体模型。 9.根据权利要求8所述的一种基于多模态融合的三维建模系统， 其特 征在于， 所述通信模块包括发送端和接收端， 所述发送端和接收端建立通讯关系后以报文格式 进行通信。 10.一种可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行时 实现权利要求1~7任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115329578 A 3