虚实混合环境的沉浸式视觉感知计算
报送单位:浙江大学 推荐单位:浙江大学

支撑项目(平台):973项目:“虚拟现实的理论、方法及其实现”和“混合现实的理论和方法”

参与单位:浙江大学

所属学科:计算机科学与技术

主要贡献者:鲍虎军、黄劲、王锐、章国锋、华炜

成就简介:围绕虚实环境的视觉融合和感知的真实性和实时性这一关键问题,在网格曲面几何计算、景物高效动力学模拟、虚拟环境实时高保真绘制、虚实环境的实时三维注册和融合现实等方面取得了重要突破,得到了学术同行和产业界的高度评价,有力推动了混合现实技术的进步和产业发展。

  混合现实技术的科学目标是交互合成虚实融合的沉浸式感知环境,以给用户以身临其境的体验。本团队围绕虚实环境的视觉融合和感知的真实性和实时性,针对虚拟环境的视觉感知所涉及的几何和物理计算、虚实融合所需的精准三维注册和呈现、以及相关的实时并行计算三个方面展开深入的研究,取得了重要的创新突破,有力促进了混合现实技术的进步和应用。代表性研究成果包括:
  (1)创立了网格曲面的微分域几何表示和计算理论和方法,揭示了局部微分属性来刻画和调控景物几何形状的机理,发明了一系列所见即所得的网格曲面的交互处理和编辑技术,解决了网格曲面难以调控和编辑的技术难题。
  (2)创新提出了黎曼度量下的二维标架场和基于球面调和函数的三维标架场的光滑表示和优化构造方法,发明了协调边界特征、网格尺度、局部方向等复杂约束的四边形和六面体网格鲁棒生成方法,攻克了复杂模型的可控四边形和六面体网格自动生成难题。
  (3)首次构造了9维的旋转-应变空间,导出了旋转-应变空间的拉格朗日弹性动力学方程,揭示了旋转-应变空间与欧氏空间的对偶性,发明了复杂柔性体弹性形变动力学的快速模拟技术,将复杂度从四阶降为二阶,同等精度下的计算效率提高了3个数量级。
  (4)建立了稀疏表达框架下大规模虚拟环境的全局光能辐射传输的可伸缩计算技术框架,提出了光能传输辐射的稀疏采样表达、自适应聚类和低秩重建方法,攻克了绘制积分方程因大规模离散逼近所引发的效率瓶颈,实现了可伸缩、高保真的交互绘制。   
  (5)创新将GPU的多阶段绘制定义为景物表面信号的生成过程,发明了虚拟环境绘制流水线优化技术,突破了在线着色优化的关键技术瓶颈,普适地将绘制效率提升了2~3倍。
  (6)发明了基于关键帧和多平面约束的场景运动恢复结构和同时定位与地图构建(SLAM)技术,攻克了大尺度、动态环境下含循环回路的场景三维结构恢复和摄像机实时鲁棒跟踪定位的难题。
  (7)创新将噪声、误差和遮挡等因素以多帧统计方式统一刻画为全局优化模型,攻克了视频深度的时空一致性恢复难题;发明了基于颜色和几何特征联合跟踪定位的深度序列高精度对齐技术,实现了鲁棒的三维注册和完整几何纹理重建。
  (8)发明了不规则实物表面的多投影融合呈现技术,有效保持了点、线和区域轮廓特征的精准对齐以及画面色度和亮度一致性,攻克了低成本、自由投影排布、高质量的实时多投影融合呈现的难题。
  上述研究成果发表在本领域国际顶尖学术期刊和学术会议上,共60余篇,获发明专利40余件,出版专著3部。成功研发了混合现实支撑软件平台,包括现实环境重建和优化系统、虚拟环境的实时绘制和物理模拟引擎、虚实环境注册融合引擎、多投影显示引擎和二次开发等模块,技术授权给商汤、网易、华为、先临三维科技、三星、西门子等公司,部分开源模块已有2000余家注册用户,产生了很好的经济和社会效益。成果得到了学术界和产业界的广泛关注和高度评价,部分成果分别获2013年国家自然科学奖二等奖,2011年高等学校优秀成果奖科技进步一等奖。

137808