【校报·京工人物】王涌天:增强现实技术:把梦想照进现实

——专访本校信息科学技术学院博士生导师王涌天

〖第741期  重要新闻 · 京工人物


    漫步“圆明园”,惊叹于西洋楼的别致精雅、匠心独运;从雍容雄伟的观水法径直望去,大水法中心处,是令人叫绝的群鹿嬉水的逼真景象,晶莹剔透的水花,映衬出不远处线法山庄严伟岸的身姿。纵观整个园区,绿树成荫,鸟语花香。透过眼前小小的目镜,天朝大国的百年辉煌栩栩如生。
    这不是梦想,然而,用“现实”来形容却也不恰当。
    “增强现实技术,是在虚拟现实的基础上发展起来的新兴技术。在你看到的真实场景上,叠加上虚拟的、由计算机生成的景象。”乐动(中国)光学工程学科和计算机应用技术学科博士生导师王涌天用通俗的语言来解释这项“亦真亦幻”的技术。
    增强现实技术,把梦想照进现实。


  “神秘仪器”进驻圆明园

    2008年“十一”黄金周期间,在圆明园遗址附近游览的游客意外地发现,在“大水法”和“观水法”景点之间,树立起一架名为“数字圆明园现实增强系统I型”的机器。几个科研人员模样的人,“围着机器鼓弄了半天”。
    听说“通过这架仪器,你可以看到真实的场景———圆明园废墟,和我们实时叠加上去的当年未被破坏前的场景”,游人们的好奇心被激发起来,很多人自发地排起长队,“想看看圆明园曾经是什么样子的。”
    可是,游客们不知道,面前这位学者模样的人,正是教育部长江学者和创新团队学术带头人、国际工程光学学会资深会员(SPIEFel-low)、中国光学学会理事王涌天教授。
    王涌天教授长期在技术光学和虚拟现实领域从事教学和科研工作,主要研究方向包括成像和照明光学系统设计和CAD,新型光学元件,虚拟现实和增强现实技术、系统和应用,医学图像处理与手术导航等方面。
    短短七天商业试营运期中,“每天大概都有一两百人去看,游客反响很好。模拟图像是按照一比一的比例进行现实增强的,景物距离大概在20米到30米左右。”王教授说。
    目前,西洋楼部分模拟得比较完善。“西洋楼部分是当时的一些传教士给设计的。他们留了一些铜版画,给出了当年建筑结构的透视图。我们就根据这些资料在电脑里绘制成三维图片。”
    王教授介绍,这架“神秘仪器”类似于公园高处和电视塔上的科技望远镜,但是这个不望远、不放大,都是一比一比例进行叠加。“我们做的是三维模型,并实时渲染。”
    圆明园商业试运行的成功,被金国藩院士、汪成为院士主持的验收专家组评为“产生了良好的爱国主义教育效果,取得了显著的社会效益和经济效益,在文物保护、教育科普、文化娱乐、旅游开发等领域具有十分广阔的应用前景。在定点双目立体观察系统、超轻型大视场头盔显示器、增强现实在文物古迹数字重建中的实际应用等方面达到国际领先水平”。
    团队合作研发屡创佳绩其实,增强现实技术在国内的应用并非首次。同样由乐动(中国)光电技术与信息系统实验室研发的“现实海底漫游系统”在广东科技中心大显身手。游客面对只有水草和珊瑚的鱼缸,只要戴上特制的头盔,就可以犹如置身水晶宫,与身边的鱼儿嬉戏玩耍,甚至可以模拟出人向鱼类喂食的场景。
    这是一支什么样的团队?又是什么引领他们屡创佳绩?
    光电技术与信息系统实验室隶属于乐动(中国)信息科学技术学院。该实验室长期从事复杂光电系统设计、加工、检测方面教学和科研工作,并在此基础上,开展虚拟现实和增强现实、医学图像处理和手术导航等交叉学科的研究,有关研究成果多次获得国家和省部级奖励。近年来,在王涌天教授的带领下,实验室研究成果丰硕,经费支持充足,队伍团结向上,发展日新月异。
    实验室现有教授4人,副教授4人,讲师2人,博士后5人,博士生和硕士生70余人,与美国亚利桑那大学、加州大学洛杉矶分校、中佛罗里达大学有关实验室以及国内许多著名研究单位、企业保持着密切的合作关系,并在广东省中山市领导的支持下在该市建立了光电信息技术研究中心。目前,实验室在新型光电系统、自由曲面光学、三维显示设备、人机交互技术、医学图像处理、虚拟现实与增强现实系统及其应用等领域承担着多项国家863目标导向及探索导向项目、国家自然科学基金仪器专项和面上项目、973项目课题、国防预研项目、国际合作项目、省市科技计划项目和横向科研项目。
    “圆明园因为是在旷野而不是室内,所以很难对头盔显示方式实现六自由度实时定位,因为GPS对我们这种应用的定位精度不够。但在室内我们可以放一些标志点,就可以实时地监控。我们需要在头盔上安置摄像机,拍摄真实场景并传送到计算机,通过提取其中的标志点来计算使用者视线的方位,据此对虚拟物体进行渲染并叠加在真实场景图像的正确位置上,再实时地将这个虚实融合的场景传送到头盔上显示。”
    该实验室还利用互动地面投影技术为《纪念中国工农红军长征胜利70周年》大型主题展览完成了《雪山·草地》大型景观,观众踩在用数码投影机营造的“草地”上,脚下就会泛出涟漪,同时看到雷电交加的滂沱大雨;走在“雪地”上,也会留下清晰的脚印,眼前狂风席卷雪花扑面而来。和“数字圆明园”项目相似,身临其境的感受使观众能够更加真切地体验当年长征路上的艰苦卓绝,被中央军委首长誉为该展览的一个“亮点”。支持多人多点实时交互的桌面投影设备已经应用于上海消防馆、上海电信馆、彭德怀纪念馆、毛泽东遗物馆等等,并将在建设中的中国科学技术馆新馆发挥重要作用。


    用科技创新富国强民

    近年来,王涌天教授及其团队成员在国内率先开展了对增强现实的研究,突破了三维环境注册定位算法、透视式融合显示、立体显示图形生成等增强现实关键技术,完成了国内第一个实时增强现实试验系统,目前正在积极研究其在军事、文化、医疗等领域的应用。有关研究成果在2005年12月被金国藩院士主持的鉴定专家组评为“在增强现实关键技术和虚拟现实人机交互技术方面取得的研究成果处于国内领先、国际先进水平”。
    而增强现实技术作为信息领域一个新兴的多学科交叉研究方向,具有虚实结合、三维注册、实时交互的特点,在医疗手术、工业设计、市政规划、军事仿真、教育培训、文化娱乐等领域具有广泛的应用前景。
    医学是增强现实技术的一个重要应用方向。故此实验室开展了对医学图像特别是血管造影图像的三维重建和增强现实手术导航技术的研究工作。研究了冠脉造影图像的多尺度弹性配准,并提出了一种基于模拟图像的弹性配准客观评价方法,有效地解决了配准减影方法缺乏定量评估标准的难题。研究了冠脉造影图像的智能化自动分割算法,在保证精度的前提下减小了分割过程对人工干预的依赖;研究了X射线血管造影系统的畸变校正和成像几何标定,提出了一种鲁棒的三维重建优化算法,建立了血管截面的精确拟合模型,成功地由多视图造影图像重建出高精度冠脉三维模型。
    王教授用与301医院合作开发的内窥镜举例。“我们利用增强现实技术为医院做了一种叫做‘鼻腔镜’的仪器。如果一个病人,鼻子或脑垂体长了瘤子,都不需要开颅,直接从鼻子先插进去一个镜子,通过镜子医生就可以看到这些墙体的结构,在插进去旋转的手术刀,去割掉息肉和瘤子,过去,医生只能看到腔体里面的结构,看不到腔体后面的器官和血管等等,以往都是凭借经验和感觉。估计手术刀的距离。”
    利用增强现实技术,医生们在手术之前可以先用CT、核磁共振等等扫描技术做成三位的图像,提取出关键部位,叠加到病人的病区。为了方便医务人员观察,王涌天及其团队还做了一个真实的三维显示器,可以看到手术过程中手术刀的位置,离那些器官到底有多远。目前,该仪器精度达到一毫米左右。
    再如飞行模拟器和飞行员的模拟培训。“机舱非常地逼真,飞行员戴上头盔后可以看见自己的腿、手、机舱,但是外面的机场、跑道、天空都是我们叠加上去的,可以保证飞行员在很真实的环境中进行飞行训练。”
    目前,该实验室正在与中国人民解放军总医院以及有关医疗仪器公司合作,深入研究内窥镜手术术中注册定位技术、三维医学图像与内镜图像融合显示技术、真三维实时显示技术,开发基于增强现实技术的内镜手术导航系统。
    作为北京市政协委员、2006年教育部创新团队带头人,王涌天教授在“海淀创新人物”奖获奖感言中这样写道:“在当今科技时代,创新是富国强民的唯一途径。我们希望用自己的最新科研成果,为海淀区、北京和国家的发展服务。”

  PS:增强现实是在虚拟现实技术的基础上发展起来的新兴研究领域,综合了计算机图形、光电成像、融合显示、多传感器、图像处理、计算机视觉等多门学科,是一种利用计算机产生的附加信息对真实世界的景象增强或扩张的技术。系统的使用者可以在看到周围真实环境的同时看到计算机产生的增强信息,这种增强信息可以是在真实环境中与真实物体共存的虚拟物体,也可以是关于存在的真实物体的非几何信息。 

 ( 校报学生记者 庄一多)