VR引领的5G的胎动

第六章
一切皆能体验
——医疗、不动产、灾害对策及其他

1 扩大的应用范围

激活处于沉睡状态的3D数据

VR的可能性将超出娱乐的范围扩展开来。医疗、住宅选择、灾害对策……VR给所有领域都带来变革。

2017年1月13日夜晚,在东京都墨田区的东京都立墨东医院,在结束诊疗后安静下来的手术室里聚集了医师护士等几个人。乍一看他们像是在做手术前的商谈,但情形跟以往都不一样,因为他们都戴着与手术服不相称的头盔显示器。

虚拟空间中浮现的是癌症患者肝脏的三维画像。医师们在虚拟空间中边走动边观察巨大的肝脏内部。医师和护士们都有一种进入科幻世界中的神奇的感觉。有经验的医师说道:“看,这个地方静脉猛地扭曲了,记住这个角度。”年轻的医师在一旁大幅度地点头。

他们使用的是VR风险投资公司Holo Eyes(全息眼)开发的VR系统。呈现在虚拟空间中的三维画像,是使用计算机断层扫描设备(CT)拍摄下的数据制作而成的。如果同时购入头盔显示器及驱动头盔显示器的高性能电脑,需要花费20万~30万日元,这个价格在几千万日元或上亿日元价值的设备都不稀奇的医疗现场是很便宜的。

“手术的成功,不可或缺的是在手术前主刀医生和助手共享画面信息。”墨东医院肝胆胰外科主任医师春山泰治说道。操作控制杆展示需要动刀的位置和角度,在三维画像上用不同颜色打上标记来确认动刀的顺序。“通过平面画像来说明动刀的情形,无论如何都会与经验和想象力有一定的偏差。VR能修补这一偏差。”

全息眼公司的首席运营官、外科医生的杉本真树强调说:“虚拟空间中,用自己的脚走路,对于确认三维画像的效果非常好。”在虚拟空间体验过的记忆,能够运用到紧张的正式手术中。杉本真树说道:“借手术室很困难,但这是重要的因素。”“要想使得VR体验更浓厚,事前‘炒热气氛’很重要。医师一旦穿上手术服走进手术室就仿佛开启了开关。在戴头盔显示器之前,先让他们做好体验VR的心理准备。”

杉本真树从事医疗上为患者拍片等相关工作已10年有余,是这个方面的专家。“有医疗知识和经验,又懂得技术的人才很少。”因此,杉本真树很自豪。他与通过游戏制作磨炼能力、想通过VR开辟新事业的谷口直嗣一起,在2016年成立了全息眼公司。两人是在推特上互发信息交流,觉得意气相投后结识的。杉本真树利用他的人脉,将系统运用到医疗现场,不断地接受反馈,不断地对系统进行改良。近来,冲着全息眼公司的名气前来咨询的医院多到踏破门槛,人气高到“有时候要回绝”的地步。

“在日本的医疗现场,会很频繁使用CT进行拍片。实际上,日本拥有世界第一的三维数据库,然而,这些宝贵的资源基本上没有被灵活运用,依旧处于沉睡状态。”杉本真树的目标是有效活用医疗用三维数据,VR是活用的手段之一,美国微软公司的复合现实设备“HoloLens”(全息透镜)也迫切需要系统开发。“如果能在世界范围内获取到各种各样的医疗用三维数据、与现在所患疾病极其相似的过去的数据,就可以在决定治疗方法等方面起到参考作用。”

“访问”设计中的新家

自由建筑师设计事务所正打算使用VR进行住宅设计体验:人们能够在虚拟空间中“访问”设计中的新家;能够确认从厨房能不能看到起居室,天花板是不是够高等方面;是一个不需要维护费,随便你怎么插手的全新的住宅展示场所。

2017年2月,该设计体验开始出现在与委托人的商谈中。“即使是设计人员,不亲自去现场,也会出现失败或者不周到的地方。”事业开发部部长长泽信说道。买房子,是人一生中不允许出现一次失败的事情,外行光看平面上精细地描绘出来的图纸,是没办法想象房子构造的。近年来,一般采用的方式是,使用计算机动画,在监视器上能够看到房子的构造,但是人无法通过小型设备上显示的画面检查细小的部位,没办法想象居住在里面的感觉。如果是VR的话,只要指定时间和场所,连从窗外射进来的阳光都能再现,可凭此来调整窗的大小和位置。

他们使用的是基于BIM(Building Information Modeling,建筑信息模型)的大公司欧特克(Autodesk)的“Revit”软件。Revit于2016年9月上市,被应用于VR,可以使用游戏制作引擎“Stingray”对数据进行详细的编辑和加工。长泽信与家具厂商、建材厂商合作,制作了将人们想放在新家里的沙发、桌子、窗棂在虚拟空间里再现,它们是与实际购买相结合的结构。通过这个结构,人们能够找到与居室完全符合的床,以及使客厅看起来气派的沙发,可以防止在搬家当天才发现床搬不进居室。

家具及建材的三维数据很少。虽然有些厂家正在抓紧制作商品的三维数据,但整体上数据还不多。不仅仅是住宅,对于办公室设计,他们也在认真地考虑使用同样的结构。如果使用VR购买家具变成理所当然的事,那么没有三维数据的厂家,其商品甚至连被选择的机会都没有。

“我想把自由建筑师的行动方式也改变。”说这话的长泽信给我们看了一张戴着头盔显示器的男性的照片。这是在美国设计事务所拍的照片,他用兴奋的口吻说:“这个事务所正在使用虚拟空间进行建筑设计。”就跟给办公室的每个人分配一台电脑一样,有可能有一天每人都会分配一台头盔显示器。“如果工作能在虚拟空间中做完,那么工作场所也可以不在事务所里。世界上已经有公司正在进行实践。”

在灾害对策和支援方面也能活用

开始使用VR进行灾害对策及支援的是电信运营商凯迪迪爱(KDDI)公司,使用VR进行灾害的模拟体验,学习紧急情况下适当的应对方法。灾害对策从“知识”转变到“体验”。首款软件是面向西日本旅客铁路开发的驾驶员训练软件,开发时间约为3个月,2017年4月起依次导入。

该软件的施展舞台设定为纪伊半岛沿岸纪势本线“新宫站—串本站”之间约43千米的路程。根据和歌山县的调查,太平洋海面发生“南海海沟巨大地震”时,高约10米的海啸会在4分钟之内到达位于纪伊半岛最南端的串本町,预测最大海啸浪高为17米。

在纪势本线车辆上安装10台特殊相机拍摄沿线风景,像素约为Full HD(全高清)的20倍、4K的5倍,也就是相当于9K的像素拍摄下来的360度影像;每秒显示帧数(帧率)为60,相当于电视节目的2倍。因为影像播放很流畅,所以不容易引起“晕VR”。它需要用到宏达国际电子公司出售的“VIVE”。为了配合搭载的两块分辨率为1200×1080的有机发光电子板,拍摄下来的影像被编辑成6K影像。在开发过程中,使用8K时帧率会下降到30,与该条件下生成的影像进行比较验证。“6K的话,驾驶员能够清楚地识别标志上的文字。”商务物联网企划部主任前田里美说道,出于这个原因,他们选择了6K和60帧率。

训练领域正是关键所在

戴上VIVE眼前就是驾驶席。右侧显示的是,根据海啸时用颜色表示预测出来的浸水深度的“浸水区域地图”,能在地图上确认即时的行驶地点。面向前方,视线上方会有蓝色的网格线不断地上下浮动,将浸水深度的预测可视化,车辆整体浸没于水中的情况一目了然。

现在开始正式的训练。令人不愉快的警笛声突然响起来,表明发生大地震了。这时,体验者要在地图上确认到最近车站的距离及所在位置的地形,然后利用手边的控制器来加速赶往最近的车站,并判断中途是否需要紧急停止。

以前,也有指挥官和驾驶员观看电视影像,确认如何应对灾害的训练。但是,这种方法只能看到画面上显示的情形。如果是能够看到360度的影像,就能再现从驾驶席的视角看到的建筑物和道路。实际上凯迪迪爱公司在做测试时,驾驶员就高度评价道:“甚至能看到灾害现场的情形。”训练之后能说出目标物体,在进行讨论的时候也能更加具体。

凯迪迪爱公司投资并推广使用纸箱制成的简易装置来进行VR体验的盒子眼镜,制作相隔两地的人能够进入同一个虚拟空间进行交流的体验内容,积极地发展VR业务。在灾害对策支援的计划中,集结了公司内部有VR知识的人才不断地进行讨论。

在未来将会探讨再增加一些功能,比如将能够计算心跳数的可穿戴终端运用于监管训练中的驾驶员的精神状态、按照恰当的顺序对追踪视线进行安全确认。目标对象不仅仅是天灾,还有工伤,我们也考虑制作模拟工厂内发生工伤事故的体验内容。

也有相关人员将这些训练领域视为VR的关键。很少有人在一生中会经历多次大地震或者海啸。为了应对不知道什么时候会到来的“万一”而进行灾害对策训练,但是无论积累多少知识、重复多少次印象训练,真正发生灾难的那一刻的体验,才是“初次体验”,这一点是不会改变的。

如果运用VR的话,在一生中只能体验一次的事情就可以体验很多次。在不允许失败的那一天到来之前,可以用VR失败很多次。不是去了解去看,而是去体验。这是很大的一个变化。

2 将超精细和超高速应答做到极致

VR才有的超精细

VR是发展中的技术。索尼互动娱乐公司的PSVR及美国虚拟现实公司的“Rift”不是完成形态。

日本显示器公司(JDI)开发了应用于VR的入侵防御系统(IPS)液晶嵌板,2016年12月开始出售样品,远超智能手机的超精细影像及VR必不可缺的高速应答是其卖点。影像的高精细化是VR需要解决的课题之一,对VR等于有机发光电子板这一常识发起了挑战。

“长期以来,日本显示器公司给人较深的印象是从事智能手机相关的公司,将来日本显示器公司会在智能手机以外的领域也不断地成长。”2017年1月25日,日本显示器公司在东京新桥举办了技术展示会。有贺修二总裁列举的与车载、航空、医疗并列的重点领域是VR。

应用于VR上的液晶是日本显示器公司擅长的LTPS(低温多晶硅)液晶——3.42英寸的小型嵌板,分辨率是1440×1700。一部头盔显示器每块镜片搭载一枚,共计两枚。使用两枚嵌板对应因人而异的瞳孔间距离,这是虚拟现实公司及宏达国际电子公司等企业所采用的方法。

这两枚嵌板精细度超高。每英寸像素(ppi)为651。即使是普遍应用于智能手机的5英寸全高清(1920×1080)的每英寸像素也才只有441,两相对比就知道它的像素有多高了。PSVR的像素还不到400。

每英寸像素达到400~500时,人们的裸眼就识别不出区别。但是,头盔显示器的结构是人们通过透镜观看被放大的置于眼前的嵌板,因此,即使是普通高精细的嵌板画面,也会变得粗糙。追求每英寸像素超过600的超精细嵌板就是出于这个原因。执行董事永冈一孝说:“现阶段需要这么高精细度的领域也就只有VR了。反过来说,没有VR也就实现不了这样的嵌板。”

现阶段头盔显示器一般使用有机发光电子板,瞬间切换画面的高速回应速度是其长处。液晶的回应速度为十几毫秒,影像的速度跟不上头部运动的速度,影像就会模糊。影像模糊会使VR体验的舒适度大打折扣,成为“晕VR”的原因。

出于这个原因,在开发中途,PSVR与Rift也被液晶替换成有机发光电子板。从此,人们对于VR的印象就是有机发光电子板了。

以毫秒为单位的战斗

现阶段,制作中小型有机发光电子板的企业只有韩国三星电子公司。这种可以称为生命线的显示器被一家公司握于手中,在这种状态下,与其相关的人员感觉到了危机。有机发光电子板似乎即将应用于苹果智能手机,由此会带来紧张的供需关系,让人担忧。也有人认为,“三星优先供给智能手机,会阻碍VR生产”。正因如此,人们对于日本显示器公司的超精细液晶抱有很大的期待。

日本显示器公司的VR专用入侵防御系统黑白液晶,回应速度控制在3毫秒以下。从组成开始仔细推敲液晶素材,连薄膜晶体管与配线的设计也变更了。永冈一孝骄傲地说:“正因为日本显示器公司非常了解低温多晶硅,所以才能将之变为现实。”

当然,液晶是达不到有机发光电子板1毫秒以下的回应速度的。即使如此,据说,“只要明确了厂家的要求就没有问题。在商谈时,厂家也会注意精细度的高低”。厂家在意的是系统整体发生的延迟。研究表明,延迟超过20毫秒人们就会感觉到异样,所以PSVR的延迟控制在18毫秒以内。回应速度为十几毫秒的液晶产生了接近20毫秒的延迟。而日本显示器公司的VR专用液晶回应速度为3毫秒,最慢是五六毫秒,这个速度是在厂家允许的范围内。

如果能用回应速度来明确要求水准的话,接下来就是靠精细度来决胜负了。有机发光电子板很难实现超精细,如果要以精细度取胜的话,液晶就有很大的优点。更甚者,永冈一孝说:“液晶造价比有机发光电子板便宜。”在精细度和造价上都有优势的话,商谈也能更进一步。“我们已经开始接受订单了,希望2017年秋,搭载了VR专用液晶的头盔显示器也能在市面上销售。”

永冈一孝的目标更加高远,努力消除现实与虚拟空间的分界线。在索尼公司从事VR开发的高桥泰生说:“要在2017年内销售超过每英寸像素800的嵌板。我个人的目标是在年内实现1000。我们的目标是进一步提高精细度。我们已看清了前方的道路。”对此他很自信。

每英寸像素1000是3.3型,分辨率为2160×2440,再生速度估计为120,回应速度也会进一步提高。开发团队也在讨论使用塑料基板,产品规划图上规划的是2019年开始量产。

永冈一孝感兴趣的是总承包型的商务。所谓Turn key就是“转动钥匙就能使用”。如果把日本显示器公司的超高精细液晶及配合液晶制作的最合适的透镜和软件配套起来一次性出售的话,头盔显示器进入市场的壁垒就能下降,并且会产生相应的需求。永冈一孝指出,甚至还会进一步形成“要想发挥超高精细显示器的价值,必须要有透镜”的关系。显示器是头盔显示器的核心部件。日本显示器公司的超高精细液晶将会起到牵引作用,使VR系统整体技术革新进一步向前发展成为可能。

3 追逐视线

在学术领域磨炼出来的技术

如果有感应视线的功能,就可以用目光操作游戏,也可以将广告刊登在容易吸引视线的地方,诸如此类VR促使各个领域都在进化。以往的视线感知主要用于学术及市场,VR作为全新的用途不断地吸引人们的目光。

世界上最大的感应机器公司是瑞典的拓比科技公司。东京五反田的日本事务所里有试验性地搭载了视线感知功能的美国虚拟现实公司的“Rift”及宏达国际电子公司的“VIVE”。两者都是用切削工具在设备上打孔,植入必需的电线改造而成。他们没有等市面上出现头盔显示器导入视线感知技术的先例再动手,而是由公司内部的工程师手工改造。

拓比科技公司的日本代表蜂巢健一说:“2016年中下旬开始,VR上必须有视线感知功能,这一势头正在增加。”

现阶段的头盔显示器能感应出人脸的朝向,但是暂时还做不到感应视线。但是很多时候人们都是头不动,仅仅移动视线去看物体。就如“眉目传情”这个词所示,眼神才是表达人真正内心的介质。

拓比公司的技术是详细地检测视线的位置。使用X、Y、Z三维手段识别空间,能检测出来的不仅仅是视线的方向,甚至连视线看向的是重叠目标物体的正面还是反面——这种视线的深度,都能检测出来。

●视线感知的VR应用事例

检测使用的是角膜反射法。当红外线射到眼球上时会发生反射。在眼球周围分布相机来捕捉一个固定的反射点及“骨碌碌”转动的瞳孔。用这种方式获得两个位置之间的关系,并用独特的算法计算、追踪视线。

角膜反射法是最近视线感知最普遍的方法。顺便说一下,销售眼镜的睛姿眼镜店也在智能眼镜上搭载了视线感知,但是所采用的是眼电位法。眼电位法是利用比角膜反射法便宜的系统来感应视线,但是它的精度稍逊色。凭借学术用途等推广开来的拓比公司的视线感知,在精度上是无人能及的,所以市面上都会选择用角膜反射方法。

但是,仅仅依靠角膜反射是不足以在竞争中脱颖而出的。拓比公司还在不断地进行改善,在瞬息之间识别被实验者的黑眼珠或白眼球,选择与事先保存好的眼球模型最相近的模型,配合大小形状千差万别的人眼不断修正计算结果。眼球模型的详细信息是竞争力的源泉,即使是蜂巢公司也说“详情我并不知晓”。

企业并购正在加速

VR与视线感知这个组合值得人期待。

比如说,通过视线来输入信息。出现在画面上的选项可以用视线来选择。如果只是选择选项这个操作的话,视线会比选择使用控制杆的速度更快,也更简单。游戏中的角色感应到体验者的视线后,眼神躲闪这种功能也会变成可能。在VR体验中会出现全新的紧张感。

分析人们的视线主要看向画面的哪个地方,以此来提高透视图(描绘)的效率,也受到了人们的关注。人能清楚看清颜色和形状的仅仅是视线的中心部分,仅占视线整体的5%。利用这一信息,将视线中心视野部分用高分辨率描绘出来,但用低分辨率描绘周围部分的研究仍在进行中。

这种手法被称为“中心渲染”,能更有效地使用计算机有限的能力。如果要把虚拟空间所有的内容都用4K分辨率来描绘,就需要相当高的运算能力;但是运用“中心渲染”的话,只要把中心视野设定为4K、周围设定为2K,按照这种分区域分别设置的方式进行研究,不久的将来就能进行实质上的4K VR体验。

在视线感知的技术与VR融合这一课题中,深度上的精度问题被列举了出来。VR空间也有深度。现阶段的精度还不能充分追踪体验者的视线。

成本问题也不能忽视。拓比公司于2016年年初出售的主要应用于学术用途的眼镜型视线感知设备“玻璃2”,价格高达230万日元。有必要分析清楚VR的要求性能,锁定其功能及零部件。

拓比公司与好几家VR机器厂商合作,隐秘地进行开发活动。蜂巢公司对于搭载了视线感知功能的头盔显示器的上市时间守口如瓶,但是也会在早期透露给大众“时间不会太晚”这一信息。2015年与瑞士的星风(Star Breeze)公司合作开发搭载视线感知的头盔显示器,“新闻稿只是公开了拓比公司与星风公司的合作关系,其内部还包含很多项目”。

视线感知与VR的融合刻不容缓。虚拟现实公司收购了视线感知技术风险投资公司——丹麦的眼部落(Eyetribe),谷歌公司收购了美国眼魔(Eyefluence)公司。像这些有能力的企业也准备推出视线感知搭载型设备。科洛普尔公司及台湾鸿海公司出资成立的日本研发风险投资公司FOVR(位于加利福尼亚州)已经努力实现了产品化,并预计于2017年2月开始出货。下一个时代围绕VR的变化已经不紧不慢地开始了。

4 VR引领的5G的胎动

2017年2月,在西班牙巴塞罗那举办的世界移动通信大会上明确公开了关于5G的消息。日本电报电话都科摩(NTT DOCOMO)公司总裁吉泽和弘明确表示:“于2019年开始投资5G。”

“日本电报电话都科摩公司什么时候实现5G的实用化?”很多VR相关人员都关注着都科摩公司的一举一动。体育转播及音乐现场等实时播放的节目被视为有望实现VR化的领域,不同类型的参与企业都在开发相关服务。但是,要实现这一展望,远超现在4G规格的高速通信网络是必不可少的。

通信规格从模拟方式的第一代移动通信技术(1G)开始,每提升一代,都经历了大约10年的不断地进化的周期。由此,现在的4G也历经10年才实现实用化,那么下一代的5G实现实用化的目标就可定格在“东京奥林匹克残奥会”举办的2020年。可以说,5G的通信速度将会是4G的10~100倍。都科摩公司已经跟松下公司等企业开始了共同实验,凯迪迪爱公司与芬兰的通信机器大型企业诺基亚公司也合作进行技术开发,美国、韩国、中国等国家的目标也是提前实现商用化。

5G的频率范围等国际规格按照2017年年末至2018年年初策划规定的那样,虽然规格不同,但是在设备方面可以使用现在4G LTE(Long Term Evolution,通用移动通信技术的长期演进)的一部分设备。迄今为止,都科摩公司为4G投入了200亿日元的资金,然而吉泽和弘说:“开发5G投资额,会控制在低于4G的投资额。”

通信规格的提升一直受需求方牵引。4G也是因为以优兔网站为首,能用手机观看视频的服务一个接一个地问世,用户开始追求使用移动手机能够顺畅地观看视频的视听环境而诞生的。从4G向5G发展,牵引这个变化的有物联网,也有人工智能、自动驾驶,以及VR。我们可以认为,5G时代将是与下一代登场的技术融合的时代。

都科摩公司在2017年5月构筑可以使用5G高速通信的试行环境“5G试用网络”,在这个环境下可以享受每秒超过10吉(Gb)的高速通信。东武铁道公司计划使用VR进行东京天空树等景点的观光导游及现场影像的发布。用5G进行VR体验会展现出什么样的进化情况呢?

目前,已经有结构可以基于现有基础设施在一盏茶的时间内传送VR内容。

2017年3月,有线电视的主力——东京有线电视网与开发软件的苦无(KUNAI)公司等5家企业成功完成使用有线电视网传送VR视频的实验。实验中,他们活用通过播放电波传送大容量数据的“IPDC”(基于网际互连协议的数据广播)技术,使用不在播放节目的列车通信网络(TCN)电缆的无线传输系统(Wi-Fi),将手机安装在护目镜型的机器上然后戴在头上观看VR视频。视频内容有2K画质的浜松城的VR视频和360度现场直播影像两种。

如果通过网络传送大容量VR视频,就有可能产生很多终端连接到服务器导致播放速度降低的情况。如果使用有线电视网的广播方式,就可以不受接收终端限制顺畅地播放VR视频。在有线电视接收机之外还会受Wi-Fi式样的影响,但是在几口人一起生活的普通家庭应该是没有问题的。接下来,还会进行4K等更加精细的VR内容的传输实验,有可能通过VR观看棒球或足球的现场转播会比预期更早实现。