与本研究相关的国内外研究综述
本研究以虚拟现实为技术基础，以数字影像为研究载体，通过对沉浸感等用户体验的实验与分析，探讨虚拟现实语境下数字影像交互设计的准则与评价办法。因此，涉及的研究包括虚拟现实技术层面、数字影像创作层面、沉浸感等相关理论以及人机交互等方面的专题或综合研究。
一、虚拟现实技术的相关研究
虚拟现实是本研究的技术基础。虚拟现实的呈现方式是多源信息融合的三维动态视景，它要求参与者主动进行交互，在体验的过程中，能够使参与者不再依靠自身所处的现实环境，而是在设备呈现的虚拟环境中进行数字内容的体验。因此，对于虚拟现实技术本身的研究分为以技术标准为核心的硬件方向、以图形学和分布算法等研究为代表的软件方向。其技术特征主要涵盖三方面：真实环境与虚拟空间的混合、实时交互、三维空间定位。
虚拟现实技术自萌芽以来，全球范围内有大量研究对推动技术的发展与完善作出了不懈努力。据统计，以虚拟现实技术为主要研究内容的国际会议IEEE VR（IEEE Virtual Reality Conference）自1993年举办以来，共发表相关论文461篇，内容包括计算机视觉、增强现实、增强虚拟、虚拟现实等。[2]此外，众多期刊也发表了以虚拟现实技术为研究对象的论文。如2007年，安德鲁·琼斯（Andrew Jones）、伊恩·麦克道尔（Ian McDowall）、马克·博拉斯（Mark Bolas）、保罗·德贝维奇（Paul Debevec）等发表的Rendering for an Interactive 360° Light Field Display[3]，描述了一组能够同时进行多个观众互动的立体光场显示技术。该显示器包括一个高速视频投影机、一个旋转的反射镜。通过全息扩散器和FPGA电路解码后呈现的DVI视频信号，该显示器使用标准的可编程图形卡渲染超过5000图像每秒交互式3D图形，能投影360度的视野，并能保持每秒20次的刷新频率。在研究中，作者描述了系统的几何投影与其在校准过程中运用的多中心投影渲染技术，该技术能够从任意视点都获得正确透视的图像。该技术介于造价昂贵且显示受限的CAVE技术与当下流行的头盔显示器之间，力图在减少对参与者身体进行干扰（如穿戴式设备对人体产生的压力与不适感）的情况下，实现虚拟现实环境的搭建与交互功能。马克·卡瓦扎（Marc Cavazza）等人对探索复杂的用户交互虚拟现实艺术装置进行了研究，从艺术与科学相结合的角度描述了一个支持复杂交互的虚拟现实平台。该系统是基于一个CAVE般身临其境的显示使用的游戏引擎，支持可视化和互动，尤其是立体可视化与实时跟踪。研究开发的游戏引擎能够使用依赖于以事件为基础的函数来替代真实的物理定律。[4]
在国内，对于虚拟现实技术的研究与国际一流水准尚存在差距，但一直没有停止探索的脚步。赵沁平院士在2009年对虚拟现实的全过程进行了分析，在此基础上提出了不同类型的虚拟现实问题和一种理论表达式，并对虚拟现实领域中的三类科学技术问题进行了归纳。同时还分析了在虚拟现实建模方法等方面的研究成果和发展趋势，虚拟现实显示技术、人机交互设备、虚拟现实开发套件和配套基础设施，以及虚拟现实技术的应用，并提出了需要进一步研究和解决的理论和技术问题。[5]杨帆等研究者在2016年设计并实现了针对头盔显示器的全景视频播放加密系统。该设计使用了加密算法，在全景视频中以帧为单位，对图片帧进行加密，同时对加密后的图片帧进行分割和重组，重新压缩成全景视频。播放时，这种带有加密的影片在解码过程中需要多线程并行解码，以提高解码速度，保证帧频。该系统能够在不造成参与者眩晕的前提下完成对影片的加密和解密，或可成为近期对虚拟现实内容进行保护的有效手段。[6]周宁宁等人在回顾了虚拟现实技术发展的基础上，关注新的图像处理技术的虚拟现实系统和虚拟环境设计，并基于对虚拟现实系统的相关调查，提出了对沉浸式虚拟现实影像的深入理解。在研究中，他们根据“虚拟”与“现实”的语义，分析了虚拟现实系统的结构和功能，并以三维显示作为身临其境的介质，确定了虚拟环境建设的关键问题。[7]
二、数字影像艺术的相关研究
影像艺术经过百余年发展，已经有了成型的理论与创作体系，数字技术的发展对影像艺术既有推动也有颠覆。在不断的破立循环与探索中，国内外研究者对于数字影像当下的发展有着各自的关注与研究。
在众多研究中，有着不同的见解与观点。许多研究者认为数字技术——如万维网、虚拟现实和计算机图形学因其新技术的特点，必须脱离此前的媒介体系并建立新的审美与范式。而杰伊·博尔特（Jay Bolter）和理查德·克鲁辛（Richard Grusin）则在其合著的Remediation：Understanding New Media中提出了与此不同的理论。他们认为，新的视觉媒介（如虚拟现实）要实现其审美与文化意义，恰恰需要接纳并重构之前的各种视觉媒体，包括绘画、摄影、电影、电视等。他们称这种重构为“remediation”。他们列举了多个“新媒介”对“旧媒介”的重构：摄影重构了绘画，电影重构了舞台剧与摄影，电视重构了电影、综艺表演和广播，等等。科技的发展让我们从不同的角度重新理解与接纳原本不相通的艺术与媒介，并通过新的技术手段将其重构，包括虚拟现实在内的所有新媒介都是如此。书中提出了两个概念：非媒介化（Immediacy）与超媒介化（Hypermediacy），这成为数字影像研究领域公认的理论基础之一。[8]后现代影像叙事研究者列夫·曼诺维奇（Lev Manovich）也对数字影像的基本特征作出论断，认为“媒介的可编程化”是数字影像的重要特征之一。[9]杰奎琳·莫里（Jacquelyn Morie）研究了当代数字艺术家的真实工作，以及利用在互联网虚拟世界领域的新形式进行艺术创作的可能性，比如基于参与者自身而在网络虚拟世界Second Life进行艺术创作。当下，Second Life发布的新概念和新形式的艺术作品甚至超越了传统的艺术形式，艺术家作为参与者可以在其中创造真实世界中不可能创造的作品，Second Life已经超越了虚拟游戏的概念，成为新的数字艺术载体。[10]
国内学者对于虚拟现实语境下的数字影像研究也有很多成果。兰岳云认为，数字技术的进步对影像来说具有革命性的影响，无论是影像遵循的视听语言、影像依赖的表现形态还是影像在美学上的本质。以虚拟现实为代表的数字技术的发展甚至已经动摇了百余年来建立的牢不可破的电影纪实美学及其真实性原则，而影像的假定性美学成了当下数字影像发展的趋势：影像的叙事、题材、技术与体验都有了质的飞跃，这种飞跃使影像的发展进入了全新的阶段。[11]而郝巍东认为，数字影像发展至21世纪的第二个十年，虚拟现实技术在影像的各个领域的不断渗入已经成为必然。虚拟现实因其在真实感表达方面的优势而被众多纪录片导演所青睐，该领域已经出现了全新的、适合于虚拟现实表现的叙事方式与视听语言。在交互叙事、“第一人称”视角、真实性再现等方面，虚拟现实为参与者提供了与以往经验全然不同的体验，虚拟现实技术的发展及其应用推动了数字影像的创作。[12]
三、与沉浸感相关的研究
沉浸是一种全神贯注于当下所实施行为的状态。对于电影来说，沉浸是使观众忘记现实生活而在电影营造的虚拟情境中获得满足与愉悦，甚至近乎梦境的状态。在虚拟现实语境下的数字影像作品中，沉浸同样是参与者的最佳体验。
20世纪70年代，心理学家米哈里·齐克森米哈（Mihaly Csikszentmihalyi）在其著作Flow：The Psychology of Optimal Experience中提出了Flow的概念，被译为“心流”。他认为，人处于“心流”状态时是最快乐的。此时人被当前的活动吸引了全部的注意力，身外之事都变得无关紧要，不仅是对外界干扰不为所动，甚至对于自身生理的需求，如饥饿感、时间感、自我意识等都难以察觉，人会保持最大限度的专注来参与活动直至完成。而这些能够使人达到“心流”状态的活动，对于不同的人来说，因为自身知识水平与能力的差异，可能是完全不同的。即使是相同的活动，也会有难度的差异，并非千人一面。概括来说，参与者的技能与挑战的难度存在动态的平衡点。当挑战难度低于参与者水平时，参与者会感觉无聊乏味；而挑战难度过大又会使参与者受挫焦虑望而却步。只有难度适当的挑战可以使参与者发挥出自身技艺的最高水平，并因此在完成挑战时获得最大的快感。齐克森米哈认为，带有强交互的游戏是最容易获得“心流”状态的活动。1992年，琳达·屈维诺（Linda Trevino）与简·韦伯斯特（Jane Webster）发展了齐克森米哈的“心流”概念，提出了Flow Theory，即“心流理论”。该理论认为，“心流”是一个持续变量，从无“心流”到达到最佳的“心流”状态是可以持续变化的。在“心流”状态下，参与者会重复因为自身参与有趣的活动而感受到自我激励，获得快感。可见，“心流”状态的核心是参与者技能与挑战难度的匹配。除了“心流”状态之外，理论还根据技能与挑战对比的状态，定义了其他七个状态：淡漠、乏味、放松、可控、激励、焦虑、担心等。奥利弗·格劳（Oliver Grau）在其著作Virtual Art from Illusion to Immersion中表示，沉浸是精神状态的一种过程，从非沉浸状态到沉浸状态，人的精神状态是在发展、变化和逐渐过渡的。沉浸不仅仅是一种体验，更是参与者在活动中对最佳体验的寻找和探索。要获得沉浸感，参与者往往以将自身完全融入一种幻象或虚拟世界为目标。这些虚拟世界或有不同，但都要与参与者所处的真实世界相分离。
同时，我国学者在对“沉浸”相关理论的实用性研究上也有很多探索。李沁等从沉浸传播的角度研究，认为在沉浸传播时代，媒介不再仅仅是某一个或某一类对象，而是整个社会、人所处的环境，甚至人类本身都将成为媒介，构建出新的独特的传播模式，从而改变人们的生产和生活方式。[13]马颖峰等在研究中对“心流”理论中“挑战—技能”平衡关系进行了分析，结合对教育游戏中参与者的技能构成分析，提出了新的难度控制策略，即针对不同参与者技能，自动适应并动态调控游戏难度，从而达到使所有参与者都能进入沉浸状态的目标。[14]靳晶在博士论文中着重研究了“沉浸式”全景电影的叙事及镜头语言，从理论与实践两个方面来探讨创作中可以采用的方式方法，借助沉浸相关理论提出了“沉浸式”全景电影的构建要素，从视觉、行为、心理等方面分析类型片中的沉浸特征；通过叙事学角度分析类型电影影像的话语特色、参与者视点的功能、叙事基本结构等问题，提出了完全沉浸与局部沉浸相结合的叙事理论；在时间上通过改编、体验和测试等方法对理论进行了实验。[15]
四、交互设计相关研究
人机之间的交互是虚拟现实语境下数字影像作品的重要特征，如今，交互设计在国内外各领域已出现很多理论研究与应用研究。
艾伦·迪克斯（Alan Dix）等人在Human-Computer Interaction中梳理了人机交互的历史以及最近的发展与未来走向。归根结底，人机交互是人对机器的可控性与机器自身智能性的权衡。在交互设计方面，艾伦·库珀（Alan Cooper）等所著的About Face从有效和实用的工具入手，探讨对于桌面应用程序、Web 2.0网站和移动设备来说，优秀的人机交互界面的设计准则。其中提出的产品行为原则、目标导向设计方法，在开展用户研究、确定产品使用人物角色和场景等方面有着独到的经验。
国内在移动设备大发展的几年中，业界与学界保持着旺盛的热情，迅速学习与实践了众多交互设计理论，并在各自领域提出和验证了众多交互设计研究。孙效华等通过对可穿戴设备的交互方式进行研究，发现当可穿戴设备从实验室走向市场时，基于硬件的产品功能的关注逐渐被基于用户的应用与服务所取代。加之多平台联动的要求，使得可穿戴设备的进一步发展必须更加注重交互设计。研究者从人机交互设计、界面设计、应用服务设计等三方面分析可穿戴设备的交互设计，用以回应对交互设计提出的不同于传统设备的新挑战。[16]李萌的博士论文对体感设备Kinect进行研究，以沉浸式森林景观展示为对象，建立了结合现代林业装备、认知心理学、自然交互设备以及人机工程学的森林景观展示综合评价指标体系。研究通过对人机交互的设计，带给了参与者全新的交互体验与感官享受，在舒适性与易用性方面作出了有意义的研究与尝试。[17]