4.1.2 影视语篇的多模态转写方法与主要标注工具

4.1.2 影视语篇的多模态转写方法与主要标注工具

4.1.2.1 两种基本的多模态转写方法

从系统功能语法的角度来说,转写就是对影视语篇语义表达过程的处理。Baldry借用生物学上的两个术语“In Vitro”(在生物体外进行的过程)与“In Vivo”(在生物体内进行的过程),来比喻两种不同的多模态语篇的转写方法——体外法和体内法。

体外法是一种静态的多模态标注方法。基本思想是把一部影视分割为不同的帧,然后采用不同的方法把它们重构起来。这是一种灵活、实用的标注方法,但是它需要对影视语篇进行切割,因此会带来语义表达资源和过程方面的损失。

而体内法则允许使用者直接标注影视语篇,并随后观察和比较所有具有相同标注的序列。因此,它是一种活语篇分析方法:观察、比较的不是一系列剧照,而是影视本身。体内法能够把标注集与影视片段联系起来,因此可以避免体外法的缺陷。

4.1.2.2 MCA的主要标注工具

在体外法和体内法的基础上,MCA以网页的形式提供了三个基本的标注工具:媒体索引(Media Indexing)、语法定义与选择(Grammar Definition and Selection)、序列分析(Sequence Analysis)。这些工具将影视语篇分割为不同的功能单位,并标注每个单位中不同的语义资源所激活的意义模式。

(1)媒体索引。媒体索引具有三个基本的功能:①把语篇分割为任何长度的序列。媒体索引既可以处理影视语篇,也可以处理非影视语篇。②为单个语篇及其组成部分命名。此后,可以进一步精确标注每一个序列的起始时间。③初步标记所属语篇类型。同一个影视语篇的序列可以归属一个或多个语义表达模块,从而进行不同的语法分析。

图4.1为一个汽车广告的媒体索引界面。在页面中,左侧主要为一组项目研究工具,包括Play Media(媒体播放器)、Grammar Selection(语法选择)、Media Indexing(媒体索引)、Task Definition(任务定义)、Sequence Analysis(序列分析)和Search(搜索)等。

图4.1 媒体索引界面(Baldry和Beltrami,2014:8)

右侧的上部为项目细节部分,包括Creation Date(项目创建时间)、Project Description(项目描述)等信息。中部为序列定义和管理工具,包括Add New(增添)、Save All(保存)、Clear All(清除)和Interactive(交互)四个功能。

右侧的下部为页面的主体。单个语篇序列与时间跨度由五个部分组成:Id(编号)、Name(名称)、Start(开始)、End(结束)和Media Player(媒体播放器)。每个语篇有一个不同的Id和Name。例如,第一个语篇序列的Id为1,Name为Text 1:Audi(a)。点击图标,就会在4中播放相应的片段。而Start和End则为播放的起始时间。

(2)语法定义与选择。由语法定义和语法选择两部分组成,表征了帧及其所体现的语义表达过程和语义表达结构。

图4.2为语法定义网页。左侧为语法,包括Descriptors(描写器)、Parameters(参数)和Labels(符号)。右侧上部分为描写器的一个层次结构。在本图中,共有五层。第一层为AD(广告)。第二层为CAR-to-CAR RELATIONSHIPS(车-车关系)。第三层分别为CAR TYPES(汽车类型)、CIRC(环境)和PRO(过程)。以PRO为例,又包含两个平行的第四层次:MATERIAL(物质)和RELATIONAL(关系)。它们各包含了第五个层次。例如,MATERIAL包含了三个帧:car drive phase(开车)、cars chasing cars(车追赶车)、special movements(特殊运动)。这些不同的层次结构可以根据描写精密度的需要而进行调整。右侧下部分为编辑工具,可以对Descriptors进行增加、修改或删除。

图4.3为语法选择网页。左侧有一个语法选择按钮。右侧展示了已选和待选的参数。其中,已选参数由高亮来表示,待选参数为非高亮部分。

图4.2 语法定义网页(Baldry和Beltrami,2014:10)

图4.3 语法选择网页(Baldry和Beltrami,2014:11)

(3)序列分析。序列分析的功能是对由媒体索引标注的序列集合与语法定义工具产生的描写参数或符号进行整合,从而为语法选择提供可能。同时,序列分析网页中还提供了各种形式的辅助材料,以供下载。这些材料的主要作用是下达各种任务、练习和解答,以供学习者课内或课外使用。

图4.4为序列分析网页。它有两个菜单,分别提供项目中所有的影视片段和附件。序列分析按钮实际上包含了一系列的描写参数,例如boyfriend(男朋友)、CAR STATION(汽车站)等。在描写参数部分,以字母顺序提供了项目所有的描写参数。其中,高亮部分显示该参数已被使用。标注区分为两个部分:上面为简单标注,下面为评论。右侧为更新键,保留所标注的结果。加减号的目的是为每一个描写参数显示或隐藏标注区域。

图4.4 序列分析网页(Baldry和Beltrami,2014:12)