4.1.1 影视语篇的多模态话语分析
4.1.1.1 多模态话语分析的采用
信息检索是一门交叉学科，与语言学存在密切的关系。一般说来，在文本信息检索中运用得比较多的是词法和句法方面的知识，例如截词检索、字符屏蔽等。而在多媒体信息检索中，则迫切需要一种科学的方法来描述多媒体信息中所蕴含的语义内容（赵丹群，2008）。
目前，人们已经开始认识到了多模态话语分析的重要作用。与其他的语言学理论相比，多模态话语分析的研究对象不但包括语言，而且包括图像、声音、颜色、动漫等其他意义表现形式。在研究方法上，它充分运用了人类的不同感知能力，从视觉、听觉等不同的模态出发来刻画多模态语篇的特征和内容。
多模态话语分析的理论基础之一是系统功能语言学。从系统功能语言学中，多模态话语分析接受了一个重要的观点：语言是一个符号系统和意义潜势；语言以外的符号也是意义的源泉。此外，还接受了纯理功能假说，认为多模态话语也同时具有概念功能、人际功能和语篇功能（朱永生，2007）。
4.1.1.2 影视语篇的界定
在Baldry等人的研究中，影视语篇既包括正片、纪录片、卡通片等各种影片，也包括新闻、体育节目和广告。此外，还包括讲座、聚会、婚庆等录像。总之，包括各种媒体中出现的不同类型的视频文件。
影视语篇是一种典型的多模态语篇，包含了语言、声音、图像、手势、音乐等不同的符号系统。这些符号系统构成了不同的语义资源，组合起来共同表达语篇的整个意义。与图像相比，影视语篇更加具有动态性：镜头以一定的速度展开，展示了多种不断变化的语义资源。同时，它也更加具有互动性。在某些直播节目中，听众可以通过电话向主持人提问或对节目作出评价。
然而，影视语篇与非影视语篇并非泾渭分明。以网页为例，它就同时具有影视语篇和非影视语篇的某些特点。此外，一些原本静止的卡通人物、动物和物体，只要用鼠标进行点击，就会活动起来。因此，MCA原则上也能对一些非影视语篇进行检索。
4.1.1.3 帧的语义描述
Anthony Baldry运用Hasan的意义潜势理论（Halliday和Hasan，1985/1989），尤其是Gregory（2002）的阶段-转移理论，对影视语篇进行了分析和研究。在他们的研究中，一个重要的概念是帧（phase）。帧是一个语义表达单位，由语言、声音、运动、手势、目光等不同的资源构成。他们基于功能语法的三元功能理论，从概念功能、人际功能和语篇功能的角度分析了这些不同资源在帧中的交互作用。
同时，帧也是一个动作单位，与某个具体的动作有关，例如行走、说话或睡觉。不同的帧可以组合起来，构成一个更加复杂的帧。因此，帧具有不同的类型和结构。因为帧体现了影视语篇的语义过程和语义结构，在此基础上，就可以进一步研究影视语篇的语类结构，从而把握这类语篇的凸显特征。