3.1.7 深度语言分析评价

3.1.7 深度语言分析评价

要深入评价译文质量,首要是对译文进行较多的语法或语义层面的分析,因此深度语言分析的评价方法从句法结构(syntactic structure)、重述、近义(synonym)、文本蕴涵(textual entailment)等语言方面的深入分析入手,基于多种分析结果计算待评译文和参考译文的相似度(Popović & Ney,2009;Padóet al.,2009;He et al.,2010;Giménez & Màrquez,2010)。由于需要对译文做较深层的分析和处理,评价的预处理代价很高。

句法结构分析方面主要研究的译文语言特征包括:(1)单词词性序列的相似度:即词性的n-gram的相似度,可以直接借用BLEU中词汇n-gram的算法实现,也可以分别计算POS的n-gram的准确率、召回率和F值,或者综合词和词性的序列,计算待评译文和参考译文的相似情况。(2)句子依存结构的相似度:即上一节介绍的基于依存关系的n-gram等。

文本蕴含被定义为两个句子之间的关系,这种关系可以让人从一个句子的成立推测出另一个句子也是成立的(Dagan et al.,2005)。例如参考译文为:

No one was infected by the virus.

而待评的译文如果为:

The virus did not infect anybody.

两个句子存在着蕴含关系,从参考译文可以推测出待评译文的含义也是正确的。

Padó et al.(2009)提出的RTE(Recognizing Textual Entailment)评测方法研究了译文质量评价中的文本蕴含特征。这些特征反映出译文在语义不变的情况下允许的语言形式的变化,包括词汇级别的同义词、结构层面的词汇和短语的替换等。蕴含特征从评测译文和参考译文的句子依存分析结果中提取。蕴含特征采取了MacCartney & Manning(2008)的分析步骤,共设计了七种蕴含关系,具体包括:

· 相等关系:如couch = sofa

· 前向蕴含关系:如crow∩bird

· 后向蕴含关系:如European∩French

· 否定或排他关系:如human^non-human

· 替代或非完全排他关系:如cat|dog

· 交叠关系:如animal nonhuman

· 独立关系:不属于上述六种关系的都列为独立,如hungry ≠ hippo

蕴含关系可以表示句子之间的关系,也可以表示普通和专有名词之间、及物和不及物动词之间、形容词之间、量词之间的关系。蕴含关系通过投射函数(projection)得到。投射可以组合不同的表达形式。根据句子结构成分树从叶节点到根结点逐层向上投射蕴含关系。因此,分析系统的实现步骤是:

(1)语言分析:即完成句子的词汇分析和句法结构分析,并对单词和短语结构标注投射标记(projectivity marking)。

(2)两个句子的对齐分析:通过词汇和短语的对齐,得到句子之间差别的编辑类型,共四种:从原句中删去的内容、参照句插入的内容、替换的内容和相匹配的内容。

(3)词汇的蕴含关系分类:通过一个分类器对每一种编辑类型的词汇预测一个可能的蕴含关系。

(4)蕴含映射:基于词汇蕴含关系组合得到原句和参照句的推理关系。

下面是文献中给出的一个具体蕴含关系分析的实例:

alt

其他基于对参考译文和待评译文的多种语言分析而做的深度翻译质量评价方法还有很多,如Asiya评价系统(Giménez & Màrquez,2010)等,读者可进一步研读相关文献了解基于深层语言分析的翻译评价的探索工作。