翻译佛经语料库的规划与建设
国外语料库的开发通常包括五个阶段:规划、设计、选材、建库、标注,翻译佛经语料库也可以据此并结合翻译佛经的特点进行建设,具体包括以下步骤:
1.规划建设目标与建设规模
首先是确立翻译语料库建设的目标,决定语料库建设的方向。翻译佛经语料库主要服务于以下几方面的语言研究需要,包括本体研究和拓展研究:
(1)字频、词频统计
(2)词汇研究
(3)词典编纂
(4)词语库建设
(5)语义研究
(6)语法研究
(7)语音研究
(8)文字研究
(9)其他如翻译学、语言接触等研究
其次是确立翻译佛经语料库的类型和性质。从规模上看,翻译佛经语料库是一种中小型语料库;从语料的时间跨度上看,翻译佛经语料库是一种历时语料库;从用途上看,翻译佛经语料库主要用于古汉语研究;从类型上看,翻译佛经语料库属于专用型语料库。
研究者普遍认为,语料库的信息量越大越好;但语料库的规模究竟应该多大才能适应研究的需要?语料库的容量大小和信息客观性之间的关系究竟如何?这些都是值得研究的问题。张普曾指出:“随着语料规模的不断扩大,统计中的数据稀疏问题、垃圾语料带来的统计垃圾问题、汉语语料统计中的随着语料增长的垃圾泛滥问题等等也越来越严重。”[22]这种情况在翻译佛经语料库构建时恐怕也会碰到,因为翻译佛经中内容重复十分普遍,同经异译现象屡见不鲜,同一个故事在不同的上下文中反复叙述的情形也较常见,这种内容上的重复,会带来信息上的冗余。如“割肉贸鸽”这一故事先后在《六度集经》《菩萨本行经》《方广大庄严经》《大宝积经》等不同时期、不同部类的译经中出现,而内容则大同小异。诸如“如是我闻”这一类套语在译经中更是随处可见,这多多少少也会影响统计分析的结果。正如黄昌宁、李涓子指出的那样:“为了研究一种语言的词汇现象,尤其是想要对低频词现象做出充分描写,建大规模语料库是必要的。但是如果无法同大量检索出来的数据打交道,拥有越来越大的语料库也并非好事。即使一个语料库拥有海量的文本收集,如果设计不善,也不一定可以通过它对一种语言做出概括。从这个意义上说,一个巨型语料库不一定能比一个较小的语料库更能代表一种语言或者一个变体。”[23]
也有研究者指出,不同的研究目的,对语料的容量、内容比例、时间跨度、语体以及语料规范化程度的要求是不同的[24]。一般来说,如果为了字频、词频统计,词语库建设和编纂词典的需要,语料库的容量就要大一些,要一二千万字,标注可以简单一些;但如果为语法研究服务,则语料库的容量不必太大,有五百万到一千万字就够了,不过对标注系统要求高,对原始语料必须进行规范化预加工。
如果要兼顾这几方面的要求,我们可以规划建设甲、乙两个库,甲库字数多,规模大,但标注相对简单,以满足字频、词频统计和词典编纂、词语库建设的需要,这个库开发起来相对容易,只要在CBETA电子佛典的基础上,完善一些检索功能就可以实现。乙库则可以采用精选材、详标记、长跨度、深加工的方式进行建设;为了不断补充新材料,该库的建设还应采取半开放的方式。
这样的话,我们可以大致确定甲库以CBETA佛典为基础,规模在二亿字左右;而乙库宜在一千万字左右,也就是《大正藏》全部内容的七分之一左右[25]。
2.设计索引、校对及统计分析等软件
大中型语料库的建设,离不开一些工具软件。人工标注固然能保证语料库的可信性和准确度,但处理大中型语料库时,纯人工的方式就有些捉襟见肘了——例如《大正藏》有上千万字,若逐篇进行人工标注显然是不现实的。目前通行的做法是将人工处理和软件处理结合起来,这就需要一些工具软件,包括索引、标注、校对软件等。
(1)索引软件
王建新在《计算机语料库的建设与应用》“英汉索引软件应具备的功能”一节列举了索引软件应具备的几十种功能[26],根据研究需要,我们在此基础上进行优化整合,从词汇语法角度看,索引软件至少应具备以下功能:
1)提取单字(词)、复音词:如“佛”“众生”“腹拍”“尼师坛”等。
2)提取以一个字开头的不同词语:如“禅戒”“禅杖”“禅定”“禅室”等等。
3)提取以一个字结尾的不同词语:如“又复”“适复”“悉复”等。
4)确定某一结构所在的句
5)确定某一结构所在的段
6)确定某一结构所在的卷
如目前的CEBETA《电子佛典集成》具有上述4、5、6项三种提取功能。“何辜失国良干?太子慈悲默自念言:王失典尊,以为忧苦。今我宜往,谏于大王。无以彼丧而生忧苦。”检索结果为T01,No.1,《长阿含经》卷5,P31,c1—3,分别标示了藏名、册数、经号、经名卷数、页码、栏号行数等信息。
7)确定某一结构所在的取样
8)根据词性标注符号,提取相应词类
9)根据语法标注符号,提取语法结构
10)根据语篇标注符号,提取相应的语篇
11)同义词提取
12)反义词提取
13)可以调整关键词上下文字距(如上文20字,下文50字)
14)关键词的频次统计
(2)校对软件
语料库的校对软件,有录入文字校对软件、词性标注校对软件等等[27],其基本功能应具有:
1)自动计算和手工校对相结合的功能
2)词性校对规则与词性标注规则一致
3)能处理大规模文本
(3)统计软件
统计的使用并不是简单地计数,而是通过统计来搜集语言现象,发现语言规律。统计分析软件则要求具备如下功能:
1)字数统计,即可以对定义、选择的语料的总字数进行统计,可以按照一定的条件定义统计方式。
2)字频统计,除对关键字的频次进行统计外,还可以按照用户定义方式进行字频统计,如统计频率最高字、频率最低字等等。
3)词频统计,除对关键词语进行统计外,还可以按照用户定义方式进行字频统计,如统计频率最高词、频率最低词等等。
4)句数统计,对符合相应检索条件的句子进行数量统计。
5)句长统计,对符合相应句长的句子进行数量统计。
6)语篇统计,可以统计语篇的分类、构成、体式等信息。
7)作者统计,可以统计译者的数量、朝代等信息。
3.确定选材的原则
选材是保证语料库科学性和实用性的重要环节。从理论上讲,我们可以将所有翻译佛典全部选入语料库中,因为毕竟有了电子佛典这样的良好基础,但实际操作中,全部入库的难度太大,同时由于佛经翻译的种种复杂性,也难以保证文本的可信性。
我们认为,翻译佛经语料库建设中的选材,应遵循以下几方面的原则:
(1)语料的平衡性
选择怎样的文本入库才能使语料库更加合理、可信,其中语料的平衡性是非常重要的。这包括口语词与书面语词的平衡,方言与通用语的平衡,领域、体裁、话题、时代等方面同样也存在着一个平衡问题。
翻译佛经属于传世的汉语书面语文献,因此语料的平衡性主要应考虑其在佛经语料中的体裁、主题、时代等方面的平衡。
翻译佛经语料可以从部类、语体、来源等多种角度进行分类,应按照“以部类为主,以语体为辅,以来源为补”的原则进行划分。
“以部类为主”是指在选取语料时候,按照“经律论”三藏进行分类,各选取一定卷帙的译经,以保证部类的代表性。各部译经在语料库中所占的比例,不宜等同,否则就无法反映佛经翻译的实际状况以及各部译经入藏的实际情形了。
从语体形式上看,翻译佛经主要有散文和偈颂两种形式,散文宜“说”,偈颂宜“唱”,语料分类时,两种不同的文体形式都要选入。
而从来源来看,宋法云《翻译名义集》卷一谓:“夫翻译者,谓翻梵天之语转成汉地之言,音虽似别,义则大同。”[28]其实,佛经翻译并不局限于梵译汉,汉译佛经的来源还有巴利文、西域文(胡本)、藏文等。早期译经的来源基本上为西域文本。所以在语料的选择中,要考虑这些因素。
(2)语料的共时性与历时性
翻译佛经语料库应具有共时性,即它可以涵盖某一个特定时期的翻译佛经语料;同时也应具有历时性,即翻译佛经语料库应涵盖从东汉末年到宋元时期各个历史阶段的佛经语料。考虑到语言研究的需要,语料的选择必须兼具这两个特征。
注重语料的共时性,则需要把某个确定时期的所有语料纳入库中。也就是说,如果要考虑样本的涵盖性,则极有必要将翻译年代确定的佛经全部纳入语料库。
注重语料的历时性,则应使语料反映一定的时间跨度。关于翻译佛经的历时分期,前文已作了深入讨论。我们认为,佛典翻译的分期,从汉语史研究角度看,既要考虑语言要素对翻译的影响以及与汉语史的对应,也要兼顾到翻译理论的探讨、技巧的演进、译事的规模等实际情况,据此我们分为五期:自东汉桓帝始至汉末为草创期(148—220年);自曹魏至西晋为发展期(221—316年);自东晋至隋为成熟期(317—617年);唐为全盛期(618—906年);自宋至元为结束期(954—1111年)[29]。此外,按传统的说法,我国的佛经翻译,始于汉末的安世高、支娄迦谶等,称为“古译”;其后又出现了以鸠摩罗什、觉贤、真谛等为代表的“旧译”和以玄奘、义净等为代表的“新译”,从而形成了我国翻译史上空前的盛况。
由于各个时期的译师来源、译人水平、所据原文、翻译程序、翻译技巧不同,更由于时代的不同,所以各个时期译经在语言方面是各有不同的。因此,在选材时有必要充分考虑到这些差异,各个时代、时期的翻译佛经,均需选取一定比例入库。
(3)语料的真实性
材料真实是对语料库的最基本的要求。但是,翻译佛经中存在不少翻译时代不明、译人有疑的作品,因此在选用语料进入语料库时候,必须按照前文所阐述的语料的价值观,通过文献学等手段对这些可疑的作品加以严格的甄别,以保证语料的真实性。
此外,语料的真实性还体现在另一方面。最原始、最可靠的语言证据只能来自使用中的客观语言材料,这是语料库语言学的一个基本观点。黄昌宁指出:“如果把领域覆盖面这个重要因素暂时撇开不谈,那么在一个专业领域中能否处理未经编辑或非受限的真实文本以及处理文本的数量之多少,本来就是衡量一个自然语言系统究竟是实用化系统还是实验性系统的准则。”[30]据此,一些研究者认为,从某种意义上来说,那些含有一定错误的文本,或者是含有非规范用法的文本,才是真实的文本。按照这样的观点,我们在建设翻译佛经语料库时,也应该如实地将原始语料选入库中,特别是早期的翻译佛经语料,初看起来似乎不那么规范,比如翻译佛经中大量的俗体字,显然属于“不规范”的语料,但入库时应该按原样保留,因为它反映了当时实际的用字状况。
(4)语料样本的代表性
一般在选取语料时候,要先在语料中确定一个范围作为母本,而被选入库的语料则称为样本,由母本进入样本的过程叫抽样。为了保证翻译佛经语料库的代表性和科学性,样本选取应遵循一定的原则:①材料多样性,如翻译佛经中的经律论三藏均需入选。②样本材料相对完整。对翻译佛经来说,就是样本至少应是完整的一段或者一卷。③样本与母本的比例要合理。翻译佛经样本在母本中所占的比例至少要达到5%。④样本要有可描述的信息,包括经名、卷数、时代、译者等等,为了跟《大正藏》或《中华大藏经》参照,还应标明册数、页数、栏号、行数等信息。
4.确定语料分类的原则
语料的分类主要是出于对语料库的平衡性的考虑。以国家语委现代汉语语料库为例,总共分了3个大类、40多个小类,其分类十分细致,如图10-12所示:

图10-12 国家语委现代汉语语料库分类示例
翻译佛经语料库该用何种分类方式?显然,照搬国家语委现代汉语语料库的分类方式来建设翻译佛经语料库是不行的,但是,完全不考虑这个分类标准,则建成后的语料库的通用性以及与其他语料库的衔接就容易出现问题。
我们认为,翻译佛经语料库从性质上来说应该属于次语料库,其分类标准既要兼顾到国家标准,同时更要考虑佛经语料的特殊性。因此从大类上讲,翻译佛经语料无疑属于“人文与社会科学类·宗教”,而小类则可以根据佛经固有的分类方式如经藏、律藏、论藏进行划分,经藏下再细分为阿含部、涅槃部、华严部、般若部、宝积部等等。此外,还可以借鉴台湾研究院语料库的做法,增加分类标准,比如主题(本事、本生、授记、因缘等)、文体(散文、偈颂)、翻译时代(东汉末、魏晋、隋唐、宋元等)、译经地域(关外、关内,关内又可分为南方、北方,以及高昌、洛阳、长安等)等等。
采用多重分类的标准不但可以照顾到语料库的平衡性,同时还方便了使用,比如在检索时由于使用多重分类标准作为参数,就更容易找到所需的语料。
5.制定标注、分词等规范
在建设翻译佛经语料库时,应统一标注和分词的规范,这是毫无疑义的。
(1)关于词类的标记
由于目前现代汉语和古代汉语对语法体系的描述不尽相同,社科院语言文字应用研究所研制的《信息处理用现代汉语词类标记集规范》是综合了具有代表性的吕叔湘、朱德熙、张斌、胡裕树等各家的语法体系以及中学教学语法体系而制定的。该规范广泛吸收了语言学界的研究成果,同时兼顾了各家的分类体系,不失为一套从信息处理的实际需要出发而制定的词类标记集规范;而且该规范还统一了标记集的符号系统,在词类标记时以方便信息处理,与国际接轨。我们认为,应基本采用这套规范,以便于古代汉语研究与现代汉语研究的衔接;但是,考虑到古代汉语的特殊性,应在《规范》的基础上略作修改。参照此《规范》,词类划分主要遵循以下原则:①语法功能是词类划分的主要依据,词的意义不作为划分词类的主要依据,但有时也可做参考;②允许有兼类;③词类标记中的大类能覆盖古汉语的全部词;④标记符采用英语和汉语拼音相结合的方式。
据此,我们仍将翻译佛经语料的词类划分为19个大类,但小类略有改变:专有名词小类中增加“佛教专有名词”,删去“团体机构名”一类;数词删掉“助数词”“数量数词”两小类,因为表示分数和小数的数词“几分之几”“点”在古汉语中很少见到;助词类中删去“时态助词”一类,语气助词增加“句首语气助词”与“句中语气助词”两类,句末语气助词又细分为疑问、判断、感叹、祈使四类;增加词类活用标记[31],如动名词(名词活用作动词)、动形词(形容词活用作动词)、动数词(数词活用作动词)等等。具体标记如下[32]:
1)名词(n)
名词主要充任主语和宾语。
①普通名词(ng):如“树”“采女”“象马”“大家”“善知识”等。
②时间名词(nt):如“昔”“今”等。
③方位名词(nd):如“前”“后”“上”“下”。
④处所名词(ns):如“虚空”“空中”等。
⑤专有名词(np):
A.人名(nph):包括姓、名、姓名、外号等。如“阿难”“圆满”“目犍连”等。
B.地名(npp):如“于填”“给孤独园”“涅摩罗处所”等。
C.佛教专有名词(np):如“僧”“伽蓝”“无相”“慈悲”“功德”“众生”“菩萨”等。
2)数词(m)
数词一般不单独充任句子成分,在一定条件下能充任主语或宾语。
①基数词(mc):如“三”“七”“五”“百”“千”“亿”等等。
②序数词(mo):如“第一”“第二”等。
3)量词(q)
量词不能单独充任句子成分,常跟数词组成数量短语修饰名词或动词。
①名量词(qn):由它组成的数量词常和名词连用。如“群”“匹”“头”“重”“由旬”“刹那”“毫”“厘”“番”等。
②动量词(qv):如“反(返)”“遍”等。
③时量词(qt):如“刻”“时”等。
4)形容词(a)
主要充任定语、谓语和述语(带补语)。
①性质形容词(aq):如“大”“小”“好”“劣”“粗”“精”等。
②谓语形容词(as):通常只能作谓语的形容词,如“缭戾”“坚”“贡高”“欣豫”等。
③动形词(av):指活用作动词的形容词。如“饶益”“尽”“净”等等。
5)动词(v)
主要能充当谓语、述语。(https://www.daowen.com)
①助动词(vu)如“当”“应”“愿”等。
②趋向动词(vd):如“下去”“起来”等。
③系动词(vl):如“乃”“为”“是”等。
④不及物动词(vi):如“感激”“命过”等。
⑤及物动词(vt):如“剥脱”“覆藏”“思”“取”等。
6)副词(d)
一般只能充当状语。
①程度副词(dd):如“很”“甚”“最”等。
②关联副词(dc):如在“纵……即”关联结构中的“即”。
③数量副词(dm):可以修饰数量词语的副词,如“大概”“约”“许”等。
④范围副词(dr):表示范围的副词,如“咸共”等。
7)代词(r)
代词能代替名词、形容词、动词、副词等词或词组,能在篇章中起联系作用,在语境中起指代作用。
①人称代词(rh):如“我”“汝”“尔”“吾”“朕”“余”等。
②指示代词(rd):如“此”“彼”等。
③疑问代词(rw):如“何”“谁”“奈何”等。
8)介词(p)
介词不能单独充任句子成分,介词短语能充任状语或补语。介词如“以”“当”“于”“在”“把”等。
9)助词(u)
助词不能单独充任句子成分,大都附着在词、短语或句子后面,个别的附着在词前面,起不同的句法作用。
①结构助词(us):如“之”“而”等。
②语气助词(um):如“乎”“焉”“哉”等,细分又可以分作疑问助词(umw),如“乎”;判断助词(ump),如“矣”“也”;感叹助词(umg),如“也”“耳”等;祈使助词(umq),如“也”“罢”等。
此外,还可以根据助词的位置分为句首助词(umf)、句中副词(umm)、句末副词(umb)等。
10)连词(c)
用语连接词、短语、句子,以表达他们之间的相互关系。
①并立连词(cc):如“与”“及”“及与”“且”“并且”等。
②从属连词(cs):如“纵”“虽然”等。
11)叹词(e)
叹词在句中的位置比较灵活,通常不与其他词发生特定关系,也不充任句子成分,能独立成句。如“咄”“噫”等。
12)拟声词(o)
可以独立成句或在句中作插入语。如“呵呵”“咻咻”“嘶嘶”等。
13)语素字(g)
翻译佛经语料库中的语素字指非单音节的未归入上述各类中有意义的汉字,如“摩诃萨”“菩提”等。
14)前缀(h)
前缀是一种辅助的构词成分,加在词或语素的前面,构成合成词。一般来说,只表示某种附加的或语法的意义。
①名词前缀(hn):如“阿”等。
②数词前缀(hm):如“第”“初”等。
15)后缀(k)
后缀也是一种辅助的构词成分,加在词或语素的后面,构成合成词。
①名词后缀(kn):如“儿”“子”等。
②形容词后缀(ka):如“然”“尔”等。
16)非语素字(x)
指单独使用时不具有意义的汉字,如“琵”“琶”“葡”“萄”等。
17)习用语(i)
指翻译佛经中的固定用法,包括成语、惯用语、谚语等。如“五体投地”“皆大欢喜”“如是我闻”等等。
18)简称和缩略语(j)
简称和缩略语在翻译佛经中比较常见,包括以下几类:
①名词性简称和缩略语(jn):如“七宝”“四谛”“六道”等。
②动词性简称和缩略语(jv):如“六趣”“五戒”“三自归”等。
③形容词性简称和缩略语(ja):如“八苦”“十恶”等。
19.其他(w)
①标点符号(wp)。
②未知词(wu):指在文本的处理过程中,无法归入上述类别的词,这些词需要在后续处理中作进一步加工。
③其他符号(wo):如在翻译佛经中出现的梵文或者其他字符串。
词类标注,只是语料库标注的一个层次,要实现语料库的多重价值,还得进行其他维度的标注,这包括对字的标记、对音的标记、对短语结构的标记、对语篇文体、时代的标记,作这些标记时,必须考虑到翻译佛经语料的特殊性,考虑到汉语史研究的特殊性。
20)字标记(z)
①异体字(zy):如“飜”“愱”“躶”等。
②俗字(zs):翻译佛经中存在着大量的俗字,这类字需要特别标注处理。如“鞕”“聟”“趍”等。
21)音标记(y)
①破读(yp):如“好恶”的“恶”,“饥者食之”的“食”。
②人名、地名、佛经专有名词特殊读音(yt):如“伽蓝”的“伽”,“大宛”的“宛”。
22)短语结构标记(ph):包括主谓短语(phzw)、动宾短语(phdb)、偏正短语(phpz)、动补短语(phdb)等。
23)语料文体标记、语料时代标记以及注释标记、校勘标记等。
(2)关于分词和句法标注的原则
在对翻译佛经语料库进行深加工时,分词是必然遇到的一个问题。这一问题比较复杂,我们常常难以判断哪些字符串是词,哪些是短语,也就是说,很难有一个明确的标准。比如,中古的翻译佛经中,存在大量的并列式复合词,但目前将这些词跟短语区别开来的依据就是看其是否具有形式上的凝固性,而“凝固性”是一个很难操作的标准。因此有必要建立一些规范,做出约束。综合各家意见,我们提出以下原则:
1)分词规范应依据翻译佛经基本词表;
2)基本词表应具有一定柔性[33];
3)分词目的是描述词语之间关系的合法性;
4)词应有一定的频次标准。
此外,对语料进行句法标注也仍是一个很复杂的课题,需要使用几千条关系复杂微妙的规则;所加的标记是否恰当,也往往靠语料库开发者的语言直觉,严格地说,“在语料库为基础的分析中,尚没有一个可共同接受的标准”[34]。汉语的情况也是如此,由于目前学界尚未有一种统一的语法体系,故标注时只能各以其是,这种标注究竟有多大意义,尚有待深入探讨。在此,我们也只能初步提出一些句法标注的基本原则:
1)语法标注应与词类标注采用一致的语法体系;
2)语法标注要对句子由左到右依次标注;
3)语法标注要能较快地生成;
4)语法标注码库要足够大。
6.语料库的粗标与校对
所谓语料库的粗标语料,是指利用现有的语料标注软件,对原始语料进行标注,未经后续校对与处理的语料。
语料的粗标可以借助于My TxtSeg Tag[35]软件进行,该软件属于免费软件,可在国家语委语料库网站下载(http://www.cncorpus.org/download.aspx?n=My TxtSeg Tag Tool.rar);只要电脑安装了Framework 2.0,即可对纯文本文件进行标注。该软件支持的编码包括UTF—7、UTF—8、UTF—16、UTF—32等,因此在对古汉语语料加工时,不需要进行繁简转换等操作;并且该软件还有批处理功能,可对整批的txt文本进行加工。
下面试以三国吴康僧会译《六度集经》卷一“布施度無極章第一”一段文字为例。为了进行标注,首先需要对文本进行简单处理,去掉正文中的校勘等信息,然后提取保存成txt格式的纯文本文件,经软件处理后即成为粗标语料。图10-13所示为软件操作界面:

图10-13 My TxtSeg Tag软件操作界面示例
(1)标注前的语料:
一時佛在王舍國鷂山中。時,與五百應儀、菩薩千人共坐。中有菩薩名阿泥察,佛説經道,常靖心惻聽,寂然無念,意定在經。眾祐知之,爲説:菩薩六度無極難逮高行,疾得爲佛。何謂爲六?一曰布施,二曰持戒,三曰忍辱,四曰精進,五曰禪定,六曰明度無極高行。
布施度無極者,厥則云何?慈育人物,悲愍群邪,喜賢成度,護濟眾生,跨天踰地潤弘河海。布施眾生,飢者食之,渴者飲之,寒衣熱凉,疾濟以藥,車馬舟輿、眾寶名珍、妻子國土,索即惠之。猶太子須大拏,布施貧乏,若親育子,父王屏逐,愍而不怨。[36]
(2)标注后的语料:
一/m時/x佛/n在/p王/nhf舍/v國/x鷂/x山中/nl。/w時/x,/w與/x五/m百/m應/x儀/x、/w菩/x薩/x千/m人/n共/d坐/v。/w中/nd有/v菩/x薩/x名/n阿/h泥/n察/v,/w佛/n説/x經/x道/v,/w常/d靖/v心/n惻/x聽/x,/w寂然/a無/x念/v,/w意/n定/v在/p經/x。/w眾/x祐/x知/v之/u,/w爲/x説/x:/w菩/x薩/x六/m度/n無/x極/x難/x逮/v高行/n,/w疾/n得/u爲/x佛/n。/w何/r謂/x爲/x六/m?/w一/m曰/v布施/v,/w二/m曰/v持戒/v,/w三/m曰/v忍辱/v,/w四/m曰/v精/a進/x,/w五/m曰/v禪/x定/v,/w六/m曰/v明/a度/n無/x極/x高行/n。/w
布施/v度/n無/x極/x者/k,/w厥/r則/x云/n何/r?/w慈/a育人/v物/n,/w悲/a愍/x群/q邪/a,/w喜/v賢/x成/v度/n,/w護/x濟/x眾/x生/v,/w跨/v天/nt踰/x地/u潤/x弘/v河/n海/n。/w布施/v眾/x生/v,/w飢/x者/k食/v之/u,/w渴/a者/k飲/x之/u,/w寒衣/n熱/x凉/x,/w疾/n濟/x以/p藥/x,/w車/x馬/x舟/n輿/x、/w眾/x寶/x名/n珍/nhs、/w妻子/n國/x土/n,/w索/v即/d惠/v之/u。/w猶/x太子/n須/x大/a拏/x,/w布施/v貧/x乏/v,/w若/c親/x育子/v,/w父/n王/nhf屏/n逐/v,/w愍/x而/c不/d怨/v。/w
一般来说,粗标语料库总会存在诸如切分不当、词性标注有误等错误,这就需要进一步加以校对。如上面的标注中,专有名词“阿泥察”被切分为“阿/h泥/n察/v”,“须大拏”被切分为“須/x大/a拏/x”;“应仪”被切分为“應/x儀/x”,“众祐”被切分为“眾/x祐/x”,“菩萨”被切分为“菩/x薩/x”,“精进”被切分为“精/a進/x”,“众生”被切分为“眾/x生/v”,这些都是明显的错误。此外一些复音词的标注也出现了问题,如“慈育”“屏逐”“悲悯”“父王”……均被分开处理了。再就是对标点符号的标注,My TxtSeg Tag处理也不够到位,一般都是笼统地用一个“w”来标注。可见,此软件还大有改进的必要。
目前的语料库校对方式主要是手工校对和计算机校对。然而“手工校对语料的代价非常昂贵,普通研究单位难以承受。一方面语料库对于语言信息处理和语言研究具有如此重要的作用,并且人们对语料库规模和质量的要求日益提高;另一方面语料库加工的高投入又使人望而却步”[37]。借助于计算机技术,利用校对软件则具有速度快、成本低等优势,但对语料中的特殊材料的处理,却容易产生错误。理想的做法是将二者结合起来,先用计算机校对,然后再辅以手工。因此,曲维光等研究者提出了“词表校对法、基于简单词性组合特性的方法、基于多元组比对的方法、基于RFR_SUM模型的方法”等多种方法对语料进行多遍处理,循序渐进、逐步求精,以便在语料库规模不断增加的情况下也能达到语料标注的高精度。[38]以上的做法,我们认为在翻译佛经语料库的建设中,应该是可以参考的。
7.翻译佛经语料库建设中的问题
尽管翻译佛经语料库的建设对语言研究作用巨大,但仍面临着许多值得进一步探讨的问题,这里只是略举几端:
语料库对文本的基本要求是要保证它的机读形式顺利运行,为此就要求在操作前对数据进行规范化的处理,如标点符号的规范、字体的规范、文本格式的规范等等;而翻译佛经语料具有特殊性,本身存在着种种不规范问题,如大量的俗字、异体字,大量的外来词,大量的异文,不规范断句等等。如何做到既照顾翻译佛经语料的特殊性,同时又符合语料库的规范性,这是一个值得深入探讨的问题。
(1)缺字问题
这是古籍数字化时必然会遇到的问题,因为古籍中有大量不常用字(包括异体字、古今字、繁体字、俗体字),利用常用的字库录入时常常会遇到缺字现象。若用图片代替造字,则给检索带来不便;若逐一造字,则费时费力。
《大正藏》(第一至五十五册及第八十五册)概略整理统计,总字数约有7000~7500万字。以CCCII码而言,缺字约10000字内(扣掉第54册《一切经音义》之缺字,则约有2500字)。以Big5码而言,缺字约为10000+7200字(7200为CCCII与Big5字的差异所造成);再经严格筛选,可能只剩15000字左右。若Microsoft的字库能自由地由使用者放置,《大正藏》缺字的问题就基本解决了。[39]但CBETA电子佛典的编码与大陆编码方案不统一,使用很不方便。
目前国内已有的字库方案中,GBK字符集存在着诸多问题,很不规范,且字符集较少;比较可行的是北京书同文公司为《四部丛刊》设计的专门字库,对应的是HTCCJK+编码,基本上能满足古籍整理的一般需要;而方正超大字符集对supercjkv10.2规范所包括的70205个字,进行了新笔形化,借助于配套的方正书版9.0及典码输入法,大致可以免除大量的补字问题。[40]
有了字符集,还需解决输入法问题,不然即便有字,也无法录入。此外还需要开发辅助录入的选字工具软件,以解决繁难字、俗体字、异体字、避讳字等不常见字的录入问题。在开发这些工具软件时,同样需要制订一些规范,比如可以参照CBETA电子佛典的做法。CBETA电子佛典对缺字的整理,就数据性的汇集方面,一开始就立下规范,如“大正藏缺字图档”“基本通用字形”“一般组合字字典部首规范”“一般组合字式基本规则”“缺字数据库”等。其缺字数据库除了收集《大正藏》的缺字外,另编定输入法,并作各字检索字书的信息,为日后进一步处理缺字做准备,目的就是把所收集到的缺字加以考证,完成CBETA电子佛典《大正藏》缺字检索数据库,务使每字做到“字有例、例有考、考有证”,字义清楚。
因此有必要在建库之初就制订相关规范,也可以跟CBETA电子佛典对接,采用类似的解决方法;但这些规范究竟能够在多大程度上解决这一问题,仍有待在实践中检验。
(2)断句问题
翻译佛经本无句读,于诵读理解多有不便。《大正藏》乃大藏断句之肇始,虽然不是新式标点,但是便利阅读,有益初学,其功不可没。然《大正藏》句读一向饱受诟病,断句标准游移,长短随意为之,应属上而误下,应属下而误上,当断不断或不当断而误断……[41]常常割裂词语,割裂句子,这必然会导致分词方面的难题。如若对所有翻译佛经进行标点断句,这将是无比巨大的工程。
(3)外来词问题和附属材料问题
翻译佛经中有大量外来词,这些外来词有古译、旧译、新译的区别,而且译法、写法都不规范,语料库中,又该如何处理这些外来词?
另外,翻译佛经中存在大量的异文和历代学者所做的校勘记,为了汉语史研究的需要,是必须要保留在语料库中的,但如何处理这类附属材料也将是我们面临的现实问题。
(4)语料库的标注和深加工问题
对语料进行标注时,总会遇到效率与质量的矛盾,借助计算机软件标注,就会出现标注质量降低的问题;过多利用手工标注,又会导致效率低下,不能体现出语料库固有的优势。如何解决这一矛盾,是所有的语料库建设中都会遇到的问题。
随着语料库规模的变大,语料的深加工问题就会愈加凸显出来。从字一级到词法级、句法级、语义级和篇章级,每一级都会增加加工的难度和工作量。
陈海波曾提出,将现有的各种全文检索数据库和手工制作的关系数据库结合起来,也就是将涉及双音词、虚词以及其他语义、语法、语音属性的字段,先用手工制作成各种数据表,然后再用电脑软件实现对数据表的检索。[42]这种解决方案的确能解决一部分语料库深加工中的问题,但是手工制作数据表仍旧工作量巨大,而且手工制作的数据表显然也不可能穷尽各种语言关系。
(5)开发人员储备问题
语料库的开发人员的储备也是一大难题。目前语料库,一般都是由语言研究人员和计算机学科的技术人员共同开发的,鲜见由兼具这两个甚或多个学科背景的研究人员来开发。语言研究人员可以提出语料库的建设原则和要求,却无法自己动手实现某些语言研究意图;计算机技术人员能够开发一些软件,却难以熟悉语言规则和语言理论,这样就导致了研究和开发的割裂。跨学科的人员如何储备是我们不能不考虑的现实问题。