语料库的分类、特点和汉语语料库的建设

更新于 2026年10月13日 版权声明
(一)语料库的分类、特点和汉语语料库的建设

现代语料库是随着计算机技术和信息技术的发展而建立起来的。20世纪60年代,美国Francis和Kucera设计建设了第一代大型电子语料库即Brown语料库,随后又有英国和挪威共建的LOB语料库、英国的伦敦—隆德语料库以及英国的伯明翰语料库等等。[2]在此基础上产生了语料库语言学。虽然语料库语言学已经成为一个语言研究的分支,却没有一个公认的定义。英国语言学家Mc Enery&Wilson认为,凡以现实生活中人们运用语言的实例为基础进行的语言研究,都可以称作语料库语言学;Crystal则认为以语料为语言描写的起点,或以语言为验证有关语言假说的方法,才可称为语料库语言学。[3]由此可见,在一些人看来,语料库语言学(corpus linguistics)是一个独立的学科,它拥有自己独有的理论体系和操作方法;而在另外一些人看来,语料库语言学并非语言学的又一个分支学科,而只是一种研究方法,这种方法基于大量的语言事实,可以用来回答其他途径很难回答的问题,从而极大地丰富已有的研究方法。但不管怎样,语料库语言学至少包括以下两方面内容:一是对语料进行加工、标注,二是利用语料库中经过加工、标注的语料进行语言研究。

1.语料库的分类

对语料库的类型,研究者根据不同的标准,有不同的划分方法。首先语料库有广义和狭义之分,广义的语料库可指任何人出于任何目的而收集的语言材料的集合;而狭义的语料库则专指“按照一定的语言学原则,运用随机抽样方式,收集自然出现的连续的语言运用文本或话语片段而建成的具有一定容量的大型电子文库”[4]。因此,从广义上讲,CBETA电子佛典也是一种语料库;而我们所建设的翻译佛经语料库则是一种狭义上的语料库,构建时候必须遵循一定的语言学原则。

美国Dnonald E.Walker根据语料库的内容,把语料库分为四种类型[5]:

(1)异质语料库。这种类型的语料库广泛收集各种语料,没有事先确定的选材原则和特定的选材标准,主要以语料的原貌形式存储语料。

(2)同质语料库。这种语料库收集内容具有同一属性的语料,比如只收集某一作家著作的语料,只收集某一文体的语料等等。

(3)系统型语料库。此类语料库强调选材的系统性、均匀性、合理性,力求选材有广泛的代表性,以便真实地反映语言的全貌。

(4)专用型语料库。语料库是为特定用途而收集建立的,如为大学英语课堂教学而建设的语料库,为中小学生学生作文教学建设的语料库,为唐诗语言研究而建立的语料库等等。

按照语料库的加工情况,可以分作:

(1)原始语料库:是未经标注等处理的由原始语料组成的语料库。这种语料库缺乏深加工,只对文本进行清洁处理,以便适应机读需要。

(2)标注语料库:是经过标注等加工处理的语料库。这种语料库首先对文本进行清洁,然后对文本进行附码、分词等深加工,标注后的语料库更适合于研究者使用。

此外,也有学者根据语料的语体风格进行分类,或根据语料库的规模大小进行分类,但无论怎样的分类方式,都是为了揭示语料的性质特点,为了研究的便利。

2.语料库的特点

语料库跟传统的文本集相比,其最大的特点就是有计算机技术的支持。借助计算机,可以储存大量的文字;可以进行基本数理统计和分析,可以进行检索和归类,可以向研究者提供大量的语言数据,帮助研究者作出判断。正如美国语言学家Kennedy所说,虽然不是因为有了计算机才出现了语料库,但毫无疑问,计算机技术极大地推动和支持了语料库的发展。[6]

语料库具有一定的规模,且材料真实。现代意义上的语料库,一般都有相当的规模,材料比较丰富。而真实性则是指语料库中的所有材料都源自真实材料,无论材料正确与否,规范与否,均予以收录。

语料库还具有一定的代表性,因为无论语料库规模多大,材料多丰富,也必须承认语料库的样本是有限的。因此建设语料库的时候,选取的样本应具有一定的代表性,以语料的有限性尽可能地反映语言的无限性。

3.汉语语料库的建设

汉语语料库的建设经历了一个功能由简单到复杂,规模由较小到较大,加工由粗浅到深入的过程。

我国最早的语料库为20世纪80年代由上海交通大学建成的JDEST学术英语语料库。而目前已建成的语料库有百余个,主要由各大学、研究院所、出版社承建,语言以汉语为主,种类包括汉语通用语料库(国家语委的现代汉语语料库、中国社科院文学研究所的汉语语料库、清华大学的通用汉语语料库等),其他还有汉语或英语专用语料库、平行语料库等等。

自20世纪80年代以来,古汉语语料库的建设也取得了长足的进步,经历了一个由粗到精、由浅到深的发展过程。最初出现的是一些数字化的古籍,如网络上习见的各种电子版的古诗文,这些数字化的古籍材料,具有方便阅读与传播的功能;但从语料库的角度看,明显存在选料不全、校勘不精,特别是功能单一等缺陷,并不适合于研究上的使用。90年代后,随着一些研究机构、出版机构、商业公司的积极参与,语料库建设才步入正轨,日渐专业化、系统化。这一阶段的显著成果有罗凤珠先生的“《红楼梦》网络教学研究数据中心”,《全唐诗》《全宋词》的网络版等;台湾有汉学研究中心制作的“善本丛刊影像先导系统”,中华电子佛典学会的“在线藏经阁”等等;上海人民出版社与迪志文化出版有限公司推出的“文渊阁《四库全书》全文检索版”、书同文公司的“《四部丛刊》全文检索版”、国学公司出版的《国学宝典》更是受到广大研究者的欢迎,成为他们深入研究的便利工具。

这些语料库的建立与发展,拓展了语言学研究包括汉语研究的新领域。至今,语料库语言学应用领域已经涵盖了理论语言学和应用语言学、描写语言学和历时语言学乃至历史比较语言学等各个分支,应用到词汇研究、语法研究、语义研究、语用研究及词典编纂等各领域。

实事求是地说,“建立汉语语料库的要求最初是在汉语计量分析的需求下开始的。汉语的计量分析包括汉语的字频、词频研究,以建立汉语的常用字表和常用词表。进行汉语的计量研究需要考察大量的语言事实,也就是要建立一定规模的语料库”[7]。20世纪80年代初期,我国开始利用计算机进行汉语分词、统计的研究。“现代汉语词频统计”是由北京航空学院等几个单位研制成功的、规模巨大的汉语基础工程。它选取汉语材料约三亿字,从中抽样输入了两千余万汉字,并对之进行了计算机自动分词和频度统计。这项工程开始利用计算机进行辅助工作,共编码、输入了20,236,784个汉字(其中包括2,039,234个标点符号),首次实现了一个实用的汉语自动分词系统CDWS,设计和实现了第一个完整的现代汉语词频软件系统,建立了一个有131,161种词条的计算机汉语词典[8]。可惜的是,该语料库的主要任务就是统计词频,在完成词频统计后,并没有再进行深入加工、继续开发使用,以今天的标准评判,该语料库显然是简单粗糙的,却实践了语料库基本建设的一些思路,也为利用语料库进行语言研究提供了样本和实例,奠定了基础。直到20世纪90年代,随着台湾“中研院”平衡语料库和国家语委现代汉语语料库等的建成,汉语语料库才真正走向成熟。

下面,我们对相对而言比较成熟、比较有影响力的有代表性的几种汉语语料库的建设情况,加以简介。

(1)台湾“中研院”平衡语料库

台湾“中研院”平衡语料库(简称研究院语料库,即Sinica Corpus)是首个带有词类标记的汉语平衡语料库,自1990年前后便开始构建,并于1994年正式开始进行语料标记,1995年7月完成第一版(两百万词),1996年11月经计算中心设计规划完成WWW版,开放供各界使用(On www since November 1996),1997年完成3.0版,约五百万词。[9]

研究院语料库是一个规模较大的语料库,早在1997年的3.0版就收集了近2000万字的现代汉语语料,以及超过500万字的古代汉语语料。至1998年最新的4.0版,已经建立了包含500万词次的语料,接近了计算语言学界通用语料库的规模。

1)研究院语料库的设计理念

主要体现在以下三个方面:[10]

①遵循计算语言学会的分词标准

分词是中文自然语言处理的前提条件,但中文词的分界在书写上不标明,在理论上也存在很多争议,故一直很难标准化。研究院语料库主要根据台湾计算语言研究所所制定的《中文资讯处理分词规范》进行分词。由于该规范在会员中广泛推行,一方面有助于资源利用最大化,另一方面还可以不断取得语料库用户对分词结果的反馈,作为今后修改分词标准的依据。因此,这个分词标准既具有规范性,也具有一定的灵活性,是一个兼具静态和动态特点的分词标准。

②采样标准是自然段落而不是文章长度

布朗语料库传统的做法是以规定的文章长度来界定平衡语料库,比如每篇文章只随机抽取长度为2000词次的样本。研究院语料库的建设者则认为这样会影响语言面貌的真实性,造成样本的不完整性。而且文章的长短往往是不同文体的一个重要特点,若裁成长短如一的样本,则就失去了各类文体的特点。因此他们在实际操作中一般避免过长或过短的文章;但在选取文章后,便随其自然段落截取语料,因为这样做可以得到较完整的语言信息内容。

③对语料采用多重特征分类

传统的布朗语料库以文体单一特征来界定平衡语料库的做法存在着诸多的不足,因为影响整体语言面貌的因素有很多。为了突破这种过于单纯化的线性描述,研究院语料库的建设者对所有语料都赋予五个不同特征值:主题、文类、文体、语式、媒体;同时以主题为主要特征来进行语料库的平衡,但同时也参考其他四类特征,以完善语料库的平衡性,尽可能真实地反映语言的实际面貌。多特征分类的另一个好处就是增加了研究上的灵活性和适用性。研究者可以任选其中某些特征加以组合,以此来定义自己的次语料库,也可以在次语料库之间进行比较研究。如图10-1所示,研究院语料库自订语料搜寻范围的功能便体现了这种设计理念。

图示

图10-1 自订语料库搜寻范围功能示意图

这个分类原则也有利于平衡语料库的日后更新。例如一般认为愈是正式的书面语变化就愈慢,而日常的口语变化相对来说就比较快;这样我们就可以随时抽调替换平衡语料库中某个符合一组特征条件的次语料库,以保证语料库仍能整体如实反映语言的真实变化状况。见图10-2。

图示

图10-2 语料分类属性阶层

2)语料的分类与选取

为了更好地管理并选取语料库的内容,研究院语料库中的每个样本前都有一定的标志来描述它们的特征,也即篇章的标注信息,包括文类、文体、语式、主题、媒体、姓名、性别、国籍、母语、出版单位、出版日期、出版地、版次、标题等。同时,还确立了如下表所示的语料分类属性阶层。[11]

其次,确立了语料选取与分布比例。

其中哲学10%,科学10%,社会35%,艺术5%,生活20%,文学20%。如表10-1所示:

表10-1 语料选取与分布比例

图示

其三,确立了分词和词类标注的方法。

研究院语料库采用的是自动分词处理方式。其切分的过程是:以台湾“中研院”词典的九万词条为基础,将语料切分为一个个独立的词;没有列在词典中的成分,则以字为单位,被一一切开;然后,以构词规律对衍生性强的词缀及数字组合成分进行结合词的工作。切分时分词的大原则为:①有独立意义的语法类可依类分为一分词单位。②惯用的语言成分依照人们的使用习惯切分。③语义失去组合性,或语法起变化,合为一个分词单位。④有明显的分割标记时需切分。⑤同形异构的成分依实际语境切分。⑥与分词原则有冲突时,由计算语言学会统筹协议解决。

对词类的标注,则是采用先机器操作后人工校对的方式进行。所标注的词类标记集合共46个。除了词类的标记,还对语料库中的某些特殊句法做了标记,这主要是针对动补式动词和动宾式动词的可拆现象、合并词中的插现象、名物化结构和外来语设计的,共使用了特殊标记9个。如图10-3所示:

图示

图10-3 特征标记示例

此外研究院语料库还提供了关键词检索功能,可以从语料库中找出包含某个特定词条的上下文,并给出它们的分词和词类信息,以供使用者查阅。下图是以“高高兴兴”作为检索词,得出的检索结果,见图10-4:

图示

图10-4 “高高兴兴”检索示例

3)后续使用

该语料库还出版了一部根据研究院语料库统计出的词频词典,这是第一部有词类标记的中文词频词典。研究院语料库采用有偿使用的方式,但也提供了免费的公共用户web端服务(http://db1x.sinica.edu.tw/kiwi/mkiwi/)。

根据以上介绍,我们可以看出,研究院语料库在汉语语料库建设方面的借鉴意义主要体现在以下几方面:

其一,研究院语料库所确立的各种规范、标准对汉语语料库建设有参考意义。

其二,研究院语料库所采用的多重分类原则,具有灵活性,也便于及时更新语料库内容,这一半开放的建设方式,值得借鉴。

其三,有免费使用的窗口,极大地方便了各界人士使用。

(2)国家语委现代汉语语料库

1)基本情况

国家语委现代汉语语料库为国家语言文字工作委员会主持建设的一个现代汉语大型平衡语料库。该语料库1991年开始建设,至1998年年底完成7000万字的生语料库,而到2009年已完成1亿字生语料库和5000万字标注语料库,而且语料库的加工和建设至今仍在继续进行。

从内容上看,国家语委现代汉语语料库主要包括以下几个部分,见图10-5[12]:

国家语委现代汉语语料库主要由人文与社会科学、自然科学及综合三个大类约40个小类组成,具体类别如下:

人文与社会科学类划分为8个大类、30个小类:①政法:哲学、政治、宗教、法律;②历史:历史、考古、民族;③社会:社会学、心理、语言文字、教育、文艺理论、新闻、民俗;④经济:工业经济、农业经济、政治经济、财贸经济;⑤艺术:音乐、美术、舞蹈、戏剧;⑥文学:小说、散文、传记、报告文学、科幻、口语;⑦军体:军事、体育;⑧生活。

图示

图10-5 国家语委现代汉语语料库的主要内容

自然科学划分为6类:①数理;②生化;③天文地理;④海洋气象;⑤农林;⑥医药卫生。(https://www.daowen.com)

综合类语料由应用文和难于归类的其他语料两部分组成。应用文使用很广泛,主要涉及以下6类:①行政公文:请示、报告、批复、命令、指示、布告、纪要、通知等;②章程法规:章程、条例、细则、制度、公约、办法、法律条文等;③司法文书:诉讼、辩护词、控告信、委托书等;④商业文告:说明、广告、调查报告、经济合同等;⑤礼仪辞令:欢迎词、贺电、讣告、唁电、慰问信、祝酒词等;⑥实用文书:请假条、检讨、申请书、请愿书等。

语料来源包括教材、报纸、综合性刊物、专业刊物、图书等。每个样本的容量为2000字左右,书籍的抽样字数一般占全书总字数的3%—5%,最多不超过10000字;每本刊物上所选的总字数原则上不超过5000字。

截至2009年,各类语料所占比例如下:

人文与社会科学类语料占语料总量的50%,自然科学类语料占语料总量的30%,综合类语料占语料总量的20%。如图10-6所示:

2)选材基本原则

国家语委语料库的选材遵循如下原则:

①历时性原则。即语料选取时,注重时段上的代表性和对应性。以人文和社会科学为例,其中1919—1925年,约占5%;1926—1949年,约占15%;1950—1965年,约占25%;1966—1976年,约占5%;1977年至今,约占50%;并且按照选材原则,每年增补300万字左右的语料。

图示

图10-6 国家语委现代汉语语料库三大类语料所占比例

②通用性原则。作为通用型语料库,应该在文字、词汇、语法、语义等方面比较真实地反映现代汉语的全貌。因此,国家语委语料库在语料的选择上有别于专业性、地域性和纯口语性的语料库,尽可能地做到提高所选语料在采字、采词、采句和采义等方面的广度,充分考虑了语料的时间、文化和社会使用面等层次的问题。

③抽样性原则。即一方面注重语言材料的多样性,选用政论性文章、新闻报道、各类文学艺术作品、科普读物、通俗读物、学术专论及各种应用文语体等现代汉语作品;另一方面注重语言材料的相对完整性,凡2000字以下的文章原则上全篇采用,报纸可采取整篇文章、整版和整张相结合的方式;此外,还注意语料的遍历性,选材注意各学科、各学科分支、各行各业以及社会生活各个领域的语言文字应用的分布代表性。

3)语料库的建设和深加工

国家语委现代汉语语料库在建设时,遵循了国内外信息处理领域通用的语料库加工方式,标注了分词和词性。同时,还采取了一系列加强建设的措施,如为了使语料的加工有所依据更加规范,制定了《信息处理用词类标记集规范》等建设规范;为了兼容不同词语颗粒度,专门建立了层次化的分词词表,以提供不同颗粒度的语料;为了保证语料库的规模,语料库以每年增加300万字的规模进行扩充。

在建设过程中,国家语委语料库还开发了一系列的软件:如语料切分和标注软件、树库标注软件、语料库校对加工软件、语料库检索工具软件、语料库查询与统计工具软件、语料库全文检索软件以及基于互联网的语料库例句检索工具。

国家语委现代汉语语料库跟台湾“中研院”平衡语料库相比,有很多共同点,如规模都较大,都制定了各自的词类标记等方面的规范,语料分类都较为详细,都留有可以不断增补扩充语料的余地,均提供了web端供用户免费使用等等。但相较而言,台湾“中研院”平衡语料库的多重分类方式似乎更具灵活性和平衡性,而国家语委现代汉语语料库则在以下方面更胜一筹,如:

①国家语委语料库的规模更大。

②国家语委语料库采用国家标准的词类标记规范,而非仅仅是学会标准,适用范围大,更便于其他语料库建设中将标准统一起来。

③国家语委语料库在选材时,更重视语料的历时性原则。

④国家语委语料库开发了更多的相关工具软件,便于使用者深入研究。

⑤国家语委语料库除了词类标记,还开发了句法树库标记集。如图10-7所示:

图示

图10-7 句法树库标记集示例

(3)大陆(内地)及港台其他语料库

根据统计,截至目前,大陆(内地)及港台所建设的语料库列表如下:

1)大陆(内地)高校及语言研究机构建设的语料库

上海交大:

中国学习者语料库CLEC(100万)

南京大学:

南大—国关平行语料库

华中科技大学:

硕士写作语料库MWC(12万)

武汉大学:

汉语语料库汉语现代文学作品语料库(1979年,527万字)

北京航空航天大学:

现代汉语语料库(1983年,2000万字)

北京师范大学:

中学语文教材语料库(1983年,106万8000字)

北京语言学院:

现代汉语词频统计语料库(1983年,182万字)

国家语言文字工作委员会:

国家级大型汉语平衡语料库(2000万字)

清华大学:

现代汉语语料库(1亿字)

山西大学:

汉语新闻语料库(1988年,250万字)

上海师范大学:

生语料库(3000万字);《作家文摘》的标注语料库(100万字)

中国社会科学院语言所:

现代自然口语语料库

中国科学院自动化所:

旅游咨询口语对话语料库和旅馆预定口语对话语料库

北京大学计算机语言学研究所:

《人民日报》语料库(2700万字)

大型中文语料库(5亿字,10分库)

双语语料库(5万多对)

北京大学汉语语言学研究中心:

现代汉语语料库

http://ccl.pku.edu.cn/yuliao.asp?item=1

古代汉语语料库

http://ccl.pku.edu.cn/yuliao.asp?item=2

汉英双语语料库

http://ccl.pku.edu.cn/yuliao.asp?item=3

2)港台高校及研究机构建设的语料库

香港科技大学:

香港科技大学学习者语料库HKUST Learner Corpus

台湾“中研院”:

平衡语料库(Sinica Corpus)

树图语料库(Sinica Treebank)

✍AI写作