文献信息检索效果的评价

一、文献信息检索效果的评价

文献信息的检索效果(retrieval effectiveness)是信息检索过程中满足用户需求的有效程度。评价检索效果,主要是为了分析影响检索效果的因素,从而研究提高检索效果的措施,更好地满足用户信息检索的需求。

评价检索效果,主要从质量、费用和时间三方面来衡量。

(一)质量标准

质量标准主要通过查全率(也称召回率,recall ratio)和查准率(也称准确率,precise ratio)这两个指标进行评价。这两个指标是广泛用于信息检索领域的两个度量值。

信息检索结果分析统计表如表4-1所示:a表示某次检索任务检索出的相关文献数;b表示此次检索任务检索出的非相关文献数;c表示未被检索出的相关文献数,d表示未被检索出的非相关文献数。

表4-1 信息检索结果分析统计表

图示

1.查全率

查全率是检索出的相关文献数与系统中所有的相关文献数的百分比,公式为:

查全率R=(检索出的相关文献数/系统中所有的相关文献数)×100%

=a/(a+c)×100%

2.查准率

查准率是检索出的相关文献数与检索出的文献总数的百分比,公式为:

查准率P=(检索出的相关文献数/检索出的文献总数)×100%=a/(a+b)×100%

例如,某个检索系统中共有关于某课题的相关文献200篇,在一次检索中,检索出的文献总数为100篇,其中检索出相关文献80篇,计算查全率和查准率。

查全率=80/200×100%=40%(https://www.daowen.com)

查准率=80/100×100%=80%

3.F值

F值指查全率R和查准率P的调和平均值,是综合这两个指标的评估指标,是用于综合反映整体的指标。公式为:

F值=查准率×查全率×2/(查准率+查全率)

例如,某池塘有1400条鲤鱼、300只虾、300只蟹,现在以捕鲤鱼为目的撒一大网,逮着了700条鲤鱼、200只虾、100只蟹,那么,这些指标分别如下:

查准率=700/(700+200+100)×100%=70%

查全率=700/1400×100%=50%

F值=70%×50%×2/(70%+50%)=58.3%

4.查全率和查准率的关系

查全率和查准率之间存在互逆关系。理想的信息检索,是能无遗漏、无误差地检索出用户所需要的全部信息,即查全率和查准率均为100%。但实际情况是不可能达到的,而且查全率和查准率往往不可能两全其美,当查全率和查准率相对平衡时,如果继续提高查全率,查准率会下降;如果继续提高查准率,则查全率会下降。

通常,我们需要根据课题的实际需求,确定是以查全为主还是以查准为主,或是寻求查全与查准的相对平衡。

(二)费用标准

费用标准即检索费用,是指用户为检索课题所投入的费用。不同的系统检索的费用是不同的,有的按照下载页数收费,有的按照下载篇数收费。在选择检索系统时检索者应优先选择检索费用较低的系统。

(三)时间标准

时间标准是指花费时间的多少,它包括检索的准备时间、检索过程中的时间以及获取全文的时间等。