美国数字灰色文献资源建设实践
2.1 美国数字灰色文献资源建设现状
美国数字灰色文献具有起步早、类目齐全、增长稳定等特点，有专门的政府、商业及研究机构负责搜集、整理数字灰色文献并出版利用，形成了较为系统和成熟的产业模式。1938年，美国国际缩微制品公司（UMI）利用缩微技术收集大学学位论文，并整理形成缩微论文库进行商业运营至今，属于世界上最早的灰色文献数据库，1987年，UMI又与弗吉尼亚理工大学一起组织构建电子学位论文库，进一步完善了其论文数据库的发展。1952年，在美国的推动下，北大西洋公约组织（北约）在纽约成立了最早的国际性灰色文献研究机构——航天研究与发展咨询中心（AGARD），率先建成了西方国家系统性的灰色文献研究机构。1992年，多米尼克·法拉斯（Dominic Farace）博士创办了灰色文献资源网（GreyNet），不久该网站就成为全球最知名的灰色文献在线服务网站之一，也是目前美国用户最多、规模最大的民间灰色文献服务网站，其通过与世界各国的个人和机构开展灰色文献交流合作，收集整理包括论文、会议资料等多种灰色文献资源，为全球用户提供文献资源服务。
此外，GreyNet还通过举办国际性灰色文献会议的形式与各国开展深入的合作，截至2018年，其已经成功组织举办了二十次国际灰色文献大会。1996年，美国国家自然科学基金资助国会图书馆建立了美国网络数字博硕士论文图书馆（NDLTD），吸引了全球众多大学图书馆及图书馆联盟加盟，成为目前最大的全球性灰色论文共建共享联盟，读者可以免费在线检索该论文库的题名、摘要和部分内容，付费会员可以下载全文。此外，美国著名的ProQuest公司开发的博硕士论文数据库（PQDD）共收录了美国及加拿大一千多所大学及研究机构在自然、社科、医学、农业、工业等领域超过300多万份博硕士论文，同时还收录大量的音频、视频、会议资料及剧本、程序代码等，并以每年8万篇的速度增长，目前，全球包括中国在内有许多研究机构、大学图书馆购买了ProQuest的论文数据库。
美国政府资助并建成的众多官方灰色文献信息服务机构，对美国经济发展和科技创新起到积极促进作用。美国国家技术信息局（NTIS）是美国最大的政府资助项目文献资料收集整理中心，根据联邦法律规定，NTIS是联邦政府唯一的政府报告法定集中收藏单位。其收集的文献包括一般政府部门报告（PB）、能源部门的报告（DE）、航天局的报告（NASA）和国防部门的报告（AD）等官方资料，尤其是为以上四类提交报告的部门提供发行和集中收藏服务。到2016年为止，NTIS数据库已有400多万条记录，包括大量的文摘、可下载pdf文档和各类政府资助的项目文档，其数据最早甚至可以回溯到1964年，目前平均年新增数据13万余条，其服务对象涵盖政府、企业、高校及个人。
除此之外，美国能源部还成立了美国能源科技情报的科技信息办公室（OSTI），专门负责收集、存储和利用与能源有关科技及工程信息、专利、科技会议资料、数据、软件等，并开发了专门的联邦科学门户搜索引擎Federated Search，用于检索能源相关文献，能够检索20世纪80年代至今收录的所有能源文献，是目前世界上最权威，使用最多的能源技术类灰色文献数据库。这些官方机构的设立，很好地推动了大众及工商业界利用政府数据，对美国创新经济的增长发挥了重要作用。
美国出台了许多与图书馆相关的灰色文献法律法规，近年来尤其重视数字灰色文献方面的立法，使图书馆可以在法律保障下有效开展数字灰色文献资源的建设工作。早在19世纪初期，美国国会便实施了联邦储藏图书馆计划（FDLP），要求参众两院发行的刊物及文件全部都要提供一份副本给美国国会图书馆保存，以供联邦政府以外的机构参考，保障美国公民可以合法获取相关的政府信息。1962年，关于保障图书馆收藏FDLP文献的《储藏图书馆法案》正式通过并实施，截至2016年，全美已有储藏图书馆成员1352家，成员涵盖众多高校图书馆、公共图书馆及各领域的专业图书馆，公众可在这些成员图书馆中借阅数字版本及印刷版本的相关文献。近年来，随着信息技术的快速发展，美国政府及图书馆界更加重视数字灰色文献的收集整理，2000年3月，为加强日益增长的数字灰色文献的采集力度，美国国会图书馆正式启动了“网络电子资源虚拟目录（LCWA）”项目，成立专门的采编部门，按照专题收集和保存互联网灰色文献资源，当年12月份，美国国会又通过了《网络电子资源虚拟目录》法案，并拨款1亿美元建设“国家数字信息基础架构项目（NDIIPP）”，致力于以数字形式保存倒闭网站的各种数字资源，包括地图、视频、文本、图像等。
2.2 美国数字灰色文献利用的经验
2.2.1 注重法律保障，经费资助充足(https://www.daowen.com)
美国政府十分重视灰色文献利用的立法和资助，通过立法的形式保证了社会各界获取并传播科学、技术和工程信息的权利，鼓励信息资源的大范围共享，以此促进国家经济的增长。例如，产生于联邦政府寄存文件计划的美国国家储藏图书馆项目（FederalDepository Library Program，FDLP），为保障美国储藏图书馆收藏联邦政府的灰色文献，1962年，美国国会通过并实施了《储藏图书馆法案》，该法案规定了两个核心内容，一是可通过FDLP管理委员会指定或者根据成员拥有特殊馆藏资源情况（灰色文献）等多种途径补充美国国家储存图书馆的新成员，达到拓展美国储藏图书馆网的目的；二是FDLP的运营经费由联邦政府和成员图书馆共同承担，保证储藏图书馆项目的持续发展。2004年，FDLP管理委员会开设了政府信息在线（GIO）网站，这是一个全国性的国家灰色文献资源公共服务体系框架，允许FDLP在网上开展联邦政府信息数字化的咨询和服务工作，FDLP也正式成为公众咨询和利用灰色信息服务的标准制定单位。在经费支持方面，美国联邦政府也非常重视对灰色文献数据建设的投入，2000年，为了有效收集、保存互联网数据，尤其是那些有可能停止运营的网站数据，美国国会斥资1亿美元，由美国国会图书馆启动国家数字信息基础架构及保存的《网络虚拟目录》项目（LCWA），保障图书馆收集网站的数字灰色文献资源。众所周知，网站的运营时间长短不一，数月、数年不等，随着网站的停运，该网站所拥有的数字资源也就跟着消失了，特别是一些特别领域的软件、文字内容、特色图片、视频等，为了有效收集、保存这些网站的数据，2003年，美国国会图书馆联合大英图书馆、澳大利亚、加拿大、法国、芬兰、冰岛、挪威等十多个国家图书馆成立了LCWA互联网文献收集团队，抢救各类濒危的网站数字资源，由于互联网网站数据庞大，内容繁杂，LCWA采取了专题的方式收集和保存，即按照主题、事件、领域对数字灰色文献进行归档。目前，LCWA收集整理的专题主要包括：美国大选期间各总统候选人的竞选网站数据、美国国会及立法网站数据、全球各国选举网站数据及某些特殊主题的网站数据，如伊拉克战争、阿富汗战争、“9·11”恐袭事件、奥运会宣传等影响较大的独立事件，截至目前，LCWA已经收集了782TB的数据，并且以每月5TB的数据量快速增长。
2.2.2 行业图书馆贡献突出，资源采集技术、工具成熟先进
美国的数字灰色文献通常由行业协会图书馆收集整理，形成独具行业特色的灰色数据库。由于灰色文献的灰色性质，普通的图书馆和机构很难获取，更谈不上提供访问和使用，例如，20世纪80年代，美国纽约医学协会的研究人员发现，与公共卫生和健康服务有关的参考资料，60%属于灰色文献，众多卫生和健康服务工作者缺少第一手的研究资料。所以，1998年，为了解决相关业者的阅读需求，美国纽约医学协会图书馆出版了一份在线刊物“灰色文献报告”（GrayLiteratureReport，GLR），由美国纽约医学协会图书馆的专业图书馆员团队向相关领域的出版组织和机构收集灰色医学文献，经编目后分类保存，并将部分文献整理编辑形成刊物出版，是一份双月刊的在线出版物，具有很高的专业性和参考价值。1999年，纽约医学协会图书馆又正式推出“灰色文献数据库”（Gray Literature Database，GLD），提供更全面的数字灰色文献的利用服务，读者可以查阅所有纽约医学协会图书馆之前收录的文献资源内容，包括原始文献及加工文献，为研究者提供了更加深入的服务，目前，该数据库重点主题包括7大类，分别是全球健康状况、健康老龄化、消除健康差异、卫生政策、社区卫生参与、疾病预防、纽约医学协会出版物。起初，纽约医学协会图书馆“灰色文献数据库”建设的目的是为解决内部人员的研究需求，主要客户都是纽约医学协会的从业人员，发展到后来使用人数越来越多，目前，来自全国各地的年订阅量超过3000人，用户群体除了卫生领域的研究人员和执业药师外，还有许多关注健康的社会各界人士。
在收集保存数字资源过程中，美国图书馆界探索掌握了较为成熟先进的采编模式，在数据采集流程中的不同工作阶段，分别使用各种免费或者定制的软件工具来进行信息自动化管理，如在搜索查找阶段，使用数据挖掘工具，美国国会图书馆开发了软件DIGBOARD，可以指定要挖掘的网站和资源类型，然后软件就会自动对网站资源进行远程访问并审核知识产权及法律法规问题；在采集阶段，应用各种网络爬虫工具进行抓取，如“Python网络爬虫”“Heritrix档案网络爬虫”。此外，“谷歌学术”是当前美国图书馆界优先使用的资源采集工具，通过精心设计各种组合搜索策略，强大的谷歌学术文献搜索引擎可以找到大量指定主题的数字灰色文献资源；在存储阶段，使用存储软件Baglt Library，将采集到的数据保存成一条记录（Item），每条记录都会包含以下描述信息：格式、数据来源网站、生成日期、语言、主题、摘要、关键词、类型、源地址、内容等，相当于是一个网页快照，能基本保存源页面的内容，但是互动功能无法发挥作用；最后，对数字资源的版权问题进行声明，注明数字资源的来源信息，并声明仅用于学术研究使用，用于商业用途将会被法律追责等。
2.2.3 促进创新经济增长，推广免费数字服务
美国国家技术信息服务局（NTIS）是一个完全由政府资助的灰色文献服务机构，成立于20世纪60年代初。根据法律规定，NTIS的设立是为了更好地推动各类信息为产业界、商业界和普通大众所利用，以实现商务部通过信息促进美国技术创新和经济增长的任务，为实现这一目标，NTIS一直致力于收集并传播科技和工程信息。目前，NTIS已经建成包含350多个主题领域、300多万份出版物的数据库并提供利用，许多小微及创业公司都使用其提供的数据。例如，FlightAware （航班追踪）是一家航空软件和数据服务公司，该公司成立于2005年，运营着一个网站和手机移动应用程序，主要为美国、加拿大、澳大利亚和苏格兰等西方国家的私人和商用飞机提供免费飞行跟踪服务，其利用NTIS获取的联邦航空管理局、气象局、航空公司和机场关于气象、航班、空域流量等数据信息，研究分析后得出航班的轨迹数据并供用户使用。该公司提供的航班数据非常精准，客户使用和安装的数量也非常高。根据1991年通过的《美国技术卓越法案》要求，所有得到联邦政府资金资助的科技项目成果信息都要递交给NTIS保存，由NTIS管理并提供给公众利用，因此，NTIS拥有许多各种各样的数据信息，而FlightAware公司很大一部分空域、气象数据就是来自NTIS。在美国，类似FlightWare这样使用官方机构灰色信息进行业务创新的企业还很多，如成立于2015年，与美国中央情报局（CIA）、国土安全部（DHS）、国家安全局（NSA）、联邦调查局（FBI）等情报机构合作抓捕恐怖分子维持社会稳定的Palantir公司，还有利用美国国家大气研究中心（National Center for Atmospheric Research，NAR）数据准确预报天气和预测城市汽车尾气排放情况的YouTube天气频道等。
美国的数字灰色文献服务机构还表现出越来越明显的免费化趋势。NTIS于2016年8月24日宣布向全球免费开放“开放国家技术报告库（OpenNTRL）”，NTRL原是NTIS一个重要的灰色数据库，长期以来为用户实施四级服务，分成普通会员、付费会员、高级个人会员及高级机构会员四个等级，但是，NTIS发现用户购买NTRL付费服务的增长远低于预期，自2014年以来，注册成为付费用户的个人和机构越来越少，而免费浏览的用户占了网站流量的绝大多数。因此，为了保障NTRL的数据访问率和利用率，2016年10月1日开始，NTIS宣布停止所有高级NTRL服务并停止接受新的付费订阅请求，并按比例向已经缴纳会费的用户退款，同时开放OpenNTRL的使用，用户可以通过标题、机构来源、作者、出版年等关键词免费检索OpenNTRL的所有数据。2015年6月，时任美国商务部部长彭妮·普利兹克（Penny Pritzker）就为NTIS设定了一个新的目标，要求扩大公众对该部门和更广泛的联邦政府数据资源的免费访问和获取力度，尤其是有关美国经济、人口和环境的数据，将政府部门的数据作为战略重点，致力于让企业、政府、纳税人和社区更容易获得、分析和使用数据，加强美国经济增长，创造新的就业机会。