轰轰烈烈的大数据要干什么
当今,社会信息化和网络化的发展导致数据爆炸式增长。据统计,平均每秒有200万用户在使用谷歌搜索,Facebook用户每天分享的次数超过40亿,Twitter每天处理的推特数量超过3.4亿条。同时,科学计算、医疗卫生、金融和零售业等各行业也有大量数据在不断产生。2012年全球信息总量已经达到2.7ZB,而到2015年这一数值则达到8ZB。
这一现象引发了人们的广泛关注。在学术界,图灵奖获得者詹姆斯·格雷(James Gray)提出了科学研究的第四范式,即以大数据为基础的数据密集型科学研究;2008年,《自然》杂志推出了大数据专刊,对其展开探讨;2011年,《科学》杂志也推出类似的数据处理专刊。
IT产业界行动更为积极,持续关注数据再利用,挖掘大数据的潜在价值。目前,大数据已成为继云计算之后信息技术领域的另一个产业增长点。据Gartner预测,2013年大数据将带动全球IT支出340亿美元,到2016年全球在大数据方面的总花费将达到2320亿美元。Gartner将大数据技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一。(https://www.daowen.com)
不仅如此,作为国家和社会的主要管理者,各国政府也是大数据技术推广的主要推动者。2009年3月,美国政府上线了data.gov网站,向公众开放政府所拥有的公共数据。随后,英国和澳大利亚等政府也开始了大数据开放的进程。截至目前,全世界已经有35个国家和地区构建了自己的数据开放门户网站。美国政府联合6个部门宣布了预算达2亿美元的“大数据研究与发展计划”。在我国,2012年中国通信学会、中国计算机学会等重要学术组织先后成立了大数据专家委员会,为我国的大数据应用和发展提供学术咨询。
随着以博客、社交网络、基于位置的服务(LBS)为代表的新型信息发布方式的不断涌现,以及云计算、物联网等技术的兴起,数据正以前所未有的速度不断地增长和累积,大数据时代已经来到。学术界、工业界甚至政府机构都已经开始密切关注大数据问题,并对其产生浓厚的兴趣。就学术界而言,《自然》杂志早在2008年就推出了BigData专刊。计算社区联盟(Computing Community Consortium)在2008年发表了报告《大数据计算:创造商业、学术和社会领域的革命性突破》(Big data computing:Creating revolutionary break throughs in commerce,science,and society),阐述了在数据驱动的研究背景下,解决大数据问题所需要的技术以及面临的一些挑战。
《科学》杂志在2011年2月推出专刊“Dealing with Data”,主要围绕着科学研究中大数据的问题展开讨论,说明大数据对于科学研究的重要性。美国一些知名的数据管理领域的专家学者则从专业的研究角度出发,联合发布了一份白皮书《大数据促发展:挑战与机遇》(Challenges and Opportunities with Big Data)。白皮书从学术的角度出发,介绍了大数据的产生,分析了大数据的处理流程,并提出大数据所面临的若干挑战。