呈爆炸式增长的全球数据存储量

更新于 2026年10月13日 版权声明
第二节 呈爆炸式增长的全球数据存储量

也就是说,“大数据”的意义不仅仅是与医疗行业相关的数据,甚至可以说,医疗数据在大数据中仅占很少的一部分。那么,现在全球范围内的“大数据”到底是一种什么样的状态呢?

大数据呈现爆炸式增长,从2005年开始进入Web2.0时代,网络世界的数据量进一步激增。

那么,“Web2.0”与传统模式——“Web1.0”之间的区别是什么呢?

二者之间最大的区别之一是制作互联网流通内容的难易程度。Web1.0时代的网页语言代码HTML是由少数编辑人员定制的。市面上有在售的专业网页制作软件,但使用这些软件需要具备相应的专业技能,不是什么人都能简单操作的。

但是,随着Web2.0时代的到来,情况发生了巨大改变。Web2.0包含了我们经常使用到的服务,比如博客、电子公告牌、图片及动画分享服务……可以说,我们每个人都是网页内容的供稿者,用户只需敲击键盘输入就能轻松推送信息,或者将数字数据、视频等上传到网上,在世界范围内公开发布自己拍摄的影像作品。互联网信息发布的难度大大降低。结果,数量庞大的用户群开始成为网络内容的作者,互联网上公开的信息量开始急剧增加。用户和消费者自身创造信启、的“Consumer Generated Contents”(定制生成内容)时代拉开序幕。

但是,这些由“如雨后舂笋般冒出的内容制作者们”制作的内容与web1.0时代由专业人员制作的内容迥然不同,其质量千差万别,鱼龙混杂。互联网上的数据量暴增本身是一件好事,但是,如果按这种状态持续发展下去,哪些信息是有用的?哪些信息可信?用户根本无法甄别,更不知道在哪里能够找到所需的信息。部分信息学家将这种状况定义为“DRIP”——DataRich Information Poor(数据很丰满,信息很骨感)。

于是,一些企业在这种混沌未分的状况下迅速发展壮大,例如为用户提供免费信息检索服务的谷歌公司。1998年由同公司创办的Google’s mission对其搜索引擎是这样描述的。

“谷歌的使命是整合全球范围的信息,使人人皆可访问并从中受益。”(https://www.daowen.com)

大数据时代的操盘手不止一家企业,但是,谷歌无疑是其中最重要的一家。可以说,谷歌推出的搜索引擎改变了互联网的使用方式。该公司通过引进被称为“网页排名(PageRank)”的十进制计算技术,帮助每个用户通过简单检索轻松找到所需的信息。这些信息不仅限于大多数用户寻找的一般性信息,还包括少数人关心的,希望获取的罕有信息,甚至小众信息。用户个人推送的信息可能被每个人都看到,这对信息制作者来说将激发其产生信息的热情,并进一步将制作的内容上传至互联网。

进一步推动这些在互联网上不断增长的数据信息量的推手是以Twitter(非官方汉语通称推特)和FACEBOOK为代表的社交媒体的诞生。例如,TwitteI,于2012年12月单日处理数据量超过4亿件。另一方面,2012年4月,FACEBOOK单日处理32亿次“Like”按钮点击。

在这种状况下,全球范围内流通的数据量急速增长。2002年世界范围内生成的数据量累计达23艾字节(EB:Exabyte),2009年达到0.8泽字节(ZB:Zetabyte)(800艾)。当年生成的数据量经过七年,足足增加了35倍。增加的数据中,大部分数据是图像数据和神策数据(Sensors Data),其中约75%为个人生成。此外,现有数据的90%是在过去两年期间产生的。如果今后这种趋势继续下去,预计2020年全球数据量将突破45泽字节(约等于45 000艾字节),也就是说2020年,数字数据量将增至现在的44倍。

数据量增加的要因不仅仅是社交媒体的兴起。还有多数人并未认识或忽略的机器对机器(M2M,Machine to Machine)间处理的数据。存储Sensors Data等各种机器设备通过与互联网连接,不间断地将气温与环境变化等(利用传感器)传感测量数据发送到互联网上。

例如,自动售卖机的库存数据会定期自动发送到服务器上,用于库存管理。街头巷尾安装的监控设备会把实时监控图像发送到指定的服务器终端。随着传感、通讯设备的小型化、低价化发展,这种装置已经成为现实。

此外,以西瓜卡(Suica)、ICOCA卡、PASM卡等日本国民生活中普及的交通Ic卡为例,这些同样是导致数据量激增的原因。据统计,JR东日本公司发行的西瓜卡约为4440万张,PASM储值卡的发行量约为2360万张(2013年)。毫无疑问,这些IC卡被编以个人ID号,根据个人单位即可锁定用户——什么人?在什么时间?从哪儿到哪儿?借助何种交通方……等类似的信息数据被处理后转化成实时数据存储。此外,很多交通Ic卡除了乘坐交通工具时使用,还可以作为电子钱包在24小时便利店等店铺购物时使用。据统计这些Ic卡的日均使用次数可达数百万件,每月可达l亿。当今世界已经进入大数据时代,全球范围内,每天都有无数数据瞬间不间断生成。

✍AI写作