大数据的本质是“非结构化”的多样数据
这些以前所未有的猛烈势头产生的数据,无论增加的数据量多么惊人,如果不能得到有效利用,就没有意义。所谓大数据,应该是人们能够在实际中应用的对象。
到此为止。以数据应用为目的使用系统就是“数据库”。以零售店的顾客数据库为例,该数据库收集的数据形式经过严格规定。从顾客信息(注册ID、姓名、性别、出生年月日、家庭住址、配偶、子女等)到购买信息(包括购买种类、购买数量、购买日期、购买金额、店铺编号、商品编码、对应店员等)都是按照特定规则录入的数据。以这些数据库为基础的企业通过对每个顾客的购买历史记录进行分析,来掌握各店、各营业时段的销售情况。指定人员录入数据时,要求必须严格遵守相关规则。例如,以性别男,1人;性别女,2人为一组录入数据,录入数据时按规定的格式输入。假设其中一人在性别栏输入“3”,这时,系统会提示错误,并拒绝输入该错误信息。
这种提示错误的数据被称为“结构化数据”。按数据库定义,就是“符合规则的数据”。与此相对,“不符合规则的数据”就是“非结构化数据”。“非结构化数据”无法纳入之前任何一种数据库。
但是,其实每天互联网上产生的数据都是非结构化数据。也就是说,现在呈爆炸式增长的数据无法被纳入传统的数据库,对这些非结构化数据进行分析并利用还处在可望而不可即的阶段。
谷歌公司的远大目标就是对互联网上流通的所有信息数据进行整合,使人人皆可访问并从中受益。为了对全球范围内的数据(信息)进行整理,谷歌公司开发了一项对庞大的非结构化数据进行整理分析的技术——MAPReduce,面向一般用户公开的Hadoop数据分析平台。谷歌公司通过应用这项技术,使非结构化数据——大数据分析和应用成为可能。现在,大数据受关注的原因是通过对多样化、复杂的庞大数据进行分析,使数据具备信息价值,并在此基础上构建对人类有益的知识架构。(https://www.daowen.com)
成为分析对象的非结构化数据大致可分为两类,第一是Web2.0以前广泛流通,但未数字化的数据。比如广播上播放的声音数据、电视及电影上的影像数据、报刊杂志、书籍等印刷品文字数据。随着数字化手段的介入,这些数据也成为数据分析的对象。
此外,还有来自博客、Twitter、FACEBOOK等社交平台的庞大数量的文本数据和图像数据。还有以You Tube为代表的影像投稿网站上流通的影像数据、电子书籍发送的印刷品文字数据、来自智能手机终端上的GPS远程位置数据以及机械设备上安装的传感装置发送的数据。无论以上哪种数据,随着网络的普及应用,都将成为急速增长的数据群。
由于这些采用传统技术无法处理的数据,以分析利用为目的实现了技术上的突破,所以,今天进人大数据时代可谓实至名归。