大数据和云计算

更新于 2026年10月13日 版权声明
第一节 大数据和云计算

《经济学人》在2017年的一篇封面文章中将数据定义为“数字时代的石油资源”,数据对智能媒体发展的意义不言而喻。

大数据(big data)是一种规模大到在获取、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合。假设把大数据看作特定的产业,要想使该产业在运营和发展的过程中获得收益,那么,就必须对数据信息的处理能力有足够的重视,也正是在这个过程当中,数据信息的基本价值和作用才会全面彰显出来。从现在的实际情况来看,业界对其有着不同的观点和看法。但不可否认的一点是,大数据如果仅仅从“4V”[Volume(海量)、Velocity(高速)、Vast(空间)、Variety(多样)]等方面表现其“大”量,则难以发挥出其应有的基本作用,它的重点在于如何转化这些数据并使其成为“智能数据”,正是因为如此,还需要加入“3V”[Value(价值)、Veracity(真实)、Visualize(可视化)]的运用。[1]整体上看,互联网大数据的典型代表包括:用户行为数据(精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等)、用户消费数据(精准营销、信用记录分析、活动促销、理财等)、用户地理位置数据(O2O推广、商家推荐、交友推荐等)、互联网金融数据(P2P、小额贷款、支付、信用、供应链金融等)、UGC数据(趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等)等。数据挖掘和文档理解研究依托于海量内容,专注于主题聚类分析、信息分类、非结构化知识抽取、文本理解和热点追踪等技术研究。目前,通用性的数据分析行业主要有数据分析、数据分析可视化、大数据检索,以及延伸出的数据服务平台、商业智能分析及大数据预测与咨询这六大类业务。

从某种程度上来说,数据是现实世界在虚拟世界的一个“映像”,可以通过数据挖掘对“虚拟映像”进行分析,使得隐藏在数据背后的信息、知识不断显现。“未来的新石油”是对大数据的美誉,它正推动着从IT(Information Technology,信息技术)到DT(Data Technology,数据技术)的革新和发展,从而为人类提供更多的资源。从我国的实际情况来看,相关职能部门能够更加便捷地进行各种数据的获取,包括人口数据、物流数据、气象数据、信用数据以及消费数据等。这一系列的数据在每个政府部门里面看起来是单一的、静态的,但若政府部门能够通过相互协作,对这些数据进行综合运用,严格进行关联分析与统一管理,那么,这一系列的数据必将进一步彰显其价值。

现在,我们接收的信息来自智能手机和工业设备的传感器、数字照片和视频、源源不断的社交媒体信息流和其他应用软件,数据的丰富程度前所未有,世界上90%的数据都是过去两年涌现的,可以说人类现在的生存就是一场数据化生存。未来30年,数据将成为生产资料,计算是生产力,互联网是生产关系。

2017年12月,中共中央政治局就实施国家大数据战略进行了第二次集体学习,中共中央总书记习近平在此次学习中强调:要集中优势资源突破大数据核心技术,加快构建自主可控的大数据产业链、价值链和生态系统;要加快构建高速、移动、安全、泛在的新一代信息基础设施,统筹规划政务数据资源和社会数据资源,完善基础信息资源和重要领域信息资源建设,形成万物互联、人机交互、天地一体的网络空间。至此,“国家大数据战略”定位提升,充分凸显了中共中央对大数据发展的高度重视。(https://www.daowen.com)

云计算(cloud computing)是一种通过互联网以服务的方式提供动态可伸缩的虚拟化资源(包括网络、服务器、存储、应用、服务等)的计算模式。简单来说,云计算是未来信息技术的一种主要架构。云端通过集中的资源提供各种服务,各种终端通过互联网接入使用,而不是原来各自维护自己的基础架构。通常来讲,云计算具有按需自助服务、广泛的网络接入、快速弹性、资源池以及按使用量计费的服务等主要属性,具备混合云、私有云、社区云及公共云四种部署模式,同时包括SaaS(Software as a Service,软件即服务)、PaaS(Platform as a Service,平台即服务)和IaaS(Infrastructure as a Service,设施即服务)三种服务模式(如图1-1)。

图示

图1-1 云计算的基本概念

云计算作为新信息基础设施的核心,其主要思想是把计算基础设施转变为商品进行流通,使得用户能够按照需求获取信息服务、存储空间和计算力。云计算将使未来的互联网变成超级计算的乐土,技术发展加速了传统的“计算机+软件范式”向“云计算+数据模式”的转型升级。在云服务模式下,可以统一资源,既能避免重复投资和资源浪费,又能打破原有的信息孤岛,实现计算和存储资源的集中;可以统一应用,使得各项先进技术的优势作用更加充分全面地发挥出来;还可以统一数据,为用户提供不同终端数据的同步和共享,实现数据大集中与数据资产的再利用。

✍AI写作