大数据计算分析方法与应用_工业技术

1

第1章　大数据计算分析技术概述

了解大数据核心技术认识大数据技术生态圈掌握大数据计算分析价值了解大数据计算框架认识大数据计算分析平台(https://www.daowen.c

阅读

2

1.1　大数据核心技术

大数据的核心技术主要有两大部分：一是数据的存储，二是数据的计算分析。对于数据的存储和计算分析，传统数据库、数据仓库等产品已经给出了非常完善的解决方案，为何还要采

阅读

3

1.1.1　分布式存储

分布式存储是一个大的概念，其包含的种类繁多，除了传统意义上的分布式文件系统（Hadoop Distributed File System，HDFS）、分布式块存

阅读

4

1.1.2　分布式计算

将数据分布式地存储在多台服务器上后，如何分布式地在这些由多台服务器组成的文件系统上进行数据并行计算分析呢？首先，什么是分布式计算？简单理解就是将大量的数据分割

阅读

5

1.2　大数据技术生态圈

图1⁃4是一个大数据项目设计的完整技术架构图。可见，要完成一个大数据项目开发，就需要大数据领域中各种技术的支撑。人们把这些为大数据项目开发提供稳定、安全、可靠的

阅读

6

1.3　数据分析与大数据分析

数据分析与大数据分析这几年一直都是高频词，很多人开始转行到这个领域，也有不少人跃跃欲试，想找准时机进入数据分析或大数据分析领域。如今数据分析和大数据分析火爆，要

阅读

7

1.3.1　数据分析

数据分析是指基于某种行业目标，用适当的统计分析方法对收集到的大量数据进行分析，提取有用信息并形成结论，是对数据加以详细研究和概括总结的过程。数据分析的理论基础

阅读

8

1.3.2　大数据分析

大数据指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多

阅读

9

1.3.3　大数据计算分析的价值

从某种意义上说，数据分析的过程，就是寻找强的相关关系（必然性、因果性），或对弱的相关关系进行综合处理，得到强的相关关系，也就是用数据发现信息。一般来说，人们在

阅读

10

1.4　大数据计算框架

大数据计算框架，起源于Google公司的经典论文。由于当时网页数量急剧增加，Google公司内部要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日

阅读

11

1.4.1　大数据计算框架分类

计算机的基本工作就是处理数据，包括磁盘文件中的数据、通过网络传输的数据流或数据包、数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用，数据规模

阅读

12

1.4.2　批处理框架

批处理在大数据世界有着悠久的历史。批处理计算主要操作大容量静态数据集，并在计算过程完成后返回结果。批处理计算模式中使用的数据集通常符合下列三大特征。 ①有界：

阅读

13

1.4.3　流式计算框架

流式计算是针对连续不断，且无法控制数据流速的计算场景设计的计算模型，常见的场景有搜索引擎、在线广告等。批处理的操作对象是静态数据集，而流式计算却是对动态数据集

阅读

14

1.4.4　内存计算框架

受数据挖掘工具性能方面的限制，一般的数据挖掘是先对数据做预处理，之后才能做数据展示。如果预处理的数据是按照销售的产品种类去汇总，未来显示的信息也就只能按照这种方

阅读

15

1.4.5　图计算框架

社交网络、Web链接关系图等都包含大量具有复杂关系的图数据，这些图数据规模很大，常常达到数十亿的顶点和上万亿的边数。这样大的数据规模和非常复杂的数据关系，给图数

阅读

16

1.5　大数据计算分析平台

大数据计算分析的重要性已经得到各类企业的广泛认可与重视。各企业都希望依托一款操作简单、功能强大的大数据计算分析平台，快速高效地从海量数据中获取有价值信息，帮助企

阅读

17

1.5.1　DANA Studio

DANA Studio是上海德拓信息技术股份有限公司在其原先的DANA大数据基础平台上研发的面向开发者、数据管理者、数据应用者提供的一站式大数据协作开发、管理平

阅读

18

1.5.2　MaxCompute

MaxCompute是阿里云推出的承载EB级的数据存储能力，百PB级的单日计算能力，公共云覆盖国内外十几个国家和地区，专有云包含城市大脑在内部署超过100+套的

阅读

19

1.5.3　LeapHD

图1⁃12　LeapHD框架 LeapHD是联想推出的企业级大数据平台，LeapHD实现海量数据存储和高性能计算。它基于Hadoop/Spark生态系统，并对复

阅读

20

1.6　本章小结

本章首先介绍了大数据的两大核心技术，阐述了大数据技术生态圈，对比了数据分析和大数据分析的异同，体现了大数据分析的特色和价值。然后，简单介绍了几种目前主流的大数据

阅读

21

1.7　课后作业

一、简答题 1.简述大数据两大核心技术。 2.什么是数据分析？什么是大数据分析？ 3.试举例说明大数据计算分析的价值。(https://www.daowen.c

阅读

22

第2章　大数据计算分析常用算法及场景

了解大数据计算分析常用算法了解聚类过程及常用的聚类算法掌握决策树、K⁃means算法思想掌握线性回归分析算法思想及应用理解关联规则算法及其应用

阅读

23

2.1　分类

对于分类，其实大家不会陌生，说每个人每天都在执行分类操作一点都不夸张，只是人们没有意识到罢了。例如，当你看到一个陌生人时，你的脑子会下意识判断此人是男是女；你可

阅读

24

2.1.1　什么是分类

分类就是找出数据库中的一组数据实例的共同特点，并按照分类模型将其划分为不同的类别，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别中，主要用于涉及应

阅读

25

2.1.2　分类过程

分类过程主要包括两个步骤：模型构造（学习）和模型使用（分类）。第一步　模型构造，即学习。分类模型可以表示为分类规则、决策树、数学公式等，是对已经分类的数据集

阅读

26

2.1.3　典型分类算法

简单来说，分类就是根据对象的特征或属性，将其划分到已有类别的过程。常用的分类算法包括：决策树分类算法，朴素的贝叶斯分类算法、基于支持向量机（SVM）的分类器，神

阅读

27

2.1.4　案例：海洋生物分类

各种各样的海洋生物里，鱼类是同人们生活最密切的一种，它们也是海洋里的主要居民之一，在蔚蓝的大海里自由自在地畅游，给大海带来无限生机。海洋鱼类有一万多种，它们是一

阅读

28

2.2　聚类

俗话说，“物以类聚，人以群分”，在自然科学和社会科学中，都存在着大量的分类问题。所谓类，通俗地说，就是指相似元素的集合。聚类分析起源于分类学，在古老的分类学中

阅读

29

2.2.1　什么是聚类

聚类（clustering）就是将具体或抽象对象的集合分成由相似对象组成的多个类或者簇的过程。由聚类生成的簇是一组数据对象的集合，簇必须同时满足两个条件。第一

阅读

30

2.2.2　聚类过程

聚类是将数据对象分类到不同的类或者簇的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。从机器学习的角度讲，聚类是搜索簇的无监督学

阅读

《大数据计算分析方法与应用》简介