9.4.5 专家级工具
与Excel相对的是专业数据分析工具。如果用户是一个专业的数据分析师,那么就必须对下面将要介绍的工具有所了解(如果不是精通的话)。众所周知,SPSS和SAS是数据分析行业的标准工具,但是这些工具的价格不菲,只有大型组织和学术机构才有机会使用,下面我们介绍几种免费的替代工具,这些开源工具的共同特征是都有强大的社区支持。开源分析工具性能不输于老牌专业工具,插件的支持甚至更好。
1.R
R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
作为一种统计分析软件,R集统计分析与图形显示于一体,它可以运行于UNIX,Windows和Macintosh的操作系统上,而且嵌入了一个非常方便实用的帮助系统,相比于其他统计分析软件,R还有以下特点:
(1)R是自由软件。这意味着它是完全免费的,其源代码是开放的,可以在它的网站及其镜像中下载任何有关的安装程序、源代码、程序包及文档资料。标准的安装文件自身就带有许多模块和内嵌统计函数,安装好后可以直接实现许多常用的统计功能。
(2)R是可编程的语言。作为一个开放的统计编程环境,R的语法通俗易懂。我们可以用R编制自己的函数来扩展现有的语言。因此,R的更新速度比一般统计软件(如SPSS、SAS等)快得多。大多数最新的统计方法和技术都可以在R中运用。
(3)R所有的函数和数据集都是保存在程序包里面的。只有当一个包被载入时,它的内容才可以被访问。一些常用的基本程序包已经被收入到标准安装文件中,随着新的统计分析方法的出现,标准安装文件中所包含的程序包也随着版本的更新而不断变化。在安装文件中,已经包含的程序包有:base——R的基础模块;mle——极大似然估计模块;ts——时间序列分析模块;mva——多元统计分析模块;survival——生存分析模块等。
(4)R具有很强的互动性。除图形输出是在另外的窗口处外,它的输入、输出窗口都是同一个窗口。输入语法如果出现错误窗口会立马提示;对以前输入过的命令窗口会有记忆,再次输入时会随时再现,可编辑修改以满足用户的需要。输出的图形可以直接保存为JPG、BMP、PNG等图片格式,还可以直接保存为PDF文件。另外,和其他编程语言和数据库之间有很好的接口。
(5)如果加入R的帮助邮件列表,每天都可能会收到几十份关于R的邮件资讯。可以和全球一流的统计计算方面的专家讨论各种问题,可以说是全世界最大、最前沿的统计学家思维的聚集地。
R是基于S语言的一个GNU项目,所以也可以当作S语言的一种实现,通常用S语言编写的代码都可以不加修改地在R环境下运行。R的语法来自于Scheme。R的使用与S-PLUS有很多类似之处,这两种语言有一定的兼容性。S-PLUS的使用手册,只要稍加修改就可作为R的使用手册。所以有人说:R是S-PLUS的一个“克隆”。
但是请不要忘了:R是免费的。R语言源代码托管在github,具体地址可以看参考资料。
R语言的下载可以通过CRAN的镜像来查找。
R语言有6个域名为.cn的下载地址,其中两个由Datagurn提供,另外四个由中国科学技术大学提供。R语言的Windows版的下载地址由Datagurn和USTC提供。
R是一套由数据操作、计算和图形展示功能整合而成的套件,包括有效的数据存储和处理功能,一套完整的数组(特别是矩阵)计算操作符,拥有完整体系的数据分析工具,为数据分析和显示提供的强大图形功能,一套(源自S语言)完善、简单、有效的编程语言(包括条件、循环、自定义函数、输入输出功能)。
作为用来分析大数据集的统计组件包,R是一个非常复杂的工具,需要较长的学习实践,学习曲线也是本书所介绍工具中最陡峭的。但是R拥有强大的社区和组件库(如图9.35、图9.36),而且还在不断成长。当用户能驾驭R的时候,一切付出都是物有所值的。
2.Weka
Weka是一个能根据属性分类和集群大量数据的优秀工具。Weka不但是数据分析的强大工具,还能生成一些简单的图表,weka的典型界面如图9.37所示。
图9.35 R语言生成散点图示例
图9.36 R语言生成柱状图示例(https://www.daowen.com)
3.Gephi
Gephi是进行社交图谱数据可视化分析的工具,不但能处理大规模数据集并生成漂亮的可视化图形,还能对数据进行清洗和分类。先于他人掌握Gephi将使你具有更强大的社交网络处理能力,界面如图9.38所示。
图9.37 Weka开发环境
图9.38 Gephi开发环境
4.Plotly
Plotly是现代平台的敏捷商业智能和数据科学库(如图9.39所示),作为一款开源的绘图库,它可以应用于Python、R、MATLAB、Excel、Javascript和Jupyter等多种语言,主要使用js进行图形绘制,实现过程中主要是调用Plotly的函数接口,底层实现完全被隐藏,便于初学者的掌握。
图9.39 Plotly官网截图
如图9.39所示,Plotly主要有20种不同的基本图表、12种不同的统计方式图、21种不同的科学图表、2种不同的财务图表、8种不同的地图、19种不同的3D图表、4种不同的报告、7种不同的连接数据库、3种不同的拟合工具、4种不同的流动图表以及13种不同的Javascript自定义控件。
Plotly库的安装可以通过pip进行,如果机器上没有pip,需要先进行pip的安装,这里主要介绍Plotly的安装,具体命令如图9.40所示。
图9.40 使用pip安装Plotly库
按照输出方式来划分,Plotly能分为在线输出与离线输出。
如图9.41所示为Plotly数据分析的在线模式,在线模式能够将可视化图像保存到网站上,便于共享和永久保存。
图9.41 Plotly在线模式
如图9.42所示为Plotly数据分析的离线模式,离线模式直接在本地生成可视化图像,便于使用。
图9.42 Plotly离线模式
