1.3.3 大数据计算分析的价值

更新于 2026年10月10日 版权声明
1.3.3 大数据计算分析的价值

从某种意义上说,数据分析的过程,就是寻找强的相关关系(必然性、因果性),或对弱的相关关系进行综合处理,得到强的相关关系,也就是用数据发现信息。

一般来说,人们在做数据分析之前,会有一定的知识积淀,但认识不清却是一种常态,人们希望通过对数据的分析来改变这种常态。而改变认识的过程依赖于数据的质量和分析数据的方法。除分析方法外,分析过程依赖数据质量(包含多方面的含义)和人们已有的知识积淀,在很多情况下,猜出一个结论并不难,难的是论证一个结论。一般来说,凡是可靠的知识,都应该能够被机理和数据双重认证。

大数据分析的一个重要特征是:传统概率理论的假设往往不成立。例如:大数定理的条件往往不成立、模型的结构往往未知、因果关系不是天然清晰、自变量的误差往往不能忽略、数据分布往往没有规律。所以,为了得到可靠的结果,人们工作的重点很可能是验证这些条件、构造这些条件。从某种意义上说,数据分析的过程,主要是排除干扰的过程,特别是排除系统干扰的过程。而且,如果完全依照逻辑、用纯粹数学的办法加以论证,则数据需求量会遭遇“组合爆炸”,数据永远是不够的。这时,已有的领域知识就是降低数据需求量的一种手段。要记住:求得可靠性是一个过程而不是结果,可能永远没有终点,分析的过程只是不断增加证据而已。这个过程,因为是修正人的认识过程,所以错误或不恰当的认识,常常是分析过程中最大的干扰——这个干扰一旦去除,人们可能就发现了真正的知识。

数据量大的直接好处,是排除随机性干扰。但排除系统性干扰却不那么容易,数据量大是必要条件但不充分,需要深入的方法研究才能解决问题。系统性的干扰往往体现在对主体进行分组,所体现的规律是不同的。比如,身高和体重的统计关系,男女是不同的、不同民族是有差异的、可能与年龄有关。如果不进行分类研究,统计的结果就会与样本的选取有很大关系。但分类研究也会遇到一个困难:遇到组合数量巨大,数据再多都不够用时,“领域知识”就会发生作用。

大数据分析就是利用大数据分析工具及技术对足够多的数据进行清洗、过滤,尽可能排除干扰数据,提高数据质量,将大规模数据中隐藏的信息和知识挖掘出来,为人类社会经济活动提供依据,提高各个领域的运行效率,甚至整个社会经济的集约化程度。企业可以理解大数据分析的价值和在大数据分析的帮助下解决传统的问题,例如下面的情况。

1)客户满意度和保证分析

也许这是基于产品的企业所担心的最大的一个领域。(https://www.daowen.com)

在当今时代,没有一个清晰的方式来衡量产品的问题和与客户满意度相关的问题,除非它们以一个正式的方式出现在一个电子表格中。信息质量方面,数据是通过各种外部渠道收集的,而且大多数时候的数据没有清洗,因为数据是非结构化数据,无法关联相关的问题,所以在为客户提供的长期解决方案中,分类和分组的问题陈述都缺失了,导致企业不能对问题进行分组。从上面的讨论可以得出,对客户满意度进行大数据分析,将帮助企业在急需的客户注意力设置中获得洞察力,并有效地解决他们的问题,帮助他们的新产品线上避免这些问题。

2)竞争对手的市场渗透率分析

在今天高度竞争的经济环境下,人们需要通过一种实时分析对竞争者强大的区域和他们的痛点进行衡量。这种信息可适用于各种各样的网站和其他公共领域。类似的大数据分析可以为企业提供其产品线的优势、劣势、面临的机遇、威胁等重要的信息。

3)产品功能和用法分析

大多数基于产品(尤其是消费品)的企业,不断在他们的产品线上增加许多其他功能,但有些功能可能不会真正地被顾客所使用,而有些功能则可能被更多地使用,这种对通过各种移动设备和其他基于无线射频识别输入捕捉到的数据的有效分析,可以为产品企业提供有价值的洞察力。

↑上一章 ↓下一章
关注公众号获取验证码
复制内容需要验证码(7.99元/天)