全量分析改变世界的观点
大数据是“n=ALL”的世界,另一方面,传统统计学是从限定对象(标本)推测母本。但是,本书第一章列举的美国总统选举预算,(错误的预测结果)显示:无论样本量增加多少,只要抽样方法存在偏倚,就无法从代表母本的调查中获得正确的结果。这种以消除偏倚为目的的设计方法就是“随机采样”。
但是,大数据世界的目标是“n=ALL”,只要拥有进行复杂分析的信息处理技术就无须随机采样。前文介绍的“谷歌流感预测”中,谷歌的分析对象不是随机采样的样本,而是“n=ALL”,即每天30亿件以上在互联网上检索的全部实时数据。这个“n=ALL”可能帮助我们发现传统的随机采样看不到的世界。
“谷歌流感预测”是对整体倾向的预测——除了对美国全境的疾病流行趋势进行预测,还对整体下的小集团,如各州、各市作出预测。如果采用随机采样法抽取样本数据,尽管可以对样本整体的动态做到精准预测,但调查对象涉及该样本内部的小样本时,就可能因为包括的数据量不够导致误差增大甚至无法使用。
与此相对,“n=ALL”的世界为我们揭示的是样本抽取绝对看不到的整体(母本)中的细节。从该观点出发,用一个意味深长的例子进行说明的是史蒂芬·列维特教授((Steven David Levitt))出版的著作《魔鬼经济学》:在这本书里,史蒂芬教授对过去11年间日本国内的相扑比赛情况展开调查。通过对281名相扑力士参加的32 000场比赛数据的全量分析,试图从中找出与其他倾向不同的“某种”答案。(https://www.daowen.com)
结果发现:在最后一场千秋乐中(在日本,比赛或表演的最后一场都叫作《千秋乐》,千秋乐是在土侬迎接神,送神到天上的一种仪式)采用“突出L”(“突出L”是相扑的技巧名称之一,把对方用力用手掌推出去从而获胜。)技巧的力士往往取得很多按常理解释不通的胜败结果。在千秋乐中,对之前7胜7败的力士与8胜6败的力士交手的数百场比赛进行调查的结果明显存在“某种”不合常理的现象,即从某种意义上来说发现一些“异常”。在千秋乐中交手的7胜7败的力士与8胜6败的力士之前曾经多次交手,因此,从这两名力士的历史交手成绩分析——7胜7败的力士取胜的平均概率应为48,7%。但是,根据千秋乐中实际的交手结果,7胜7败的力士取胜的概率竟然一举升至79,6%。原因可能是输多赢少的话,选手的薪酬级别会下调,所以,力士们往往拼尽全力最后一搏,选手体内的肾上臁素水平陡然升高的缘故。
这种“异常”仅出现在千秋乐比赛,而且仅仅发生在千秋乐7胜7败的力士与8胜6败的力士交手的比赛中。因此,如果因此断言比赛有水分恐怕有些言过其实,而且还可能掺杂各种误差。但是,这项调查结果为我们揭示了一个道理——全量调查存在增加某种新发现的可能。
这里再重复一遍:在医疗世界中,绝不允许将思维的落脚点轻易地放在大数据导出的相关关系上。但是,大数据能够同时将可视化的数据整体以及具体细节——“n=ALL”的世界持续展现在我们眼前,这一点确凿无疑。在这个世界中,人们一定会发现一些新生事物,也一定会注意到一些之前从未注意的存在。