1.1　大数据核心技术

大数据的核心技术主要有两大部分：一是数据的存储，二是数据的计算分析。对于数据的存储和计算分析，传统数据库、数据仓库等产品已经给出了非常完善的解决方案，为何还要采用大数据技术来处理呢？

传统数据库和数据仓库的底层存储和计算结构基本采用的都是B+树算法。这种算法有个特点，就是在数据量不大的情况下性能非常好，一旦数据量超过一定的阈值，此算法的性能便出现断崖式下降，即使增加服务器来扩展集群存储和计算，也无法从根本上解决问题。因为这种解决办法类似于在一个数据库服务器的基础上，购买大量磁盘来扩展存储和计算，所以它不是真正意义上的分布式存储和计算。当数据量非常大时，传统的数据库和数据仓库即使可以勉强存储，也很难对这些数据进行更进一步的统计和分析应用。(https://www.daowen.com)

大数据技术主要解决的问题就是进行真正意义上的“分布式存储”和“分布式计算”。