5.3.6 大数据的难点和热点问题
2025年09月26日
5.3.6 大数据的难点和热点问题
(1)大数据处理速度要求越来越高
大数据与海量数据的一个重要区别,在于不但数据尺寸大,而且对数据处理的响应速度有着更高的要求。传统的以周、天、小时为单位的运算处理周期,下降到以分钟、秒为单位。大数据高价值的重要体现,就是处理速度。
(2)数据的多样性
1)数据形式的多样:结果化数据,数据间有很强的因果关系;半结构化数据,数据间因果关系较弱;非结构化数据,数据间无因果关系。
2)数据来源的多样性:不同的应用系统、各种设备、互联网。
(3)数据处理需求与传统平台扩展能力
两者之间的差距不断增大。
(4)用户隐私与便利性的冲突
“大数据”对个人信息获取渠道的拓宽的需求引发了另一个重要问题,隐私和便利性之间的冲突。更多的隐私、安全性问题体现在,人们的隐私被二次利用了,很多密码和账号是因为“社交网络”流出去的;2011年4月,日本索尼公司的系统漏洞导致7700万用户资料失窃;2011年4月,iOS系统被发现会按照时间顺序记录用户的位置坐标信息;2011年,CSDN密码泄露事件…
(5)数据安全的风险更加凸显
数据安全在大数据时代也同样面临挑战。大数据发展的趋势往往与加大信息开放度、设计新的信息收集设备及支持海量数据的庞大存续和分析需求的云计算等如影随形。带来的副作用是IT基础架构将变得越来越一体化和外向型,对数据安全和知识产权构成更大风险。