网络数据采集法

网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

以人人网数据采集系统为例。数据采集是数据分析的基础，通过对人人网网站结构分析，设计爬虫，实现对人人网用户ID的采集，然后根据ID采集每个用户的信息。人人网数据的系统架构如图9-2所示。(https://www.daowen.com)

图9-2 人人网数据采集系统框架

该系统由四部分组成，分别是人人网用户ID和用户好友关系采集模块、人人网用户个人资料、状态采集模块和数据存储模块。