非结构化数据处理

非结构化数据分析的成熟度还远远落后于结构化数据分析，随着近年来互联网的发展，通信的方式越来越花样翻新，大量的语音、文字、图片和视频信息充斥了人们交流的空间。要对这些信息作分析、提取出有价值的东西，是一项值得科学家好好研究的事儿。

抛开语音、视频和图片不说，仅就文字信息来说也是件很不容易的事情。现在百度（知道、贴吧、经验等）、微信、微博、博客、QQ、Facebook和短信等社交媒体上存在着大量的文字互动信息，从目前来看，基本上都是关键字的检索、统计和溯源追踪，这个方法已经很有用了。但是对于有反侦察经验的人来说，适当改变一下关键字，你就很难办了。(https://www.daowen.com)

某图书馆的实验型数字图书馆系统，需要发布6000张拓片，最初采用的方式是基于数据库加上Web服务器进行自主开发。数据库采用12个字段描述关于拓片的索引信息，而最后一个字段是URL地址，对应Web服务器的文件目录、子目录、文件名，每条记录对应三张图片，分别为150DPI的高分辨率JPEG图、75DPI的中分辨率JPEG图以及拇指图片，这三张图片都是从平均大小为7M左右的TIFF转换得到的。该系统上线后，业务部门提出了很多新的需求，他们希望能够通过层次存储管理原始的TIFF图片，能够支持更复杂的层次型元数据描述，以提升拓片的价值；他们希望将系统从单纯的图片发布平台扩展为拓片的专业研究平台，可以增加关于拓片各种背景资料、专家研究文档；希望支持工作流，以实现对拓片的专业化标引流程；希望通过水印等技术实现拓片信息的版权保护。系统本身也需要从底层解决源数据和拓片影像之间的一致性、完整性保障问题，保证系统的安全性；支持参量检索、全文检索等多渠道复合检索方式。现在，该图书馆已经开始通过内容管理软件管理拓片、电子图书、博士论文、音频和视频等各种多媒体数字资源，实施了八个数字资源子系统。

在上面的案例中，我们谈到了报表、账单、影像、电子文档、图片、音频和视频等各种信息，这些信息都是非结构化的大对象，难以用传统的关系型数据库管理，我们将这些非结构化的信息称为内容（Content）。而上述各种客户需求也反映了客户对于内容管理系统的基本需求，包括基于成熟开放的技术、标准；支持各种硬件环境、提供从部门级应用到企业级应用的扩展；具有高可用性、安全性、工业化强度；支持多层级海量存储管理、强大的开发能力；保证信息的一致性、完整性、灵活的数据模型、工作流、数字版权保护等。