一个非教育领域的综合例子：京东大数据平台

对于京东大数据平台来说，数据产品并不是一个新鲜事物。2011年自建数据仓库上线的同时，第一款数据产品：京东调度平台也一同上线并正式投入使用。

仓储物流等众多京东系统都会产生数据，仅日志内容每天的大小就有1TB。要把大量的数据统一汇总到数据仓库来，就需要调度产品来实现数据生产。京东调度平台发展至今已经是3.0版本，每一次的更新迭代都凝聚着京东大数据平台开发工程师许许多多个日夜的心血，体现着技术的突破与功能的升级。

数据集成开发平台是京东大数据发展的一个里程碑式产品，它的出现结束了数据分析师和业务部门数据需求人员通过客户端工具手工提取数据的痛苦经历，并对后来数据知识管理平台等产品的出现产生了直接影响。当前平台用户接近1000人，数据订阅任务总量逾4万个。(https://www.daowen.com)

数据知识管理平台等产品的出现是个水到渠成的结果，在数据仓库模型规范确定之后，元数据信息也有了标准的分类体系。按照标准的分类体系将元数据信息分门别类地管理起来，同时提供内容搜索、类Wiki的编辑维护以及咨询评论功能，数据知识管理平台就呈现在大家面前了。后期版本的升级过程中又提供了维度表的维护功能，给从事模型开发维护的同事带来很大便利。

技术架构上，京东分析师前端自主开发可自定义的展现布局，封装了丰富的图表展现组件，后端报表配置系统支持MySQL、SQL Server、Oracle、API及Hive等作为数据源，并支持在线接入。交互方面，报表收藏、基于图表的条件过滤、数据排序、深度钻取是其基本功能。自定义报表页面还提供邮件推送报表的功能，当某个报表数据比较重要，系统可通过邮件的形式定期发送报表以供查阅。对于自己权限范围内可浏览的报表，系统还可根据浏览记录将经常查看的报表排在靠前的位置以提升体验。

大数据的数据挖掘与传统意义上的数据处理方法存在很大区别，京东数据挖掘平台产品定位于构建一站式的数据挖掘算法平台，在基础的机器学习算法之上，可根据具体实际业务开发订制算法，满足算法应用场景。这一产品主要利用分布式计算，采取适用于机器学习算法的计算模型进行迭代，以解决大数据量的算法处理问题。平台封装的交叉检验（Cross Validation）、网格搜索（Grid Search）等基本数据挖掘流程给数据挖掘人员提供了简单、易用的挖掘工具。

数据的及时性、准确性和完整性关系到一系列数据应用的效果，大数据平台建设之初便已着手实施数据治理的相关工作，统一数据计算口径，设置数据校验规则，以保证数据质量。数据仓库升级之后，对于数据质量的关注程度更高。从数据生产过程来看，数据质量监控平台的基本功能包括数据生产过程中的质量检验、数据入库后的质量评估以及全部生产日志的扫描存档和生成数据质量分析报告。