10.3.2 智能数据管理

10.3.2 智能数据管理

智能数据管理是指通过整合数据管理工具和技术,实现多源异构数据的智能清洗与识别,建立海量数据的智能数据组织结构,从而实现多源异构数据的标准化和常态化,实现数据共享和流动。

在过去的50年中,人工智能(AI)和数据库(DB)得到了广泛的研究。首先,数据库系统因其用户友好的声明性语言模型、查询优化、ACID等机制,已在金融、医疗、电商等诸多领域得到广泛使用;其次,由于数据、算法、算力的革新,近20年来人工智能取得了突破性进展。然而,传统数据库技术不足以满足大数据管理需求。面对EB级乃至PB级的海量数据、复杂多变的应用场景、异构的硬件架构和参差不齐的用户使用水平,基于启发式算法、人力驱动的传统数据库难以取得较好的效果。以机器学习为代表的人工智能技术因其强大的学习和适应能力,可以帮助数据库解决这些问题。比如,在缺乏标签数据的时候,可以利用(深度)强化学习等技术通过探索的方式选择最优的视图组合。此外,人工智能技术让自治数据库的自动决策管理、自动调优和自动组装等需求成为可能。在以深度学习为代表的人工智能技术的支持下,让数据库朝着更加智能的方向发展,如SageDB数据库技术可以优化AI模型。AI很难部署在实际的应用程序中,因为它要求开发人员编写复杂的代码并训练复杂的模型。数据库技术可用于降低使用AI模型的复杂性,加速AI算法并在数据库内部提供AI功能。

传统的数据库设计基于经验方法和规范,并且需要人工来调整和维护数据库与人工智能交叉技术的进展与发展趋势。人工智能技术用于缓解这些局限性,它能探索比人类更多的设计空间并替换启发式算法来解决难题。