前 言
新千年以来,信息技术的进步继续推动着人类社会的高速发展,地理数据的规模、复杂度不断累积增长,给数据存储、管理与分析造成了挑战。用户期望从海量地理数据中获得有价值的信息,用于探索性的知识分析和辅助决策。如何利用有限的计算资源对海量地理数据进行快速处理,满足用户日益增长的服务需求,成为学术界和工业界关注的重点。
在互联网环境下,面向海量地理数据的交互式数据可视化、探索性数据分析、在线数据编辑等过程中涉及的数据读写具有查询条件复杂、数据结果不受控制、响应时间要求高等特点,这些特点使现有的空间数据库、空间数据仓库都难以处理。具体表现如下:(1)由于交互式可视化的响应时间和响应内容要求的提高,若未有针对性的处理,结果集的数据量将会非常庞大,数据查询和传输过程均存在性能压力,数据可视化的流畅无从谈起;(2)在线数据编辑与更新过程中,需要对数据进行频繁的移动、缩放(上卷、下钻)、数据样式调整等操作,目前的数据库特别是空间数据库难以在较短的交互时间内承担这种高负载大规模输出的密集查询任务;(3)探索性数据分析涉及较短时间内进行大量的复杂查询,需要较多的计算资源,同时需要对数据分析的各类参数进行个性化设置或者微调以取得试探性的分析结果。如果采用数据分析全部在数据仓库中完成的数据应用模式,则数据管理端将承担密集的计算任务,同样导致性能压力从而响应时间延长。因此,TB甚至PB级别的数据集的交互式可视化和在线编辑等将难以开展。
为了解决这一问题,现有的地理信息系统(Geographic Information System,GIS)的建设实践通常建立基础源数据库与应用数据库两套独立的数据集。基础源数据库用于维护原始数据并执行更新操作,应用数据库则是在基础源数据的基础上对数据进行预处理、针对特定应用目标进行优化。地理空间信息领域这种基础源数据库与应用数据库的关系类似于重在事务处理的数据库与重在数据分析数据库之间的关系。采用基础源数据库与应用数据库这种应用模式构建的应用存在诸多问题。在具有大数据特征的地理空间数据集处理的性能上,将消耗掉大量的计算资源,降低执行此任务期间服务器的响应能力;应用数据库的更新是被动、定时的,往往需要耗费较多的计算资源,更新速度难以跟上基础源数据库的更新速度;从基础源的形态变为应用数据形态的处理过程中,地理数据的一致性易被破坏,将影响GIS应用效果;在面向互联网的GIS应用方案下,交互式数据可视化、在线数据编辑、探索性数据分析等体现GIS专业、复杂能力的功能难以实现。
本书面向互联网的地理信息服务,应用分布式计算、内存计算、近似计算等基本思想来解决地理空间大数据可视化的性能问题,将基础源数据库进行功能扩展取代应用数据库以解决应用数据库更新问题与地理空间数据的一致性问题。这些思想在针对不同问题时各有其适应性。分布式计算通过分治的思想将大问题分割为较小规模的问题同时将小问题分配给独立的处理机执行从而缩短运行时间。内存计算将外存数据一次性读入内存从而减少I/O瓶颈对于计算性能的影响以提升处理速度。近似计算通过在数据操作的结果空间中搜索最优解领域内的其他解,并度量这些解与原始最优解之间的差异程度来放松结果的约束条件,扩大结果的搜索范围以提升处理效率、减少处理时间,解决面向互联网的GIS系统高级复杂功能对数据查询处理时间响应的苛刻要求。(https://www.daowen.com)
本书共分8章。第1章系统阐述了近似查询、空间近似查询、层次化模型和分布式内存计算的基本概念和方法应用;第2章介绍了国内外研究现状;第3章介绍了顾及查询误差的顶点层次化方法;第4章介绍了顾及多种约束的空间近似查询;第5章介绍了面向局部要素更新的顶点层次结构重构;第6章介绍了基于空间近似查询引擎的WebGIS;第7章介绍了原型系统设计与分析;第8章对本书的内容进行了总结和展望。
作者尽最大努力开展本书的撰写工作,由于水平有限,书中亦可能存在不妥之处,欢迎读者批评指正。
作 者