2.4　大数据交互式可视化现状分析

科学计算可视化(Visualization In Scientific Computing,VISC)[105-107]是指应用计算机图形学和图像处理技术,将采集获得或科学计算过程及结果数据和结论转换成图形、图像信息,并在图形显示器上显示的过程。可视化始于20世纪80年代末期[108,109],涉及计算机图形学、计算机视觉、图形图像处理、计算机辅助设计等多个研究领域,在地球物理、生物科学、航空航天、医学、化学等自然科学和工程技术领域有着重要的应用[110-113],成为研究数据表示、数据分析和决策分析等一系列问题的综合技术[114]。

作为可视化的一种重要手段和特征[115-117],交互式技术使研究人员和用户主动参与到可视化的执行过程当中,对可视化的效果进行针对性的观察和控制,从而更好地理解和使用科学数据,更大程度上发挥可视化的作用。随着数据规模的不断膨胀和复杂化,可视化应用需要处理的数据量越来越庞大,用户对交互式可视化的需求越来越高,在应用范围上也越来越广泛;与此同时,可视化应用与服务对计算机的计算和存储能力的需求越来越高,可视化的异构性和多样性是面临的一个重大问题[118]。支持选择不同的显示区域、不同比例的显示信息以及不同类型的显示方式等交互手段是大数据可视化研究面临的重要挑战。

传统的可视化工具与方法远远不能满足大数据的交互式可视化的需求[119]。其突出表现为:(1)数据集规模大而关系复杂,导致某些范围查询结果集巨大而又不能实时化简,同时也不支持灵活地定制查询参数以使进行查询结果的实时筛选,因而难以传输、可视化、分析等。(2)由于数据难以被实时查询、传输与可视化,因而也难以实时获取数据编辑区域内的矢量几何对象,在线更新功能受到限制。

计算机的出现以及计算机图形学的发展,使得交互式可视化成为可能。云计算和先进的图形用户界面有助于大数据的扩展性[120],并行化算法[121,122]和数据简化算法[123,124]也显著促进了可视化的发展。现有的很多大数据可视化工具是在分布式平台上运行的,但是却缺乏足够的大规模数据的可视化过程,尤其是支持实时的交互式可视化。Pentaho、Flare、Jasper Reports、Dygraphs、Platfora、Tableau等是具有大数据可视化功能并具有交互式技术的可视化软件[120,125,126]。交互式可视化存在的问题及解决方案如图2-3所示。(https://www.daowen.com)

将大数据源直接进行可视化可能会降低数据的可视化效果,并阻碍用户的感知和认知能力。因此,从数据本身出发,通过抽样或过滤等数据简化操作可以减少离群值但保留数据的基本结构。同时,合理的数据简化方案能够抽取出特征数据,既能满足交互式可视化需求,又能满足用户日益增加的快速响应需求[127]。许多研究人员用特征提取和几何建模等方法在实际数据呈现之前大大降低数据大小。文献[128]讨论了通过数据简化实现大数据交互式可视化的几种方法,包括过滤[129,130]、采样[124,131]、聚合[132,133]和建模。本书总结了基于空间近似查询引擎的在线GIS解决大规模数据的交互式可视化的需求。

图2-3　交互式可视化存在的问题及解决方案