医疗大数据处理技术

更新于 2026年10月13日 版权声明
二、医疗大数据处理技术

为了更加清晰地理解不同的大数据处理技术,需要梳理出大数据处理中主要的数据特征和处理特征维度,在此基础上进一步梳理目前出现的各种重要和典型的大数据处理技术。

(1)数据结构 根据数据结构特征,大数据处理技术可以分为结构化/半结构化数据处理与非结构化数据处理。

(2)数据获取方式按照数据获取方式,大数据可以分为批处理与流式处理方式。

(3)实时、响应性能从数据处理响应性能角度看,大数据处理可以分为实时/准实时与离线处理。流式处理通常属于实时计算,批处理和复杂数据挖掘通常属于非实时或线下计算。

1.基于并行计算的分布式数据处理技术

目前,最适于完成大数据批处理的计算模式是Map Reduce。在相关技术中,比较具有代表性的是Apache软件基金开发的Hadoop,以Map Reduce和Hadoop为代表的非关系数据分析技术,凭借其适合非结构处理、大规模并行处理和简单易用等优势,在互联网搜索和其他大数据分析技术领域取得重大进展,成为主流技术。

Map Reduce是2004年谷歌公司提出的用来进行并行处理和生成大数据的模型,是最具代表性的批处理模式。Map Reduce是一种线性的、可伸缩的编程模型,其可扩展性得益于shared—nothing结构、各节点间的松耦合性和较强的软件级容错能力。Map Reduce被设计在处理时间内解释数据,所以对非结构化、半结构化的数据处理非常有效。针对Map Reduce并行编程模型的易用性,产生了多种大数据处理高级查询语言,如Facebook的Hive、雅虎的Pig、谷歌的Sawzall等。但Map Reduce作为典型的离线计算框架,无法满足在线实时计算需求。(https://www.daowen.com)

Map Reduce的简单易用性能使其成为目前大数据处理最为成功、最为广泛接受使用的主流并行处理技术。在开源社区的促进下,Hadoop系统目前已经发展成为较为成熟的并行计算技术,并且已经发展成为一个包括众多数据处理工具和环境的完整的生态系统。

2.分布式流处理技术

流式计算是一种高实时性的计算模式,需要对一定时间窗口内应用系统产生新数据完成实时的计算处理,避免造成数据堆积和丢失。在医疗业务应用系统及行业访问日志处理都同时具有高流量的流式数据和大量积累的历史数据,因而,在提供批处理数据模式的同时,系统还需要具备高实时性的流式计算能力。流式计算的一个特点是不同的运算节点常常绑定在不同的服务器上。例如,Twitter公司的Storm,Apache的Flume都提供了机制来构建日志数据处理流图。

3.内存计算处理技术

Map Reduce为大数据处理提供了一个很好的平台。然后,由于Map Reduce设计之初是为了大数据线下批处理而设计的,随着很多需要高响应性能的大数据查询分析计算问题的出现,Map Reduce其在计算性能上往往难以满足要求。

为了克服Map Reduce在迭代计算方面的缺陷,业界对其进行了不少改进研究,例如,用内存计算完成高速的大数据处理已经成为大数据计算的一个重要发展趋势。Spark是一个具有快速和灵活的迭代计算能力的分布式内存计算系统,其采用了基于分布式内存的弹性数据集模型实现快速的迭代计算。

✍AI写作