医疗大数据整合
随着医学进步、信息技术、各种研究成果逐步应用，医疗卫生对信息技术的依赖程度将超过电信、银行、航空业。伴随国家医改方案的出台，基于健康档案的区域卫生信息化已成为区域医改的重要目标及实施相关医改政策的重要支撑。近年来，各地政府纷纷投资建设区域医疗信息平台、基层卫生信息系统，各级医院也大量投资升级改造信息化系统来提升服务水平，包括尝试移动医疗和医疗物联网等新兴技术。这些都产生了大量的医疗数据，具体有以下特点。
（1）渐增的多样医疗数据源 医疗数据的生成和采集已经不再仅局限于医院这个单一环境。它还可以来自体检中心、社区/乡镇卫生院、私人诊所、实验室检验中心、急救中心、家庭，随着物联网相关技术的发展，甚至可以说，个人医疗数据可以采自任何适合的地方。
（2）医疗数据的高度集中化区域医疗信息系统（regional health information system，RHIS）将逐步取代现有的基于医院的信息系统。并且，它将更广泛地覆盖一个特定区域内的所有医院、社区、急救中心、体检中心、实验室、检验中心、社会保险机构等。居民个人来自各个数据源的全周期医疗数据将集中保存在统一的区域数据中心中。医疗数据将不再只是某家医院独享的资源，而是与整个区域中的所有医疗机构共享，甚至可以与更上层的大区域级、国家级信息系统进行数据交换。
由于存在大量的异构医疗数据。医疗数据的共享、整合成为迫切需要。第一阶段是以传统的数据交换整合，即基于EAl/ETL技术来实现，主要实现在广域网范围内医疗卫生数据采集和交换，实现在区域的整合，形成区域级别的健康档案，主要在数据层面实现整合；第二阶段在此基础上以面向服务的架构（service－oriented architecture，SOA）为中心，从数据整合上升到应用整合和业务协同；第三阶段在前两个阶段的基础上基于HL7和IHE等国际标准实现开放性和可互操作的信息共享和业务协同。
1.相关术语标准
医疗大数据共享整合需要在消息交换、医疗术语、代码、共享架构等方面形成标准规范。目前国际主流做法是基于HL7和IHE等标准。其中，HL7基于消息的交换实现医疗信息系统或医疗机构之间的信息共享和系统协同，基于文档的交换与整合实现电子病历和健康档案。IHE定义在医疗信息系统之间信息共享与系统协同的流程规范和数据格式，尤其IHE 1TI（IT基础设施）规范是IHE规范的核心，是实现医疗机构之间信息系统交互操作的关键。
1)HL7
HL7（Health L evel 7）是标准化的卫生信息传输协议，是医疗领域不同应用之间电子传输的协议。HL7汇集了不同厂商用来设计应用软件之间界面的标准格式，它将允许各个医疗机构在异构系统之间，进行数据交互。
HL7的主要应用领域是HIS/RIS，目前主要是规范HIS/RIS系统及其设备之间的通信。它涉及病房和患者信息管理、化验系统、药房系统、放射系统、收费系统等各个方面。HL7的宗旨是开发和研制医院数据信息传输协议和标准，规范临床医学和管理信息格式，降低医院信息系统互连的成本，提高医院信息系统之间数据信息共享的程度。
Health Level 7中的“Leve L 7”是指OSI的七层模型中的最高一层，即第七层。但这并不是说它遵循OSI第七层的定义数据元素，它只是用来构成它自己的抽象数据类型和编码规则。它也没有规定规范说明如何支持OSI第一到第六层的数据。
HL7并没有提供一个完全的“即插即用”解决方案。因为在医疗机构的传输环境中有两个重要的影响因素：医疗机构的传输环境中缺乏处理的一致性；产生的结果需要在用户和厂商间进行协商。因此，它提供的是一个可在较大范围内选择数据和处理流程的灵活系统，并尽可能地包括所有已知的程序[触发器（trigger）]和数据[段（segment）和域（field）]要求。
在HL7通信协议中，消息（message）是数据交换的基本单位。HL7的消息是自动生成的，它将HL7标准文档自动转化为一个HL7规则数据库和部分程序数据结构代码。实现一个通信标准的具体工作是生成数据结构，以及实现一个构造器（builder）和一个解析器（parser）。数据结构表现了标准中各个数据对象的相互关系。构造器将数据结构中的数据转化成能在电子数据交换媒介中传输的数据串。而解析器能够将数据串解析回原来的数据结构。HL7标准是一个文本结构的文档。首先，利用一些文字处理工具将文档中的各个数据定义抽取成数据结构，再将结构的形式存入预先定义的HL7规则数据库。然后，开发一种代码生成器，它根据规则数据库的内容，自动生成某一种计算机语言代码。最后，可将这些代码加入实际应用的程序框架。
HL7由于具有以下特点，被国际医疗机构认可和逐步广泛使用。
（1）完整性对基本的医嘱、财务、检验信息都有了规范的描述，而且做得非常详细，如患者的饮食忌讳、宗教信仰等按照相应的ISO标准描述。
（2）可实现性选择OSI第七层做标准，保证其可实现性。
（3）兼容和扩展性包括对中药计量单位的支持。
（4）安全性由于HL7的开发和兼容性导致安全性很难保障，尽管支持数字签名，但主要还是要靠网络底层协议保证。
2)IHE
IHE（医用信息系统集成）是一项推进整合现代医疗保健机构信息系统的倡议。它的基本目标是确保提供给医疗保健专业人员对患者诊断必需的所有信息是正确、可用的。医疗保健信息管理系统学会（Heahhcare Informat ion and management Systems Society，HIMSS）和北美放射学会（Radiological Society of North America，RSNA）是这项倡议的主办单位。为了获得特定的临床应用目标，IHE在现有消息通信标准的基础上定义了一个技术框架，其中包含了为实现这个框架的一个严格的验证过程。
其中，IHE IT基础架构技术框架（IHE IT infrastructure technical framework）2.0版定义了9个集成事务图（integration profile），即解决特定IT基础架构需求的特定能力。
（1）显示所需信息获取（retrieve information for display，RID） 提供一种简单快捷的方式来获取必要的患者信息。此事务图支持对已存储文档的读取，包括CDA、PDF、JPEG等流行的文档格式。另外，为了临床的需要，此事务图还支持读取某些以患者为中心的关键信息，如过敏信息、当前用药、报告汇总等。
（2）机构用户验证（enterprise user authentication，EUA） 为每个用户分配唯一的用户名，此用户名可以登录进入企业的所有的设备和应用程序。这样，可以极大地方便医院内部的用户授权、验证和管理工作。在此基础上，可以通过支持单点登录（single sign—on）方式，为用户提供很大的方便。此事务图是在Kerberos（RFC 1510）标准和HL7的CCOW标准的基础上建立的。
（3）患者ID交叉索引（patient identifier cross—referencing，PIX） 在多个患者ID域之间，提供同一个的患者标识的相互索引。一旦这多个系统建立了患者ID交叉索引，同一个患者即使在多个信息系统中有不同的ID，也可能同时从多个系统中获取患者相关的信息。
（4）患者同步应用（patient synchronized applications，PSA） 用户可以在一台电脑上，同时使用多个独立的应用程序浏览同一个患者的数据信息，减少了用户在多个程序中分别选择此患者的重复操作。此事务图是基于CCOW标准的，尤其是CCOW中关于“患者”主题的上下文管理部分的内容。
（5）一致时间（consistent time.CT） 这是一套在多个系统和多台电脑之间保证时间一致的体系结构。IHE中很多其他事务图都要求多台电脑间保持时间的一致。此事务图提供的方法，使多台电脑的时间差异小于1S。
（6）患者基本信息查询（patient demographics query，PDQ） 多个分布式应用程序可以使用某种特定的查询语法，向一个中心患者信息服务器查询患者信息，查询结果可以直接被应用程序所使用，包括患者的人口学基本信息，也可以包含就诊相关信息。
（9）跨机构文档共享（cross—enterprise document sharing，XDS） 在属于同一个临床相关域内的多个医疗机构之间共享临床记录。此事务图基于eb Xml Registry标准、SOAP协议、HTTP协议和SMTP标准。此事务图详细描述了如何配置eb Xml登记处，以此来支持跨机构的文档共享。
3）其他标准
（1）ICD－10国际疾病及健康相关问题统计分类EInternational Statistical Classificationof Diseases and Related Health Problems（10th Revision）]ICD系列的疾病分类与代码标准是由WHO组织建立和编写，我国卫生计生委以ICD一10为原则。已经出版了国家标准《疾病分类与代码》（GB/T 14396－－2001）。
（2）LOINC临床观测指标及实验室检验项目信息的通用数据编码系统 由美国的专业行业组织建立并维护。已被美国接纳为国家级行业标准。不断持续更新，公开发布，可免费下载使用，在中国卫生信息学会卫生信息标准专业委员会网站上已提供按名称各要素通过关键字模糊查询来获取观测指标中文名称和代码的功能，国际LOINC网站可下载全套数据以及数据库工具。LOINC系统主要分为实验室LOINC和临床LOINC两个部分，已被HL7、IHE组织接纳作为标准使用。国内已发布的行业标准为《临床检验项目分类与代码》（WS/T 102—1998）。
（3）SN（）MED系统医学命名法 国际系统医学术语全集（Systemized Nomen Clotureof Human and Veterinary Medicine，SNOMED）是美国病理学家学会（College of AmericanPathologists。CAP）编著出版的当今世界上最庞大的医学术语集。1997年10月出版的3.4版共收入146 217条词汇。内容包括人体解剖学、生理学、病生理学、组织形态学等基础临床医学；细菌学、病毒学、真菌学、寄生虫学及动物传媒体等病源学；生物化学、药物、生物制品等；物理因素和致病动因等；手术操作、处理、康复医学等；遗传学、性医学、免疫学、肿瘤学、酶学、核医学、化验及人体检查法等；诊断学、治疗学、护理学、医院管理学、医学社会学等；以及其他贯穿于各个专门领域的医学术语。全集还收入多种国际性编码系统和资料，如ICD－9－CM，CPT，ICD－0，IUB，ILO，AHFS，NANDA，SNOVDO等，有利于查询参考。国际系统医学术语全集数据库结构支持多种系统间的交叉联系和检索，也是医院信息管理、计算机化病案管理、医学科学研究、医学信息管理等国内外系统联网的基础数据库。主要用于电子病历。
（4）国际初级医疗分类法（international classification of primary care，ICPC） 由基层医疗卫生问题涉及生物、心理、社会各方面的问题，不仅包含诊断编码，还包含就诊原因、治疗原因和试验结果的代码。
（5）统一的医学语言系统（unified medical language system，UMLS） 美国国立医学图书馆自1986年开始研制统一的医学语言系统（UMLS），其目的在于克服计算机生物医学信息检索中相同的概念具有不同的表达方式，有用的信息分散在不同的数据库系统中。
UMLS是计算机化的情报检索语言集成系统，它不仅是语言翻译、自然语言处理及语言规范化的工具，而且是实现跨数据库检索的词汇转换系统，它可以帮助用户在联结情报源，包括计算机化的病案记录、书目数据库、事实数据库以及专家系统的过程中，对其中的电子式生物医学情报做一体化检索。
2.居民主索引技术
健康档案是以居民为核心的，每一个居民都需要通过一个唯一的识别号来识别集中管理的居民数据记录。居民主索引（enterprise master person index，EMPI）就是建立居民的唯一识别号。对来自不同的、独立的系统和机构的居民标识实现统一的维护管理，把这些信息映射成统一的标识。通过居民主索引可以检索到所有关于该居民的医疗卫生相关信息。EMPI提供居民唯一ID，同时存储居民基本信息，以及一些外围信息，EMR/EHR存储居民完整的电子病历信息或者健康档案信息。(https://www.daowen.com)
EMPI主要实现功能包括：
（1）居民主索引实现居民的区域性唯一标识（ID）（分配、删除、合并等）。
（2）ID映射管理基于患者唯一号，实现患者在各医疗卫生服务机构问的D，以及其他各种身份D的映射管理和查询；保证多医院/医疗机构之间患者信息，（patient profile）的一致性。
（3）基本信息管理患者个人基本信息、基本健康信息管理。
（4）主索引查询主索引患者信息访问控制，基于患者的基本信息模糊查询。
（5）主索引数据维护主索引数据人工维护，如人工合并重复患者主索引等。
（6）重复信息匹配 自动识别匹配重复患者主索引，自动合并功能。
而对居民身份的唯一标识通过区域医疗居民统一身份标识平台（PIX平台）来实现，基于IHE ITI的PIX规范实现。
（1）居民身份提交身份提交是实现跨域区域医疗信息共享的基础，通过身份提交，中心端按照一定的规则实现不同医疗机构之间居民身份的自动匹配，并且为居民形成一个在区域内跨接入域的居民唯一身份标识。
（2）居民身份注册 当医院中有新居民时需要向市数据中心注册，此时医院需将新居民信息传送给PIX平台（居民身份唯一标识平台），提交的身份信息一般包括：患者姓名、身份证号、出生地、出生日期、社保卡号、联系电话等。同时PIX平台应提供居民身份信息更新服务。
（3）居民身份匹配PIX平台在各家医院对患者身份注册的基础上，按照配置的患者身份匹配规则，实现一个患者在不同医院所使用的身份间的对照关系，为系统建立自动匹配算法，实现居民身份主索引机制。居民就诊类型包括社保卡居民、医保卡居民、自费就诊卡居民等。对于无法按照匹配规则完成匹配的患者身份需要人工干预完成匹配。
（4）居民身份变更通知PIX平台通过建立患者在不同医院的身份关系实现了患者身份的统一。这个统一是通过配置的匹配规则来保证的。患者身份的信息可能会在一家医院进行了更新，这个更新首先通过患者身份注册告知PIX平台。PIX平台将此更新通知给所有相关的医院。
（5）居民身份检索IHE提供的居民身份检索有两种方式，其一是不同域之间的身份检索，其二是居民详细信息检索。居民不同域之间的检索主要是借助PIX的机制，能够实现居民身份标识在不同的域之间的切换查询。居民详细信息检索是依据居民姓名、卡类型/卡号、证件类型/证件号检索居民的详细信息，包括居民在不同域内的身份标识、居民的联系人等信息。
3.数据清洗技术
数据清洗（ETL），是英文extract—transform—load的缩写，用来描述将资料从来源端经过抽取（extract）、转换（transform）、装载（1oad）至目的端的过程。
1）数据抽取
数据抽取是一种从数据源抽取数据的技术实现。具体包含如下几种实现方式。
（1）全量抽取以数据迁移或数据复制的形式完成数据的抽取过程，它将数据源中的表数据或视图数据的从数据库中原样抽取出来，并转换成自己的ETI。工具的兼容格式。
（2）增量抽取 只抽取截至上次抽取时间节点后数据库中的表新增或修改的数据。在数据抽取的应用过程中，增量抽取应用得更为广泛。在增量抽取的过程中如何定位、捕获变化的数据是其技术实现的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。
2）数据转换
在现实的技术应用过程中，从数据源中抽取的数据不一定完全满足目的库的要求，如数据格式的不一致、数据输入错误、数据不完整等，因此有必要对抽取出的数据进行数据转换和再加工。
数据转换过程可以在ETL引擎中执行，也可以在数据抽取过程中利用关系数据库的特性同步进行。ETL引擎中通常以组件化的方式实现数据的转换。常用的数据转换组件包含数据过滤、数据替换、字段映射、数据清洗、数据计算、数据验证、数据加解密、数据合并、数据拆分等。这些组件被包装成可扩展、可插拔的状态。根据需求可以实现组件的自由组装和数据共享。同时，部分ETL工具还能够提供脚本接口，为用户提供一种数据转换和加工行为的接口。
3）数据装载
ETL的最后步骤是将转换和加工后的数据装载到目的数据库中。装在数据所采用的技术方法由数据操作类型和数据体量来决定。当目的数据库是关系型数据库时。可以通过直接SQI，语句进行插入、更新和删除等操作；而当采用批量装载方法时，也可以通过批量装载的方法。其中通过SQI，语句进行操作使用更加广泛，因为SQI。语句进行了日志记录并且是可恢复的。但是批量超载的方法更加易于使用，且当装入的数据体量较大时，速度更快，效率更高。而在实际的业务使用过程中，两个方式可能会交替进行。
4.数据质量控制技术
医疗数据是所有上层医疗应用的基础，数据质量的好坏将直接影响到应用层的使用效果。区域医疗数据具有以下的特征。
（1）业务数据来源多样，原始数据质量参差不齐。区域医疗数据是从多个业务单位的多个业务信息系统中获取相关原始数据，数据源多。而且数据在物理结构和逻辑结构上不统一，甚至同一业务单位的不同业务系统之间也无法做到数据物理结构与逻辑结构的统一。这些原始数据的质量缺陷主要表现在数据的完整性、正确性方面。
（2）业务上没有绝对权威，数据缺少比较基准。由于业务单位、业务信息系统的独立性，造成数据的独立存在，而且在所有的数据集中缺少绝对的业务权威、数据权威，当出现数据不一致的情况时，无法通过与权威的比较来确定数据的有效性，只能是通过人工的核查干预来解决冲突问题。
（3）业务数据缺少统一关键索引。存在严重的身份重叠问题。数据物理结构和逻辑结构的不一致致使所有数据集没有统一的关键索引，对于市民使用身份证、护照、社保卡、医保卡等卡证多次就医的情况无法进行有效的判断、统一，造成市民健康档案的“分裂”；更有甚者由于一些系统外的原因，如身份证重号问题，造成不同市民的健康档案“混合”，这些都会造成健康档案无效。
由于历史和现实的原因，上述问题不仅在过去存在，而且在将来的一段时间内还会作为常态问题持续存在，这是对区域医疗数据质量的严重干扰。需要针对业务数据的获取检验、使用全过程建立起完整的数据质量保障体系，提供覆盖业务单位数据质量分析反馈、数据抽取、数据转换、数据清洗、数据加载、数据使用全生命周期的数据质量控制功能。
（1）由业务系统中获取的数据首先进入ODS（operational data store），ETI。引擎根据元数据规范和业务规则对ODS数据进行整合处理，正常数据进入主题数据库，完成整合，异常数据进入数据质量管理系统进行人工干预。
（2）数据质量管理系统对异常数据进行人工干预，通过人工干预可处理的批量数据进入临时库，由ETL根据新的规则进行处理。通用的干预措施形成元数据规范，进入元数据规范标准，无法处理的数据暂存到临时库，通知业务单位处理。医疗数据质量控制需要管理制度保障，技术上可以通过数据质量统计分析、数据质量评估支撑管理手段。
（1）数据质量统计分析按照时间、部门、异常数据类型等条件对数据库建立过程中记录的日志信息以及系统自动处理的记录信息进行统计分析。如统计一段时间内各类型异常数据的总数、统计一段时间内各部门所提供数据发生异常情况的类型和数量、统计一段时间内系统自动处理的异常情况、按周期对异常发生的情况进行分析、按部门对异常发生的情况进行分析等。
（2）数据质量评估各数据源提交数据的质量，包括数据提交的关联性、准确性、完整性。准确性是指上传数据符合接合规范要求的程度，以及数据之间关系的满足程度；完整性用于判断上传数据是否为接口所要求上传的全部数据。另外需要关注数据提交的稳定性、及时性，稳定性用于反映数据上传动作的正常工作状态时间与失效状态时间的比例关系；及时性用于反映数据上传的时效是否满足要求。