医疗大数据分析与挖掘技术
大数据时代，医疗卫生领域不同业务不同格式的数据从各个领域涌现出来。大数据往往含有噪声，具有动态异构性，是互相关联和不可信的。尽管含有噪声，大数据往往比小样本数据更具有价值。这是因为从频繁模式和相关性分析得到的一般统计量通常会克服个体的波动，会发现更多可靠的隐藏的模式和知识。
1.分析挖掘的工具集
大数据的数据挖掘工具集主要由R语言体系、机器学习体系和挖掘开发包三个方式组成。
（1）统计分析软件R针对传统分析软件扩展性差以及Hadoop分析功能薄弱的特点，IBM公司的研究人员致力于对R和Hadoop进行深度集成。把计算推向数据并且并行处理。使Hadoop获得了强大的深度分析能力。
（2）机器学习和数据挖掘工具Weka经过算法的并行化，Weka以Map Reduce集群为基础，突破原有的可处理数据量的技术瓶颈，利用并行计算模式大幅提高了工具的计算性能，同时赋予了Map Reduce技术深度分析的能力。
（3）机器学习和数据挖掘开源程序库Apache Mahout Apache Mahout是基于Hadoop平台的大规模数据集上的机器学习和数据挖掘开源程序库。为开发人员提供了丰富的机器学习领域经典算法实现，智能便捷的创建应用程序。
另外，针对频繁模式挖掘、分类和聚类等传统的数据挖掘任务，市场上也出现了相应的大数据解决方案。
2.分类挖掘算法
目前在医疗数据处理中使用的主要分类算法有决策树、贝叶斯、人工神经网络等。
（1）决策树学习是以实例为基础的归纳学习算法，构造决策树的目的是找出属性和类别问的关系，用它来预测将来未知类别的记录的类别。决策树可以用于临床的疾病辅助诊断，从临床数据库中提取诊断规则，提高诊断正确率。在基因分析中，决策树可以帮助对基因进行功能分类，实现对未知功能分类的基因进行分类预测。在医疗政策制定、公共卫生、慢性病管理等方向，决策树算法都已经被广泛应用。(https://www.daowen.com)
（2）贝叶斯（Bayes）分类算法是一类利用概率统计知识进行分类的算法，用来预测一个未知类别的样本属于各个类别的可能性，从而发现数据间潜在的关系。贝叶斯算法可以用于手术结果预测、医疗服务质量评价等。在转化医学中，贝叶斯算法被用来筛选生物标记物，从而对人群进行分类，实现个性化医疗和健康管理。在药物和器械研发中，也可以使用贝叶斯算法修正没计方案和预测结果，加速研发过程。
（3）人工神经网络（artificial neural networks.ANN）是一种类似于大脑神经突触连接的结构进行信息处理的数学模型。而神经网络同时需要进行网络学习的训练。当前的神经网络存在收敛速度慢、计算量大、圳练时间长、不可解释等技术瓶颈。而在医疗领域，人工神经网络可以用于确定疾病危险因素、研究疾病发生率的变化趋势等。
3.文本挖掘算法
医疗数据包括各种结构化、非结构化和半结构化的数据。要想对这些海量数据进行有效的处理，必须对非结构化和半结构化的数据进行处理，使其能够被系统快速地识别、应用。
非结构化和半结构化数据现在主要包括医生医嘱、出院小结和各种描述性质的分析报告。针对这些数据，首先需要进行分词，之后再利用医学领域的知识库对分词结果进行概念的识别，最终形成一个机器可读的数据。这个流程中，系统对数据的处理并不是完全自动化的过程。一些不能自动识别的文本将由人工进行识别处理，之后作为一个用户字典规则，加入到系统标准识别过程中。在这个过程中，用到的工具包括：
（1）文本分词其实是中文分词问题，指的是将一个汉字序列按照一定的规范切分成一个一个单独的词的过程。而在英文的组织过程中，单词之间以空格作为自然分界符的，而中文只有字、句和段能通过明显的分界符来简单划分界限，唯独词没有一个规范的、通用的分界符。虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂得多。在分词功能上，很多数据分析工具基本上能满足这一功能。但在领域知识上，由于医疗领域的特殊性，通用的分词引擎往往不能直接满足。因而，在医疗卫生领域，需要结合医疗卫生领域的本体知识库的建模，建立业务词典，提高分词的准确率。
（2）文本挖掘是抽取有效、新颖、可用的散布在文本文件中的有价值知识，并利用这些知识更好地组织信息的过程，是信息挖掘技术的一个重要分支。可以利用神经网络等智能算法，结合文字处理技术，分析大量的非结构化文本源，抽取和标记关键字概念、文字间的关系，并按照内容对文档进行分类，获取有用知识和信息。典型的文本挖掘方法包括文本分类，文本类，概念、实体挖掘，观点分析，文档摘要和实体关系模型。
（3）语义分析在处理文本、识别文本的含义时，并不能只对文本字符进行数据化的处理，还需要“理解”含义。例如，在医疗领域，医生的一些口语化词汇“乙肝”“大三阳”等和一些书面化的词汇“乙型肝炎”“HBeAg阳性”虽然字符串完全不同，但表达的意思是相同的。
需要对这种文本的语义进行识别，以方便地处理非结构化的数据。进行语义识别的一个常用算法是主题模型。顾名思义，主体模型就是对文字中隐含主题的一种建模方法。主题就是一个概念、一个方面，它表现为一系列相关的词语。很容易看出，传统的主题模型所依赖的主题概念正是本体描述知识库的一部分内容，本体知识库可以让传统的通用语义分析能更好地在医疗卫生领域使用。