一、引言

一、引言

近些年来,基于学习的图像增强算法随着深度卷积神经网络的发展而普遍应用于图像增强领域。作为近年来无监督学习最具前景的方法之一,生成对抗网络(generative adversarial network,GAN)将图像生成、增强和超分辨率重建等领域推向了一个新的高度。GAN提出于2014年,由于其在图像生成任务中的优越性能,对抗训练思想被许多学者广泛研究和应用,GAN的各种变体也不断被提出。GAN的基本思想为通过生成器和判别器在训练过程中不断优化损失函数,使神经网络生成的图像尽可能接近原始图像。Ledig等将GAN应用于超分辨率重建,其提出的SRGAN算法在重建自然图像时具有逼真的视觉效果。Isola等提出的Pix2Pix网络在受匹配条件约束的情况下完成了端到端的图像生成任务。考虑到临床医学影像数据较少,且难以获得同一病人不同成像质量的成对图像,Pix2Pix网络在临床中并没有得到广泛应用。循环生成对抗网络(cycle-consistent adversarial network,CycleGAN)通过使用数量双倍于Pix2Pix网络的生成器与判别器,突破了Image2Image图像生成任务中必须输入成对数据的限制,其提出的循环一致性损失保证了图像在原始域和增强域两个域之间转换的准确性。

最近几年,注意力机制在图像分类分割、语音识别和自然语言处理等不同类型不同领域的任务中被广泛使用。注意力机制从本质上讲和人类的视觉选择机制类似,核心都是从众多信息中选择出对当前任务影响最大的特征。深度学习中的注意力机制按照特征权重赋予方式可以分为两大类,分别为空间层面(spatial)的注意力机制和通道层面(channel)的注意力机制。Google深度学习小组Szegedy等提出的Inception结构使用了多尺度感受野,是在空间层面上提升网络性能的代表结构。Hu等提出的SENet则是在通道层面上对特征信息进行重新整合。SENet中提出的SE模块是一种对网络中单张特征图进行权重赋予的策略,通过网络自动学习当前通道中每张特征图的权重,然后根据每张特征图的权重对当前特征进行加权。SE模块在提升模型重要特征权重的同时也抑制了模型中的无效特征。CBAM模块可以看作是SE模块在空间维度上的延伸版本。CBAM模块在通道和空间两个维度上分别计算特征重要性,既考虑了当前通道中每一张特征图的权重,又考虑了每一张特征图中每一个像素点的权重,是一种更加简单高效的注意力算法。

我们提出一个基于CycleGAN框架的视网膜图像增强网络,名为Cycle-CBAM,该网络实现了从低质量眼底图像到高质量眼底图像的迁移。