杨传德 李格璇 李海军
摘 要：针对人工识别乳腺癌肿瘤存在无法避免人为因素的问题，提出一种基于EfficientNetV2和迁移学习的乳腺癌病理图像分类算法。首先，由于现有公开数据集BreaKHis样本数据量过小，通过数据预处理实现数据增强，从而使模型学习到更多鲁棒性的特征。然后将数据集在微调后的EfficientNetV2网络模型上进行迁移学习训练，同时采用Nadam进行梯度下降优化，进而实现乳腺癌病理图像的自动分类。实验结果表明，相较于其他深度学习模型，该模型以更少的参数与更高的准确率很好地以底层视觉特征映射了高层语义，有效提升了临床医学诊断的效率。
关键词：EfficientNetV2模型；
迁移学习；
Nadam
中图分类号：TP391.4；
R737.9 文献标识码：A 文章编号：2096-4706（2023）10-0136-04
Abstract：
Aiming at the problem that artificial recognition of breast cancer tumors cannot avoid human factors， a classification algorithm of breast cancer pathological images based on EfficientNetV2 and transfer learning is proposed. Firstly， due to the small sample size of the existing public dataset BreakKHis， data augmentation is achieved through data preprocessing， thereby enabling the model to learn more robust features. Then， transfer learning training is carried out on the database on the finely tuned EfficientNetV2 network model， and the gradient descent optimization is carried out with Nadam， so as to realize the automatic classification of breast cancer pathological images. The experimental results show that compared to other deep learning models， this model effectively maps high-level semantics with lower level visual features with fewer parameters and higher accuracy， effectively improving the efficiency of clinical medical diagnosis.
Keywords：
EfficientNetV2 model; transfer learning; Nadam
0 引 言
据世界卫生组织国际癌症研究机构（IARC）发布的全球最新癌症负担数据显示，乳腺癌已取代肺癌成为全球第一大癌症[1]。伴随着乳腺癌患者年轻化趋势加强，对于病理学专家的需求越来越大。当前，乳腺癌疾病的检测和诊断可以借助成像系统程序，例如热图以及超声图像等[2]。这些方式虽然在一定程度上帮助了病理医师进行乳腺癌病理图像诊断，但诊断结果仍然受制于病理医师个人主观因素的影响，故准确率难以保证。
近年来使用机器学习和经典计算机视觉对乳腺癌病理图像进行诊断成为一个快速发展的研究领域。深度学习已成为乳腺癌数字组织病理学的首选方法。与人工诊断相比，深度学习的方法不需要凭借人工提取的方式对乳腺癌病理图像进行特征提取，从而降低了对专业病理医师的需求，节省了人力资源。
为了减少深度学习模型训练参数，同时又能够确保乳腺癌病理图像分类模型的精度、网络收敛性和训练速度等基本性能评价指标，本文主要针对BreaKHis数据集7 909张4种不同放大倍数的病理图像，利用了以EfficientNetV2为主干网络的图像分类模型进行良性样本与恶性样本的分类。
1 方法介绍
对于乳腺癌病理图像领域的计算机视觉技术研究可追溯到多年之前。在基于卷积神经网络的方法这一策略上，为了将乳腺癌肿瘤细胞图像分成良性与恶性两大类，Spanhol等人[3]分别测试了LeNet[4]和AlexNet[5]模型，两模型准确率分别达到了接近人力平均水平的72%和80.8%～85.6%。在基于深度残差网络的方法这一策略上，Koné等人利用ResNet50模型对乳腺癌病理图像进行分类，这一策略在乳腺癌4种分类问题上取得了81%的分类精度；
但上述方法由于神经网络大程度的加深，网络也变得笨拙起来，在进行深度学习模型训练时，巨大的计算机资源将被消耗，而且模型预测结果与金标准差距较大，不具有普适性。故本文以EfficientNetV2作為网络权重，并在此基础上对乳腺癌数据集预处理工作后进行深度迁移学习训练，同时利用Nadam优化器进行梯度下降优化，从而进一步提高模型泛化能力。
1.1 模型搭建
1.1.1 EfficientNetV2网络
本文使用的主干网络EfficientNetV2[6]，前身是由Tan等提出的EfficientNetV1[7]。其利用神经网络搜索（Neural Architecture Search， NAS）的方法，设置了合适的合成比例系数，很好的平衡了网络的宽度、深度和分辨率，这样不仅使得网络模型学习到了更加丰富复杂的特征，而且使得网络模型可以在很好的应用到其他任务的同时还更容易训练。整个网络的运算可以抽象为：
其中，N表示一系列复合层的操作叠加。d、w、r分别表示平衡网络深度、宽度、分辨率的系数。⊙i=1…s表示连乘运算，Fi表示一个运算操作，则FiLi表示在Stagei中Fi运算被重复执行Li次。X表示输入Stagei的特征矩阵。
在EfficientNetV1中虽然Depthwise convolutions结构相比普通卷积拥有更少的参数以及更小的FLOPs，但现有的加速器无法对其提供充分的支持，导致实际运用起来并没有想象中快。EfficientNetV2基于此抛弃了一些MBConv模块中的深度可分离卷积，随之更替为普通卷积。Fused-MBConv与MBConv结构如图1所示。
根据混合系数φ取值的不同，EfficientNetV2的其中配置分别为EfficientNetV2-S、EfficientNetV2-m、EfficientNetV2-l，以及B0至B3共7种网络模型。以规模最小的EffficientNetV2-S网络为例[7]，其结构如表1所示。
其中，O即Opereator，表示每一个Stage利用到的模块；
S即Stride，表示步长；
C即Channels，表示输出的通道数；
L即Layers，表示Stage中模块反复堆叠的数量；
模块Conv3×3表示3×3的普通卷积和常用的激活函数层及批量归一化BN层；
Fused-MBConv模块后接数字，表示缩放因子expansion ratio；
k3×3意味着kenel_size为3；
SE模块即Squeeze-and-Excitation模块，表示这一模块由一个全局平均池化层和两个全连接层组成；
0.25意为SE模块中首个全连接层节点数是输入MBConv模块通道数的0.25倍。
EfficientNetV2通过平衡网络的宽度、深度以及分辨率使得计算机资源不被过度浪费的同时，得到了更高的精度及效率。而高精度与高效率正是目前诊断乳腺癌在临床试验中提出的要求。因此，本文采用EfficientNetV2-B1网络模型对乳腺癌病理图像数据集进行迁移学习训练，它可以以更少的参数量、更小的计算机资源训练出具有更强鲁棒性的网络模型。
1.1.2 Nadam优化器
Nadam算法是由Dozat提出的[8]，其通过将Nesterov动量和Adam算法结合在一起，使得Nadam优化器在拥有Adam算法几乎所有优点的同时，也更加直接的影响梯度并可以加强对学习率的约束。一般情况下，Nadam优化器相较于Adam优化器可以取得更好的效果。故采用Nadam优化器进行优化。
1.2 深度迁移学习
传统深度学习侧重在优化原有结构，偏向于神经网络结构上的突破。而迁移学习更趋向于在已有的网络基础上，研究领域适应性问题[9]。通常将源域与目标域分别表示为D和T；
χ与y分别表示特征空间与标签空间；
P（X ）表示边际概率分布，其中X={x1， k， xn}∈ χ；
f （·）表示目标的预测函数，迁移学习即利用有标注的D来学习T的知识，具体过程可由如下形式进行阐释：
深度迁移学习的基本思想是通过在一个现有的大型数据集上（例如ImageNet）预训练一个神经网络模型，然后利用这个已经预训练好的神经网络的权重作为整个模型的初始化权值，然后将其迁移到目标数据集上进行训练和微调。迁移学习之所以可行是因为神经网络的前面几层学习的是样本的泛型特征，例如点、线、轮廓等共性底层特征，后几层学习的是目标数据集的特有特征。
本文的实验模型在ImageNet这样一个超大型的数据集（包括约120万自然图像和1 000个不同类别）上进行预训练，将预训练得到的模型参数作为网络的初始化参数，之后依据经验定制全连接层，以此使感受野得到增大，进而学习到乳腺癌病理图像更高细粒度特征模板。表2是本模型的具体网络结构组成。
2 实验分析
2.1 实验环境
本实验采用Python编程语言，GPU处理器为NVIDIA GeForce GTX 3080 Ti，内存为16 GB，操作系统为Ubuntu 20.04，深度学习框架为TensorFlow。
2.2 实验数据
数据集BreakHis（Breast Cancer Histopathological Database）来自P&D实验室，其包括了来自82位患者的7 909张已标注好的乳腺组织病理图像。其中良性肿瘤图像有2 480幅，恶性肿瘤图像有5 429幅。图像采用4种不同的放大倍数（40X、100X、200X、400X）。BreakHis数据集的部分乳腺癌病理图像样本如圖2所示。
2.3 数据增强
为在原有的图像数据集的基础上扩大图像的数量，进而提高模型的泛化能力，往往会在已有的数据利用镜像、旋转、尺度变换、随机扣取、色彩抖动等方式进行数据增强来实现对图像的预处理。
本文利用Albumentations数据增强库，将以下操作按照规定概率组合完成了图像数据增强工作：将输入数据集图像以0.5的概率水平翻转；
以0.5的概率设置随机转动的角度为15°；
以0.5的概率设置随机亮度与对比度分别在-0.2到0.2与-0.1到0.1这个区间内；
以0.8的概率设置随机裁切的区间为0.9到1.1，同时设置随机长宽比区间为0.05到1.1；
对输入图像进行了模糊化处理以降低噪声[8]。
2.4 参数设置
利用EfficientNetV2-B1网络可以让模型的误差率和漏检率大幅降低，同时可提升模型泛化能力。在进行多次实验后，成功获得了本模型的最佳參数组合，即设置初始学习率为0.001，批量大小Batch_size为16，图像标准化Norm_size为240，模型共迭代训练了20轮。
2.5 实验结果及分析
2.5.1 实验结果
根据常用性能评价指标，准确率（accuracy）越高，模型的分类效果就越理想，也就越能规避恶性乳腺肿瘤细胞无法被识别分类的现象；
损失越低，可说明模型鲁棒性的强大。实验结果表明：本实验最终验证集准确率和损失分别为0.968 4和0.084 7。训练过程速度快，网络收敛性良好。如图3所示。
2.5.2 结果分析
BreakHis数据集被划分成了训练集、验证集和测试集。在进行数据预处理之前，训练集、验证集、测试集上的图像数量分别为5 687、1 422和800。为了更直观准确地看出模型分类效果，对测试集上的图像进行预测，并用混淆矩阵反映预测结果情况[9]。
从图4中可以计算出，在测试集上，对于良性和恶性乳腺癌图像，准确率均达到97%左右，AUC达到0.978，可见本模型对于乳腺癌病理图像分类效果之理想。
在模型训练过程中，可以看出模型相较于轻量级神经网络模型MobileNet[10]，准确率更高，相较于其他深度学习网络模型如ResNet不仅准确率更高，参数量更少。对比数据如表3所示。
观察表中数据，可以明显看出基于EfficientNetV2和迁移学习的乳腺癌病理图像分类算法在参数量和准确率上的优越性。
3 结 论
借助计算机视觉技术，达到对乳腺癌病理图像病灶的智能分类，辅助病理医师进行乳腺癌的临床诊断和早期筛查的未来应用的前景广阔。深度学习已然成为数字组织病理学的首选方法。我们通过深度学习模型与迁移学习算法对乳腺癌病理图像进行识别，并利用Nadam优化器来优化梯度下降，将图像分为良性、恶性的二分类，得到EfficientNetV2-B1模型效果最好，其不仅网络收敛性、训练速度和分类精度更好，而且参数量更少。不足之处在于乳腺癌的数据量分布不均衡，今后的工作将对具体恶性乳腺癌类型进一步细分，实现对病患具体情况的具体处理。
参考文献：
[1] 顾玉芳，李国远.乳腺触诊成像系统在乳腺疾病早期筛查中的应用分析 [J].中国初级卫生保健，2022，36（4）：77-79.
[2] TORRE L A，ISLAMI F，SIEGEL R，et al. Global Cancer in Women：
Burden and Trends [J]. Cancer Epidemiology， Biomarkers &Prevention ，2017，26（4）：444-457.
[3] SPANHOL F A，OLIVEIRA L S，PETITJEAN C. Breast cancer histopathological image classification using Convolutional Neural Networks [C]//2016 International Joint Conference on Neural Networks （IJCNN）.Vancouver：IEEE，2016：2560-2567.
[4] KRIZHEVSKY A，STUSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM，2017，60（6）：80-90.
[5] MAHBOD A，ELLINGER I，ECKER R，et al. Breast Cancer Histological Image Classification Using Fine-Tuned Deep Network Fusion [M].Campilho A，Karray F，Romeny B H. Image Analysis and Recognition. [S.I.]：Springer，2018.
[6] TAN M X，LE Q V. EfficientNetV2：
Smaller Models and Faster Training [J/OL].arXiv：2104.00298 [cs.CV].[2022-11-28]. https：//arxiv.org/abs/2104.00298v1.
[7] TAN M X，LE Q V. EfficientNet：
Rethinking Model Scaling for Convolutional Neural Networks [J/OL].arXiv：1905.11946 [cs.LG].[2022-11-28].https：//arxiv.org/abs/1905.11946v5.
[8] DOZAT T. Incorporating Nesterov Momentum into Adam [EB/OL].[2022-11-28].http：//cs229.stanford.edu/proj2015/054_report.pdf.
[9] SCH?LKOPF B，PLATT J，HOFMANN T. Analysis of Representations for Domain Adaptation [M]//SCH?LKOPF B，PLATT J，HOFMANN T. Advances in Neural Information Processing Systems 19：
Proceedings of the 2006 Conference.Cambridge：MIT Press，2007.137-144.
[10] BUSLAEV A，PARINOV A，KHVEDCHENYA E，et al. Albumentations：Fast and Flexible Image Augmentations [J/OL].arXiv：1809.06839 [cs.CV].[2022-11-28].https：//arxiv.org/abs/1809.06839.
作者简介：杨传德（2003—），男，汉族，山东临沂人，本科
在读，研究方向：图像处理、深度学习；
李格璇（2003—），女，汉族，山东德州人，本科在读，研究方向：机器学习；
李海军（1974—），男，汉族，山东聊城人，副教授，硕士，研究方向：计算机视觉。
