基于DenseNet和ResNet融合的发动机孔探图像分类研究
敖良忠 马瑞阳 杨学文
摘 要：孔探是检测发动机内部损伤最重要的手段之一。为了解决发动机孔探检查中孔探人员主要依靠经验对损伤进行界定的问题，研究了基于DenseNet和ResNet融合的新型单通道网络结构，实现对发动机部件的分类，为后期孔探缺陷自动识别建立基础。通过对某大修厂孔探数据和自建数据进行处理，完成了孔探图像分类数据集的构建;训练新型的49层网络模型，在自建数据集测试集上测试的准确率和平均召回率分别为96.0%和95.9%，有较好的泛化能力，可以有效的对发动机部件进行分类。
关键词：发动机孔探;部件分类;DenseNet;ResNet;深度神经网络
Abstract：Borescope inspection is one of the most important means of detecting internal engine damage. In order to solve the problem that engineer mainly rely on experience to define damage during borescope inspection， a new single-channel network structure based on the fusion of DenseNet and ResNet was researched to realize the classification of engine components. At the same time， this establishes the foundation for the automatic identification of later flaw detection. By processing the borescope images data of a major repair plant and self-built data， the construction of the borescope image classification data set was completed. Trained a new type of 49-layer network model， with the accuracy of 96.0%， with the average recall rate of 95.9%， respectively， experimental results show that the network has good generalization ability and can effectively classify engine components.
Key words：engine borescope images;parts classification;Densenet;Resnet;deep neural network
民用航空涡扇发动机在翼期间内，发动机内部部件的实际状态是否符合适航技术标准，是判断发动机是否需要换发的一个关键因素[1]。其中，发动机孔探是了解发动机内部关键部件状态最基本和最常用的检测方法[2]。目前，虽然发动机孔探设备测量精度越来越高，但是对发动机损伤的界定仍然需要检验人员凭借经验进行判断，致使孔探检测中人为因素导致的漏检和误检比例过高[3]。如何降低人为因素差错、提高孔探作业效率，成为航空公司和发动机大修厂迫切希望解决的问题。
随着深度学习技术的发展，其在人脸识别和医学影像等领域已经取得了实际的应用价值[4]，但在发动机孔探图像识别方面的研究还比较少。旷可嘉等人[5]采用深度学习领域内基于卷积神经网络的FasterR-CNN和SSD模型进行缺陷的自动检测，但是由于其建立的数据集总量只有400张，在缺陷数据集比较小的情况下，诊断精度并不能达到实际孔探工作要求。Markus[6]等人研究了基于深度神经网络模型的涡扇发动机孔探图像分类，其利用VGG网络对发动机冷端和热端部位图像进行识别，其平均识别准确率达到77%。与基于特征的传统图像处理技术相比，基于深度学习的图像识别技术在识别效率、识别精度上都有很大的提升。本论文研究的是发动机孔探缺陷自动识别的第一步，即基于深度神经网络，将发动机孔探图像按照部位进行自动分类，分成压气机图像、燃烧室图像、高压涡轮图像和低压涡轮图像。随后在分类基础上，对孔探缺陷进行识别和定位。通过经典VGGNet、ResNet和DenseNet网络构架的研究和对比实验，提出了融合DenseNet和ResNet优点的新型单通道串连网络结构，并命名为DRNet（Dense-ResNet），实现发动机孔探图像的高精度自动分类。
1 孔探图像分类数据集构建
目前在航线维护与发动机大修中，存在一定量的发动机孔探数据。数据主要来自某大修厂2015-2019年发动机试车台的孔探数据，以及利用孔探仪的自建数据。对上述数据进行分类整理，按照发动机的部位分为（1）压气机图像、（2）燃烧室图像、（3）高压涡轮图像、（4）低压涡轮图像，如图1所示。
发动机孔探数据一部分是视频格式，且由于孔探视频的反光比较强、背景差异变化大等问题，所以需要对视频数据中的关键帧进行提取，以达到扩充数据集的目的;针对数据采集在时间上跨度比较大、采集数据质量参差不齐的问题，需要对孔探图像数据进行清洗、整理等;针对发动机冷热端孔探检查频率不同导致的数据样本分布不均匀问题，则需要对其进行数据增强等。孔探图像数据处理流程如图2所示。
针对孔探视频数据中冗余信息过多的问题，采用了基于背景差分和帧间差分的关键帧提取方法，去除模糊的图像数据，并对相似特征的孔探图像数据仅保留其中一组。
背景差分法[7]是將背景模型与当前帧进行差分操作以实现关键帧的提取，其算法比较简单，并且一定程度上降低了孔探视频中的反光影响，主要用于提取压气机等反光较强的视频数据。背景差分的公式如式（1-2）。
孔探数据在采集之后，存在着包含噪声、数据格式多样化等问题，因此需要对孔探图像数据进行清洗和整理操作。首先采用人工方法将数据中不属于该类别的图像数据剔除，并删去模糊和失真的图像数据;其次采用逐像素比较方法去掉数据中完全相同的图像数据。另外，针对发动机孔探数据样本中类别分布不平衡的问题，采用随机剪裁、旋转等几何变换方法和采用平滑、锐化等颜色变化方法，对样本数量比较小的类别（燃烧室）进行增强操作，让有限的数据产生更大的数据价值。最后通过使用立方卷积插值法对图像数据进行下采样，将所有数据图像尺寸调整为224*224*3，在减少深度神经网络计算量的同时，保留了较多的图像特征。经过上述预处理操作，总计收集到合格的发动机部件图2398张，并按照3：1：1的比例随机分为训练集、验证集和测试集，其中训练集1438张，验证集480张，测试集480张。发动机各部件孔探图像具体分布如表1所示。
2 DRNet网络模型的搭建
2.1 残差模块
从VGGNet到InceptionNet，卷积神经网络的层次越来越深，网络的泛化能力也更强。但是研究发现，当模型加深到一定程度后，网络的性能不再随着深度的增加而提升，反而会出现准确率下降的问题。这是因为当模型加深以后，网络变得越来越难训练，在较深层数的神经网络中间，梯度信息由网络的末层逐层传向网络的首层时，传递的过程中出现梯度接近于0的现象，这称为梯度弥散现象。网络层数越深，梯度弥散现象可能会越严重。为了解决这一问题，微软研究院何恺明[10]等人提出了深度残差网络，即ResNet;其核心思想就是通过在输入和输出之间添加一条跳连接（Skip Connection），可以让输入信息直接传输到后面的层中，实现层数回退机制。残差模块如图3所示，输入x通过两个卷积层，得到特征变换后的输出F（x），与输入x进行对应元素的相加运算，得到最终输出H（x），H（x）= x+ F（x）。
2.2 稠密连接模块
与残差网络结构相似，稠密卷积网络（Dense Connection Net， DenseNet）是建立前面所有层和后面层的密集连接[11]。其通过特征在通道上的连接来实现特征重用，这个特点使得网络DenseNet比ResNet有更优秀的性能。如图4所示为一个稠密连接模块（Dense Block），其由若干个层级连接的非线性转换结构H组成。卷积层输入x0通过H1卷积层得到输出x1，x1与x0在通道轴上进行拼接，得到聚合后的特征张量，送入H2卷积层，得到输出x2。同样的方法，x2与前面所有层的特征信息：
x1与x0进行聚合，再送入下一层。如此循环，直至最后一层的输出x4和前面所有层的特征信息：{xi}i=0，1，2，3 进行聚合得到模块的最终输出。由于这种连接方式，使得DenseNet网络更加容易训练，每一层都可以直接利用损失函数的梯度以及输入信息;同时加强了特征的传递，可以更加有效的利用特征。
2.3 新型DRNet网络的构建
DenseNet虽然可以通过特征重用方式更有效的利用高层信息，但是它存在特征冗余的问题;ResNet通过跳连接方式和保留中间特征的特点，可以有效的降低特征冗余，但其难以利用高层信息。同时，虽然ResNet残差模块加深了网络结构，但是参数量却增长过快，经过在自建数据集的实验得知，在达到相同的精度情况下，DenseNet参数量仅为ResNet的60%左右;DenseNet可通过尽量缩短前层和后层之间的连接，缓解梯度消失和退化问题。针对以上问题，提出了将DenseNet和ResNet融合的新型网络DRNet，其以DenseNet模块和ResNet模块间隔连接的方式，实现了两者优缺互补的单通道网络结构。不同于Y Chen，J Li等人提出的双通道网络结构[12]（Dual Path Network，DPN），DRNet网络使用稠密连接模块的输出作为残差模块的输入，其结果再送入稠密连接模块，如此循环，实现了结构简单的单通道网络结构。
ResNet模块如图5（a）所示，Pool为DenseNet模块连接过渡层的输出，Conv2d，Conv2d_1等为模块的名称，（1*1+1）表示卷积核为1*1，步长为1;128，256为输出的通道数。DenseNet模块如图5（b）所示，结构虽然与ResNet模块相似，但实际差异很大。DenseNet模块首先经过批量归一化、激活后，进行一个1*1的卷积，同样的方法，第二次进行3*3的卷积;同时为了特征重用，在跨层连接时候使用Concatenate进行特征融合，而ResNet模块则是采用Element-wise Addition 操作。由于不需要进行Add操作，所以在每个模块后不需要一个1*1的卷积来使输入和输出的特征维度达到一致。
DRNet网络如图6所示，由2个DenseNet模块（Dense1_block*6、Dense2_block*12）、2个ResNet模块（Res1_block、Res2_block）、2个过渡层、2个最大池化层、2个平均池化层、1个Dropout层和1个Softmax层组成，总计49层。
过渡层是指DenseNet模块和ResNet模块之间的层，作用是完成卷积和池化的操作，达到减小特征图数量的目的;池化层[13]用于对卷积后的特征图进行压缩，平均池化层可以保留孔探图像整体的数据特征，最大池化层则可以保留更多纹理信息。Dropout层是一类简单但是十分有效的正则化方法，在每个训练批次中，随机忽略一部分输入，可以明显地减少过拟合现象。
对于发动机部件分类图像而言，DRNet网络首先输入224*224*3的孔探图像，经过一个7*7的卷积核和一个3*3的最大池化层得到56*56*64的张量;随后经过2个DenseNet模块和2个ResNet模块输出一个4*4*512的张量，接下来经过一个4*4的最大池化层和一个全连接层输出一个1*1*1024的张量;最后通過Softmax函数完成孔探图像的分类。
3 DRNet网络模型的训练与评估
3.1 DRNet模型参数设置
深度神经网络训练过程的实质就是将输入数据送入网络模型得到预测值F（X），然后用损失函数（Loss Function）来评估预测值F（X）和真实值Y的误差;接下来利用损失函数的导数通过多次迭代（优化器）来最小化损失函数。损失函数不断更新反过来对模型的参数也进行了更新，如此循环，直到模型达到设定的迭代次数或是满足精度要求为止。在DRNet网络模型中选用交叉熵（Cross Entropy）损失函数[14]来评估模型的鲁棒性，其公式如式（5）所示。
3.2 DRNet网络模型训练过程
DRNet网络模型训练平台是在Windows10操作系统下搭建的，所用到的深度学习框架为Tensorflow-gpu2.0.0和Keras2.3.1;硬件为NVIDIA GTX1080 Ti的显卡，Intel i5-9400F的处理器。数据集为自建的发动机孔探类别图像，训练集、验证集、测试集的分布如表1所示。
DRNet网络模型设置的初始学习率为0.0003，batch_size设置为16，epoch设置为90（将所有训练集数据训练一轮为一个epoch）。调用Tensorflow的内置函数matplotlib，生成DRNet网络模型的准确率和损失函数随epoch的变化趋势，如图7所示。
图7中，实线表示网络模型在训练集上准确率和损失，虚线表示网络模型在验证集上准确率和损失;从图中可以看出网络模型从第2个epoch迭代至第10个epoch，准确率得到了较大的提升，训练集准确率从38%上升到82%，与之对应的是验证集准确率从25%上升到80%;从第10个epoch到第30个epoch，模型在训练集上的准确率上升较为缓慢，在验证集上的准确率有两个较大的震荡;在第40个epoch以后模型准确率趋于稳定，在训练集上准确率为98%左右，在验证集上准确率为94%左右。随着迭代步数的增加，模型在训练集的损失函数稳定在0.05附近，在验证集的损失函数稳定在0.2附近。取模型趋于稳定后，且在验证集准确率最高的模型作为最终模型，使用测试集对其进行评估。
3.3 DRNet网络模型评估
在深度神经网络中常用准确率（Accuracy）、精确率（Precision）、召回率（Recall）等评价指标对模型进行评估，公式如（12-14）。其中，准确率是正确预测数量与总样本数量的比值，它是最常见的评价指标。但在发动机孔探检查中，既要保证不能漏检也要求误检率不能过高，为了全面评价模型引入了精确率和召回率;精确率表示被预测为正的样本中真正为正样本的比例，召回率表示正类样本中的被预测为正样本的比例。
表2展示了使用在验证集表现准确率最高的DRNet网络模型，在测试集上测试的混淆矩阵以及各分类的精确率和召回率。
从表3可以看出，新型DRNet网络模型不仅在测试准确率上高于经典的VGGNet、ResNet和DenseNet模型，在模型的参数量上也仅有VGG-Net的三分之一左右，ResNet的四分之一左右，各项评价标准表明DRNet模型以更低的资源占用率实现了更高的性能，同時可以满足实际的发动机孔探图像分类需求。
4 结 论
针对发动机孔探工作中人为因素导致的漏检和误检情况，研究了基于深度神经网络的孔探图像自动识别方法，以辅助孔探人员对发动机进行检查。根据DenseNet和ResNet网络模型的优缺点，提出将稠密连接模块和残差模块依次串行连接，实现了参数量更小的单通道网络模型DRNet，其在测试集的准确率达到了96.0%。与Markus研究的基于VGG-16模型相比准确率有较大的提升，与Y Chen等人提出的双通道DPN模型相比参数量更小，表明DRNet网络对孔探图像有较好的分类能力。接下来的工作是在孔探图像分类的基础上，针对发动机部件，研究孔探缺陷类型的自动识别，最后与孔探驱动系统相结合实现缺陷的自动定位。
参考文献
[1] 肖柏荣.航空发动机维护中孔探检测技术的应用[J].中国高新科技，2019（15）：96-98.
[2] 谷亚南.基于工程管理措施的航空发动机孔探流程优化研究[J].装备制造技术，2019（06）：233-235.
[3] 张栋善，赵成.航空发动机维修中孔探技术的应用分析[J].电子制作，2019（12）：98-99.
[4] ANDRE E， BRETT K， ROBERTO N，et al. Dermatologist-level classification of skin cancer with deep neural networks.[J]. Nature，2017，542（7639）：115-116.
[5] 旷可嘉. 深度学习及其在航空发动机缺陷检测中的应用研究[D].广州：华南理工大学，2017：40-43.
[6] SVENSN M， S HARDWICK D. Deep neural networks analysis of borescope images[C].European Conference of the Prognostics and Health Management Society，2018：5-8.
[7] 孙挺，齐迎春，耿国华.基于帧间差分和背景差分的运动目标检测算法[J].吉林大学学报（工学版），2016，46（04）：1325-1329.
[8] 付浩海，边蓓蓓.基于帧间差分和背景相减的运动目标检测和提取算法研究[J].长春工程学院学报（自然科学版），2015，16（03）：116-118.
[9] 胡敬舒. 基于帧间差分的运动目标检测[D].哈尔滨工程大学，2013：13-19.
[10]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：
770-778.
[11]GAO Huang， ZHUANG Liu. Densely connected convolutional networks[C].The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017：4700-4708.
[12]CHEN Y， LI J， XIAO H. Dual path networks[C]. Advances in Neural Information Processing Systems 30 （NIPS 2017），2017：20-35.
[13]NASR-ESFAHANI E， RAFIEI S. JAFARI M. Dense pooling layers in fully convolutional network for skin lesion segmentation[J]. Computerized Medical Imaging and Graphics，2019，78：234-241.
[14]ZHAO Lu-lu， YANG Li-cai， SU Zhong-hua. Cardiorespiratory coupling analysis based on entropy and cross-entropy in distinguishing different depression stages[J]. Frontiers in Physiology，2019，10：359.
[15]曹雪. 基于動态卷积及学习率自适应的图像超分重建方法研究[D].北京工业大学，2017：50-55.
[16]张腊梅，陈泽茜，邹斌.基于3D卷积神经网络的PolSAR图像精细分类[J].红外与激光工程，2018，47（07）：17-24.
