陈继刚，王晓康，康永兴，关亚彬，董学刚，张子路
(1. 燕山大学机械工程学院 河北 秦皇岛 066004；
2. 东北大学机械工程与自动化学院 沈阳 110819)
骨组织是人体重要的组织之一，属于独特的多孔结构[1]。在骨组织工程领域，三维骨多孔结构的数字建模是诸多研究的基础技术[2]。当前，对于具有仿生特征的三维骨多孔结构数字模型，大多还是利用骨切片图像(以下称：切片图像)进行三维重构得到的。
文献[3-8]提出两点相关函数法[3]、分形蒙特卡洛法[4]、多点统计法[5]、基于深度学习的方法[6-8]等切片图像训练方法，同时基于切片图像(包括重构生成的图像)建模得到满意的三维骨多孔结构数字模型。由于成像设备精度、存储设备容量等原因，切片图像在获取过程中会出现数据丢失、图像受损或图像尺寸异常等问题，导致只能得到具有局部特征信息的图像[9]。另外，虽然计算机断层扫描技术[10]和扫描电子显微镜[11]等成像技术取得了进步，但在实际情况下，获取大区域、完整的切片图像还是比较困难的[12]。本文把受损的切片图像以及小尺寸切片图像称为局部骨切片图像(以下称：局部切片图像)，即只包含局部骨多孔特征的切片图像。由于局部切片图像中的数据是不完整的，所以其无法在统计意义和实际意义上表达三维结构的主要特征。因此，为了得到准确的三维骨多孔结构数字模型，对局部切片图像进行修复并重构，得到完整且相似的图像是很关键的。
近年来，研究人员对局部切片图像的修复重构进行了深入研究，其中主要有以下3 种方法：逐像素法[13]、逐区块法[14]和基于深度学习的方法。逐像素法是基于fast marching method (FMM)的修复算法，逐区块法则是基于exemplar-based inpainting的算法，这两种方法都是通过统计单张局部图像的像素特征来推测全局信息，其重构修复得到的完整图像与真实切片图像不具有很好的相似性。而基于深度学习的方法可以利用局部图像的局部特征，生成与真实切片图像特征相似的完整图像，有着更好的重构效果，如文献[7]应用了条件生成对抗网络实现了对多种局部多孔图像的重构，并运用统计相关函数证明了生成图像的合理性。
本文在条件生成对抗网络(pix2pix)[15]的基础上，对生成器进行改进，加入嵌套残差密集块(residual-in-residual dense block, RRDB)[16]，同 时，在判别器中加入极化自注意力模块(polarized selfattention, PSA)[17]，提出改进条件生成对抗网络(RRDB-PSA-pix2pix)对局部切片图像进行完整重构，并通过性能相似性与优异性分析，验证了重构生成的图像与真实骨多孔图像的相似程度。
1.1 条件生成对抗网络概述
条件生成对抗网络(conditional generative adversarial networks, cGAN)是生成对抗网络[18](generative adversarial network, GAN)的扩展。
cGAN 主要由两部分构成：一个是生成器(generator network)，用来生成数据；
另一个是判别器(discriminator network)，用来分辨原始数据和生成数据的真伪。生成器和判别器相互训练对抗，从而使生成的数据越来越接近真实数据。另外，由于cGAN 的生成器输入的是随机噪声和约束条件，因此，判别器需要加上约束条件一起辨别。
近年来，适用于cGAN 的约束条件越来越多，因此诞生出许多cGAN 的变体[19-21]，这使得cGAN的应用越来越广泛。
1.2 改进条件生成对抗网络
pix2pix 是cGAN 的变体之一，它可以进行图像对图像的风格变换，由于该网络有强大的变现能力，使其在图像修复中得到了广泛应用。pix2pix的生成器是跳跃连接形成的U 型结构，维度从高到低又从低到高，且左右两边对应维度通道相拼接。跳跃连接可以有效保留输入数据的潜在信息，因此，对于局部切片图像的局部特征信息，可以得到很好的保留和传递，这有利于局部切片图像的完整重构。
为了更好地获得图像中的细节，网络需要搭建到一定的深度才能重构出优质的图像。然而，一味地增加网络的深度会造成深度模型退化，这样的网络是很难训练的。本文在pix2pix 网络的生成器上加入嵌套残差密集块RRDB 来减弱网络模型的退化，RRDB 的残差块里有残差组合的密集块，因此其拥有残差块[22]和密集块[23]各自的优势。
另外，极化自注意力(PSA)模块是能耗尽通道注意力和空间注意力表现能力的自注意力模块，将其应用到网络中，可以帮助提高网络的辨别能力，因此，本文把PSA 模块加入到pix2pix 网络的判别器中。
最后，将网络中的各个模块进行搭建和调试，得到了改进条件生成对抗网络(RRDB-PSA-pix2pix)。图1 为该网络的生成器和判别器的架构，其中一个方块代表一个网络块，块中传递顺序从左往右，一个字母表示一个网络层，如C 为卷积层，L 为LeakyReLU 激活函数层，R 为RRDB 模块层，B为批归一化层，U 为上采样层，D 为Dropout 层，Re 为ReLU 激活函数层，T 为Tanh 激活函数层，P 为PSA 注意力层，F 为Flatten 层。
如图1a 所示，生成器的左半边(编码作用)的主线输出为out1，跳跃连接上输出的是out2。生成器的右半边(解码作用)整合局部图像信息和左半边传递过来的out2 信息，其RRDB 不输出out2，只输出out1。另外，RRDB 中的残差尺度参数在密集模块的支线上，这会阻碍密集模块数据的传递，并使局部切片图像中的噪声信息传递到下层，进而影响生成图像的质量。因此，本文将RRDB 架构进行了改进，即将残差尺度参数放置在“短路连接”上，这样局部切片图像的信息可以得到保留，并且密集模块可以学习局部切片图像中剩余的细节。同时，考虑到资源分配的问题，改进后的架构使用2 个密集残差和2 层密集模块。如图2 所示，改进的RRDB 架构有两个输出，分别为out1 和out2，out1 比out2 包含更多的局部图像信息。
图1 RRDB-PSA-pix2pix 网络架构
图2 本文改进的RRDB 架构
对于条件生成对抗网络，判别器损失采用Wasserstein 距离[24]和梯度惩罚[25]进行目标优化，同时需要加上其条件概率，可以表示为：
同时，为了让生成器生成更高质量的图像，在生成器损失中加入感知损失，计算过程表示为：
式中， Φ (G(x))表示利用VGG19 网络[26]从生成图像中提取的特征映射(不通过最后激活层)；
Φ (x)表示从真实图像中提取的特征。
孔隙率是多孔结构最重要的结构参数。为了得到与真实图像孔隙率相似的生成图像，将生成图像孔隙率和真实图像孔隙率的曼哈顿距离作为孔隙率损失，如下所示：
式中， φporosity为 孔隙率；
Avoid为孔隙(即空相)的面积；
Avoid+Asolid为总面积。
另外，为了更准确地描述生成图像和真实图像的相似情况，本文在生成器损失中加入L1损失。根据式(1)～式(3)，可以得到网络的生成器损失表达：
式中，y是约束条件；
L1损失表示真实图像数据分布x与 生成器生成图像分布G(x)的L1范数，可写为：
2.1 局部切片图像的获取
利用工业级CT 扫描机(型号：Y.CT modular,3.5 mA, 200 kV)对生物骨(猪肋骨)进行扫描，得到40 张切片图像。对切片图像进行二值化处理和形态处理，得到更高质量的图像。然后对处理过的切片图像进行裁剪，每张切片图像可裁剪出4～5 张骨多孔图像。考虑到图像质量和计算成本，本文对裁剪后的骨多孔图像进行缩放，缩放至512×512 大小，则得到190 张图像，如图3 所示。实际上，190 张图像作为深度学习的数据集是远远不够的，本文通过对骨多孔图像进行旋转和翻转来实现增强数据的目的，最终得到1 140 张图像作为数据集。
图3 数据集获取过程
将上述获得的骨多孔图像与掩膜矩阵相乘得到局部切片图像，如下所示：
式中，f(x,y)为 骨多孔图像；
f(x′,y′)为局部切片图像；
掩膜矩阵M中缺失区域信息为1，背景区域为0，如图4 所示。
图4 局部骨切片图像的生成
2.2 网络的输入
本文采用在掩膜矩阵的背景图像上加随机噪声作为网络生成器的输入，如图5 所示。
图5 生成器输入形式
将局部切片图像设置为网络的约束条件，同时，对局部切片图像进行重构，需要构建局部切片图像与重构生成图像之间的关系，否则当生成器生成出与输入不对应但又清晰的图像时，判别器仍然会给高分，影响重构结果。将不带噪声的局部切片图像与重构生成图像拼接在一起，输入到判别器中进行判断，如图6 所示。
图6 判别器输入形式
2.3 网络模型训练
本文提出的网络模型在搭载单张RTX 2070super GPU 及Intel-i5 10600KF 主机的前提下，使用pytorch框架进行训练和推理，训练过程采用如下超参数。
对于LeakyReLU 激活函数，参数a设置为0.2，式(5)中 λG设 为0.1， λperceptual设 为1， λL1设为0.02， λporosity取0.3；
对 于 所 有 模 型，均 使 用Adam 优化器(β1=0， β2=0.9)进行训练；
使用双时间尺度更新规则，即判别器的学习速率设为0.000 4，生成器的学习速率设为0.000 1；
式(1)中判别器梯度惩罚的参数λ 设为10。
骨多孔图像数据集被按照3:1 比例划分为训练集和测试集。将训练集中的图像数据进行处理，得到局部切片图像数据集。为了完整地描述骨多孔结构的特征，本文以闵可夫斯基泛函(minkowski functionals, MF)[27]作为测试集测试网络的判据。对于二维骨切片图像，它们的 M F 由 总表面积S、总周长C和2D 欧拉示性数组成，表示为 MF=[S,C,χ]。同时，设置测试集T={t1,t2,···,tN}， 生成图像G(T)={G(t1),G(t2),···,G(tN)}， 判据 ∆MF可以表示为式(8)，其值越小说明网络越好：
网络训练的周期为500 轮，每一轮训练后的生成器模型对测试集图像进行重构，用闵可夫斯基泛函判据来确定最好的模型，整个训练过程如图7 所示。
图7 RRDB-PSA-pix2pix 网络训练过程
2.4 不同网络的对比分析
近年来，文献[7-8]提出U-NetGAN 网络和Dense-W-pix2pix 网络对多孔结构图像进行重构。本文分别对U-NetGAN 网络和Dense-W-pix2pix 网络进行修改使其能够训练本文数据集，并使用MF 判据，将二者与本文提出的RRDB-PSA-pix2pix网络进行对比。骨多孔图像(图8a)与掩膜矩阵相乘得到了如图8b 所示的局部骨切片图像。3 种网络分别对局部骨切片图像进行重构，得到了图8c～8e 所示的生成图像。
图8 3 种网络的生成图像比较
如图8 所示，U-NetGAN 网络生成的图像质量最差，图中噪声多，孔隙边缘轮廓不清晰，出现伪影，且生成的图像轮廓与真实图像相同。而另外两种网络生成的图像表现较好。同时，由表1 可以看出， RRDB-PSA-pix2pix 网络 ∆MF判据值比Dense-W-pix2pix 网络更小，由此可知，本文提出的RRDB-PSA-pix2pix 网络重构出的图像质量最好。
表1 3 种网络MF 判据比较
2.5 重构图像与真实骨多孔图像相似性分析
本文通过3 种形态学函数分析和局部孔隙率分布研究[28]，评价了RRDB-PSA-pix2pix 网络重构生成的图像与真实图像的相似程度。这3 种形态学函数分别为两点相关函数[29]、线性路径函数[30]和弦长分布函数[31]。两点统计函数S2(r)用来表示空间中两点的关系。线性路径函数L(r) 统 计给定长度为r的线段完全位于同一相的概率，包含了多孔结构的连通性信息。弦长分布函数C LD(r)计算位于同一相位相同弦长的概率，可以较为准确地捕获多孔图像内部的空间信息，用来描述孔洞大小、形状和空间排布等特征。局部孔隙率分布通常用于表征数字化模型中不同长度下的孔隙率和连通性的波动。与孔隙率不同，局部孔隙率ϕ (r,L) 是在位于r为中心且长度为L的二维测量单元K(r,L)内测得。图9 为3 种形态学函数和局部孔隙率分布的定义示意图。
图9 3 种形态学函数和局部孔隙率分布的定义示意图
本文以Dense-W-pix2pix 网络重构生成的图像作为对比，来评价分析RRDB-PSA-pix2pix 网络生成的图像与真实图像的相似程度。图10 为两种网络生成图像的形态学函数和局部孔隙率分布统计图，其中局部孔隙率分布中的测量单元取大小为320×320。
图中的统计分布均进行了两组独立样本的Kolmogorov-Smirnov 检验(K-S 检验)，且p值皆大于0.05。由图10 可以看出， RRDB-PSA-pix2pix网络生成的图像分布曲线更接近于真实图像的分布曲线，因此可以得出，本文提出的网络能够重构出高质量的完整骨多孔切片图像，并且其两相位置分布关系和连通性更符合真实情况。
图10 形态学函数与局部孔隙率分布统计图
孔隙率是骨多孔结构最重要的结构参数之一，孔隙率的不同，直接影响着骨多孔结构的质量、渗透性能、机械性能以及相关生物性能，实际上，除孔隙率外，还有一些参数可用来评价骨多孔结构，但是，不同参数的评价方法，所采用的网络算法与数学模型也各不相同，因此，考虑到篇幅问题，本文重点考虑通过孔隙率来评价骨多孔结构。
1) 本文在pix2pix 基础上，对生成器进行改进，加入嵌套残差密集块(RRDB)，在判别器中加入PSA 模块，提出对局部骨切片图像进行完整修复重构的RRDB-PSA-pix2pix 网络。
2) 研究并分析了闵可夫斯基泛函对骨多孔结构唯一性的表征，建立了闵可夫斯基泛函判据，为快速筛选网络提供了方法。
3) 利用3 种形态学函数与局部孔隙率分布对本文提出的RRDB-PSA-pix2pix 网络进行分析评价。研究表明，该网络重构生成的骨切片图像中的多孔结构特征，更加接近于真实图像，并且生成的图像质量更高。
4) 本文所提出的网络框架可以很容易地扩展到其他应用，如2D-to-3D 或3D-to-3D 的重构。理论上，它可以将任意数量的任何类型的对象函数以及任何用户定义的条件数据合并到重构中。当通知某一区域存在特定结构时，这在实践中可能特别有用。此外，它还可以通过与其他方法相结合来降低计算成本。
猜你喜欢多孔结构残差切片不同梯度变化方式的不规则多孔结构设计与力学性能分析中国机械工程(2022年23期)2022-12-25I-WP型极小曲面空心多孔结构设计与力学性能分析计算机集成制造系统(2022年9期)2022-10-11基于双向GRU与残差拟合的车辆跟驰建模网络安全与数据管理(2022年3期)2022-05-23不规则多孔结构钛合金人体植入物的制备和性能研究钛工业进展(2021年4期)2021-11-08基于残差学习的自适应无人机目标跟踪算法北京航空航天大学学报(2020年10期)2020-11-143DP法三维打印金属多孔结构基本打印单元的研究制造技术与机床(2019年8期)2019-09-03基于递归残差网络的图像超分辨率重建自动化学报(2019年6期)2019-07-23基于SDN与NFV的网络切片架构电信科学(2016年11期)2016-11-23肾穿刺组织冷冻切片技术的改进方法中国组织化学与细胞化学杂志(2016年3期)2016-02-27平稳自相关过程的残差累积和控制图河南科技(2015年8期)2015-03-11
