0.   引言

城市固废(municipal solid waste，MSW)受居民生活习惯、季节气候、分类程度等因素的影响，具有杂质多、含水率高、热值波动大等特点^[1]。城市固废焚烧(MSW incineration，MSWI)作为一种世界范围内广泛采用的MSW典型处理方式，具有无害化、减量化和资源化等优势^[2-3]。目前，发展中国家的MSWI技术仍存在诸多问题，其中最为突出的是因人工经验操作模式的随意性和精力的有限性导致燃烧状态不稳定，进而造成污染物排放波动大^[4~6]。此外，燃烧状态的不稳定也易造成炉膛内的结焦、积灰和腐蚀等问题，严重时甚至会引起炉膛爆炸等安全问题^[7]。因此，维持稳定的燃烧状态是保障MSWI过程运行高效和排放达标的关键之一。

实现MSWI过程的稳定燃烧需根据被控量变化趋势及时调整操纵变量。国外先进燃烧控制系统所涉及的主要被控量包括：炉膛温度、烟气含氧量、蒸汽流量和燃烧线^[8-9]。燃烧线指MSW燃烧结束变为灰烬的位置^[10]，其能够反映当前MSW在炉排上的燃烧状况。以北京某MSWI厂为例，通常MSWI过程的火焰图像依据燃烧线的位置分为正常(燃烧发生在燃烧炉排)、异常(燃烧发生在干燥炉排中部和后端以及燃烬炉排)和极端异常(燃烧发生在干燥炉排前端)3种类别。目前，国内并未实现燃烧线的智能感知与检测^[11]。运行专家常通过观察火焰视频凭经验识别燃烧线位置^[12]，进而修正“布风布料”策略以保证系统的稳定运行。但上述方法存在主观性与随意性，若能通过构建火焰图像驱动的燃烧线量化系统，将能够辅助MSWI过程的稳定控制，进而避免因排放超标被罚款而造成的经济损失。实现上述目标需要燃烧线正常、异常和极端异常的全局分布数据集。针对燃烧线数据集存在的标记成本高、分布不均等问题，郭等提出燃烧线异常火焰图像的生成方法^[13]，但并未解决燃烧线极端异常火焰图像的缺失问题。如何获取上述缺失火焰图像是搭建燃烧线量化系统需解决的开放性问题之一。

图像增强方法(几何变换、颜色抖动、随机噪声等)^[14]仅是对原始数据进行非生成式变换，并未增加高级语义特征信息^[15]，不能用于生成燃烧线极端异常火焰图像。生成式对抗网络(generative adversarial network，GAN)“创造”的图像能够有效地解决特殊样本稀缺的问题^[16-17]。Yang等针对焊接自动检测过程中的异常数据稀缺问题，提出基于GAN的数据增强算法^[18]；Lian等针对自动表面缺陷检测研究中的数据稀缺问题，利用GAN生成非常规缺陷图像以扩充样本集^[19]；Niu等针对工业站点缺陷图像不足和标记成本高的问题，提出一种生成缺陷图像的方法^[20]；Wu等提出ResMaskGAN用以解决表面缺陷自动检测异常数据集稀少的问题^[21]；郭等提出混合GAN和非生成式数据增强用于解决MSWI过程燃烧线异常火焰图像稀少的问题^[13]。上述基于GAN的数据增强策略最终将达到纳什均衡状态^[22]，生成器能够生成符合小样本概率分布的图像。但是，MSWI过程的燃烧线极端异常火焰图像仅在启停炉、操作不当或故障等工况下存在，采用上述生成方法难以获取本文所需的火焰图像的特征信息。

针对MSWI过程而言，燃烧发生在焚烧炉内的有限空间内，并且拍摄图像的摄像机位置固定，因此理论上能够通过“剪切与拼凑”方式得到燃烧线处于任何位置的伪标记火焰图像。但这些图像并不符合真实火焰图像的概率分布，需要进行“转换”处理以增强其真实性。通常，图像到图像的转换被定义为将一个场景的表示转换成另外一个场景^[23]，其可解决纹理合成、图像超分辨率重建、图像分割、风格转换和数据增强等诸多问题，例如自动驾驶领域针对获得大量配对数据的成本昂贵的问题，通过图像到图像的转换方法合成各种街景图片以丰富场景数据集^[24-25]。此外，图像到图像的转换也用于生成工业表面缺陷数据^[26-27]。理论上，基于循环一致性理念的生成对抗网络(cycle-consistent adversarial networks，CycleGAN)^[28]能够在无匹配数据的情况下实现图像到图像的转换。因此，如何结合CycleGAN实现伪标记燃烧线极端异常火焰图像朝向“真实性”进行转换是有待解决的问题之一。

此外，针对生成图像的评估和选择，Miyato等提出GAN-train方法^[29]，通过对比基于cifar100数据集和基于合成图像训练的CNN分类器性能评估生成图像质量。进一步，Shmelkov等提出同时进行GAN-train和GAN-test的评估方法^[30]，具体为：GAN-train在生成的图像上训练分类器，并测量其在真实测试图像上的性能，进而对生成图像的多样性和真实感进行评价；GAN-test在真实图像上训练分类器并在生成图像上评估，进而衡量图像的真实感。传统生成图像的评估策略是先提取真实图像集和生成图像集的特征，再度量特征向量之间的距离。Borji等综述了24个定量和5个定性的生成图像的评价指标^[31]，其中初始得分(inception score，IS)^[32]和Fréchet inception distance(FID)^[33-34]是常用的生成图像质量评估指标。然而，由于本文所生成图像的部分特征是基于知识获取，并不在真实图像存在，使得上述方法并不完全适用。如何结合MSWI过程特点对生成的燃烧线极端异常火焰图像进行评估与筛选也是待解决的问题。

因此，针对MSWI过程燃烧线极端异常火焰图像缺失的问题，本文提出融合机理知识和对抗网络的图像生成方法，主要工作如下：1）基于焚烧炉内三维空间的物理位置和成像原理等机理知识对炉膛内的理论燃烧位置进行精准标定，进而获取燃烧线极端异常的伪标记图像集；2）采用CycleGAN将伪标记图像集转换为候选燃烧线极端异常火焰图像；3）针对上述候选图像，提出一种2级图像评估与选择方法，可获得最终合格的火焰图像。

1.   生成策略与算法

本文提出如图 1所示的融合机理知识和GAN的MSWI过程燃烧线极端异常火焰图像生成策略，包括：燃烧线极端异常伪标记火焰图像获取模块、候选燃烧线极端异常火焰图像生成模块和燃烧线极端异常火焰图像评估与选取模块。

图  1  生成策略图

Figure  1.  Generation strategy diagram

下载: 全尺寸图片 幻灯片

图 1中：G_{Real_to_False}和D_{False_to_Real}和为2个生成器；D_Real和D_False为2个判别器；X_Real为真实图像集；X_False为燃烧线极端异常伪标记火焰图像集；X_{Generated_False}和X_{Generated_Real}为生成的火焰图像集；X_{Reconstrute_False}和X_{Reconstrute_Real}为重构的火焰图像集；X_False[⋅]表示某张燃烧线极端异常伪标记火焰图像。

1.1   燃烧线极端异常伪标记火焰图像获取模块

通过对炉排的等比例建模、基于成像原理的燃烧位置标定和炉膛内三维空间坐标到像素点的映射进行知识获取，通过对像素点的精准平移、拼接和组合等方式获取燃烧线极端异常伪标记火焰图像。

燃烧线的标定和构建相关数据集是该模块的必要前提之一。本文采用包括二值化处理、中值滤波、膨胀处理和边缘计算等步骤的形态学处理，以及基于图像中部分区域边缘位置纵坐标均值和方差的燃烧线位置标定算法确定燃烧线。

1.1.1   炉排等比例建模子模块

依据已知的炉排长度和摄像头位置计算炉排与摄像头之间的位置信息，如图 2所示。图 2中的虚线为辅助线，点A—L和Z等为重要节点标记；l_AB、l_BC、l_CD、l_DE、l_EF、l_BF、l_FG、l_HG、l_HI、l_AK和l_HJ分别为对应线段的长度，即各炉排与台阶长度以及摄像头位置信息等；对包含炉排与摄像头的位置信息的▲AED、▲AGF、▲JHA、▲AFE和▲AHG中，依据余弦定理和勾股定理可依次求解得到各边长度。

图  2  炉内等比例建模成像图

Figure  2.  Equal scale modeling camera imagery of inside furnace

下载: 全尺寸图片 幻灯片

1.1.2   基于成像原理的燃烧位置标定子模块

在获取炉膛内部位置信息后，需求解这些位置在火焰图像上的位置。成像原理同理于“小孔成像”，如图 2所示。图 2中：l_MN、l_NO、l_OP、l_PQ和l_QR分别表示燃烬炉排、燃烬炉排与燃烧炉排台阶、燃烧炉排、燃烧炉排与干燥炉排台阶和干燥炉排的成像长度；DW垂直于DE，分别交AE、AF、AG、AH和AJ于S、T、U、V和W，l_DS、l_ST、l_TU、l_UV和l_VW表示对应线段的长度。

标定过程为：首先，针对▲DAS、▲SAT、▲TAU、▲UAV和▲VAW，根据余弦定理求解l_DS、l_ST、l_TU、l_UV和l_VW；然后，由相似三角形可得l_MN：l_NO ：l_OP ：l_PQ：l_QR =l_DS：l_ST：l_TU：l_UV ：l_VW。

由图 2、3可知：理论成像结果与实际成像结果是一致的。

图  3  摄像头成像位置与停炉时炉排图像间的对应关系

Figure  3.  Corresponding relationship between camera imaging location and stopping grate picture which stopping furnace status

下载: 全尺寸图片 幻灯片

1.1.3   三维空间位置到像素点的映射

以北京某MSWI发电厂为例，其摄像头视频通道分辨率为720×576；干燥炉排未能在摄像头中完全成像。采用如下步骤实现三维空间到像素点映射关系的计算：1）设图 3中区域1—8分别在图像中占n₁—n₈个像素点，经过度量可得${n_6}:\sum\limits_{i = 1}^8 {{n_i}}$的值。由于$\sum\limits_{i = 1}^8 {{n_i}}$已知，可求得n₆值，即线段PO对应的燃烧炉排所映射的像素点；2）进一步，由l_RQ: l_RP: l_QP: l_PO: l_ON: l_NM可求得炉内实际位置所对应的像素点。最终，三维空间位置到图像像素点映射关系的计算结果如表 1所示。考虑到料层厚度的影响，干燥段和燃烧段前端的成像比例需修正5%。

表  1  三维空间位置到图像像素点的映射关系

Table  1.  Mapping relationships from three-dimensional space location to image pixel points

炉膛内实际位置		成像的像 素点范围	在图像中的 比例范围/%	炉排 长度/mm	燃烧线在图像中的 比例范围/%	燃烧线状态
炉膛前拱、进料口、进料段与干燥炉排台阶		0~301	0~52.4	—	0~47	极端异常
炉排	干燥炉排	302~320	52.4~55.7	2840	47~51	异常
	干燥炉排与燃烧炉排台阶	321~350	55.7~60.9	679.78	51~60.9	正常
	燃烧炉排	351~423	60.9~73.6	5680	60.9~73.6	正常
	燃烧炉排与燃烬炉排台阶	424~484	73.6~84.0	532.09	73.6~84.0	异常
	部分燃烬炉排	484~575	84.0~100	—	84.0~100	异常

下载: 导出CSV 

| 显示表格

1.1.4   伪标记图像获取

燃烧线期望状态为MSW在燃烧炉排上燃烧，对应的燃烧线位置约在51%~73.6%。燃烧线极端异常状态为MSW在干燥炉排前端燃烧，相应的燃烧线位置上限约为47%。针对燃烧线极端异常状态，本文采用对像素点进行“平移+拼接”的方式实现伪标记火焰图像的获取，并记录对应燃烧线的伪标记值。

设摄像头采集图像的像素为n_high*n_wide，将选取的MSW燃烧位置清晰的真实图像记为X′，“平移+拼接”获取的伪标记图像集记为X_False，其由X′上移n个像素点而得，如下所示：

式中n的取值范围为20~40个像素点。

1.2   候选燃烧线极端异常火焰图像生成模块

CycleGAN能够采用无标签方式实现图像到图像的转换，其将含燃烧线极端异常火焰位置信息的伪标记图像转换成候选燃烧线极端异常火焰图像。CycleGAN由生成和判别网络各2个组成，其结构如表 2所示。

表  2  生成和判别网络结构

Table  2.  Structure of generation and discrimination network

生成网络		判别网络
下 采 样 模 块	x=ZeroPadding2D((3, 3))(input)	Conv2D(64, (3, 3))
	x=Conv2D(64, (7, 7))(x)	LeakyReLU((alpha=0.2))
	x=InstanceNormalization()(x)	Conv2D(128, (4, 4), strides=1)
	x=Activation(‘relu’)(x)	InstanceNormalization()
	x=ZeroPadding2D((1, 1))(x)	LeakyReLU((alpha=0.2))
	x=Conv2D(128, (3, 3))(x)	Conv2D(256, (4, 4), strides=1)
	x=InstanceNormalization()(x)	InstanceNormalization()
	x=Activation(‘relu’)(x)	LeakyReLU((alpha=0.2))
	x=ZeroPadding2D((1, 1))(x)	Conv2D(512, (4, 4), strides=1)
	x=Conv2D(64, (3, 3))(x)	InstanceNormalization()
	x=InstanceNormalization()(x)	LeakyReLU((alpha=0.2))
	x=Activation(‘relu’)(x)	Conv2D(1, (3, 3), strides=1)
残 差 块	X1=ZeroPadding2D((3, 3))(x)
	x=Conv2D(256, (3, 3))(X1)
	x=InstanceNormalization()(x)
	x=Activation(‘relu’)(x)
	x=ZeroPadding2D((3, 3))(x)
	x=Conv2D(256, (3, 3))(x)
	x=InstanceNormalization()(x)
	x=layers.add([x, X1])
	x=Activation(‘relu’)(x)
……(残差块*8)
上 采 样 模 块	x=UpSampling((2, 2))(x)
	x=ZeroPadding2D((1, 1))(x)
	x=Conv2D(128, (3, 3))(x)
	x=InstanceNormalization()(x)
	x=Activation(‘relu’)(x)
	x=UpSampling2D((2, 2)(x))
	x=ZeroPadding2D((1, 1))(x)
	x=Conv2D(128, (3, 3))(x)
	x=InstanceNormalization()(x)
	x=Activation(‘relu’)(x)
	x=ZeroPadding2D((3, 3))(x)
	x=Conv2D(3, (7, 7))(x)
	x=InstanceNormalization()(x)
	x=Activation(‘tanh’)(x)

下载: 导出CSV 

| 显示表格

生成网络主要分为下采样、残差和上采样模块，其中：下采样模块由零填充(ZeroPadding2D)、卷积(Conv2D)、实例归一化(InstanceNormalization)层和Relu激活函数的3次堆叠组成，实现火焰图像的特征提取；残差模块的组成与下采样模块相同，输入数据可直接传递给输出层以保证梯度不会消失，同时实现部分特征信息的自适应修正；上采样模块由上采样、零填充、卷积、实例归一化层和Relu激活函数的2次堆叠组成，采用零填充、卷积、实例归一化和Tanh激活函数生成最终图像。

判别网络由卷积层、LeakyRelu激活函数和实例归一化层组成，其过程为：通过卷积层叠加实现特征提取；通过在卷积层中间添加LeakyRelu函数，在增加网络非线性的同时保证判别网络与生成网络在博弈中的稳定性；通过实例归一化层单独计算每张图像像素的均值和方差，相对于批归一化层可避免图像与图像间的相互影响；最后，针对卷积层的输出判断每个像素点为真的概率。

候选燃烧线极端异常火焰图像生成模块通过生成网络与判别网络的博弈进行参数更新。

首先，直接获取X_Real和X_False，间接获取X_{Generated_False}、X_{Generated_Real}、X_{Reconstrute_Real}和X_{Reconstrute_ False}以及身份验证图像X_{Real_id}和X_{False_id}，判别网络结果Y_{Generated_False}、Y_False、Y_{Reconstrute_Real}和Y_Real。接着，更新生成网络，如下所示：

式中：L_G和θ_G为包括2个生成网络的生成器损失函数和网络参数；θ_{GFalse_to_Real}和θ_{GReal_to_False}为G_{Real_to_False}和G_{False_to_ Real}的网络参数；L₁、L₂、L₃、L₄、L₅和L₆均为损失函数，其定义如下：

式中：m和k为X_False和X_Real中图像的数量；L₁和L₂为普通GAN的损失，用于使生成图像更加逼真；L₃和L₄为循环一致损失，用于保证X_{Generated_Real}和X_False以及X_Real和X_{Generated_False}间的关联性；L₅和L₆为Identity损失，用于保证G_{False_to_ Real}(X_Real)生成的是真实数据集的图像和G_{Real_to_False} (X_False)生成的是伪标记数据集的图像。

然后，更新2个判别网络，如下所示：

最后，重复上述步骤。

在每轮循环结束时，保存网络参数和生成的候选燃烧线极端异常火焰图像。

1.3   燃烧线极端异常火焰图像评估与选取模块

理论上，期望生成的燃烧线极端异常火焰图像既要符合真实图像分布，又要保留伪标记图像的燃烧线位置信息。针对传统评估方法，若要同时满足上述要求是矛盾的，故本文提出针对燃烧线极端异常图像的2级评估方法，其中：第1级评估筛选生成器模型参数；第2级评估筛选候选数据集中符合燃烧线极端异常的火焰图像。上述评估中采用的FID函数以真实图像集X_r、生成图像集X_g和特征提取器为输入，获得该函数值的过程为：

首先，加载特征提取器提取2个图像集的特征矩阵Z_r与Z_g，如下：

接着，计算特征矩阵的多元正态分布均值μ_r与μ_g以及协方差矩阵C_ovr与C_ovg，如下：

式中C_ovr与C_ovg各元素的计算如下：

最后，计算ζ_FID值，如下所示：

式中tr(⋅)表示矩阵的迹。

在第1级评估中，X_r取为X_False和X_Real，X_g取为X_Generated，特征提取器采用Inception V3模型。

在第2级评估中，当伪标记图像的伪标记值小于阈值时，认为所生成的燃烧线极端异常火焰图像是符合期望的，即合格。

2.   实验结果及分析

2.1   数据描述

本文研究对象是北京地区某MSWI电厂的一台800 t/d阶梯式(倾斜+水平)顺推机械炉排炉^[3]，其参数为：全部炉排的水平长度和宽度分别为11003和12 900 mm；分为干燥段、燃烧一段、燃烧二段和燃烬段炉排共4段，长度分别为2 840、2 800、2 840和2 130 mm；其中干燥段炉排的倾斜角度为8°，其他段炉排均为0°。MSW的成分数据与文献[3]一致。

采用同轴电缆对安装在炉膛后壁的工业摄像机所采集的火焰视频进行传输，通过工控机上的视频采集卡和相应软件获取单通道视频后对火焰图像按分钟进行存储。训练CycleGAN的真实火焰图像源于2021年12月份某天的连续561张无标签图像，用于获取伪标记的火焰图像集源于456张燃烧线位置被标定火焰图像。

2.2   实验结果与分析

2.2.1   燃烧线极端异常伪标记火焰图像获取结果

由于焚烧火焰的明亮差异导致曝光程度不同，进而导致图像处理错误的问题，采用的处理方法是：首先，采用不同的超参数对不同时间段的火焰图像集进行形态学处理；然后，人工比对原图像和这些处理图像以确保提取的正确性。该方法虽然具有一定的工作量，但也是可接受的。

如上文所述，通过对典型燃烧状态图像的像素点平移后获取燃烧线极端异常伪标记火焰图像456张，部分原始和伪标记图像的结果如图 4所示。

图  4  原始图像及其上移30像素点后获得的伪标记图像

Figure  4.  Original images and Pseudo-label images by moving the original ones up 30 pixels

下载: 全尺寸图片 幻灯片

在图 4中，红色框框出的为燃烧线。可知：平移后的伪标记图像具有不存在的燃烧线位置信息，同时也存在明显的不合理特征，如火焰亮度、平移痕迹等，故需要将伪标记火焰图像转换成符合真实火焰图像概率分布的生成图像。

2.2.2   候选燃烧线极端异常火焰图像生成结果

训练过程中的候选燃烧线极端异常火焰图像的变化情况如图 5所示。

图  5  不同训练批次下的候选燃烧线极端异常火焰图像

Figure  5.  Candidate combustion line extreme abnormal flame images under different training epochs

下载: 全尺寸图片 幻灯片

图 5中，前5图的批次编号均小于5，后3图是编号为10、60和110批次所生成的火焰图像，结果表明：在批次编号达到10后，生成的图像较为清晰。候选生成结果中存在的部分符合和不符合期望的火焰图像，如图 6所示。

图  6  候选燃烧线极端异常火焰图像生成结果

Figure  6.  Results of candidate extreme abnormal flame image

下载: 全尺寸图片 幻灯片

图 6中的图像分别取自X_False和X_{Generated_Real}集合，可知：图 6(a)生成效果好；图 6(b)生成效果差，未能保留燃烧线特征。

图 6(a)中，X_{Generated_Real}能够较好生成的原因在于：1）X_{Generated_Real}能够保留基于知识进行平移操作而获取的${X_{{\text{False}}}}$中的燃烧线位置信息，显然在真实图像集中该信息是缺失的；2）X_{Generated_Real}符合炉内火焰图像存在的特征与特征间的因果关系，但燃烧线极端异常伪标记火焰图像X_False却并不满足该关系，如：X_{Generated_Real}火焰部分的亮度明显低于X_False；3）在${X_{{\text{False}}}}$中，由于平移而存在的不合理特征信息在X_{Generated_Real}上被消除，如：由于翻转操作遗留的明显横线在X_{Generated_Real}中已不存在。

图 6(b)中，X_{Generated_Real}不符合期望，其燃烧线位置特征未能保留的原因在于：初始训练批次时，G_{False_to_ Real}的修改能力弱，仅能消除伪标记图像集中明显不合理的特征；G_{False_to_ Real}的修改能力随批次的增加而变强，为使得生成图像集分布符合真实图像集的分布，部分伪标记图像被转换成正常或异常的图像，进而导致燃烧线特征未能保留。

2.2.3   图像评估与选取结果

第1级评估通过对各类样本集间相似度的度量，筛选G_{False_to_ Real}模型参数，如图 7所示。

图  7  第1级评估中图像集间的FID值

Figure  7.  FID value between image sets in the 1st evaluation

下载: 全尺寸图片 幻灯片

由图 7可知：第10批次下生成图像集与伪标记图像集的FID值最小，其相应的模型参数FID值为：伪标记图像集和生成图像集间为158.45，真实图像集与生成图像集间为129.59，两者之和为288.04。

第2级评估是在第1级评估的基础上判断筛选伪标记值以获取最终燃烧线极端异常火焰图像。此处将阈值设定为0.4，对应的生成结果如图 8所示。

图  8  最终燃烧线极端异常火焰图像生成结果

Figure  8.  Results of final extreme abnormal flame image

下载: 全尺寸图片 幻灯片

结合表 1中的标准在图 8中标出燃烧线的参考线，可知：经过第1级评估所生成的图像是清晰的，训练批次在10~15区间的模型参数相对较优；经过第2级评估能够进一步约束被筛选图像，能够保留燃烧线极端异常特征。

2.3   对比分析

2.3.1   生成算法的对比分析

将本文方法与深度卷积生成对抗网络(deep convolution GAN，DCGAN)^[12]和最小二乘生成对抗网络(least square GAN，LSGAN)^[35]生成的火焰图像进行比较，网络参数、优化算法、学习率的取值等与文献[13]相同，结果如图 9所示。类似图 8，在图 9中也给出参考线，可知：DCGAN和LSGAN能够虽然能够生成火焰图像，但不能获得燃烧线极端异常的图像；本文所提方法能够生成目前在现场采集的真实数据中并不存在的燃烧线极端异常火焰图像，满足构建火焰图像模板库的要求。

图  9  对比实验结果

Figure  9.  Comparison of experimental results

下载: 全尺寸图片 幻灯片

2.3.2   评估算法的对比分析及验证

在第1级评估时，加载G_{False_to_ Real}不同批次下的模型参数，每个批次均生成456张图像，经人工标记符合期望的图像数量结果如表 3所示。

表  3  不同批次下符合期望的火焰图像数量

Table  3.  Number of flame images in different epochs

批次编号	符合期望的火焰图像数量
5	80
10	135
15	51
20	38
60	10
100	18

下载: 导出CSV 

| 显示表格

表 3表明：批次10的G_{False_to_ Real}为最优解；批次5中符合期望的图像也较多，但由图 5可知，其图像质量较差；在批次10后，生成符合期望的图像能力逐渐减弱。该实验结果验证第1级评估的正确性和可靠性，也符合上文的原因分析。

在第2级评估期望图像时，需设定阈值筛选候选样本中符合燃烧线极端异常要求的图像，即找出伪标记图像中能够决定生成图像燃烧线位置的特征。其他通过度量生成图像与伪标记图像间的相似度或特征相似度的指标为：均方根误差(mean square error，MSE)、峰值信噪比(peak signal to noise ratio，PSNR)和结构相似性(structural similarity，SSIM)等^[36]，MSE用于比较两幅图像的均方差值，相似度与其成负相关；PSNR用于衡量图像噪声水平，相似度与其成正相关；SSIM度量图像间的亮度、对比度和结构，相似度与其成正相关。采用上述方法与本文方法进行对比，实验结果如图 10—12所示。

图  10  生成图像与伪标记图像间的均方根误差值

Figure  10.  MSE between generated and pseudo labeled images

下载: 全尺寸图片 幻灯片

图  11  生成图像与伪标记图像间的峰值信噪比值

Figure  11.  PSNR between generated and pseudo labeled images

下载: 全尺寸图片 幻灯片

图  12  生成图像与伪标记图像间的结构相似性值

Figure  12.  SSIM between generated and pseudo labeled images

下载: 全尺寸图片 幻灯片

在图 10—12中，蓝色和红色的点分别表示符合和不符合期望的火焰图像。通常，若评价能够通过设定阈值筛选出符合期望的火焰图像，则在y轴上具有明显的分界面。上述结果表明：MSE、PSNR和SSIM指标均不能够有效筛选出符合期望的样本。

采用本文所提方法在第2级评估中设定阈值，符合与不符合期望的生成样本所对应的伪标记值情况如图 13所示。当阈值设定为0.4时，筛选准确率为85.7%。相比图 10—12，图 13具有较明显的分界面。

图  13  本文所提评估方法生成图像对应的伪标记值

Figure  13.  Pseudo label value of the generated i mages with the proposed method

下载: 全尺寸图片 幻灯片

3.   结论

本文针对燃烧线极端异常火焰图像缺失问题，融合机理知识和生成对抗网络提出火焰图像生成方法，得到如下结论：

1）通过炉排等比例建模和基于成像原理的燃烧位置标定能够计算得到炉内三维空间到像素点的映射关系，以北京某MSWI厂为例：52.4%~55.7%对应干燥炉排；55.7%~60.9%对应干燥炉排与燃烧炉排台阶；60.9%~73.6%对应燃烧炉排；73.6%~ 84.0%对应燃烧炉排与燃烬炉排台阶；84.0%~100%对应部分燃烬炉排。

2）相较于传统的图像生成和直接平移策略，本文方法优势体现在：生成图像能够保留伪标记图像的燃烧线特征，能够符合炉内火焰图像存在的特征与特征间的因果关系，伪标记图像中因平移而存在的不合理特征信息能够被消除。

3）实验表明：模型生成燃烧线极端异常火焰图像的能力与训练批次数并非正相关，其中：在批次编号小于10时，模型被训练以提升图像生成质量，此时能够生成较多符合燃烧线极端异常要求的图像；在批次编号大于10时，为使得生成图像集的概率分布符合真实图像集的概率分布，更多伪标记燃烧线位置特征被修改，进而导致获取符合期望生成图像的效率降低。因此，如何均衡该关系有待深入探讨。

4）本文所提的三维空间到炉排内的映射关系、图像生成策略直接适用于阶梯式(倾斜+水平)顺推机械炉排炉，对其他尺寸或其他炉型炉排也具有较好的参考作用，能够提供方法支撑。

在未来研究中，将进行基于数据驱动的燃烧线量化检测装置以及基于量化燃烧线的MSWI过程智能控制算法等研究。