我院柳稼航教授团队在IEEE T-PAMI期刊发表重要研究成果

科研学术

我院柳稼航教授团队在IEEE T-PAMI期刊发表重要研究成果

发布日期：2024-05-06 浏览次数：1637 作者：常昱菡编辑：常昱菡审核：王寅

近日，我院柳稼航教授团队在高分辨率遥感影像场景理解方面取得研究进展，研究成果以“Shadow Detection in Remote Sensing Images Based on Spectral Radiance Separability Enhancement”（基于光谱辐射可分离性增强的遥感影像阴影检测方法）为题，于2024年5月在IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE T-PAMI）期刊上正式刊出。该刊为国内外公认的模式识别与人工智能顶级期刊，2023年度的影响因子IF=23.6。柳稼航教授为第一作者和通信作者，南京航空航天大学为第一完成单位。本项研究工作受江苏省人才计划项目资助。

论文的贡献主要包括：1）提出了一种新颖且简洁的遥感影像阴影检测方法，该方法利用阴影及其主要干扰物在光谱辐射上的固有差异，通过特征变换有效增强了它们的可分离性，从而实现更好的检测性能；2）提出了一种利用色彩空间表征候选阴影的新方法，利用色调与强度的无关性解决了二分类时阈值不确定性问题，为其它任务提供了一种可借鉴的方法；3）提出了归一化色彩差异合成指数CDCI（normalized Color Difference Composite Index）用于度量优势色调与弱势色调的差异程度，并用三原色进行表征，同时提出了纯色指数CPI（Color Purity Index），用于表征优势色彩的显著程度，并将二者结合起来用指数的形式表征阴影。由于该指数为连续值，因而可以方便地与后续任务深度融合。

一、背景与动机

在遥感影像上，阴影是不可避免的，特别是高分辨率城市遥感影像。一方面阴影提供了一些遮挡物的信息，另一方面阴影又会给多种任务带来麻烦。但无论是利用这些阴影，还是去除它们，有效检测是首要问题。然而，阴影检测无论是计算机视觉领域还是遥感图像理解邻域，都被认为是一个很具有挑战性的问题。早期主要早期研究主要集中在特征建模（模型驱动）的方面，近些年来则主要集中在深度学习（数据驱动）方面。尽管这些方法此从不同侧面为遥感影像阴影检测提供了解决方案，但在实际应用中仍然面临诸多问题，比如，适应性、稳健性及泛化能力，样本少，尺度效应，定位不准，等等。

固有特性被广泛认为是目标检测与识别的重要基础。一些学者利用阴影低亮度或者蓝色调特性进行建模，另一些学者基于阴影和非阴影区的辐射亮计算来分离阴影，还有一些学者利用阴影区的近红外辐射特性构建基于辐射差异的物理模型。然而，当前大多数基于辐射特性的阴影检测方法仅依赖于某种特定的物理特性，但由于遥感成像环境的动态性、地物的复杂性、不同目标光谱的相似性等问题，造成实际应用时性能大幅下降。

观测遥感图像可发现，遥感影像上与阴影特征相似的地物主要有植被、水体、黑色物体等。基于辐射机理可知，植被和黑色物体在可见光波段通常呈现暗色，但在近红外波段则较亮，而且内陆水体在绿色波段的反射比在蓝色波段的反射更强。因此，如何利用这些固有物理特性，构建更加稳健、实用的遥感影像阴影检测方法，是本文试图解决的核心问题。

二、模型与方法

研究表明，尽管物理特征是目标检测与识别最重要的基础，但在动态的成像环境中单一的物理特征无法保证模型的稳健性和适应性。基于对遥感影像阴影及其主要干扰物在不同谱段上电磁辐射差异的分析，构建了基于多物理特征的联合检测模型，以获得更高的准确性、更好的鲁棒性和更广泛的适应性。模型的总体框架如图1所示，主要由四个关键模块构成，分别是植被干扰抑制，水体干扰抑制，阴影表征变换，以及阴影分离。

植被抑制模块主要利用了植被在近红外谱段反射、在可见光波段低反射的特点，将近红外波段替代红波段来合成假彩色图像，同时利用Max(NIR, Green, Blue)来计算强度图像，然后再对该强度图像取反并规定化，进一步实用Gamma校正，获取增强图像。通过上述处理，不但有效压制了植被亮度分布，同时保持并增强了阴影亮度。如图2所示，从左到右分别是红-绿-蓝三波段合成的真彩色图像、近红外-绿-蓝三波段合成的假彩色图像、假彩色图像的强度图像，以及经增强后强度图像。对比观测增强后的强度图像和真彩色图像可以发现，在增强后的图像上，植被亮度被有效抑制，而阴影区的亮度却被有效的提升了，阴影与其它地物的可分离性得到明显加强。

图2 从左到右分别是红-绿-蓝三波段合成的真彩色图像、近红外-绿-蓝三波段合成的假彩色图像、假彩色图像的强度图像，以及经增强后强度图像

水体抑制模块主要利用内陆水体在绿波段的反射率较蓝波段高这一特点，构建了比值图像，由蓝波段与绿波段的比值来定义，然后该比值图像进行增强并规定化。经过上述处理后，水体亮度得到抑制，同时突出了阴影区的亮度。

图3. 水体抑制增强后的比值图像（左），阴影多特征增强后的假彩色合成影像（中）和归一色彩差异合成指数图像（右）

阴影表征变换模块主要利用色彩空间变换对阴影区进行表征。首先将植被抑制后的图像（图2右一）与水体抑制增强图像进行数量积融合并规定化，然后将将其代替原始波段中的Blue波段进行彩色合成，合成后的图像如图3(b)所示。然后计算合成图像的归一化色彩差异合成指数CDCI和纯色指数CPI。

阴影分离模块放弃二值化分割的思想，定义了新的阴影指数来表征最终的阴影。首先分离归一化色彩差异合成指数CDCI的Blue分量，然后与纯色指数CPI采用点积平方均值的方式进行融合，输出最终的阴影提取结果。

图4. 候选阴影区（a）、纯色指数图像CPI（b）和阴影指数图像SDI（c）

经过上述处理后，阴影不再以二值形态呈现，而是以[0, 1]区间的连续值。值越大，该像素为阴影的可能性就越大；值越小，该像素为阴影的可能性就越小。由于是以连续值的形式进行表征的，因此阴影检测结果可以方便地融入后续处理的计算中。同时，为了获得阴影掩膜，也可以直接实使用Otsu自动阈值法对SDI图像进行分割。

三、实验与结论

性能测试实验中，采用了多种数据源进行测试，包括3.2米分辨率的GF-2多光谱影像、2米分辨率的WorldView-2多光谱影像、2米分辨率的Pleiades多光谱影像、1.3米分辨率的WorldView-3多光谱影像，以及分辨率优于0.1米的航空多光谱影像（红绿蓝三波段）。比较的方法包括NIRSD(IEEE TPAMI, 2014)、ERWSD (IEEE TGRS, 2018)、NSI(IEEE JSTARS, 2019)，以及CPAdv-Net (IEEE TIP, 2019)。其中，NIRSD和NSI均为基于物理特征建模的方法，ERWSD是基于传统机器学习的方法，CPAdv-Net则是基于深度学习的方法。这些方法大多是从Github网站下载的原文提供的代码进行测试。

图5 测试图像A六种阴影检测方法比较。(a) 原始图像，(b) 阴影掩膜，(c) NIRSD的检测结果，(d) ERWSD的检测结果，(e) NSI method的检测结果，CPAdv-Net的检测结果，(g) 本文方法仅使用RGB通道的结果，(h)本文方法使用RGB-NIR的检测结果。

图6 测试图像B六种阴影检测方法比较。(a) 原始图像，(b) 阴影掩膜，(c) NIRSD的检测结果，(d) ERWSD的检测结果，(e) NSI method的检测结果，(f) CPAdv-Net的检测结果，(g) 本文方法仅使用RGB通道的结果，(h)本文方法使用RGB-NIR的检测结果。

图7. 测试图像E的阴影检测结果。(a) 原始图像，(b)阴影掩膜，(c)ERWSD的检测结果，(d)CPAdv-Net的检测结果，(e)本文方法的检测结果

本文基于多光谱遥感图像的几种固有辐射特性，提出了一种新颖且简洁有效的自动阴影检测方法。我们注意到，植被在红外波段的反射率较强，内陆水体在整个波段的弱反射率但在绿色波段的反射率略强于蓝色波段，阴影亮度暗但在在蓝色波段的反射率相对较强。这些物理特性为建立高性能阴影探测模型奠定了重要基础，而多光谱卫星遥感图像则为利用这些特性提供了机会。在所提出的方法中，经过变换和融合后，这些特征被转换到色彩空间中用于阴影表示，然后用主色调成分和色彩纯度指数来表示阴影。在给出阴影位置的同时，还输出了阴影的置信度而不是阴影掩膜，这为后续分析的深度融合提供了条件。同时，这种阴影表示方法还能为其他任务提供参考。实验结果表明，所提出的方法能有效地检测多光谱图像中的阴影，其性能优于现有方法，RGB-NIR 和 RGB 图像均可适用。

论文引用：

J. Liu, X. Wang, M. Guo, R. Feng and Y. Wang, Shadow Detection in Remote Sensing Images Based on Spectral Radiance Separability Enhancement, in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 5, pp. 3438-3449, May 2024, doi: 10.1109/TPAMI.2023.3343728.

文章链接：

https://ieeexplore.ieee.org/document/10363672