Semantic Segmentation on Remotely Sensed Images Using an Enhanced Global Convolutional Network with Channel Attention and Domain Specific Transfer Learning

2023-04-21,,

创新点:

1、在GCN(global convolutional network)基础上,把他的backbone替换成更多层的,使其适应中分辨率影像,resnet50,101,152

2、利用 channel attention 来挑选出最具有识别力的特征

3、迁移学习来解决数据稀缺的问题,用了不同分辨率训练好的数据

目标数据集:

landsat-8 和 ISPRS Vaihingen Challenge Dataset

语义分割现代技术:

1、global context(全局上下文信息):如 PSPNet 和 Deeplab v3 的金字塔池化和看空洞金字塔池化。但为了得到较好的效果,空洞卷积下采样了8次,费时费内存【16】

2、attention module(注意力模块):帮助我们只关注想要的信息,可以关注不同尺度的信息。本文用了 channel attention。【16,17】

3、refinement residual block(精细化残差块):每一步的所有特征图都要经过这个残差块。本文用的是 boundary refinement block(BR),第一部分是一个1*1的卷积层,输出通道统一成21层,第二部分加一个基础的残差块【15,16】

【15】 Peng, C.; Zhang, X.; Yu, G.; Luo, G.; Sun, J. Large kernel matters—Improve semantic segmentation by global
convolutional network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition
(CVPR), Honolulu, HI, USA, 21–26 July 2017; pp. 1743–1751.
【16】 Yu, C.; Wang, J.; Peng, C.; Gao, C.; Yu, G.; Sang, N. Learning a Discriminative Feature Network for Semantic
Segmentation. arXiv 2018, arXiv:1804.09337.
【17】 Hu, J.; Shen, L.; Sun, G. Squeeze-and-excitation networks. arXiv 2017, arXiv:1709.01507.

数据预处理:

1、减去均值

2、随机水平翻转进行数据扩增

3、裁剪到512*512

训练参数:

初始学习率:0.004

权重衰减:0.00001

优化器:Adam

学习率衰减:poly 法,(1 - epoch / MaxEpoch)^0.9

epoch:50

batch-size:4

比较:

不同backbone,attention,transfer。迁移学习是两个数据集互相迁移,即 lc8 的训练好了算 isprs 的预训练权重,isprs 训练好的算 lc8 的预训练权重。

最后3个结合的效果最好

Semantic Segmentation on Remotely Sensed Images Using an Enhanced Global Convolutional Network with Channel Attention and Domain Specific Transfer Learning的相关教程结束。

《Semantic Segmentation on Remotely Sensed Images Using an Enhanced Global Convolutional Network with Channel Attention and Domain Specific Transfer Learning.doc》

下载本文的Word格式文档,以方便收藏与打印。