浏览全部资源
扫码关注微信
纸质出版日期： 2025-02-16 ，
移动端阅览
黄志海， 罗海涛， 郭波. 2025. 融合注意力及增强感受野的桥隧表面病害深度网络检测. 中国图象图形学报， 30(02):0467-0484
Huang Zhihai， Luo Haitao， Guo Bo. 2025. Detecting the defects of bridge cables and tunnel lining via integrating attention and enhanced receptive field. Journal of Image and Graphics， 30(02):0467-0484
目的
2
在桥梁缆索和隧道环境中进行表面病害检测面临多重挑战：人工病害定位在复杂结构中的高投入成本；隧道内存在光照不足、病害区域的表面特征复杂、范围广阔和易遭遮挡等问题，这些因素使得传统图像处理技术在病害区域检测上表现出较低的抗干扰能力、识别精度不足和分割效果欠佳，鉴于此，提出一种基于融合注意力及增强感受野的深度网络模型。
方法
2
该模型使用融合Transformer注意力机制的骨干网络提取目标特征信息，获得更为密切联系的全局特征表示，以解决光照不足导致局部特征缺少的问题；引入空间序列缩减法降低骨干网络的参数量；改进使用具有串并联关系的空洞卷积池化金字塔（series-parallel atrous convolutional pyramid， SACP）模块，使得卷积感受野进一步扩大并且彼此融合，更好地感知完整的病害范围；解码阶段融合卷积注意力模块（concentration-based attention module， CBAM），提高浅层特征的有效边界特征权重。改进损失函数加快模型收敛速度。
结果
2
本文实地采集隧道内衬以及桥梁缆索病害部位图像构建数据集展开实验，结果表明：本文模型在隧道内衬病害提取上准确率（accuracy， Acc）达到94.4%，平均交并比（mean intersection over union， mIoU）达到78.14%，F1分数（F1-score）达到76.45%。在桥梁缆索病害提取上Acc达到97.15%，mIoU达到80.41%，F1分数达到77.92%。
结论
2
相较于主流的分割网络，本文模型在桥隧表面病害提取的精度上均有提升，具有更优秀的提取效果和抗干扰能力，能更好地满足复杂环境下病害检测工程需求。
Objective
2
Using computer image technology to identify defects in bridge cables and tunnel linings is an efficient and convenient method. Surface defect detection on bridge cables and tunnel linings faces multiple challenges： high costs of manual defect localization in complex structures. Insufficient tunnel lighting， complex defect features， and imbalanced target-background ratios often present apparent shortcomings in traditional image technology for defect area detection， such as poor anti-interference ability， low recognition rates， and subpar segmentation effects. Therefore， this study proposes a deep network model based on the fusion attention and enhanced receptive field.
Method
2
The model employs a backbone network integrating a fused Transformer to extract target feature information and establish a more closely related global texture feature representation， which solves the problem of a lack of local features caused by insufficient lighting. Additionally， spatial reduction attention is introduced to reduce the parameter count of the backbone. The series-parallel atrous convolutional pyramid （SACP） module was introduced to further expand the convolutional receptive field and integrate it， thereby enhancing the perception of the complete defect scope with multiscale characteristics. The decoder uses a concentration-based attention module（CBAM） to strengthen the effective boundary feature weights of shallow features and suppress some occluded features， which sharpens the segmentation results. The model employs a composite loss function that combines cross-entropy loss and Dice loss to balance the contributions of positive and negative samples. Datasets for experimentation were constructed via the onsite collection of tunnel lining defect images and bridge cable climbing robot-acquired cable defect images.
Result
2
The results demonstrate the following： 1） the proposed multitransformer backbone reduces computational complexity while maintaining feature extraction capabilities. 2） The optimized SACP module improves the segmentation accuracy by 2%， and the use of depthwise separable convolution effectively reduces the complexity. 3） Owing to the use of an improved composite loss function， the convergence speed of the network has accelerated. 4） The proposed network model achieves an accuracy of 94.4%， a mean intersection over union of 78.14%， and an F1 score of 76.45% for the tunnel lining dataset. The generalization ability of the proposed model was also demonstrated in the bridge cable dataset.
Conclusion
2
Compared with mainstream segmentation networks， the proposed model improves the accuracy of bridge cable and tunnel lining defect detection， demonstrating enhanced extraction efficacy and anti-interference capability. Therefore， this model can better meet the engineering requirements for defect detection in complex environments.
Badrinarayanan V ， Kendall A and Cipolla R . 2017 . SegNet： a deep convolutional encoder-decoder architecture for image segmentation . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 39 （ 12 ）： 2481 - 2495 ［ DOI： 10.1109/TPAMI.2016.2644615 http://dx.doi.org/10.1109/TPAMI.2016.2644615 ］
Bhowmick S ， Nagarajaiah S and Veeraraghavan A . 2020 . Vision and deep learning-based algorithms to detect and quantify cracks on concrete surfaces from UAV videos . Sensors ， 20 （ 21 ）： # 6299 ［ DOI： 10.3390/s20216299 http://dx.doi.org/10.3390/s20216299 ］
Cao H ， Wang Y Y ， Chen J ， Jiang D S ， Zhang X P ， Tian Q and Wang M N . 2022 . Swin-Unet： unet-like pure transformer for medical image segmentation // Proceedings of 2022 European Conference on Computer Vision （ECCV） . Tel Aviv， Israel ： Springer： 205 - 218 ［ DOI： 10.1007/978-3-031-25066-8_9 http://dx.doi.org/10.1007/978-3-031-25066-8_9 ］
Carion N ， Massa F ， Synnaeve G ， Usunier N ， Kirillov A and Zagoruyko S . 2020 . End-to-end object detection with transformers // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer International Publishing： 213 - 229 ［ DOI： 10.1007/978-3-030-58452-8_13 http://dx.doi.org/10.1007/978-3-030-58452-8_13 ］
Chen L C ， Papandreou G ， Schroff F and Adam H . 2017 . Rethinking atrous convolution for semantic image segmentation ［EB/OL］. ［ 2024-04-07 ］. https://arxiv.org/pdf/1706.05587.pdf https://arxiv.org/pdf/1706.05587.pdf
Chen L C ， Zhu Y K ， Papandreou G ， Schroff F and Adam H . 2018 . Encoder-decoder with atrous separable convolution for semantic image segmentation // Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer： 833 - 851 ［ DOI： 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49 ］
Deng P . 2015 . Research on Detection of Railway Tunnel Seepage with Train-Mounted GPG . Chengdu ： Southwest Jiaotong University
邓普 . 2015 . 铁路车载探地雷达检测隧道渗漏水的研究 . 成都 ： 西南交通大学
Dian S Y ， Huang J J ， Wu K J and Zhong Y Z . 2022 . TCS-Net： a tiny crack segmentation network for nuclear containment vessel . Advanced Engineering Sciences ， 54 （ 5 ）： 249 - 256
佃松宜 ， 黄儆进 ， 吴克江 ， 钟羽中 . 2022 . TCS-Net：一种核电安全壳细小裂缝分割网络 . 工程科学与技术 ， 54 （ 5 ）： 249 - 256 ［ DOI： 10.15961/j.jsuese.202100590 http://dx.doi.org/10.15961/j.jsuese.202100590 ］
Diao Z H ， Zhao C J ， Wu G and Guo X Y . 2010 . Application research of mathematical morphology in image processing of crop disease . Journal of Image and Graphics ， 15 （ 2 ）： 194 - 199
刁智华 ， 赵春江 ， 吴刚 ， 郭新宇 . 2010 . 数学形态学在作物病害图像处理中的应用研究 . 中国图象图形学报 ， 15 （ 2 ）： 194 - 199 ［ DOI： 10.11834/jig.20100202 http://dx.doi.org/10.11834/jig.20100202 ］
Dong S J ， Tan H ， Liu C and Hu X L . 2024 . Apparent disease detection of bridges using improved YOLOv 5 s. Journal of Chongqing University ， 47 （ 9 ）： 91 - 100
董绍江 ， 谭浩 ， 刘超 ， 胡小林 . 2024 . 改进YOLOv5s的桥梁表观病害检测方法 . 重庆大学学报 ， 47 （ 9 ）： 91 - 100
Dosovitskiy A ， Beyer L ， Kolesnikov A ， Weissenborn D ， Zhai X H ， Unterthiner T ， Dehghani M ， Minderer M ， Heigold G ， Gelly S ， Uszkoreit J and Houlsby N . 2021 . An image is worth 16 × 16 words： Transformers for image recognition at scale ［EB/OL］. ［ 2024-04-07 ］. https://arxiv.org/pdf/2010.11929.pdf https://arxiv.org/pdf/2010.11929.pdf
Fang J ， Yang C ， Shi Y T ， Wang N and Zhao Y . 2022 . External attention based TransUNet and label expansion strategy for crack detection . IEEE Transactions on Intelligent Transportation Systems ， 23 （ 10 ）： 19054 - 19063 ［ DOI： 10.1109/TITS.2022.3154407 http://dx.doi.org/10.1109/TITS.2022.3154407 ］
Gong R ， Ding S ， Zhang C H and Shu H . 2020 . Lightweight and multi-pose face recognition method based on deep learning . Journal of Computer Applications ， 40 （ 3 ）： 704 - 709
龚锐 ， 丁胜 ， 章超华 ， 苏浩 . 2020 . 基于深度学习的轻量级和多姿态人脸识别方法 . 计算机应用 ， 40 （ 3 ）： 704 - 709 ［ DOI： 10.11772/j.issn.1001-9081.2019071272 http://dx.doi.org/10.11772/j.issn.1001-9081.2019071272 ］
Guo M H ， Lu C Z ， Hou Q B ， Liu Z N ， Cheng M M and Hu S M . 2022 . SegNeXt： rethinking convolutional attention design for semantic segmentation // Proceedings of the 36th International Conference on Neural Information Processing Systems . New Orleans， USA ： Curran Associates Inc.： 1140 - 1156
He K M ， Zhang X Y ， Ren S Q and Sun J . 2016 . Deep residual learning for image recognition // Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Las Vegas， USA ： IEEE： 770 - 778 ［ DOI： 10.1109/CVPR.2016.90 http://dx.doi.org/10.1109/CVPR.2016.90 ］
Hong J H . 2023 . Survey on visual inspection technique for surface damages of subway tunnel engineering . Railway Investigation and Surveying ， 49 （ 1 ）： 18 - 22， 32
洪江华 . 2023 . 地铁隧道表面病害视觉检测技术应用综述 . 铁道勘察 ， 49 （ 1 ）： 18 - 22 ， 32 ［ DOI： 10.19630/j.cnki.tdkc.202201140001 http://dx.doi.org/10.19630/j.cnki.tdkc.202201140001 ］
Howard A ， Sandler M ， Chen B ， Wang W J ， Chen L C ， Tan M X ， Chu G ， Vasudevan V ， Zhu Y K ， Pang R M ， Adam H and Le Q . 2019 . Searching for MobileNetV3//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . Seoul， Korea （South） ： IEEE ： 1314 - 1324 ［ DOI： 10.1109/ICCV.2019.00140 http://dx.doi.org/10.1109/ICCV.2019.00140 ］
Howard A G ， Zhu M L ， Chen B ， Kalenichenko D ， Wang W J ， Weyand T ， Andreetto M and Adam H . 2017 . Mobilenets： efficient convolutional neural networks for mobile vision applications ［EB/OL］. ［ 2024-04-07 ］. https://arxiv.org/pdf/1704.04861.pdf https://arxiv.org/pdf/1704.04861.pdf
Islam M A ， Jia S and Bruce N D B . 2020 . How much position information do convolutional neural networks encode？ ［EB/OL］. ［ 2024-04-07 ］. https://arxiv.org/pdf/2001.08248.pdf https://arxiv.org/pdf/2001.08248.pdf
Li D L . 2018 . Structural Design and Simulation Analysis of the Upper-Car System of the Road-Railway Dual-Use Basket-Type Bridge Inspection Vehicle . Qingdao ： Qingdao University of Technology
李丹乐 . 2018 . 公铁两用吊篮式桥梁检测车上装系统的结构开发与仿真研究 . 青岛 ： 青岛理工大学
Li G ， Zhao X X ， Du K ， Ru F and Zhang Y B . 2017 . Recognition and evaluation of bridge cracks with modified active contour model and greedy search-based support vector machine . Automation in Construction ， 78 ： 51 - 61 ［ DOI： 10.1016/j.autcon.2017.01.019 http://dx.doi.org/10.1016/j.autcon.2017.01.019 ］
Liang X . 2019 . Image-based post-disaster inspection of reinforced concrete bridge systems using deep learning with Bayesian optimization . Computer-Aided Civil and Infrastructure Engineering ， 34 （ 5 ）： 415 - 430 ［ DOI： 10.1111/mice.12425 http://dx.doi.org/10.1111/mice.12425 ］
Liu Z ， Lin Y T ， Cao Y ， Hu H ， Wei Y X ， Zhang Z ， Lin S and Guo B N . 2021 . Swin Transformer： hierarchical vision Transformer using shifted windows // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal， Canada ： IEEE： 9992 - 10002 ［ DOI： 10.1109/ICCV48922.2021.00986 http://dx.doi.org/10.1109/ICCV48922.2021.00986 ］
Peng M K . 2016 . Discussion on improving the maintenance and management efficiency of electromechanical system equipmenturban subways . Architectural Engineering Technology and Design ， 2016 （ 23 ）： 1588 - 1588
彭孟开 . 2016 . 提高城市地铁机电系统设备的维护管理效率的探讨 . 建筑工程技术与设计 ， 2016 （ 23 ）： 1588 - 1588 ［ DOI： 10.3969/j.issn.2095-6630.2016.23.556 http://dx.doi.org/10.3969/j.issn.2095-6630.2016.23.556 ］
Ronneberger O ， Fischer P and Brox T . 2015 . U-net： convolutional networks for biomedical image segmentation // Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention——MICCAI 2015 . Munich， Germany ： Springer： 234 - 241 ［ DOI： 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 ］
Sandler M ， Howard A ， Zhu M L ， Zhmoginov A and Chen L C . 2018 . MobileNetV 2 ： inverted residuals and linear bottlenecks //Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， USA ： IEEE： 4510 - 4520 ［ DOI： 10.1109/CVPR.2018.00474 http://dx.doi.org/10.1109/CVPR.2018.00474 ］
Shelhamer E ， Long J and Darrell T . 2017 . Fully convolutional networks for semantic segmentation . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 39 （ 4 ）： 640 - 651 ［ DOI： 10.1109/TPAMI.2016.2572683 http://dx.doi.org/10.1109/TPAMI.2016.2572683 ］
Shi Y ， Cui L M ， Qi Z Q ， Meng F and Chen Z S . 2016 . Automatic road crack detection using random structured forests . IEEE Transactions on Intelligent Transportation Systems ， 17 （ 12 ）： 3434 - 3445 ［ DOI： 10.1109/TITS.2016.2552248 http://dx.doi.org/10.1109/TITS.2016.2552248 ］
Sun L J ， Zhang Y S ， Wang W J and Zhao J . 2022 . Lightweight semantic segmentation network for RGB-D image based on attention mechanism . Packaging Engineering ， 43 （ 3 ）： 264 - 273
孙刘杰 ， 张煜森 ， 王文举 ， 赵进 . 2022 . 基于注意力机制的轻量级RGB-D图像语义分割网络 . 包装工程 ， 43 （ 3 ）： 264 - 273 ［ DOI： 10.19554/j.cnki.1001-3563.2022.03.033 http://dx.doi.org/10.19554/j.cnki.1001-3563.2022.03.033 ］
Vaswani A ， Shazeer N ， Parmar N ， Uszkoreit J ， Jones L ， Gomez A N ， Kaiser L and Polosukhin I . 2023 . Attention is all you need ［EB/OL］. ［ 2024-04-07 ］. https://arxiv.org/pdf/1706.03762.pdf https://arxiv.org/pdf/1706.03762.pdf
Wang B K ， Wang R L ， Chen J J ， Pan Y and Wang L J . 2023 . Automatic detection method for surface diseases of shield tunnel based on deep learning . Journal of Shanghai Jiaotong University ， 1 - 16
王宝坤 ， 王如路 ， 陈锦剑 ， 潘越 ， 王鲁杰 . 2023 . 基于深度学习的盾构隧道表观病害自动检测方法 . 上海交通大学学报 ［ DOI： 10.16183/j.cnki.jsjtu.2023.089 http://dx.doi.org/10.16183/j.cnki.jsjtu.2023.089 ］
Wang W H ， Xie E Z ， Li X ， Fan D P ， Song K T ， Liang D ， Lu T ， Luo P and Shao L . 2021 . Pyramid vision Transformer： a versatile backbone for dense prediction without convolutions // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . Montreal， Canada ： IEEE： 548 - 558 ［ DOI： 10.1109/ICCV48922.2021.00061 http://dx.doi.org/10.1109/ICCV48922.2021.00061 ］
Woo S ， Debnath S ， Hu R H ， Chen X L ， Liu Z ， Kweon I S and Xie S N . 2023 . Convnext v2： co-designing and scaling convnets with masked autoencoders // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， Canada ： IEEE： 16133 - 16142 ［ DOI： 10.1109/CVPR52729.2023.01548 http://dx.doi.org/10.1109/CVPR52729.2023.01548 ］
Woo S ， Park J ， Lee J Y and Kweon I S . 2018 . CBAM： convolutional block attention module // Proceedings of the 15th European Conference on Computer Vision （ECCV） . Munich， Germany ： Springer： 3 - 19 ［ DOI： 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1 ］
Xie E Z ， Wang W H ， Yu Z D ， Anandkumar A ， Alvarez J M and Luo P . 2021 . SegFormer： simple and efficient design for semantic segmentation with transformers // Proceedings of the 35th International Conference on Neural Information Processing Systems . Virtual， Online ： Curran Associates Inc.： 12077 - 12090
Xie S N ， Girshick R ， Dollár P ， Tu Z W and He K M . 2017 . Aggregated residual transformations for deep neural networks // Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu， USA ： IEEE： 5987 - 5995 ［ DOI： 10.1109/CVPR.2017.634 http://dx.doi.org/10.1109/CVPR.2017.634 ］
Xu W B ， Liu Y and Zhang H W . 2017 . Research progress in image segmentation based on region growing . Beijing Biomedical Engineering ， 36 （ 3 ）： 317 - 322
徐蔚波 ， 刘颖 ， 章浩伟 . 2017 . 基于区域生长的图像分割研究进展 . 北京生物医学工程 ， 36 （ 3 ）： 317 - 322 ［ DOI： 10.3969/j.issn.1002-3208.2017.03.16 http://dx.doi.org/10.3969/j.issn.1002-3208.2017.03.16 ］
Xu X Y . 2022 . Design of Tunnel Crack Detection and Image Processing System based on Support Vector Machine . Hangzhou ： China Jiliang University
许霄煜 . 2022 . 基于支持向量机的隧洞裂缝检测与图像处理系统设计 . 杭州 ： 中国计量大学 ［ DOI： 10.27819/d.cnki.gzgjl.2022.000164 http://dx.doi.org/10.27819/d.cnki.gzgjl.2022.000164 ］
Yang M K ， Yu K ， Zhang C ， Li Z W and Yang K Y . 2018 . DenseASPP for semantic segmentation in street scenes // Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City， USA ： IEEE： 3684 - 3692 ［ DOI： 10.1109/CVPR.2018.00388 http://dx.doi.org/10.1109/CVPR.2018.00388 ］
Zhang J Q ， Jin J ， Wang Y F ， Zhou W and Liu Z C . 2023 . Study progress of intelligent inspection technology and equipment for highway bridge . Journal of Highway and Transportation Research and Development ， 40 （ 1 ）： 1 - 27 ， 58
张劲泉 ， 晋杰 ， 汪云峰 ， 周炜 ， 刘智超 . 2023 . 公路桥梁智能检测技术与装备研究进展 . 公路交通科技 ， 40 （ 1 ）： 1- 27 ， 58 ［ DOI： 10.3969/j.issn.1002-0268.2023.01.001 http://dx.doi.org/10.3969/j.issn.1002-0268.2023.01.001 ］
Zhao H S ， Shi J P ， Qi X J ， Wang X G and Jia J Y . 2017 . Pyramid scene parsing network // Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Honolulu， USA ： IEEE： 6230 - 6239 ［ DOI： 10.1109/CVPR.2017.660 http://dx.doi.org/10.1109/CVPR.2017.660 ］
Zhou Z ， Yan L B ， Zhang J J ， Zhang D M and Gong C J . 2024 . Intelligent detection of tunnel lining cracks based on self-attention mechanism and convolution neural network . Journal of the China Railway Society ， 46 （ 9 ）： 182 - 192
周中 ， 闫龙宾 ， 张俊杰 ， 张东明 ， 龚琛杰 . 2024 . 基于自注意力机制与卷积神经网络的隧道衬砌裂缝智能检测 . 铁道学报 ， 46 （ 9 ）： 182 - 192 ［ DOI： 10.3969/j.issn.1001-8360.2024.09.021 http://dx.doi.org/10.3969/j.issn.1001-8360.2024.09.021 ］
Zhou Z ， Zhang J J and Gong C J . 2022 . Automatic detection method of tunnel lining multi-defects via an enhanced you only look once network . Computer-Aided Civil and Infrastructure Engineering ， 37 （ 6 ）： 762 - 780 ［ DOI： 10.1111/mice.12836 http://dx.doi.org/10.1111/mice.12836 ］
Zhu L ， Wang X J ， Ke Z H ， Zhang W and Lau R . 2023 . BiFormer： vision transformer with bi-level routing attention // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， Canada ： IEEE： 10323 - 10333 ［ DOI： 10.1109/CVPR52729.2023.00995 http://dx.doi.org/10.1109/CVPR52729.2023.00995 ］
相关作者
相关机构
京公网安备11010802024621