基于热成像和可见光图像融合以及语义分割的砖石结构裂缝识别
项目背景
传统的砖石结构检测手段主要依赖于人工巡检和目视评估,这种方法存在效率低下,错误率高等问题。例如,人工巡检不仅耗时耗力,而且受到人眼视觉限制,很难准确识别和测量裂缝的大小和位置。目视评估则存在主观性强,易受环境光线和视角影响,难以做到精确和客观的问题。
简介
本技术以多学科交叉为背景,结合了热成像仪与人工智能算法,实现了自动化的砖石结构裂缝识别。首先,通过热成像仪和可见光摄像头获取城墙的热成像和可见光图像,然后通过图像融合技术将两种图像进行融合,提高了图像的清晰度和信息的完整性。接着,利用深度学习中的语义分割技术,对融合后的图像进行分析,自动识别和标注裂缝。本技术的裂缝识别精度达到了74%,在特定场景下,例如光线充足、视角适宜的情况下,可以达到85%的像素级精度。其识别速度也大大提高,可以达到每秒处理11张图片的速度。这不仅大大提高了裂缝识别的精度,也显著提升了识别效率。
合作
  • 合作方式 技术服务
  • 项目负责人 张澄
技术优势
本技术主要由两大关键部分构成:一部分是热红外图像与光学图像的精细化配准技术,另一部分是基于热红外图像与光学图像所组成的多通道合成图像的深度学习语义分割技术。

在图像配准技术上,我们采用了两阶段的配准策略,包括粗配准阶段和细配准阶段。粗配准阶段主要实现对图像的视差和畸变的初步矫正,为后续的细配准阶段提供了基础。在细配准阶段,我们创新性地使用相位一致性代替传统的图像强度进行特征点检测,利用最大索引图来描述特征,实现了稳定的跨模态像素级配准。这种方法不仅提高了特征点检测的准确性,也增强了配准的稳定性,使得我们的系统在复杂的环境中也能够保持高效的运行。此外,这种配准算法能够适配不同分辨率和不同视角场的可见光和热红外图像对,特别是在复杂的砖石结构场景下,配准成功率能够达到80%以上。

在语义分割技术上,我们创新性地将红外与光学图像组成多通道合成图像,将这种多通道图像作为神经网络的输入,这是一种全新的融合策略。除此之外,为了进一步提高裂缝的识别精度,在模型预训练阶段,我们通过对大规模开源数据集ImageNet进行通道拓展,使其形成与红外图像一致的多通道图像,随后进行网络训练。这种方法有效地利用了ImageNet的丰富数据资源,同时也扩展了神经网络的输入通道,能够更好地适应复杂的多通道输入图像。这种通道拓展的策略,不仅提高了我们系统的通用性,也使得我们的系统能够在面对复杂的多通道输入图像时,依然能够保持高效的运行和高精度的裂缝识别。
应用场景
结构裂缝检测
对应课题