インフラ管理者は、日々の活動においてユーザーにサービスを提供するためにステータスを高品質に保つことが重要です。監視カメラやドローンを使って被害状況をチェックし、健康状態の程度まで悪化に変化がないかどうかのチェックを自動化する動きが進んでいます。生の画像と損傷クラス ラベルのペアを準備すると、教師あり学習を事前定義された損傷グレード、変位に向けてトレーニングすることができます。ただし、このような損傷の表現は、事前に定義された損傷グレードのクラスと常に一致するとは限らないため、目に見えない損傷スペースからの詳細なクラスター、または 2 つの損傷グレード間の重複スペースからのより複雑なクラスターが存在する場合があります。損傷表現は基本的に複雑な機能を持っているため、すべての損傷クラスを完全に定義することはできません。提案された MN ペアの対照的な学習方法により、より詳細なクラスターを含む事前定義されたクラスを超えて埋め込み損傷表現を探索できます。この方法は、両方の加重損失関数を使用して、アンカーに近い M-1 個の正の画像の類似性を最大化し、同時に遠く離れた N-1 個の負の画像の非類似性を最大化することを目的としています。この MN ペア法は、1 つのポジティブ イメージを使用する代わりに、N ペア アルゴリズムよりも高速に学習されます。損傷表現を学習し、埋め込み 2 次元縮小空間での密度ベースのクラスタリングを使用して、より詳細なクラスターを識別するように自動化するパイプラインを提案します。また、MN ペア損傷メトリック学習に Grad-CAM を使用して、損傷特徴の説明を視覚化します。鉄鋼製品の欠陥、デッキと舗装のコンクリートひび割れ、下水道管の欠陥など、3 つの実験的研究に対して、この方法を実証します。さらに、本手法の有用性と今後の課題についても言及する。
It is critical for infrastructure manager to keep the status high-quality for providing the service to users at daily activities. Using surveillance cameras and drone inspection toward the damage feature, there has been progress to automate its inspection toward the grade of health condition whether the deterioration has been changed or not. When we prepare a pair of raw images and damage class labels, it is possible to train supervised learning toward the predefined damage grade, displacement. However, such a damage representation does not always match the predefined classes of damage grade, so there may be some detailed clusters from unseen damage space, or more complex clusters from overlapped space between two damage grades. The damage representation has fundamentally complex feature, so all the damage classes could not be perfectly predefined. Our proposed MN-pair contrastive learning method enable to explore the embedding damage representation beyond the predefined classes including more detailed clusters. This method intends to maximize the similarity of M-1 positive images close to the anchor, and simultaneously to maximize the dissimilarity N-1 negative ones far apart, using both weighting loss function. This MN-pair method has been faster learning than the N-pair algorithm, instead of using one positive image. We propose a pipeline to learn the damage representation and to automate to discriminate more detailed clusters using the density based clustering on the embedding 2-D reduction space. We also visualize the explanation of damage feature using Grad-CAM for MN-pair damage metric learning. We demonstrate our method to three experimental studies such as steel product defect, concrete crack of deck and pavement, and sewer pipe defect. Furthermore, we mention the usefulness of our method and future works to tackle.