コンピュータビジョンベースの変位測定のアプリケーションでは、通常、基準を証明するために光学ターゲットが必要です。光学ターゲットを測定対象に取り付けることができない場合、エッジ検出、特徴マッチング、およびテンプレートマッチングは、ターゲットなしの写真測量における最も一般的なアプローチです。ただし、それらのパフォーマンスはパラメーター設定に大きく依存します。これは、複雑な背景テクスチャが存在し、時間とともに変化する動的なシーンで問題になります。この問題に取り組むために、深層学習技術とドメイン知識を組み込んだ、リアルタイムのターゲットレス動的変位測定のための仮想点追跡を提案します。私たちのアプローチは3つのステップで構成されています。1)関心領域を検出するための自動キャリブレーション。 2)深い畳み込みニューラルネットワークを使用した各ビデオフレームの仮想点検出。 3)隣接するフレームでのポイント追跡のためのドメイン知識ベースのルールエンジン。提案されたアプローチは、エッジコンピュータ上でリアルタイムに(つまり、毎秒30フレーム以上)実行できます。レール上の車輪の横方向の変位が動作中に測定される、鉄道アプリケーションのアプローチを示します。また、比較のベースラインとしてテンプレートマッチングとライン検出を使用するアルゴリズムを実装します。数値実験は、ノイズが多くさまざまな背景を持つ過酷な鉄道環境でのアプローチのパフォーマンスと遅延を評価するために実行されました。
In the application of computer-vision based displacement measurement, an optical target is usually required to prove the reference. In the case that the optical target cannot be attached to the measuring objective, edge detection, feature matching and template matching are the most common approaches in target-less photogrammetry. However, their performance significantly relies on parameter settings. This becomes problematic in dynamic scenes where complicated background texture exists and varies over time. To tackle this issue, we propose virtual point tracking for real-time target-less dynamic displacement measurement, incorporating deep learning techniques and domain knowledge. Our approach consists of three steps: 1) automatic calibration for detection of region of interest; 2) virtual point detection for each video frame using deep convolutional neural network; 3) domain-knowledge based rule engine for point tracking in adjacent frames. The proposed approach can be executed on an edge computer in a real-time manner (i.e. over 30 frames per second). We demonstrate our approach for a railway application, where the lateral displacement of the wheel on the rail is measured during operation. We also implement an algorithm using template matching and line detection as the baseline for comparison. The numerical experiments have been performed to evaluate the performance and the latency of our approach in the harsh railway environment with noisy and varying backgrounds.