arXiv reaDer
VisiTherS: 人間のシルエットの可視熱赤外線ステレオ視差推定
VisiTherS: Visible-thermal infrared stereo disparity estimation of human silhouette
この論文では、人間のシルエットの視差の推定に焦点を当てた、可視熱赤外線立体視の新しいアプローチを紹介します。可視熱赤外線ステレオは、オクルージョンや、両方のスペクトルの異なるテクスチャのマッチング領域など、いくつかの課題をもたらします。色、テクスチャ、形状が異なる 2 つのスペクトル間の一致を見つけると、タスクがさらに複雑になります。前述の課題に対処するために、このホワイト ペーパーでは、高解像度の畳み込みニューラル ネットワークを使用して 2 つのスペクトル間の関係をより適切に捉える新しいアプローチを提案します。そのために、変更された HRNet バックボーンが特徴抽出に使用されます。この HRNet バックボーンは、複数のスケールで特徴を抽出するため、細部とテクスチャをキャプチャすることができるため、ローカル情報とグローバル情報の両方を利用できます。可視赤外線領域と熱赤外線領域を一致させるために、この方法では、2 つの変更された HRNet ストリームを使用して各パッチの特徴を抽出します。次に、連結と相関によって視差を予測するために、2 つのストリームからの特徴が結合されます。公開データセットの結果は、≤ 1 ピクセル エラーで結果を約 18 パーセント ポイント改善することにより、提案されたアプローチの有効性を示しており、このタスクの精度を改善する可能性を強調しています。 VisiTherS のコードは、GitHub のリンク https://github.com/philippeDG/VisiTherS から入手できます。
This paper presents a novel approach for visible-thermal infrared stereoscopy, focusing on the estimation of disparities of human silhouettes. Visible-thermal infrared stereo poses several challenges, including occlusions and differently textured matching regions in both spectra. Finding matches between two spectra with varying colors, textures, and shapes adds further complexity to the task. To address the aforementioned challenges, this paper proposes a novel approach where a high-resolution convolutional neural network is used to better capture relationships between the two spectra. To do so, a modified HRNet backbone is used for feature extraction. This HRNet backbone is capable of capturing fine details and textures as it extracts features at multiple scales, thereby enabling the utilization of both local and global information. For matching visible and thermal infrared regions, our method extracts features on each patch using two modified HRNet streams. Features from the two streams are then combined for predicting the disparities by concatenation and correlation. Results on public datasets demonstrate the effectiveness of the proposed approach by improving the results by approximately 18 percentage points on the ≤ 1 pixel error, highlighting its potential for improving accuracy in this task. The code of VisiTherS is available on GitHub at the following link https://github.com/philippeDG/VisiTherS.
updated: Sat Apr 22 2023 01:53:28 GMT+0000 (UTC)
published: Sat Apr 22 2023 01:53:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト