arXiv reaDer
Multimodal Image Super-resolution via Deep Unfolding with Side Information
  ディープラーニングメソッドは、さまざまなコンピュータービジョンタスクに正常に適用されています。ただし、既存のニューラルネットワークアーキテクチャ自体には、対処された問題に関するドメイン知識が組み込まれていないため、モデルが学習した内容を理解することは、オープンな研究トピックです。この論文では、サイド情報を使用したスパース近似のための反復アルゴリズムの展開に依存し、スパース事前分布を組み込み、別の画像モダリティからの情報を効果的に利用するマルチモーダル画像超解像の深層学習アーキテクチャを設計します。 2番目のモダリティからの高解像度画像の助けを借りて、低解像度バリアントからターゲット画像モダリティの高解像度画像の再構成を実行する2つの深いモデルを開発します。提案されたモデルを適用して、高解像度RGB \画像をサイド情報として使用して、近赤外画像を超解像します。実験結果は、ユニモーダルおよびマルチモーダルアプローチを含む最先端の方法に対する提案モデルの優れた性能を示しています。
Deep learning methods have been successfully applied to various computer vision tasks. However, existing neural network architectures do not per se incorporate domain knowledge about the addressed problem, thus, understanding what the model has learned is an open research topic. In this paper, we rely on the unfolding of an iterative algorithm for sparse approximation with side information, and design a deep learning architecture for multimodal image super-resolution that incorporates sparse priors and effectively utilizes information from another image modality. We develop two deep models performing reconstruction of a high-resolution image of a target image modality from its low-resolution variant with the aid of a high-resolution image from a second modality. We apply the proposed models to super-resolve near-infrared images using as side information high-resolution RGB\ images. Experimental results demonstrate the superior performance of the proposed models against state-of-the-art methods including unimodal and multimodal approaches.
updated: Fri Oct 18 2019 09:32:24 GMT+0000 (UTC)
published: Fri Oct 18 2019 09:32:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト