arXiv reaDer
Joint Implicit Image Function for Guided Depth Super-Resolution
ガイド付き深度超解像は、高解像度RGBガイド画像を使用して、低解像度でノイズの多い入力深度マップを高解像度バージョンに復元する実用的なタスクです。既存の方法は通常、このタスクを、明示的なフィルターと目的関数の設計に依存する一般化されたガイド付きフィルタリング問題、またはディープニューラルネットワークを介してターゲット画像を直接予測する高密度回帰問題と見なします。これらの方法は、モデルの機能または解釈可能性のいずれかに悩まされています。暗黙のニューラル表現の最近の進歩に触発されて、ガイド付き超解像をニューラル暗黙の画像補間問題として定式化することを提案します。ここでは、一般的な画像補間の形式を取りますが、新しいジョイント暗黙画像関数(JIIF)表現を使用して補間の重みと値の両方を学習します。 JIIFは、入力画像とガイド画像から抽出された空間的に分散されたローカル潜在コードでターゲット画像ドメインを表し、グラフ注意メカニズムを使用して、1つの統合された深い陰関数で同時に補間重みを学習します。ガイド付き深度超解像タスクでのJIIF表現の有効性を示し、3つの公開ベンチマークで最先端の方法を大幅に上回っています。コードはにあります。
Guided depth super-resolution is a practical task where a low-resolution and noisy input depth map is restored to a high-resolution version, with the help of a high-resolution RGB guide image. Existing methods usually view this task as a generalized guided filtering problem that relies on designing explicit filters and objective functions, or a dense regression problem that directly predicts the target image via deep neural networks. These methods suffer from either model capability or interpretability. Inspired by the recent progress in implicit neural representation, we propose to formulate the guided super-resolution as a neural implicit image interpolation problem, where we take the form of a general image interpolation but use a novel Joint Implicit Image Function (JIIF) representation to learn both the interpolation weights and values. JIIF represents the target image domain with spatially distributed local latent codes extracted from the input image and the guide image, and uses a graph attention mechanism to learn the interpolation weights at the same time in one unified deep implicit function. We demonstrate the effectiveness of our JIIF representation on guided depth super-resolution task, significantly outperforming state-of-the-art methods on three public benchmarks. Code can be found at
updated: Mon Jul 19 2021 09:42:18 GMT+0000 (UTC)
published: Mon Jul 19 2021 09:42:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト