arXiv reaDer
Index Network
 既存のアップサンプリング演算子は、インデックス関数の概念を使用して統合できることを示します。この概念は、深い画像のつや消しの復号化プロセスにおける観察から発想を得たもので、インデックスに基づくアンプーリングは、バイリニア補間などの他のアップサンプリング演算子よりも境界の詳細をかなりよく回復できることがよくあります。インデックスを機能マップの関数として表示することで、「インデックス付けの学習」の概念を紹介し、インデックスがデータから適応的に自己学習し、ダウンサンプリングをガイドするために使用される新しいインデックスガイド付きエンコーダーデコーダーフレームワークを提示します。特別なトレーニングの監督なしで、ステージをアップサンプリングします。このフレームワークの中心にあるのは、インデックスネットワーク(IndexNet)と呼ばれる新しい学習可能なモジュールで、機能マップ自体に条件付けされたインデックスを動的に生成します。 IndexNetは、ダウンサンプリングステージとアップサンプリングステージを組み合わせたほぼすべての既製の畳み込みネットワークに適用するプラグインとして使用でき、ネットワークにローカルパターンの変化を動的にキャプチャする機能を提供します。特に、IndexNetの5つのファミリをインスタンス化して調査し、画像のノイズ除去、画像のつや消し、セマンティックセグメンテーション、単眼深度の推定など、4つの密な予測タスクでその効果を実証します。コードとモデルはで入手できます。
We show that existing upsampling operators can be unified using the notion of the index function. This notion is inspired by an observation in the decoding process of deep image matting where indices-guided unpooling can often recover boundary details considerably better than other upsampling operators such as bilinear interpolation. By viewing the indices as a function of the feature map, we introduce the concept of "learning to index", and present a novel index-guided encoder-decoder framework where indices are self-learned adaptively from data and are used to guide the downsampling and upsampling stages, without extra training supervision. At the core of this framework is a new learnable module, termed Index Network (IndexNet), which dynamically generates indices conditioned on the feature map itself. IndexNet can be used as a plug-in applying to almost all off-the-shelf convolutional networks that have coupled downsampling and upsampling stages, giving the networks the ability to dynamically capture variations of local patterns. In particular, we instantiate and investigate five families of IndexNet and demonstrate their effectiveness on four dense prediction tasks, including image denoising, image matting, semantic segmentation, and monocular depth estimation. Code and models have been made available at:
updated: Sun Apr 05 2020 14:12:48 GMT+0000 (UTC)
published: Sun Aug 11 2019 10:52:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト