arXiv reaDer
A Spectral Nonlocal Block for Neural Networks
 非ローカルベースのブロックは、コンピュータービジョンタスクでの長期的な空間時間依存性をキャプチャするために設計されています。優れたパフォーマンスを示しましたが、画像の要素間で豊富な構造化された情報をエンコードするメカニズムがありません。この論文では、これらの非ローカルベースのブロックの特性を理論的に分析するために、それらを解釈する統一的なアプローチを提供し、完全に接続されたグラフで生成されたグラフフィルターとして表示します。グラフフィルターをチェビシェフ多項式で近似すると、既存の非ローカルベースのブロック(非ローカルブロック、非ローカルステージ、二重注意ブロックなど)を説明するための一般化された定式化を導出できます。さらに、効率的で堅牢なスペクトル非ローカルブロックを提案します。これは、ディープニューラルネットワークに柔軟に挿入して、空間ピクセルまたは時間フレーム間の長距離依存性をキャッチできます。実験結果は、画像分類(Cifar-10 / 100、ImageNet)、きめの細かい画像分類(CUB-200)、アクション認識(UCF-101)、および人物に関する明確な改善とスペクトル非ローカルブロックの実用的適用性を示しています。再識別(ILID-SVID、Mars、Prid-2011)タスク。
The nonlocal-based blocks are designed for capturing long-range spatial-temporal dependencies in computer vision tasks. Although having shown excellent performances, they lack the mechanism to encode the rich, structured information among elements in an image. In this paper, to theoretically analyze the property of these nonlocal-based blocks, we provide a unified approach to interpreting them, where we view them as a graph filter generated on a fully-connected graph. When the graph filter is approximated by Chebyshev polynomials, a generalized formulation can be derived for explaining the existing nonlocal-based blocks (e.g., nonlocal block, nonlocal stage, double attention block). Furthermore, we propose an efficient and robust spectral nonlocal block, which can be flexibly inserted into deep neural networks to catch the long-range dependencies between spatial pixels or temporal frames. Experimental results demonstrate the clear-cut improvements and practical applicabilities of the spectral nonlocal block on image classification (Cifar-10/100, ImageNet), fine-grained image classification (CUB-200), action recognition (UCF-101), and person re-identification (ILID-SVID, Mars, Prid-2011) tasks.
updated: Mon Feb 10 2020 09:42:36 GMT+0000 (UTC)
published: Mon Nov 04 2019 07:36:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト