arXiv reaDer
ニューラルネットワークの非ローカルブロックの統合
Unifying Nonlocal Blocks for Neural Networks
非ローカルベースのブロックは、コンピュータービジョンタスクにおける長距離の時空間依存関係をキャプチャするために設計されています。優れたパフォーマンスを示していますが、画像やビデオの要素間で豊富な構造化された情報をエンコードするメカニズムがまだありません。この論文では、これらの非ローカルベースのブロックの特性を理論的に分析するために、それらを解釈するための新しい視点を提供します。ここでは、完全に接続されたグラフ上に生成されたグラフフィルターのセットとしてそれらを表示します。具体的には、チェビシェフグラフフィルターを選択すると、既存の非ローカルベースのブロック(非ローカルブロック、非ローカルステージ、二重注意ブロックなど)を説明および分析するための統一された定式化を導出できます。さらに、スペクトルの特性を考慮することにより、効率的で堅牢なスペクトル非局所ブロックを提案します。これは、既存の非局所ブロックよりもディープニューラルネットワークに挿入されたときに長距離依存関係をキャッチするために、より堅牢で柔軟になります。実験結果は、画像分類、アクション認識、セマンティックセグメンテーション、および個人の再識別タスクに関する私たちの方法の明確な改善と実用性を示しています。
The nonlocal-based blocks are designed for capturing long-range spatial-temporal dependencies in computer vision tasks. Although having shown excellent performance, they still lack the mechanism to encode the rich, structured information among elements in an image or video. In this paper, to theoretically analyze the property of these nonlocal-based blocks, we provide a new perspective to interpret them, where we view them as a set of graph filters generated on a fully-connected graph. Specifically, when choosing the Chebyshev graph filter, a unified formulation can be derived for explaining and analyzing the existing nonlocal-based blocks (e.g., nonlocal block, nonlocal stage, double attention block). Furthermore, by concerning the property of spectral, we propose an efficient and robust spectral nonlocal block, which can be more robust and flexible to catch long-range dependencies when inserted into deep neural networks than the existing nonlocal blocks. Experimental results demonstrate the clear-cut improvements and practical applicabilities of our method on image classification, action recognition, semantic segmentation, and person re-identification tasks.
updated: Tue Aug 17 2021 07:18:59 GMT+0000 (UTC)
published: Thu Aug 05 2021 08:34:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト