Channel Attention は、コンピューター ビジョンの分野で効果的な手法として最高の地位を占めています。ただし、SENet によって提案されたチャネル アテンションは、チャネルをスカラーとして表すために Global Average Pooling (GAP) を使用することにより、特徴学習で情報が失われるという問題があります。したがって、効果的なチャネル アテンション メカニズムを設計するには、チャネルの相互依存関係のモデル化における機能の保存を強化するソリューションを見つける必要があります。この作業では、チャネル表現の問題の解決策としてウェーブレット変換圧縮を利用します。まず、ウェーブレット変換を、従来のチャネル アテンション モジュールを備えたオートエンコーダ モデルとしてテストします。次に、スタンドアロンのチャネル圧縮方法としてウェーブレット変換をテストします。グローバル平均プーリングが再帰近似 Haar ウェーブレット変換と同等であることを証明します。この証明により、Wavelet 圧縮を使用してチャネルの注意を一般化し、WaveNet と名付けます。メソッドの実装は、数行のコードで既存のチャネル アテンション メソッドに埋め込むことができます。画像分類タスクに ImageNet データセットを使用して、提案された方法をテストします。私たちの方法は、ベースラインの SENet よりも優れており、最先端の結果を達成しています。コードの実装は、https://github.com/hady1011/WaveNet-C で公開されています。
Channel Attention reigns supreme as an effective technique in the field of computer vision. However, the proposed channel attention by SENet suffers from information loss in feature learning caused by the use of Global Average Pooling (GAP) to represent channels as scalars. Thus, designing effective channel attention mechanisms requires finding a solution to enhance features preservation in modeling channel inter-dependencies. In this work, we utilize Wavelet transform compression as a solution to the channel representation problem. We first test wavelet transform as an Auto-Encoder model equipped with conventional channel attention module. Next, we test wavelet transform as a standalone channel compression method. We prove that global average pooling is equivalent to the recursive approximate Haar wavelet transform. With this proof, we generalize channel attention using Wavelet compression and name it WaveNet. Implementation of our method can be embedded within existing channel attention methods with a couple of lines of code. We test our proposed method using ImageNet dataset for image classification task. Our method outperforms the baseline SENet, and achieves the state-of-the-art results. Our code implementation is publicly available at https://github.com/hady1011/WaveNet-C.