注意は、長距離の依存関係をキャプチャするための効率的なメカニズムであることが証明されています。ただし、これまでのところ、可逆ネットワークには展開されていません。これは、ネットワークを可逆にするために、ネットワーク内のすべてのコンポーネントが全単射変換である必要があるが、通常の注意ブロックはそうではないという事実によるものです。この論文では、既存の可逆モデルにプラグインできる可逆注意を提案します。注意モデルの可逆性は、リプシッツ定数を注意深く制約することで達成できることを数学的および実験的に証明します。 3つの人気のあるデータセット(CIFAR-10、SVHN、CelebA)を使用して、画像再構成タスクに対する可逆的注意の可逆性を検証します。また、密な予測タスクでの通常の非可逆的注意と比較して、可逆的注意が同様のパフォーマンスを達成することも示しています。
Attention has been proved to be an efficient mechanism to capture long-range dependencies. However, so far it has not been deployed in invertible networks. This is due to the fact that in order to make a network invertible, every component within the network needs to be a bijective transformation, but a normal attention block is not. In this paper, we propose invertible attention that can be plugged into existing invertible models. We mathematically and experimentally prove that the invertibility of an attention model can be achieved by carefully constraining its Lipschitz constant. We validate the invertibility of our invertible attention on image reconstruction task with 3 popular datasets: CIFAR-10, SVHN, and CelebA. We also show that our invertible attention achieves similar performance in comparison with normal non-invertible attention on dense prediction tasks.