畳み込みニューラルネットワーク(CNN)は、多くの視覚タスクで注目に値する結果を示しましたが、単純でありながら困難な視覚的推論の問題によって依然として緊張しています。コンピュータビジョンにおけるTransformerネットワークの最近の成功に触発されて、このペーパーでは、Recurrent Vision Transformer(RViT)モデルを紹介します。推論タスクにおける反復接続と空間的注意の影響のおかげで、このネットワークは、SVRTデータセットと同じ異なる視覚的推論の問題に対して競争力のある結果を達成します。空間次元と深さ次元の両方での重み共有により、モデルが正規化され、28kのトレーニングサンプルのみを使用して、はるかに少ない自由パラメーターを使用して学習できるようになります。包括的なアブレーション研究により、ハイブリッドCNN + Transformerアーキテクチャの重要性と、安定した予測が得られるまで内部表現を繰り返し改良するフィードバック接続の役割が確認されます。結局、この研究は、視覚的な抽象的な推論タスクを解決するための注意と繰り返しのつながりの役割をより深く理解するための基礎を築くことができます。
Although convolutional neural networks (CNNs) showed remarkable results in many vision tasks, they are still strained by simple yet challenging visual reasoning problems. Inspired by the recent success of the Transformer network in computer vision, in this paper, we introduce the Recurrent Vision Transformer (RViT) model. Thanks to the impact of recurrent connections and spatial attention in reasoning tasks, this network achieves competitive results on the same-different visual reasoning problems from the SVRT dataset. The weight-sharing both in spatial and depth dimensions regularizes the model, allowing it to learn using far fewer free parameters, using only 28k training samples. A comprehensive ablation study confirms the importance of a hybrid CNN + Transformer architecture and the role of the feedback connections, which iteratively refine the internal representation until a stable prediction is obtained. In the end, this study can lay the basis for a deeper understanding of the role of attention and recurrent connections for solving visual abstract reasoning tasks.