この論文では、新しいシーケンス間予測の観点から画像キャプションタスクを検討し、シーケンシャル化された生画像をTransformerへの入力として受け取るCaption TransformeR(CPTR)を提案します。 「CNN + Transformer」設計パラダイムと比較して、私たちのモデルは最初からすべてのエンコーダーレイヤーでグローバルコンテキストをモデル化でき、完全に畳み込みがありません。広範な実験により、提案されたモデルの有効性が実証され、MSCOCOデータセットの従来の「CNN + Transformer」メソッドを上回ります。さらに、完全なTransformerアーキテクチャのおかげで、エンコーダーのパッチ間の自己注意とデコーダーの「words-to-patches」注意の詳細な視覚化を提供します。
In this paper, we consider the image captioning task from a new sequence-to-sequence prediction perspective and propose Caption TransformeR (CPTR) which takes the sequentialized raw images as the input to Transformer. Compared to the "CNN+Transformer" design paradigm, our model can model global context at every encoder layer from the beginning and is totally convolution-free. Extensive experiments demonstrate the effectiveness of the proposed model and we surpass the conventional "CNN+Transformer" methods on the MSCOCO dataset. Besides, we provide detailed visualizations of the self-attention between patches in the encoder and the "words-to-patches" attention in the decoder thanks to the full Transformer architecture.