画像のキャプションは、入力画像を可能な限り最良の方法で説明する文を自動的に生成するタスクです。画像キャプションを自動的に生成するための最も成功した手法は、最近、注意深い深層学習モデルを使用しています。注意を払った深層学習モデルの設計方法にはさまざまなバリエーションがあります。この調査では、画像キャプションの注意深い深層学習モデルに関連する文献のレビューを提供します。深層画像キャプションモデルに関するこれまでのすべての作業の包括的なレビューを提供する代わりに、深層学習モデルでの画像キャプションのタスクに使用されるさまざまなタイプの注意メカニズムについて説明します。画像のキャプションに使用される最も成功した深層学習モデルは、エンコーダー-デコーダーアーキテクチャに従いますが、これらのモデルが注意メカニズムを採用する方法には違いがあります。画像キャプションのさまざまな注意深いディープモデルからのパフォーマンス結果の分析を通じて、画像キャプションのディープモデルで最も成功したタイプの注意メカニズムを見つけることを目指しています。ソフトアテンション、ボトムアップアテンション、およびマルチヘッドアテンションは、画像キャプションの最先端の注意深い深層学習モデルで広く使用されているタイプのアテンションメカニズムです。現時点では、ボトムアップの注意を伴うマルチヘッド注意のバリエーションから最良の結果が得られます。
Image captioning is the task of automatically generating sentences that describe an input image in the best way possible. The most successful techniques for automatically generating image captions have recently used attentive deep learning models. There are variations in the way deep learning models with attention are designed. In this survey, we provide a review of literature related to attentive deep learning models for image captioning. Instead of offering a comprehensive review of all prior work on deep image captioning models, we explain various types of attention mechanisms used for the task of image captioning in deep learning models. The most successful deep learning models used for image captioning follow the encoder-decoder architecture, although there are differences in the way these models employ attention mechanisms. Via analysis on performance results from different attentive deep models for image captioning, we aim at finding the most successful types of attention mechanisms in deep models for image captioning. Soft attention, bottom-up attention, and multi-head attention are the types of attention mechanism widely used in state-of-the-art attentive deep learning models for image captioning. At the current time, the best results are achieved from variants of multi-head attention with bottom-up attention.