arXiv reaDer
From Show to Tell: A Survey on Image Captioning
ビジョンと言語をつなぐことは、ジェネレーティブインテリジェンスにおいて重要な役割を果たします。このため、過去数年間、画像のキャプション、つまり構文的および意味的に意味のある文で画像を記述するタスクに多大な研究努力が注がれてきました。 2015年以降、このタスクは通常、ビジュアルエンコーディングステップとテキスト生成用の言語モデルで構成されるパイプラインで対処されています。これらの年の間に、両方のコンポーネントは、オブジェクトの領域、属性、および関係の活用、マルチモーダル接続、完全に注意深いアプローチ、およびBERTのような早期融合戦略の導入を通じて大幅に進化しました。しかし、得られた印象的な結果にもかかわらず、画像キャプションの研究はまだ決定的な答えに達していません。この作業は、ビジュアルエンコーディングやテキスト生成からトレーニング戦略、使用されるデータセット、評価指標まで、画像キャプションアプローチの包括的な概要と分類を提供することを目的としています。この点で、関連する多くの最先端のアプローチを定量的に比較して、画像キャプションアーキテクチャとトレーニング戦略で最も影響力のある技術革新を特定します。さらに、問題の多くの変種とその未解決の課題が分析され、議論されています。この作業の最終的な目標は、既存の最先端技術を理解し、コンピュータービジョンと自然言語処理が最適な相乗効果を見つけることができる研究分野の将来の方向性を強調するためのツールとして機能することです。
Connecting Vision and Language plays an essential role in Generative Intelligence. For this reason, in the last few years, a large research effort has been devoted to image captioning, i.e. the task of describing images with syntactically and semantically meaningful sentences. Starting from 2015 the task has generally been addressed with pipelines composed of a visual encoding step and a language model for text generation. During these years, both components have evolved considerably through the exploitation of object regions, attributes, and relationships and the introduction of multi-modal connections, fully-attentive approaches, and BERT-like early-fusion strategies. However, regardless of the impressive results obtained, research in image captioning has not reached a conclusive answer yet. This work aims at providing a comprehensive overview and categorization of image captioning approaches, from visual encoding and text generation to training strategies, used datasets, and evaluation metrics. In this respect, we quantitatively compare many relevant state-of-the-art approaches to identify the most impactful technical innovations in image captioning architectures and training strategies. Moreover, many variants of the problem and its open challenges are analyzed and discussed. The final goal of this work is to serve as a tool for understanding the existing state-of-the-art and highlighting the future directions for an area of research where Computer Vision and Natural Language Processing can find an optimal synergy.
updated: Wed Jul 14 2021 18:00:54 GMT+0000 (UTC)
published: Wed Jul 14 2021 18:00:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト