arXiv reaDer
GRUベースのアテンションメカニズムを使用した画像キャプション生成のためのディープニューラルフレームワーク
A Deep Neural Framework for Image Caption Generation Using GRU-Based Attention Mechanism
画像のキャプションは、画像のテキスト説明の作成を含む、コンピュータビジョンと自然言語処理の急成長している研究分野です。この研究は、事前にトレーニングされた畳み込みニューラルネットワーク(CNN)を使用して画像から特徴を抽出し、特徴を注意メカニズムと統合し、リカレントニューラルネットワーク(RNN)を使用してキャプションを作成するシステムの開発を目的としています。画像をグラフィック属性として特徴ベクトルにエンコードするために、事前にトレーニングされた複数の畳み込みニューラルネットワークを採用しました。その後、記述文を構成するデコーダーとして、GRUと呼ばれる言語モデルが選択されます。パフォーマンスを向上させるために、BahdanauアテンションモデルをGRUとマージして、画像の特定の部分に学習を集中できるようにします。 MSCOCOデータセットでは、実験結果により、最先端のアプローチに対して競争力のあるパフォーマンスが達成されます。
Image captioning is a fast-growing research field of computer vision and natural language processing that involves creating text explanations for images. This study aims to develop a system that uses a pre-trained convolutional neural network (CNN) to extract features from an image, integrates the features with an attention mechanism, and creates captions using a recurrent neural network (RNN). To encode an image into a feature vector as graphical attributes, we employed multiple pre-trained convolutional neural networks. Following that, a language model known as GRU is chosen as the decoder to construct the descriptive sentence. In order to increase performance, we merge the Bahdanau attention model with GRU to allow learning to be focused on a specific portion of the image. On the MSCOCO dataset, the experimental results achieve competitive performance against state-of-the-art approaches.
updated: Thu Mar 03 2022 09:47:59 GMT+0000 (UTC)
published: Thu Mar 03 2022 09:47:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト