arXiv reaDer
マルチタスク学習パラダイムの使用によるアラビア語の自動画像キャプションのベンチマークと改善
Bench-Marking And Improving Arabic Automatic Image Captioning Through The Use Of Multi-Task Learning Paradigm
ソーシャルメディアとインターネット上のビジュアルコンテンツの使用の継続的な増加は、一般的なコンピュータビジョン分野、特に画像キャプションタスクの研究を加速させています。画像を最もよく表すキャプションを生成するプロセスは、画像のインデックス作成や視覚障害者の補聴器として使用できるなど、さまざまなアプリケーションに役立つタスクです。近年、画像キャプションタスクはデータセットとアーキテクチャの両方に関して目覚ましい進歩を遂げており、その結果、キャプションの品質は驚異的なパフォーマンスに達しています。ただし、特にデータセットにおけるこれらの進歩の大部分は英語を対象としているため、アラビア語などの他の言語は遅れをとっています。アラビア語は4億5000万人以上の人々に話されており、インターネット上で最も成長している言語ですが、ベンチマークや統合データセットなど、画像キャプションの研究を進めるために必要な基本的な柱が欠けています。この作品は、統一されたデータセットとベンチマークを提供することでこのタスクの相乗効果を促進すると同時に、アラビア語の画像キャプションのパフォーマンスを向上させる可能性のある方法と手法を探求する試みです。さまざまな単語表現やさまざまな機能を探求するとともに、マルチタスク学習の使用法を探求します。結果は、マルチタスク学習と事前に訓練された単語の埋め込みの使用が画像キャプションの品質を著しく向上させたことを示しましたが、提示された結果は、アラビア語のキャプションが英語と比較してまだ遅れていることを示しています。使用されているデータセットとコードは、このリンクから入手できます。
The continuous increase in the use of social media and the visual content on the internet have accelerated the research in computer vision field in general and the image captioning task in specific. The process of generating a caption that best describes an image is a useful task for various applications such as it can be used in image indexing and as a hearing aid for the visually impaired. In recent years, the image captioning task has witnessed remarkable advances regarding both datasets and architectures, and as a result, the captioning quality has reached an astounding performance. However, the majority of these advances especially in datasets are targeted for English, which left other languages such as Arabic lagging behind. Although Arabic language, being spoken by more than 450 million people and being the most growing language on the internet, lacks the fundamental pillars it needs to advance its image captioning research, such as benchmarks or unified datasets. This works is an attempt to expedite the synergy in this task by providing unified datasets and benchmarks, while also exploring methods and techniques that could enhance the performance of Arabic image captioning. The use of multi-task learning is explored, alongside exploring various word representations and different features. The results showed that the use of multi-task learning and pre-trained word embeddings noticeably enhanced the quality of image captioning, however the presented results shows that Arabic captioning still lags behind when compared to the English language. The used dataset and code are available at this link.
updated: Fri Mar 11 2022 00:22:03 GMT+0000 (UTC)
published: Fri Feb 11 2022 06:29:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト