arXiv reaDer
Tell-the-difference: Fine-grained Visual Descriptor via a Discriminating Referee
  この論文では、自然言語の画像ペア間の違いを伝えるという新しい問題を調査します。単一の画像キャプションの以前のアプローチと比較して、2つの独立した視覚情報から言語表現を取得することは困難です。この目的のために、Hyper Convolution Netに基づいた効果的なエンコーダ/デコーダキャプションフレームワークを提案しました。さらに、ペアの視覚情報融合のための一連の新しい機能融合技術が導入され、パイプラインを評価するために差別的な審判が提案されます。このタスクをサポートする適切なデータセットが不足しているため、ペアごとにキャプションを生成するためのAmazon Mechanical Turk(AMT)を使用した大きな新しいデータセット(合計14764個の画像と26710個の画像ペア)を収集し、注釈を付けました。データセットは、自由言語で説明を提供する相対差分キャプションタスクの最初のデータセットです。現場の2つのデータセットに対するモデルの有効性を評価し、最先端のアプローチよりも大幅に優れています。
In this paper, we investigate a novel problem of telling the difference between image pairs in natural language. Compared to previous approaches for single image captioning, it is challenging to fetch linguistic representation from two independent visual information. To this end, we have proposed an effective encoder-decoder caption framework based on Hyper Convolution Net. In addition, a series of novel feature fusing techniques for pairwise visual information fusing are introduced and a discriminating referee is proposed to evaluate the pipeline. Because of the lack of appropriate datasets to support this task, we have collected and annotated a large new dataset with Amazon Mechanical Turk (AMT) for generating captions in a pairwise manner (with 14764 images and 26710 image pairs in total). The dataset is the first one on the relative difference caption task that provides descriptions in free language. We evaluate the effectiveness of our model on two datasets in the field and it outperforms the state-of-the-art approach by a large margin.
updated: Mon Oct 14 2019 21:21:03 GMT+0000 (UTC)
published: Mon Oct 14 2019 21:21:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト