英語以外のターゲット言語でラベルのない画像にキャプションを付ける機能を備えたクロスリンガル画像キャプションは、マルチメディア分野の新たなトピックです。貴重な人的資源をターゲット言語ごとに参照文を書き直すことから節約するために、この論文では、クロスリンガル画像キャプションの注釈なしの評価に向けて勇敢な試みをします。英語の参考文献が利用可能であると想定するかどうかに応じて、2つのシナリオが調査されます。参照が利用可能な最初のシナリオでは、2つのメトリック、つまりWMDRelとCLinRelを提案します。 WMDRelは、Word Mover's Distanceを使用して、モデルで生成されたキャプションと英語の参照の機械翻訳との間の意味的関連性を測定します。 CLinRelは、両方のキャプションを深い視覚的特徴空間に投影することにより、視覚指向の言語間の関連性の尺度になります。参照がゼロであるためより困難な2番目のシナリオについては、CLinRelで使用されるのと同じ視覚的特徴空間で、生成されたキャプションと画像コンテンツの間のクロスメディア関連性を計算するCMedRelを提案します。有望な結果は、ターゲット言語での参照を必要とせずに、評価のための新しいメトリックの高い可能性を示しています。
Cross-lingual image captioning, with its ability to caption an unlabeled image in a target language other than English, is an emerging topic in the multimedia field. In order to save the precious human resource from re-writing reference sentences per target language, in this paper we make a brave attempt towards annotation-free evaluation of cross-lingual image captioning. Depending on whether we assume the availability of English references, two scenarios are investigated. For the first scenario with the references available, we propose two metrics, i.e., WMDRel and CLinRel. WMDRel measures the semantic relevance between a model-generated caption and machine translation of an English reference using their Word Mover's Distance. By projecting both captions into a deep visual feature space, CLinRel is a visual-oriented cross-lingual relevance measure. As for the second scenario, which has zero reference and is thus more challenging, we propose CMedRel to compute a cross-media relevance between the generated caption and the image content, in the same visual feature space as used by CLinRel. The promising results show high potential of the new metrics for evaluation with no need of references in the target language.