arXiv reaDer
Semi-Supervised Cross-Modal Retrieval with Label Prediction
 複数のモダリティからのデータが豊富なため、イメージテキスト、オーディオイメージなどを使用したクロスモーダル検索タスクの重要性が高まっています。提案されたさまざまなアプローチのうち、教師あり方法は通常、教師なしの対応するものよりも大幅に改善されますが、トレーニングデータのラベリングまたは注釈の追加コストがかかります。ラベリングのコストと精度の相反する要件のバランスを取るためのエレガントなフレームワークを提供するため、最近、半教師付きメソッドが一般的になりつつあります。この作業では、ラベル付きデータとラベルなしデータの両方をシームレスに処理できる、新しい深い半教師付きフレームワークを提案します。ネットワークには2つの重要なコンポーネントがあります。(a)ラベル予測コンポーネントはデータのラベル付けされていない部分のラベルを予測し、(b)クロスモーダル検索のために共通のモダリティ不変表現を学習します。ネットワークの2つの部分は、順番にトレーニングされます。 Wiki、Pascal VOC、NUS-WIDEの3つの標準ベンチマークデータセットに関する広範な実験により、提案されたフレームワークは、監視下および半監視下の両方の設定で最新技術よりも優れていることが実証されています。
Due to abundance of data from multiple modalities, cross-modal retrieval tasks with image-text, audio-image, etc. are gaining increasing importance. Of the different approaches proposed, supervised methods usually give significant improvement over their unsupervised counterparts at the additional cost of labeling or annotation of the training data. Semi-supervised methods are recently becoming popular as they provide an elegant framework to balance the conflicting requirement of labeling cost and accuracy. In this work, we propose a novel deep semi-supervised framework which can seamlessly handle both labeled as well as unlabeled data. The network has two important components: (a) the label prediction component predicts the labels for the unlabeled portion of the data and then (b) a common modality-invariant representation is learned for cross-modal retrieval. The two parts of the network are trained sequentially one after the other. Extensive experiments on three standard benchmark datasets, Wiki, Pascal VOC and NUS-WIDE demonstrate that the proposed framework outperforms the state-of-the-art for both supervised and semi-supervised settings.
updated: Wed Jan 01 2020 07:23:40 GMT+0000 (UTC)
published: Tue Dec 04 2018 13:07:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト