教師なしクロスモーダルハッシュ(UCMH)は、最近話題になっています。現在のUCMHは、データの類似性の調査に重点を置いています。ただし、現在のUCMHメソッドは、主に2つのデータのクロスモーダル機能に依存して、2つのデータ間の類似性を計算します。 2つのデータが異なる特徴表現を持っているが、固有の概念を共有している状況など、データ間のクロスモーダル特徴は複雑なデータ関係を記述するのに十分ではないため、これらの方法は不正確な類似性の問題に悩まされ、最適ではない検索ハミング空間をもたらします。 。この論文では、深いグラフ隣接コヒーレンス保存ネットワーク(DGCPN)を考案します。具体的には、DGCPNはグラフモデルに由来し、データとその隣接ノード間の情報を統合することにより、グラフ隣接の一貫性を調査します。 DGCPNは、3種類のデータ類似性(つまり、グラフ隣接コヒーレンス、共存類似性、モダリティ内およびモダリティ間一貫性)を活用することにより、包括的な類似性保存損失を調整し、半現実および半バイナリの最適化戦略を設計して削減します。ハッシュ中の量子化エラー。基本的に、DGCPNは、グラフ内のデータの固有の関係を調査および活用することにより、不正確な類似性の問題に対処します。 3つの公開UCMHデータセットで広範な実験を実施します。実験結果は、たとえば、64ビットハッシュコードを使用して画像からテキストを取得するMIRFlickr-25Kの平均平均精度を0.722から0.751に改善することにより、DGCPNの優位性を示しています。 https://github.com/Atmegal/DGCPNでソースコードパッケージとトレーニング済みモデルをリリースします。
Unsupervised cross-modal hashing (UCMH) has become a hot topic recently. Current UCMH focuses on exploring data similarities. However, current UCMH methods calculate the similarity between two data, mainly relying on the two data's cross-modal features. These methods suffer from inaccurate similarity problems that result in a suboptimal retrieval Hamming space, because the cross-modal features between the data are not sufficient to describe the complex data relationships, such as situations where two data have different feature representations but share the inherent concepts. In this paper, we devise a deep graph-neighbor coherence preserving network (DGCPN). Specifically, DGCPN stems from graph models and explores graph-neighbor coherence by consolidating the information between data and their neighbors. DGCPN regulates comprehensive similarity preserving losses by exploiting three types of data similarities (i.e., the graph-neighbor coherence, the coexistent similarity, and the intra- and inter-modality consistency) and designs a half-real and half-binary optimization strategy to reduce the quantization errors during hashing. Essentially, DGCPN addresses the inaccurate similarity problem by exploring and exploiting the data's intrinsic relationships in a graph. We conduct extensive experiments on three public UCMH datasets. The experimental results demonstrate the superiority of DGCPN, e.g., by improving the mean average precision from 0.722 to 0.751 on MIRFlickr-25K using 64-bit hashing codes to retrieve texts from images. We will release the source code package and the trained model on https://github.com/Atmegal/DGCPN.