特徴表現の教師なし学習は、セマンティックラベルを持たないマルチメディアデータの大規模なコレクションを分析するための挑戦的でありながら重要な問題です。最近提案されたニューラルネットワークベースの教師なし学習アプローチは、マルチメディアデータの分類に適した機能を取得することに成功しました。ただし、コンテンツベースのマッチング、比較、またはマルチメディアデータの検索に適合した特徴表現の教師なし学習は十分に検討されていません。このような検索に適応した特徴を取得するために、特徴多様体上の拡散距離をニューラルネットワークベースの教師なし特徴学習と組み合わせるというアイデアを紹介します。このアイデアは、DeepDiffusion(DD)と呼ばれる新しいアルゴリズムとして実現されています。 DDは、2つのコンポーネント、つまり、ディープニューラルネットワークによる特徴の埋め込みと、潜在的な特徴多様体での拡散を活用する距離メトリックを同時に最適化します。 DDは損失関数に依存していますが、エンコーダアーキテクチャには依存していません。したがって、それぞれのエンコーダアーキテクチャを使用して、さまざまなマルチメディアデータタイプに適用できます。 3D形状と2D画像を使用した実験的評価は、DDアルゴリズムの多様性と高精度を示しています。コードはhttps://github.com/takahikof/DeepDiffusionで入手できます
Unsupervised learning of feature representations is a challenging yet important problem for analyzing a large collection of multimedia data that do not have semantic labels. Recently proposed neural network-based unsupervised learning approaches have succeeded in obtaining features appropriate for classification of multimedia data. However, unsupervised learning of feature representations adapted to content-based matching, comparison, or retrieval of multimedia data has not been explored well. To obtain such retrieval-adapted features, we introduce the idea of combining diffusion distance on a feature manifold with neural network-based unsupervised feature learning. This idea is realized as a novel algorithm called DeepDiffusion (DD). DD simultaneously optimizes two components, a feature embedding by a deep neural network and a distance metric that leverages diffusion on a latent feature manifold, together. DD relies on its loss function but not encoder architecture. It can thus be applied to diverse multimedia data types with their respective encoder architectures. Experimental evaluation using 3D shapes and 2D images demonstrates versatility as well as high accuracy of the DD algorithm. Code is available at https://github.com/takahikof/DeepDiffusion