マルチビューデータには複数のモダリティからの情報が含まれており、多様な機械学習タスクに対してより包括的な機能を提供する可能性があります。マルチビュー分析の基本的な質問は、追加のビューによってもたらされる追加情報とは何か、そしてこの追加情報を定量的に識別できることです。この作業では、絡み合ったマルチビュー機能を、すべてのビューに共通の共有潜在表現と、各単一ビューに固有のプライベート表現に分解することで、この課題に取り組んでいます。情報ボトルネックのフレームワークでこの機能の解きほぐしを定式化し、解きほぐされた変分情報ボトルネック(DVIB)を提案します。 DVIBは、相互情報量からの制約を使用して、共有表現とプライベート表現のプロパティを明示的に定義します。相互情報量項の変動する上限と下限を導出することにより、表現が効率的に最適化されます。 DVIBによって学習された共有表現とプライベート表現が、2つのビュー間で共有される共通ラベルと、それぞれ単一のビューに対応する一意のラベルを適切に保持することを示します。 DVIBは、破損した画像の分類タスクでも同等のパフォーマンスを示します。 DVIBの実装は、https://github.com/feng-bao-ucsf/DVIBで入手できます。
Multiview data contain information from multiple modalities and have potentials to provide more comprehensive features for diverse machine learning tasks. A fundamental question in multiview analysis is what is the additional information brought by additional views and can quantitatively identify this additional information. In this work, we try to tackle this challenge by decomposing the entangled multiview features into shared latent representations that are common across all views and private representations that are specific to each single view. We formulate this feature disentanglement in the framework of information bottleneck and propose disentangled variational information bottleneck (DVIB). DVIB explicitly defines the properties of shared and private representations using constrains from mutual information. By deriving variational upper and lower bounds of mutual information terms, representations are efficiently optimized. We demonstrate the shared and private representations learned by DVIB well preserve the common labels shared between two views and unique labels corresponding to each single view, respectively. DVIB also shows comparable performance in classification task on images with corruptions. DVIB implementation is available at https://github.com/feng-bao-ucsf/DVIB.