arXiv reaDer
Information Competing Process for Learning Diversified Representations
 多様な情報を含む学習表現は未解決の問題として残っています。多様な表現の学習に向けて、本書では情報競合プロセス(ICP)と呼ばれる新しいアプローチを提案しています。 ICPは、フィーチャ表現によって運ばれる情報を充実させることを目的として、表現を異なる相互情報制約を持つ2つの部分に分離します。分離されたパーツは、競争環境でダウンストリームタスクを独立して達成することを余儀なくされ、2つのパーツがダウンストリームタスクで互いに学習したことを学習できなくなります。次に、このような競合する部分を相乗的に組み合わせて、タスクを完了します。さまざまな条件下で競争的に学習した表現パーツを融合することにより、ICPは豊富な情報を含む多様な表現の取得を促進します。画像分類および画像再構成タスクの実験は、教師あり学習環境と自己教師あり学習環境の両方で識別表現およびもつれ解除表現を学習するICPの大きな可能性を示しています。
Learning representations with diversified information remains as an open problem. Towards learning diversified representations, a new approach, termed Information Competing Process (ICP), is proposed in this paper. Aiming to enrich the information carried by feature representations, ICP separates a representation into two parts with different mutual information constraints. The separated parts are forced to accomplish the downstream task independently in a competitive environment which prevents the two parts from learning what each other learned for the downstream task. Such competing parts are then combined synergistically to complete the task. By fusing representation parts learned competitively under different conditions, ICP facilitates obtaining diversified representations which contain rich information. Experiments on image classification and image reconstruction tasks demonstrate the great potential of ICP to learn discriminative and disentangled representations in both supervised and self-supervised learning settings.
updated: Thu Nov 28 2019 04:17:10 GMT+0000 (UTC)
published: Tue Jun 04 2019 09:10:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト