ディープニューラルネットワークがスパース性を誘発する事前分布から学習できるとしたらどうでしょうか?ネットワークがレイヤーモジュール(CNN、RNNなど)を組み合わせて設計されている場合、エンジニアは、注釈付きのトレーニングデータセット以外の誘導バイアス、つまり既存のよく知られたルールや事前知識をあまり活用しません。ネットワークが教師なしの方法で高次元データの性質を簡潔にキャプチャすることを奨励するために、ディープラーニングでスパース性を誘発する事前確率を採用することに焦点を当てています。微分不可能なスパース性を誘発するノルムを損失関数として使用するために、それらの近位マッピングを自動微分フレームワークにプラグインします。低ランクでスパースな事前分布を使用したバックグラウンド減算のためのU-Netの教師なし学習を示します。 U-Netは、注釈なしでトレーニングシーケンス内の移動オブジェクトを学習し、テストシーケンス内の前景オブジェクトを正常に検出できます。
What if deep neural networks can learn from sparsity-inducing priors? When the networks are designed by combining layer modules (CNN, RNN, etc), engineers less exploit the inductive bias, i.e., existing well-known rules or prior knowledge, other than annotated training data sets. We focus on employing sparsity-inducing priors in deep learning to encourage the network to concisely capture the nature of high-dimensional data in an unsupervised way. In order to use non-differentiable sparsity-inducing norms as loss functions, we plug their proximal mappings into the automatic differentiation framework. We demonstrate unsupervised learning of U-Net for background subtraction using low-rank and sparse priors. The U-Net can learn moving objects in a training sequence without any annotation, and successfully detect the foreground objects in test sequences.