オートエンコーダは、教師なしニューラルネットワークの一種であり、次元削減、画像圧縮、画像ノイズ除去などのさまざまなタスクを解決するために使用できます。 AEには2つの目標があります。(i)エンコーダーを使用してネットワークトポロジのボトルネックにある低次元空間に元の入力を圧縮し、(ii)デコーダーを使用してボトルネックにある表現から入力を再構築します。エンコーダーとデコーダーの両方は、歪みベースの損失を最小化することによって共同で最適化されます。これにより、モデルは、再構築と冗長性の削減に必要な入力データのバリエーションのみを保持するように暗黙的に強制されます。この論文では、ボトルネック表現の機能の冗長性に明示的にペナルティを課すスキームを提案します。この目的のために、ニューロンのペアワイズ相関に基づく追加の損失項を提案します。これは、標準の再構成損失を補完し、エンコーダーに入力のより多様で豊富な表現を学習させることを強制します。 3つの異なるデータセットを使用した次元削減、MNISTデータセットを使用した画像圧縮、ファッションMNISTを使用した画像ノイズ除去など、さまざまなタスクにわたってアプローチをテストしました。実験結果は、提案された損失が、標準のAE損失と比較して一貫して優れたパフォーマンスにつながることを示しています。
Autoencoders are a type of unsupervised neural networks, which can be used to solve various tasks, e.g., dimensionality reduction, image compression, and image denoising. An AE has two goals: (i) compress the original input to a low-dimensional space at the bottleneck of the network topology using an encoder, (ii) reconstruct the input from the representation at the bottleneck using a decoder. Both encoder and decoder are optimized jointly by minimizing a distortion-based loss which implicitly forces the model to keep only those variations of input data that are required to reconstruct the and to reduce redundancies. In this paper, we propose a scheme to explicitly penalize feature redundancies in the bottleneck representation. To this end, we propose an additional loss term, based on the pair-wise correlation of the neurons, which complements the standard reconstruction loss forcing the encoder to learn a more diverse and richer representation of the input. We tested our approach across different tasks: dimensionality reduction using three different dataset, image compression using the MNIST dataset, and image denoising using fashion MNIST. The experimental results show that the proposed loss leads consistently to superior performance compared to the standard AE loss.