arXiv reaDer
オートエンコーダーとしての可逆ニューラル ネットワークのトレーニング
Training Invertible Neural Networks as Autoencoders
オートエンコーダーは、教師なし問題で有用なデータ表現を学習することができ、さまざまな機械学習およびコンピューター ビジョン タスクで広く使用されています。この作業では、INN (variational) autoencoders と呼ばれる (variational) autoencoders として Invertible Neural Networks (INN) をトレーニングする方法を紹介します。 MNIST、CIFAR、および CelebA での実験では、ボトルネック サイズが小さい場合、INN オートエンコーダーが従来のオートエンコーダーと同様の結果を達成することが示されています。ただし、ボトルネックのサイズが大きい場合、INN オートエンコーダーは従来のオートエンコーダーよりも優れています。経験的な結果に基づいて、INN オートエンコーダーには固有の情報損失がない可能性があり、それによってレイヤー (深さ) の最大数に制限されず、その後は最適ではない結果しか得られないという仮説を立てました。
Autoencoders are able to learn useful data representations in an unsupervised matter and have been widely used in various machine learning and computer vision tasks. In this work, we present methods to train Invertible Neural Networks (INNs) as (variational) autoencoders which we call INN (variational) autoencoders. Our experiments on MNIST, CIFAR and CelebA show that for low bottleneck sizes our INN autoencoder achieves results similar to the classical autoencoder. However, for large bottleneck sizes our INN autoencoder outperforms its classical counterpart. Based on the empirical results, we hypothesize that INN autoencoders might not have any intrinsic information loss and thereby are not bounded to a maximal number of layers (depth) after which only suboptimal results can be achieved.
updated: Tue Mar 21 2023 12:43:11 GMT+0000 (UTC)
published: Mon Mar 20 2023 16:24:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト