エンドツーエンドで最適化された学習画像圧縮では、畳み込み変分オートエンコーダーと一般化分割正規化(GDN)を使用して、画像を潜在空間に変換するのが標準的な方法です。最近、一連の選択肢から最良の非線形性を学習するオペレーショナルニューラルネットワーク(ONN)と、テイラー級数を介して非線形性を近似する自己組織化バリアントであるSelf-ONNが、畳み込みの制限に対処するために提案されました。層と固定非線形活性化。この論文では、変分オートエンコーダの畳み込み層とGDN層を自己組織化操作層に置き換えることを提案し、より強い非線形性の恩恵を受ける新しい自己組織化変分自動エンコーダ(Self-VAE)アーキテクチャを提案します。実験結果は、提案されたSelf-VAEがレート歪み性能と知覚画質の両方の改善をもたらすことを示しています。
In end-to-end optimized learned image compression, it is standard practice to use a convolutional variational autoencoder with generalized divisive normalization (GDN) to transform images into a latent space. Recently, Operational Neural Networks (ONNs) that learn the best non-linearity from a set of alternatives, and their self-organized variants, Self-ONNs, that approximate any non-linearity via Taylor series have been proposed to address the limitations of convolutional layers and a fixed nonlinear activation. In this paper, we propose to replace the convolutional and GDN layers in the variational autoencoder with self-organized operational layers, and propose a novel self-organized variational autoencoder (Self-VAE) architecture that benefits from stronger non-linearity. The experimental results demonstrate that the proposed Self-VAE yields improvements in both rate-distortion performance and perceptual image quality.