ディープ ネットワークは、イメージを低次元の潜在空間にマッピングするようにトレーニングできます。多くの場合、コレクション内のさまざまな画像は、相互に連結されたバージョンです。たとえば、照明、背景、ポーズが異なる同じオブジェクトなどです。さらに、多くの場合、画像の一部がノイズやエントリの欠落によって破損する可能性があります。このホワイト ペーパーでは、アーティキュレーションをデータの構造事前確率として使用して、グラウンド トゥルース (クリーン) 画像にアクセスせずに画像を復元することを目標としています。このような回復の問題は、圧縮センシングの領域に分類されます。データに構造的制約を課すために、埋め込み空間でテンソル環因数分解を使用してオートエンコーダーを学習することを提案します。特に、構造化データセットのソフト ラベルを利用するオートエンコーダーのボトルネック層でテンソル リング構造を使用します。修復およびノイズ除去アプリケーションに対する提案されたアプローチの有効性を経験的に示します。結果として得られる方法は、圧縮センシングのための他の生成的な事前ベースの自己教師付き回復アプローチと比較して、より優れた再構成品質を実現します。
Deep networks can be trained to map images into a low-dimensional latent space. In many cases, different images in a collection are articulated versions of one another; for example, same object with different lighting, background, or pose. Furthermore, in many cases, parts of images can be corrupted by noise or missing entries. In this paper, our goal is to recover images without access to the ground-truth (clean) images using the articulations as structural prior of the data. Such recovery problems fall under the domain of compressive sensing. We propose to learn autoencoder with tensor ring factorization on the the embedding space to impose structural constraints on the data. In particular, we use a tensor ring structure in the bottleneck layer of the autoencoder that utilizes the soft labels of the structured dataset. We empirically demonstrate the effectiveness of the proposed approach for inpainting and denoising applications. The resulting method achieves better reconstruction quality compared to other generative prior-based self-supervised recovery approaches for compressive sensing.