この研究は、同値類の概念を使用した画像パッチの多様体学習のフレームワークを提案します:商空間における多様体モデリング(MMQS)。 MMQSでは、画像のローカルパッチのセットをそのままではなく、同値類の概念を導入し、正規パッチで多様体学習を実行することによって取得された正規パッチのセットを考慮します。正規パッチは同値類を表し、それらのオートエンコーダーは商空間に多様体を構築します。このフレームワークに基づいて、回転-フリップ-等価関係を導入することにより、新しい多様体ベースの画像モデルを作成します。さらに、提案された画像モデルを破損した観測画像に適合させることによって画像再構成問題を定式化し、それを解決するためのアルゴリズムを導出します。私たちの実験は、提案された画像モデルが、画像の修復、ぼけ除去、超解像、ノイズ除去などのさまざまな自己監視画像再構成タスクに効果的であることを示しています。
This study proposes a framework for manifold learning of image patches using the concept of equivalence classes: manifold modeling in quotient space (MMQS). In MMQS, we do not consider a set of local patches of the image as it is, but rather the set of their canonical patches obtained by introducing the concept of equivalence classes and performing manifold learning on their canonical patches. Canonical patches represent equivalence classes, and their auto-encoder constructs a manifold in the quotient space. Based on this framework, we produce a novel manifold-based image model by introducing rotation-flip-equivalence relations. In addition, we formulate an image reconstruction problem by fitting the proposed image model to a corrupted observed image and derive an algorithm to solve it. Our experiments show that the proposed image model is effective for various self-supervised image reconstruction tasks, such as image inpainting, deblurring, super-resolution, and denoising.