arXiv reaDer
Learning Foveated Reconstruction to Preserve Perceived Image Statistics
中心窩画像再構成は、離心率とともに急速に低下する人間の視覚系の網膜感度に従って分散されたサンプルのまばらなセットから完全な画像を復元します。最近、Generative Adversarial Networksの使用は、欠落している画像情報をうまく幻覚化できるため、このようなタスクの有望なソリューションであることが示されました。他の教師あり学習アプローチと同様に、これも同様に、損失関数とトレーニング戦略の定義が出力品質に大きく影響します。この作品では、人間の視覚系の能力と限界を完全に認識し、視覚的に重要な画像の特徴を再構築するように、中心窩再構成技術のトレーニングを効率的にガイドする方法について質問します。 GANベースのソリューションの性質上、さまざまな入力サンプル密度に対する幻覚に対する人間の感度に焦点を当てています。新しい精神物理学的実験、データセット、および中心窩画像再構成をトレーニングするための手順を提示します。この戦略は、出力の知覚的に重要な偏差のみにペナルティを課すことにより、発電機ネットワークに柔軟性を提供します。結果として、この方法は、自然な画像統計ではなく、知覚された画像統計を保存することを目的としています。戦略を評価し、新しくトレーニングされた客観的な指標とユーザー実験を使用して、代替ソリューションと比較します。
Foveated image reconstruction recovers full image from a sparse set of samples distributed according to the human visual system's retinal sensitivity that rapidly drops with eccentricity. Recently, the use of Generative Adversarial Networks was shown to be a promising solution for such a task as they can successfully hallucinate missing image information. Like for other supervised learning approaches, also for this one, the definition of the loss function and training strategy heavily influences the output quality. In this work, we pose the question of how to efficiently guide the training of foveated reconstruction techniques such that they are fully aware of the human visual system's capabilities and limitations, and therefore, reconstruct visually important image features. Due to the nature of GAN-based solutions, we concentrate on the human's sensitivity to hallucination for different input sample densities. We present new psychophysical experiments, a dataset, and a procedure for training foveated image reconstruction. The strategy provides flexibility to the generator network by penalizing only perceptually important deviations in the output. As a result, the method aims to preserve perceived image statistics rather than natural image statistics. We evaluate our strategy and compare it to alternative solutions using a newly trained objective metric and user experiments.
updated: Sat Aug 07 2021 18:39:49 GMT+0000 (UTC)
published: Sat Aug 07 2021 18:39:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト