arXiv reaDer
Re-IQA: 実環境での画質評価のための教師なし学習
Re-IQA: Unsupervised Learning for Image Quality Assessment in the Wild
自動知覚画像品質評価は、毎日何十億ものインターネット ユーザーやソーシャル メディア ユーザーに影響を与える困難な問題です。この分野の研究を進めるために、教師なしの設定で高レベルのコンテンツと低レベルの画質機能を学習するように 2 つの個別のエンコーダーをトレーニングするための専門家の混合アプローチを提案します。私たちのアプローチのユニークな目新しさは、画像コンテンツを表す高レベルの機能を補完する低レベルの画像品質表現を生成する能力です。 2 つのエンコーダーのトレーニングに使用されるフレームワークを Re-IQA と呼びます。 Image Quality Assessment in the Wild では、Re-IQA フレームワークから取得した補完的な低レベルおよび高レベルの画像表現を展開して線形回帰モデルをトレーニングします。線形回帰モデルは、画像表現をグラウンド トゥルース品質スコアにマッピングするために使用されます。図を参照してください。 1.私たちの方法は、実際の歪みと合成歪みの両方を含む複数の大規模な画質評価データベースで最先端のパフォーマンスを達成し、教師なし設定でディープニューラルネットワークをトレーニングして知覚的に関連する表現を生成する方法を示しています。実験から、得られた低レベルおよび高レベルの機能は実際に補完的であり、線形リグレッサーのパフォーマンスにプラスの影響を与えると結論付けています。この作業に関連するすべてのコードの公開リリースは、GitHub で利用できるようになります。
Automatic Perceptual Image Quality Assessment is a challenging problem that impacts billions of internet, and social media users daily. To advance research in this field, we propose a Mixture of Experts approach to train two separate encoders to learn high-level content and low-level image quality features in an unsupervised setting. The unique novelty of our approach is its ability to generate low-level representations of image quality that are complementary to high-level features representing image content. We refer to the framework used to train the two encoders as Re-IQA. For Image Quality Assessment in the Wild, we deploy the complementary low and high-level image representations obtained from the Re-IQA framework to train a linear regression model, which is used to map the image representations to the ground truth quality scores, refer Figure 1. Our method achieves state-of-the-art performance on multiple large-scale image quality assessment databases containing both real and synthetic distortions, demonstrating how deep neural networks can be trained in an unsupervised setting to produce perceptually relevant representations. We conclude from our experiments that the low and high-level features obtained are indeed complementary and positively impact the performance of the linear regressor. A public release of all the codes associated with this work will be made available on GitHub.
updated: Sun May 28 2023 04:09:03 GMT+0000 (UTC)
published: Sun Apr 02 2023 05:06:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト