arXiv reaDer
高次空間コンテキストの再現を評価することによる画像の深い生成モデルの評価方法
A Method for Evaluating Deep Generative Models of Images via Assessing the Reproduction of High-order Spatial Context
深層生成モデル (DGM) は、画像診断に革命を起こす可能性を秘めています。敵対的生成ネットワーク (GAN) は、広く採用されている DGM の一種です。生成された画像を実際に使用するためにドメインの専門知識を必要とするアプリケーションで GAN やその他の DGM を展開する際の包括的な問題は、一般に、生成された画像のドメイン関連の品質を評価する適切な、または自動的な手段がないことです。この作業では、2 つの一般的な GAN アーキテクチャによって出力された画像のいくつかの客観的なテストを示します。訓練されたGANによって生成後に回復できる、異なる画像特徴のいくつかの確率的コンテキストモデル(SCM)を設計しました。これらの機能のいくつかは、共分散行列では容易に表現できない高次のアルゴリズム ピクセル配置規則です。既知の配置ルールの特定の効果を検出するために、統計的分類子を設計および検証しました。次に、2 つの異なる GAN がさまざまなトレーニング シナリオの下で機能コンテキストを正しく再現する率と、機能クラスの類似度をテストしました。生成された画像のアンサンブルは、視覚的に大部分が正確に見え、アンサンブル測定で高い精度を示す一方で、既知の空間配置を示さないことがわかりました。さらに、異なる空間順序のスペクトルでトレーニングされたGANは、トレーニングデータ内のそれらの順序の特定の普及率を尊重しませんでした。主な結論は、SCM を設計して、画像ごとに多数のエラーを定量化できるということです。これは、アンサンブル統計ではキャプチャされない可能性がありますが、GAN で生成された画像のその後の使用に影響を与える可能性があります。
Deep generative models (DGMs) have the potential to revolutionize diagnostic imaging. Generative adversarial networks (GANs) are one kind of DGM which are widely employed. The overarching problem with deploying GANs, and other DGMs, in any application that requires domain expertise in order to actually use the generated images is that there generally is not adequate or automatic means of assessing the domain-relevant quality of generated images. In this work, we demonstrate several objective tests of images output by two popular GAN architectures. We designed several stochastic context models (SCMs) of distinct image features that can be recovered after generation by a trained GAN. Several of these features are high-order, algorithmic pixel-arrangement rules which are not readily expressed in covariance matrices. We designed and validated statistical classifiers to detect specific effects of the known arrangement rules. We then tested the rates at which two different GANs correctly reproduced the feature context under a variety of training scenarios, and degrees of feature-class similarity. We found that ensembles of generated images can appear largely accurate visually, and show high accuracy in ensemble measures, while not exhibiting the known spatial arrangements. Furthermore, GANs trained on a spectrum of distinct spatial orders did not respect the given prevalence of those orders in the training data. The main conclusion is that SCMs can be engineered to quantify numerous errors, per image, that may not be captured in ensemble statistics but plausibly can affect subsequent use of the GAN-generated images.
updated: Fri Mar 31 2023 17:33:24 GMT+0000 (UTC)
published: Wed Nov 24 2021 15:58:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト