arXiv reaDer
Synthetic-Neuroscore: Using A Neuro-AI Interface for Evaluating Generative Adversarial Networks
 生成的敵対ネットワーク(GAN)は、コンピュータービジョン、自然言語処理、音声合成、および同様の分野でますます注目を集めています。おそらく最も印象的な結果は、画像合成の分野にあります。ただし、GANのパフォーマンスを評価することは、未解決の挑戦的な問題です。既存の評価指標は、主に自動化された統計的手法を使用して、実際の画像と生成された画像の相違を測定します。多くの場合、評価のために大きなサンプルサイズが必要であり、画質に対する人間の知覚を直接反映していません。この作業では、GANのパフォーマンスを評価するための、Neuroscoreと呼ばれる評価指標について説明します。この評価指標は、脳信号を利用することで心理知覚画像の品質をより直接的に反映します。結果は、Neuroscoreが以下の点で現在の評価指標よりも優れた性能を持っていることを示しています。(1)人間の判断とより一貫しています。 (2)評価プロセスに必要なサンプルの数ははるかに少ない。 (3)GAN単位で画像の品質をランク付けできます。畳み込みニューラルネットワーク(CNN)ベースのニューロAIインターフェイスは、神経応答を必要とせずにGANで生成された画像から直接Neuroscoreを予測するために提案されています。重要なことは、ネットワークのトレーニングフェーズ中に神経反応を含めることにより、提案モデルの予測能力を大幅に改善できることを示しています。この作業に関連する資料は、で提供されています。
Generative adversarial networks (GANs) are increasingly attracting attention in the computer vision, natural language processing, speech synthesis and similar domains. Arguably the most striking results have been in the area of image synthesis. However, evaluating the performance of GANs is still an open and challenging problem. Existing evaluation metrics primarily measure the dissimilarity between real and generated images using automated statistical methods. They often require large sample sizes for evaluation and do not directly reflect human perception of image quality. In this work, we describe an evaluation metric we call Neuroscore, for evaluating the performance of GANs, that more directly reflects psychoperceptual image quality through the utilization of brain signals. Our results show that Neuroscore has superior performance to the current evaluation metrics in that: (1) It is more consistent with human judgment; (2) The evaluation process needs much smaller numbers of samples; and (3) It is able to rank the quality of images on a per GAN basis. A convolutional neural network (CNN) based neuro-AI interface is proposed to predict Neuroscore from GAN-generated images directly without the need for neural responses. Importantly, we show that including neural responses during the training phase of the network can significantly improve the prediction capability of the proposed model. Materials related to this work are provided at
updated: Mon Feb 03 2020 00:55:46 GMT+0000 (UTC)
published: Fri May 10 2019 16:25:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト