arXiv reaDer
Use of Neural Signals to Evaluate the Quality of Generative Adversarial Network Performance in Facial Image Generation
  生成的敵対ネットワーク(GAN)を使用して、典型的な人が判断した実際の画像と見分けがつかない画像コンテンツを生成することに関心が高まっています。この目的のために多くのGANバリアントが提案されていますが、GANのパフォーマンスを評価することは本質的に困難です。出力の品質を測定する現在の方法は、人間の知覚と必ずしも一致しないためです。ブレイン-コンピューターインターフェイス(BCI)とGANを組み合わせて、Neroscoreと呼ばれる尺度を生成する新しい手法を提案します。この手法は、人間の神経系とAIプロセス間のインターフェイスを提供するため、ニューロAIインターフェイスと呼ばれます。このホワイトペーパーでは、GANを視覚的品質の観点から評価するために文献で最も広く使用されている3つのメトリックを最初に比較し、その出力を人間の判断と比較します。第二に、行動反応測定とは無関係に、顔の生産品質に対する人間の知覚反応を直接測定する、神経信号と高速シリアルビジュアルプレゼンテーション(RSVP)を使用した新しいアプローチを提案し、実証します。提案されたNeuroscoreと人間の知覚判断の相関には、ピアソン相関統計があります:r(48)= -0.767、p = 2.089e-10。また、相関のブートストラップ結果、つまりp≤0.0001も示します。結果は、Neuroscoreが、評価した従来のメトリックと比較して、人間の判断とより一貫していることを示しています。神経信号は、視覚画像合成のコンテキストでGANの高品質で迅速な評価のための潜在的な用途があると結論付けています。
There is a growing interest in using generative adversarial networks (GANs) to produce image content that is indistinguishable from real images as judged by a typical person. A number of GAN variants for this purpose have been proposed, however, evaluating GANs performance is inherently difficult because current methods for measuring the quality of their output are not always consistent with what a human perceives. We propose a novel approach that combines a brain-computer interface (BCI) with GANs to generate a measure we call Neuroscore, which closely mirrors the behavioral ground truth measured from participants tasked with discerning real from synthetic images. This technique we call a neuro-AI interface, as it provides an interface between a human's neural systems and an AI process. In this paper, we first compare the three most widely used metrics in the literature for evaluating GANs in terms of visual quality and compare their outputs with human judgments. Secondly we propose and demonstrate a novel approach using neural signals and rapid serial visual presentation (RSVP) that directly measures a human perceptual response to facial production quality, independent of a behavioral response measurement. The correlation between our proposed Neuroscore and human perceptual judgments has Pearson correlation statistics: r(48) = -0.767, p = 2.089e-10. We also present the bootstrap result for the correlation i.e., p≤0.0001. Results show that our Neuroscore is more consistent with human judgment compared to the conventional metrics we evaluated. We conclude that neural signals have potential applications for high quality, rapid evaluation of GANs in the context of visual image synthesis.
updated: Fri Sep 13 2019 15:28:39 GMT+0000 (UTC)
published: Sat Nov 10 2018 01:37:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト