arXiv reaDer
視覚パターンに基づくテキストから画像への合成方法の評価
Text-to-image synthesis method evaluation based on visual patterns
 テキストから画像への合成で一般的に使用される評価指標は、インセプションスコア(IS)のインセプションスコアです。これは、人間の判断とよく相関する品質指標であることが示されています。ただし、ISは生成されたイメージのプロパティを明らかにせず、テキストからイメージへの合成方法が入力テキスト記述のセマンティクスを正しく伝える能力を示します。本論文では、生成された画像のリアリズム、多様性、意味的精度を同時に推定できる評価指標と視覚的評価方法を紹介します。提案された方法は、事前に訓練されたInceptionネットワークinceptionnetを使用して、実際の画像と生成された画像の両方の高次元表現を生成します。これらの画像表現は、t分布Stochastic Neighbor Embedding(t-SNE)tsneによって定義される2次元の特徴空間で視覚化されます。視覚的概念は、実際の画像表現をクラスタリングすることによって決定され、その後、生成された画像を最も近い視覚的概念に分類することにより、実際の画像との類似性を評価するために使用されます。結果の分類精度は、テキストから画像への合成方法のセマンティック精度の効果的な尺度であることが示されています。
A commonly used evaluation metric for text-to-image synthesis is the Inception score (IS) inceptionscore, which has been shown to be a quality metric that correlates well with human judgment. However, IS does not reveal properties of the generated images indicating the ability of a text-to-image synthesis method to correctly convey semantics of the input text descriptions. In this paper, we introduce an evaluation metric and a visual evaluation method allowing for the simultaneous estimation of the realism, variety and semantic accuracy of generated images. The proposed method uses a pre-trained Inception network inceptionnet to produce high dimensional representations for both real and generated images. These image representations are then visualized in a 2-dimensional feature space defined by the t-distributed Stochastic Neighbor Embedding (t-SNE) tsne. Visual concepts are determined by clustering the real image representations, and are subsequently used to evaluate the similarity of the generated images to the real ones by classifying them to the closest visual concept. The resulting classification accuracy is shown to be a effective gauge for the semantic accuracy of text-to-image synthesis methods.
updated: Thu Oct 31 2019 19:50:42 GMT+0000 (UTC)
published: Thu Oct 31 2019 19:50:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト