arXiv reaDer
画像の記憶可能性を推定するための深層学習における新しい技術の採用
Embracing New Techniques in Deep Learning for Estimating Image Memorability
さまざまな研究により、画像の記憶力は人々の間で一貫しており、したがって画像の固有の特性として扱うことができることが示唆されています。コンピュータビジョンモデルを使用して、人々が何を覚えているか、または忘れているかについて特定の予測を行うことができます。古い研究では、古くなった深層学習アーキテクチャを使用して画像の記憶力を予測していましたが、この分野の革新により、この問題に適用するための新しい手法が提供されました。ここでは、過去5年間のフィールドでの開発、主に残差ニューラルネットワークの導入を活用する5つの代替深層学習モデルを提案および評価します。これは、モデルが記憶力推定プロセスで意味情報を使用できるようにすることを目的としています。これらの新しいモデルは、カテゴリ内とカテゴリ間の両方の予測を最適化するために構築されたデータセットを組み合わせて、以前の最先端技術に対してテストされました。私たちの調査結果は、主要な以前の記憶可能性ネットワークがその一般化可能性を誇張しており、そのトレーニングセットに過剰適合していたことを示唆しています。私たちの新しいモデルは、この以前のモデルよりも優れており、残差ネットワークは、記憶力回帰において、より単純な畳み込みニューラルネットワークよりも優れていると結論付けています。私たちは、新しい最先端のモデルを研究コミュニティがすぐに利用できるようにし、記憶研究者がより広い範囲の画像で記憶力について予測できるようにします。
Various work has suggested that the memorability of an image is consistent across people, and thus can be treated as an intrinsic property of an image. Using computer vision models, we can make specific predictions about what people will remember or forget. While older work has used now-outdated deep learning architectures to predict image memorability, innovations in the field have given us new techniques to apply to this problem. Here, we propose and evaluate five alternative deep learning models which exploit developments in the field from the last five years, largely the introduction of residual neural networks, which are intended to allow the model to use semantic information in the memorability estimation process. These new models were tested against the prior state of the art with a combined dataset built to optimize both within-category and across-category predictions. Our findings suggest that the key prior memorability network had overstated its generalizability and was overfit on its training set. Our new models outperform this prior model, leading us to conclude that Residual Networks outperform simpler convolutional neural networks in memorability regression. We make our new state-of-the-art model readily available to the research community, allowing memory researchers to make predictions about memorability on a wider range of images.
updated: Fri May 21 2021 23:05:23 GMT+0000 (UTC)
published: Fri May 21 2021 23:05:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト