ここ数年、コンピューター ビジョンのディープ ラーニング モデルの進歩により、画像分類の精度が劇的に向上しました。ただし、トレーニングされたタスクでより高い精度を持つモデルが、トレーニングされていない他のタスクでもより優れたパフォーマンスを発揮できるようにする、より優れた画像表現を開発するとは限りません。著名な高性能コンピューター ビジョン モデルの表現学習機能を調査するために、大規模な行動データセットから知覚的類似性のさまざまな指標をどの程度うまくキャプチャできるかを調査しました。画像分類の精度が高いほど、これらのデータセットのパフォーマンスが向上するわけではなく、実際、GoogLeNet (2015 年リリース) および VGG-M (2014 年リリース) 以来、パフォーマンスの改善は見られません。より正確な分類は、非常に類似したクラス間の非常にきめの細かい区別に向けたハイパーエンジニアリングから生じる可能性があると推測しています。
Over the last years, advancements in deep learning models for computer vision have led to a dramatic improvement in their image classification accuracy. However, models with a higher accuracy in the task they were trained on do not necessarily develop better image representations that allow them to also perform better in other tasks they were not trained on. In order to investigate the representation learning capabilities of prominent high-performing computer vision models, we investigated how well they capture various indices of perceptual similarity from large-scale behavioral datasets. We find that higher image classification accuracy rates are not associated with a better performance on these datasets, and in fact we observe no improvement in performance since GoogLeNet (released 2015) and VGG-M (released 2014). We speculate that more accurate classification may result from hyper-engineering towards very fine-grained distinctions between highly similar classes, which does not incentivize the models to capture overall perceptual similarities.