arXiv reaDer
些細なことまたは不可能なこと-二分されたデータの難しさはモデルの違いを覆い隠します(ImageNet以降)
Trivial or impossible -- dichotomous data difficulty masks model differences (on ImageNet and beyond)
「一般化システムの力は、そのバイアスから直接得られます」(Mitchell1980)。今日、CNNは非常に強力な一般化システムですが、CNNの誘導バイアスがモデルの決定にどのように影響するかをどの程度理解していますか?ここでは、モデルがどのように決定するかを決定するさまざまな側面を解きほぐすことを試みます。特に、私たちは質問します:あるモデルが別のモデルと異なる決定をする理由は何ですか?細心の注意を払って制御された設定では、(1。)ネットワークアーキテクチャまたは目的(自己監視、半教師あり、ビジョントランスフォーマー、反復モデルなど)に関係なく、すべてのモデルが同様の決定境界で終わることがわかります。 (2.)これらの調査結果を理解するために、エポックからエポックまで、および画像ごとにImageNet検証セットのモデル決定を分析しました。 ImageNet検証セットは、とりわけ、二分データの難しさ(DDD)に悩まされていることがわかります。調査されたモデルとその精度の範囲では、46.0%の「些細な」画像と11.5%の「不可能な」画像(ラベルエラーを超える)が支配的です。 )。 2つのモデルの決定境界の違いの原因となる可能性があるのは、画像の42.5%のみである可能性があります。 (3.)「不可能」と「些細な」画像を削除するだけで、モデル間の顕著な違いを確認できます。 (4.)人間は、CNNにとってどの画像が「取るに足らない」「不可能」であるかを非常に正確に予測します(81.4%)。これは、脳、機械、行動の将来の比較において、画像の決定的な役割とそれらの困難の分布を調査することから多くが得られる可能性があることを意味します。
"The power of a generalization system follows directly from its biases" (Mitchell 1980). Today, CNNs are incredibly powerful generalisation systems -- but to what degree have we understood how their inductive bias influences model decisions? We here attempt to disentangle the various aspects that determine how a model decides. In particular, we ask: what makes one model decide differently from another? In a meticulously controlled setting, we find that (1.) irrespective of the network architecture or objective (e.g. self-supervised, semi-supervised, vision transformers, recurrent models) all models end up with a similar decision boundary. (2.) To understand these findings, we analysed model decisions on the ImageNet validation set from epoch to epoch and image by image. We find that the ImageNet validation set, among others, suffers from dichotomous data difficulty (DDD): For the range of investigated models and their accuracies, it is dominated by 46.0% "trivial" and 11.5% "impossible" images (beyond label errors). Only 42.5% of the images could possibly be responsible for the differences between two models' decision boundaries. (3.) Only removing the "impossible" and "trivial" images allows us to see pronounced differences between models. (4.) Humans are highly accurate at predicting which images are "trivial" and "impossible" for CNNs (81.4%). This implies that in future comparisons of brains, machines and behaviour, much may be gained from investigating the decisive role of images and the distribution of their difficulties.
updated: Wed Apr 27 2022 18:25:19 GMT+0000 (UTC)
published: Tue Oct 12 2021 12:09:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト