自動運転は人間よりも優れた運転性能で宣伝されることがよくありますが、この作業では、これが実際に当てはまるというシステムレベルでの直接的な統計的証拠を提供することはほぼ不可能であるとレビューしています。必要なラベル付きデータの量は、現在の技術的および経済的能力の次元を超えます。したがって、一般的に使用される戦略は、十分なサブシステムのパフォーマンスの証明とともに冗長性を使用することです。知られているように、この戦略は、特に独立して動作するサブシステムの場合に効率的です。つまり、エラーの発生は統計的な意味で独立しています。ここでは、同じコンピュータビジョンタスクを実行するニューラルネットワークのエラーが、少なくともいくつかのケースでは、相関するエラーの発生を示すため、この戦略がフリーライドではないという最初の考慮事項と実験的証拠を示します。これは、トレーニングデータ、アーキテクチャ、およびトレーニングが分離されている場合、または特別な損失関数を使用して独立性がトレーニングされている場合にも当てはまります。さまざまなセンサーからのデータ(3D MNISTデータセットの最大5つの2D投影によって実現)を実験で使用すると、相関がより効率的に減少しますが、冗長性のために取得できるテストデータの削減の可能性を実現するほどではありません統計的に独立したサブシステム。
While automated driving is often advertised with better-than-human driving performance, this work reviews that it is nearly impossible to provide direct statistical evidence on the system level that this is actually the case. The amount of labeled data needed would exceed dimensions of present day technical and economical capabilities. A commonly used strategy therefore is the use of redundancy along with the proof of sufficient subsystems' performances. As it is known, this strategy is efficient especially for the case of subsystems operating independently, i.e. the occurrence of errors is independent in a statistical sense. Here, we give some first considerations and experimental evidence that this strategy is not a free ride as the errors of neural networks fulfilling the same computer vision task, at least for some cases, show correlated occurrences of errors. This remains true, if training data, architecture, and training are kept separate or independence is trained using special loss functions. Using data from different sensors (realized by up to five 2D projections of the 3D MNIST data set) in our experiments is more efficiently reducing correlations, however not to an extent that is realizing the potential of reduction of testing data that can be obtained for redundant and statistically independent subsystems.