教師あり機械学習モデルのトレーニングに使用されるデータは、通常、独立したトレーニング、検証、テストセットに分割されます。このホワイトペーパーでは、参照なしの画像およびビデオの品質評価に関する文献で、複雑なデータ漏洩の事例が発生していることを示しています。最近、いくつかのジャーナルの論文が、この分野で最高のパフォーマンス結果をはるかに上回っていると報告しました。ただし、私たちの分析では、テストセットからの情報がトレーニングプロセスでさまざまな方法で不適切に使用されており、主張されたパフォーマンス結果を達成できないことが示されています。データ漏えいを修正すると、アプローチのパフォーマンスは最新技術を大幅に下回ります。さらに、説明したアプローチのエンドツーエンドのバリエーションを調査しますが、元のアプローチを改善することはありません。
Data used to train supervised machine learning models are commonly split into independent training, validation, and test sets. This paper illustrates that complex data leakage cases have occurred in the no-reference image and video quality assessment literature. Recently, papers in several journals reported performance results well above the best in the field. However, our analysis shows that information from the test set was inappropriately used in the training process in different ways and that the claimed performance results cannot be achieved. When correcting for the data leakage, the performances of the approaches drop even below the state-of-the-art by a large margin. Additionally, we investigate end-to-end variations to the discussed approaches, which do not improve upon the original.