このテクニカル レポートでは、視聴覚シーンの分類に関する DCASE 2021 チャレンジのサブタスク 1B に提出したシステムについて詳しく説明します。それらは基本的に、聴覚と視覚の機能を組み合わせて予測を行うマルチソース トランスフォーマーです。これらのモデルは、マクロ平均マルチクラス クロス エントロピーおよび精度メトリックを使用して評価されます。マクロ平均マルチクラス クロス エントロピーに関しては、検証データで最高のモデルが 0.620 のスコアを達成しました。これは、ベースライン システムのパフォーマンス (0.658) よりわずかに優れています。精度測定に関しては、私たちの最良のモデルは検証データで 77.1% のスコアを達成しました。これは、ベースライン システムによって得られたパフォーマンス (77.0%) とほぼ同じです。
In this technical report, the systems we submitted for subtask 1B of the DCASE 2021 challenge, regarding audiovisual scene classification, are described in detail. They are essentially multi-source transformers employing a combination of auditory and visual features to make predictions. These models are evaluated utilizing the macro-averaged multi-class cross-entropy and accuracy metrics. In terms of the macro-averaged multi-class cross-entropy, our best model achieved a score of 0.620 on the validation data. This is slightly better than the performance of the baseline system (0.658). With regard to the accuracy measure, our best model achieved a score of 77.1% on the validation data, which is about the same as the performance obtained by the baseline system (77.0%).