バッチ内の他のサンプルに依存するバッチ正規化 (BN) のユニークな特性は、シーケンシャル モデリングを含むいくつかのタスクで問題を引き起こすことが知られています。しかし、特徴抽出のために CNN で BN が広く使用されているにもかかわらず、BN 関連の問題は長いビデオ理解のためにほとんど研究されていません。特に手術ワークフロー分析では、事前トレーニング済みの特徴抽出器がないために複雑な多段階のトレーニング パイプラインが必要になるため、BN の問題に対する認識が限られているため、CNN と時間モデルをエンドツーエンドでトレーニングする利点が隠されている可能性があります。このホワイト ペーパーでは、ビデオ学習における BN の既知の落とし穴と新しい落とし穴を紹介し、分析します。 BN の特性が、エンド ツー エンドの学習にとって大きな障害となることがわかりました。ただし、BN フリーのバックボーンを使用すると、単純な CNN-LSTM でさえ、時間的コンテキストを最大化する適切なエンドツーエンドのトレーニング戦略を利用することで、2 つの外科的タスクで最新技術を打ち負かします。 BN の落とし穴の認識は、外科的作業における効果的なエンドツーエンドの学習にとって重要であると結論付けています。自然なビデオ データセットで結果を再現することで、私たちの洞察がビデオ学習の他の分野にも役立つことを願っています。コード: https://gitlab.com/nct_tso_public/pitfalls_bn.
Batch Normalization's (BN) unique property of depending on other samples in a batch is known to cause problems in several tasks, including sequential modeling. Yet, BN-related issues are hardly studied for long video understanding, despite the ubiquitous use of BN in CNNs for feature extraction. Especially in surgical workflow analysis, where the lack of pretrained feature extractors has lead to complex, multi-stage training pipelines, limited awareness of BN issues may have hidden the benefits of training CNNs and temporal models end to end. In this paper, we %present and analyze known as well as novel pitfalls of BN in video learning, including issues specific to online tasks such as a 'cheating' effect in anticipation. We observe that BN's properties create major obstacles for end-to-end learning. However, using BN-free backbones, even simple CNN-LSTMs beat state of the art in two surgical tasks by utilizing adequate end-to-end training strategies which maximize temporal context. We conclude that awareness of BN's pitfalls is crucial for effective end-to-end learning in surgical tasks. By reproducing results on natural-video datasets, we hope our insights will benefit other areas of video learning as well. Code: https://gitlab.com/nct_tso_public/pitfalls_bn.