このレポートでは、EPIC-Kitchen-100アクション予測チャレンジへの提出の技術的な詳細について説明します。私たちのモデリング、高次の反復時空間トランスフォーマー、およびエッジ学習を備えたメッセージパッシングニューラルネットワークは、どちらも反復ベースのアーキテクチャであり、アクション予測予測を形成するためにわずか2.5秒の推論コンテキストを観察します。提案されたトレーニングパイプラインでコンパイルされた一連のモデルからの予測スコアを平均することにより、テストセットで強力なパフォーマンスを達成しました。これは、パブリックリーダーボードで2位として記録された全体の平均トップ5リコールの19.61%です。
In this report, we describe the technical details of our submission for the EPIC-Kitchen-100 action anticipation challenge. Our modelings, the higher-order recurrent space-time transformer and the message-passing neural network with edge learning, are both recurrent-based architectures which observe only 2.5 seconds inference context to form the action anticipation prediction. By averaging the prediction scores from a set of models compiled with our proposed training pipeline, we achieved strong performance on the test set, which is 19.61% overall mean top-5 recall, recorded as second place on the public leaderboard.