arXiv reaDer
イタリアの料理人がインドの整備士に何を教えられるでしょうか?シナリオと場所にわたるアクション認識の一般化
What can a cook in Italy teach a mechanic in India? Action Recognition Generalisation Over Scenarios and Locations
私たちは、新しい一般化問題を提案し、それに取り組みます。アクション認識用にトレーニングされたモデルは、アクションがこれまで見たことのないシナリオや場所で実行される場合に、正常に分類できるでしょうか?この質問に答えるために、シナリオと場所に関するアクション認識一般化データセット (ARGO1M) を紹介します。これには、10 のシナリオと 13 の場所にわたる、大規模な Ego4D データセットからの 110 万個のビデオ クリップが含まれています。私たちは、認識モデルが、それぞれが見えない場所での見えないシナリオである 10 を超える提案されたテスト分割を一般化するのに苦労していることを実証しました。そこで、我々は、各ビデオを他のドメインからのビデオのクロスインスタンス再構成として表現する方法である CIR を提案します。再構成はテキストのナレーションと組み合わされて、ドメインの一般化可能な表現の学習をガイドします。当社は ARGO1M に関する広範な分析とアブレーションを提供し、CIR がすべてのテスト分割で以前のドメイン一般化作業を上回るパフォーマンスを示しています。コードとデータ: https://chiaraplizz.github.io/what-c​​an-a-cook/。
We propose and address a new generalisation problem: can a model trained for action recognition successfully classify actions when they are performed within a previously unseen scenario and in a previously unseen location? To answer this question, we introduce the Action Recognition Generalisation Over scenarios and locations dataset (ARGO1M), which contains 1.1M video clips from the large-scale Ego4D dataset, across 10 scenarios and 13 locations. We demonstrate recognition models struggle to generalise over 10 proposed test splits, each of an unseen scenario in an unseen location. We thus propose CIR, a method to represent each video as a Cross-Instance Reconstruction of videos from other domains. Reconstructions are paired with text narrations to guide the learning of a domain generalisable representation. We provide extensive analysis and ablations on ARGO1M that show CIR outperforms prior domain generalisation works on all test splits. Code and data: https://chiaraplizz.github.io/what-can-a-cook/.
updated: Wed Jun 14 2023 19:31:50 GMT+0000 (UTC)
published: Wed Jun 14 2023 19:31:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト