arXiv reaDer
オープンワールドの構成的ゼロショット学習
Open World Compositional Zero-Shot Learning
構成ゼロショット学習(CZSL)では、トレーニング中に見えない状態オブジェクトの構成を認識する必要があります。この作品では、目に見えない構図についての事前知識の存在を想定する代わりに、検索スペースに目に見えない構図が多数含まれているオープンワールドの設定で動作します。この設定では、視覚的特徴と構成的埋め込みの間のコサイン類似性から始めます。各構図の実現可能性スコアを推定した後、これらのスコアを使用して、出力スペースを直接マスクするか、トレーニング中の視覚的特徴と構図埋め込みの間のコサイン類似性のマージンとして使用します。 2つの標準CZSLベンチマークでの実験では、オープンワールドの設定に適用すると、すべての方法でパフォーマンスが大幅に低下することが示されています。シンプルなCZSLモデルは、クローズドワールドシナリオで最先端のパフォーマンスを実現しますが、実現可能性スコアは、オープンワールド設定でのアプローチのパフォーマンスを向上させ、以前の最先端技術を明らかに上回ります。
Compositional Zero-Shot learning (CZSL) requires to recognize state-object compositions unseen during training. In this work, instead of assuming the presence of prior knowledge about the unseen compositions, we operate on the open world setting, where the search space includes a large number of unseen compositions some of which might be unfeasible. In this setting, we start from the cosine similarity between visual features and compositional embeddings. After estimating the feasibility score of each composition, we use these scores to either directly mask the output space or as a margin for the cosine similarity between visual features and compositional embeddings during training. Our experiments on two standard CZSL benchmarks show that all the methods suffer severe performance degradation when applied in the open world setting. While our simple CZSL model achieves state-of-the-art performances in the closed world scenario, our feasibility scores boost the performance of our approach in the open world setting, clearly outperforming the previous state of the art.
updated: Fri Jan 29 2021 14:45:52 GMT+0000 (UTC)
published: Fri Jan 29 2021 14:45:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト