画像/ビデオから人間と物体の関係を推測する人間と物体の相互作用(HOI)の検出は、高レベルのシーンを理解するための基本的なタスクです。ただし、HOI検出は通常、オブジェクトとの相互作用のオープンなロングテールの性質に悩まされますが、人間はまれなまたは見えないHOIサンプルを認識する非常に強力な構成認識能力を持っています。これに触発されて、オープンロングテールHOI検出の問題に対処するために、Fabricated Composition Learning(FCL)と呼ばれる新しいHOI構成学習フレームワークを考案します。具体的には、オブジェクトファブリケーターを導入して効果的なオブジェクト表現を生成し、動詞とファブリケーションされたオブジェクトを組み合わせて新しいHOIサンプルを作成します。提案されたオブジェクトファブリケーターを使用すると、まれで目に見えないカテゴリの大規模なHOIサンプルを生成して、HOI検出における未解決の長い尾の問題を軽減することができます。最も人気のあるHOI検出データセットであるHICO-DETでの広範な実験は、不均衡なHOI検出のための提案された方法の有効性を示し、まれで目に見えないHOIカテゴリでの最先端のパフォーマンスを大幅に改善します。コードはhttps://github.com/zhihou7/HOI-CLで入手できます。
Human-Object Interaction (HOI) detection, inferring the relationships between human and objects from images/videos, is a fundamental task for high-level scene understanding. However, HOI detection usually suffers from the open long-tailed nature of interactions with objects, while human has extremely powerful compositional perception ability to cognize rare or unseen HOI samples. Inspired by this, we devise a novel HOI compositional learning framework, termed as Fabricated Compositional Learning (FCL), to address the problem of open long-tailed HOI detection. Specifically, we introduce an object fabricator to generate effective object representations, and then combine verbs and fabricated objects to compose new HOI samples. With the proposed object fabricator, we are able to generate large-scale HOI samples for rare and unseen categories to alleviate the open long-tailed issues in HOI detection. Extensive experiments on the most popular HOI detection dataset, HICO-DET, demonstrate the effectiveness of the proposed method for imbalanced HOI detection and significantly improve the state-of-the-art performance on rare and unseen HOI categories. Code is available at https://github.com/zhihou7/HOI-CL.