arXiv reaDer
マイクロビデオ製品検索のためのマルチキュー モメンタム コントラスト
Multi-queue Momentum Contrast for Microvideo-Product Retrieval
マイクロビデオの急成長と巨大な市場は、商人に新しい電子商取引チャネルをもたらします。現在、関連する広告をマイクロビデオに埋め込むことを好むマイクロビデオパブリッシャーが増えています。これにより、ビジネス収入が得られるだけでなく、視聴者が興味深い製品を発見するのにも役立ちます。しかし、さまざまなトピックを含み、複数のモダリティを含む、非専門的な機器によるマイクロビデオの記録により、マイクロビデオに関連する製品を効率的、適切、かつ正確に見つけることは困難です。マルチモーダルインスタンスとマルチモーダルインスタンス間の検索を調査する最初の試みである、マイクロビデオ製品検索タスクを定式化します。マルチキュー モメンタム コントラスト (MQMC) ネットワークという名前の新しいアプローチが双方向検索のために提案され、ユニモーダル機能とマルチモーダル インスタンス表現学習から構成されます。さらに、マルチキューを使用した識別選択戦略を使用して、カテゴリに基づいてさまざまなネガの重要性を区別します。評価のために 2 つの大規模なマイクロビデオ製品データセット (MVS および MVS-large) を収集し、日常生活のさまざまな製品をカバーする階層カテゴリ オントロジーを手動で構築します。広範な実験により、MQMC が最先端のベースラインよりも優れていることが示されています。レプリケーション パッケージ (コード、データセットなどを含む) は、https://github.com/duyali2000/MQMC で公開されています。
The booming development and huge market of micro-videos bring new e-commerce channels for merchants. Currently, more micro-video publishers prefer to embed relevant ads into their micro-videos, which not only provides them with business income but helps the audiences to discover their interesting products. However, due to the micro-video recording by unprofessional equipment, involving various topics and including multiple modalities, it is challenging to locate the products related to micro-videos efficiently, appropriately, and accurately. We formulate the microvideo-product retrieval task, which is the first attempt to explore the retrieval between the multi-modal and multi-modal instances. A novel approach named Multi-Queue Momentum Contrast (MQMC) network is proposed for bidirectional retrieval, consisting of the uni-modal feature and multi-modal instance representation learning. Moreover, a discriminative selection strategy with a multi-queue is used to distinguish the importance of different negatives based on their categories. We collect two large-scale microvideo-product datasets (MVS and MVS-large) for evaluation and manually construct the hierarchical category ontology, which covers sundry products in daily life. Extensive experiments show that MQMC outperforms the state-of-the-art baselines. Our replication package (including code, dataset, etc.) is publicly available at https://github.com/duyali2000/MQMC.
updated: Thu Dec 22 2022 03:47:14 GMT+0000 (UTC)
published: Thu Dec 22 2022 03:47:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト