このホワイト ペーパーでは、特に画像のような高次元アイテムの場合に、いくつかの基準に基づいて 2 つの異なるアイテム セットを照合する、セット間の照合の問題に対処します。この問題を解決するためにニューラル ネットワークが適用されていますが、機械学習ベースのアプローチのほとんどは、トレーニング データとテスト データが同じ分布に従うことを前提としています。これは、実際のシナリオでは常に当てはまるとは限りません。この制限に対処するために、トレーニングとテストの間でデータの分布が変化する場合に、セット間のマッチング モデルを評価するために使用できるデータセットである SHIFT15M を導入します。分布シフトによる単純なメソッドのパフォーマンス低下を実証するベンチマーク実験を実施します。さらに、SHIFT15M データセットを簡単に操作するためのソフトウェアを提供しており、このソフトウェアの URL は、この原稿の発行後に利用できるようになります。提案されたSHIFT15Mデータセットは、分布シフトの下でセット間マッチングモデルを評価するための貴重なリソースを提供すると考えています。
This paper addresses the problem of set-to-set matching, which involves matching two different sets of items based on some criteria, especially in the case of high-dimensional items like images. Although neural networks have been applied to solve this problem, most machine learning-based approaches assume that the training and test data follow the same distribution, which is not always true in real-world scenarios. To address this limitation, we introduce SHIFT15M, a dataset that can be used to evaluate set-to-set matching models when the distribution of data changes between training and testing. We conduct benchmark experiments that demonstrate the performance drop of naive methods due to distribution shift. Additionally, we provide software to handle the SHIFT15M dataset in a simple manner, with the URL for the software to be made available after publication of this manuscript. We believe proposed SHIFT15M dataset provide a valuable resource for evaluating set-to-set matching models under the distribution shift.