転送可能性の見積もりは、ソースモデル(ソースタスク)をターゲットタスクに転送するときのパフォーマンスがどれだけ優れているかを予測するための転送学習における重要な問題です。最近の分析転送可能性メトリックは、ソースモデルの選択とマルチタスク学習に広く使用されています。以前のメトリックは、困難なクロスドメインクロスタスク転送設定では十分に機能しませんが、最近のOTCEスコアは、補助タスクを使用して注目に値するパフォーマンスを達成します。 OTベースのNCEスコアという名前の簡略化されたバージョンは、精度を犠牲にして効率を高めますが、さらに改善することができます。したがって、OTCEスコアよりも効率的で、OTベースのNCEスコアよりも正確な、クロスドメインクロスタスク転送可能性推定パフォーマンスをさらに改善するために、JC-NCEスコアと呼ばれる実用的な転送可能性メトリックを提案します。具体的には、サンプル距離とラベル距離の両方を考慮して最適な輸送問題を解くことにより、ソースデータとターゲットデータ間の共同対応を構築し、転送可能性スコアを負の条件付きエントロピーとして計算します。データセット内およびデータセット間転送設定での広範な検証により、JC-NCEスコアがOTベースのNCEスコアをそれぞれ約7%および12%向上していることが示されています。
Transferability estimation is an essential problem in transfer learning to predict how good the performance is when transfer a source model (source task) to a target task. Recent analytical transferability metrics have been widely used for source model selection and multi-task learning. Earlier metrics does not work sufficiently well under the challenging cross-domain cross-task transfer settings, but recent OTCE score achieves a noteworthy performance using auxiliary tasks. A simplified version named OT-based NCE score sacrifices accuracy to be more efficient, but it can be further improved. Consequently, we propose a practical transferability metric called JC-NCE score to further improve the cross-domain cross-task transferability estimation performance, which is more efficient than the OTCE score and more accurate than the OT-based NCE score. Specifically, we build the joint correspondences between source and target data via solving an optimal transport problem with considering both the sample distance and label distance, and then compute the transferability score as the negative conditional entropy. Extensive validations under the intra-dataset and inter-dataset transfer settings demonstrate that our JC-NCE score outperforms the OT-based NCE score with about 7% and 12% gains, respectively.