従来のOT(Optimal Transport)手法は、主に輸送コスト・距離の最小化を基準に最適な輸送計画・マッチングを導き出すため、場合によっては誤ったマッチングを引き起こす可能性があります。多くのアプリケーションでは、ドメイン間で一致するいくつかのキーポイントに注釈を付けることが合理的であるか、注釈の負担を軽減することさえできます。注釈付きのキーポイントを活用して、OT で正しいマッチングを導く方法を調査することは価値があります。この論文では、OTのキーポイントによって導かれる最適なマッチング(つまり、輸送計画)を検索する、ReLation保存による新しいKeyPoint-Guidedモデル(KPG-RL)を提案します。 OT でキーポイントを課すために、まず、キーポイント ペアの一致を維持するトランスポート プランのマスクベースの制約を提案します。次に、各データ ポイントとキーポイントの関係を保持して、マッチングをガイドすることを提案します。提案された KPG-RL モデルは、Sinkhorn のアルゴリズムによって解くことができ、分布が異なる空間でサポートされている場合でも適用できます。さらに、Kantorovich 問題と Gromov-Wasserstein モデルの関係保存制約を利用して、キーポイントのガイダンスを課します。一方、提案された KPG-RL モデルは、部分的な OT 設定に拡張されます。さらに、深層学習技術を使用して解決される KPG-RL モデルの二重定式化を推論します。デュアルKPG-RLから学習した輸送計画に基づいて、ソースデータをターゲットドメインに輸送するための新しいマニホールド重心投影を提案します。アプリケーションとして、提案した KPG-RL モデルを異種ドメイン適応と画像から画像への変換に適用します。実験により、提案されたアプローチの有効性が検証されました。
Existing Optimal Transport (OT) methods mainly derive the optimal transport plan/matching under the criterion of transport cost/distance minimization, which may cause incorrect matching in some cases. In many applications, annotating a few matched keypoints across domains is reasonable or even effortless in annotation burden. It is valuable to investigate how to leverage the annotated keypoints to guide the correct matching in OT. In this paper, we propose a novel KeyPoint-Guided model by ReLation preservation (KPG-RL) that searches for the optimal matching (i.e., transport plan) guided by the keypoints in OT. To impose the keypoints in OT, first, we propose a mask-based constraint of the transport plan that preserves the matching of keypoint pairs. Second, we propose to preserve the relation of each data point to the keypoints to guide the matching. The proposed KPG-RL model can be solved by Sinkhorn's algorithm and is applicable even when distributions are supported in different spaces. We further utilize the relation preservation constraint in the Kantorovich Problem and Gromov-Wasserstein model to impose the guidance of keypoints in them. Meanwhile, the proposed KPG-RL model is extended to the partial OT setting. Moreover, we deduce the dual formulation of the KPG-RL model, which is solved using deep learning techniques. Based on the learned transport plan from dual KPG-RL, we propose a novel manifold barycentric projection to transport source data to the target domain. As applications, we apply the proposed KPG-RL model to the heterogeneous domain adaptation and image-to-image translation. Experiments verified the effectiveness of the proposed approach.