外部のユーザー提供のガイダンス画像によって提供される制約を尊重しながら、入力画像を別の画像に変換するガイド付き画像から画像への変換の問題に対処します。入力連結、機能連結、および機能アクティベーションの条件付きアフィン変換など、特定のガイダンスイメージを活用するためのさまざまな条件付け方法が検討されています。ただし、これらの調整メカニズムはすべて単方向です。つまり、入力画像からガイダンスに戻る情報はありません。ガイダンス画像の制約をより有効に活用するために、双方向特徴変換(bFT)スキームを提示します。私たちのbFTスキームは、他の条件付けスキームよりも優れており、さまざまなタスクでの最先端の方法に匹敵する結果があることを示しています。
We address the problem of guided image-to-image translation where we translate an input image into another while respecting the constraints provided by an external, user-provided guidance image. Various conditioning methods for leveraging the given guidance image have been explored, including input concatenation , feature concatenation, and conditional affine transformation of feature activations. All these conditioning mechanisms, however, are uni-directional, i.e., no information flow from the input image back to the guidance. To better utilize the constraints of the guidance image, we present a bi-directional feature transformation (bFT) scheme. We show that our bFT scheme outperforms other conditioning schemes and has comparable results to state-of-the-art methods on different tasks.