arXiv reaDer
拡散ハイパーフィーチャー: 時間と空間を通した意味的対応の検索
Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence
拡散モデルは高品質の画像を生成できることが示されており、拡散モデルには意味のある内部表現が含まれている可能性があることが示唆されています。残念ながら、拡散モデルの内部情報をエンコードする特徴マップは、ネットワークの層だけでなく拡散タイムステップにも分散しているため、有用な記述子を抽出することが困難になります。私たちは、マルチスケールおよびマルチタイムステップの特徴マップを、下流のタスクに使用できるピクセルごとの特徴記述子に統合するためのフレームワークである Diffusion Hyperfeatures を提案します。これらの記述子は、生成および反転プロセスを使用して、合成画像と実際の画像の両方について抽出できます。意味論的なキーポイント対応のタスクにおける拡散ハイパー機能の有用性を評価します。私たちの方法は、SPair-71k 実画像ベンチマークで優れたパフォーマンスを達成します。また、私たちの方法が柔軟で移転可能であることも実証します。実際の画像ペアの反転特徴でトレーニングされた特徴集約ネットワークは、目に見えない物体や構図を含む合成画像ペアの生成特徴に使用できます。私たちのコードは で入手できます。
Diffusion models have been shown to be capable of generating high-quality images, suggesting that they could contain meaningful internal representations. Unfortunately, the feature maps that encode a diffusion model's internal information are spread not only over layers of the network, but also over diffusion timesteps, making it challenging to extract useful descriptors. We propose Diffusion Hyperfeatures, a framework for consolidating multi-scale and multi-timestep feature maps into per-pixel feature descriptors that can be used for downstream tasks. These descriptors can be extracted for both synthetic and real images using the generation and inversion processes. We evaluate the utility of our Diffusion Hyperfeatures on the task of semantic keypoint correspondence: our method achieves superior performance on the SPair-71k real image benchmark. We also demonstrate that our method is flexible and transferable: our feature aggregation network trained on the inversion features of real image pairs can be used on the generation features of synthetic image pairs with unseen objects and compositions. Our code is available at
updated: Mon Apr 01 2024 19:16:24 GMT+0000 (UTC)
published: Tue May 23 2023 17:58:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト