arXiv reaDer
FIANCEE: 条件付き早期終了による敵対的ネットワークのより高速な推論
FIANCEE: Faster Inference of Adversarial Networks via Conditional Early Exits
ジェネレーティブ DNN は画像合成の強力なツールですが、計算負荷によって制限されます。一方、訓練されたモデルとタスク (たとえば、特徴の範囲内での顔の生成) が与えられた場合、出力画像の品質は、異なる特徴を持つ画像間で不均一に分布します。したがって、場合によってはモデルの複雑さを抑え、高品質を維持することができます。いわゆる初期出口分岐を元のアーキテクチャに追加し、出力のレンダリングの難易度に応じて計算パスを動的に切り替えることで、計算量を削減する方法を提案します。生成タスクを実行する 2 つの異なる SOTA モデルにこの方法を適用します。カスタムの低品質しきい値で画像を出力できることを示しています。 LPIPS <=0.1 のしきい値の場合、計算を最大で半分に減らします。これは、品質の低下を抑える必要がある顔の合成などのリアルタイム アプリケーションに特に関連しますが、ほとんどの入力は複雑なインスタンスよりも少ない計算で済みます。
Generative DNNs are a powerful tool for image synthesis, but they are limited by their computational load. On the other hand, given a trained model and a task, e.g. faces generation within a range of characteristics, the output image quality will be unevenly distributed among images with different characteristics. It follows, that we might restrain the models complexity on some instances, maintaining a high quality. We propose a method for diminishing computations by adding so-called early exit branches to the original architecture, and dynamically switching the computational path depending on how difficult it will be to render the output. We apply our method on two different SOTA models performing generative tasks: generation from a semantic map, and cross-reenactment of face expressions; showing it is able to output images with custom lower-quality thresholds. For a threshold of LPIPS <=0.1, we diminish their computations by up to a half. This is especially relevant for real-time applications such as synthesis of faces, when quality loss needs to be contained, but most of the inputs need fewer computations than the complex instances.
updated: Thu Apr 20 2023 13:40:49 GMT+0000 (UTC)
published: Thu Apr 20 2023 13:40:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト