arXiv reaDer
Deep Neural Networks are Surprisingly Reversible: A Baseline for Zero-Shot Inversion
事前にトレーニングされたディープニューラルネットワーク(DNN)の動作と脆弱性を理解することは、それらを改善するのに役立ちます。分析は、ネットワークのフローを逆にして、内部表現から入力を生成することで実行できます。ほとんどの既存の作業は、モデルを反転するために事前またはデータ集約型の最適化に依存していますが、深いアーキテクチャや複雑なデータセットに拡張するのに苦労しています。このホワイトペーパーでは、内部表現のみを指定して、トレーニング済みモデルへの入力を復元するゼロショット直接モデル反転フレームワークを紹介します。私たちの方法の核心は、分割統治法でDNNを反転させ、合成データの助けを借りてサイクル整合性ガイダンスを介して反転層を再同期することです。その結果、元のタスクの実際のデータを見ることなく、単一のフォワードパスで反転できる単一のフィードフォワードモデルが得られます。提案されたアプローチでは、ゼロショットの直接反転を深いアーキテクチャと複雑なデータセットにスケーリングします。 ImageNetの最新の分類モデルは、驚くべきことに反転できることを経験的に示しています。これにより、20層を超える後の表現から、元の224x224pxの画像をおおよそ復元できます。さらに、GANのジェネレーターを反転すると、128x128pxの特定の合成顔画像の潜在コードが明らかになり、GANからの欠陥のある合成画像を改善することもできます。
Understanding the behavior and vulnerability of pre-trained deep neural networks (DNNs) can help to improve them. Analysis can be performed via reversing the network's flow to generate inputs from internal representations. Most existing work relies on priors or data-intensive optimization to invert a model, yet struggles to scale to deep architectures and complex datasets. This paper presents a zero-shot direct model inversion framework that recovers the input to the trained model given only the internal representation. The crux of our method is to inverse the DNN in a divide-and-conquer manner while re-syncing the inverted layers via cycle-consistency guidance with the help of synthesized data. As a result, we obtain a single feed-forward model capable of inversion with a single forward pass without seeing any real data of the original task. With the proposed approach, we scale zero-shot direct inversion to deep architectures and complex datasets. We empirically show that modern classification models on ImageNet can, surprisingly, be inverted, allowing an approximate recovery of the original 224x224px images from a representation after more than 20 layers. Moreover, inversion of generators in GANs unveils latent code of a given synthesized face image at 128x128px, which can even, in turn, improve defective synthesized images from GANs.
updated: Tue Jul 13 2021 18:01:43 GMT+0000 (UTC)
published: Tue Jul 13 2021 18:01:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト