逆問題を解決するための効率的で効果的かつ一般的なアプローチを紹介します。重要なアイデアは、フォワードプロセスによって提供されるフィードバック信号を活用し、反復更新モデルを学習することです。具体的には、各反復で、ニューラルネットワークはフィードバックを入力として受け取り、現在の推定値の更新を出力します。私たちのアプローチには、フォワードプロセスに制限はありません。事前の知識も必要ありません。フィードバック情報を通じて、私たちのモデルは、入力観測に一貫した正確な推定を生成できるだけでなく、初期の誤った予測から回復することもできます。 6自由度のポーズ推定、照明推定、逆運動学など、さまざまな逆問題に対するアプローチのパフォーマンスを検証します。従来の最適化ベースの方法と比較すると、2〜3桁高速でありながら、同等以上のパフォーマンスを実現できます。ディープラーニングベースのアプローチと比較して、私たちのモデルは一貫してすべてのメトリックのパフォーマンスを向上させます。ビデオ、アニメーション、補足資料などについては、プロジェクトページを参照してください。
We present an efficient, effective, and generic approach towards solving inverse problems. The key idea is to leverage the feedback signal provided by the forward process and learn an iterative update model. Specifically, at each iteration, the neural network takes the feedback as input and outputs an update on the current estimation. Our approach does not have any restrictions on the forward process; it does not require any prior knowledge either. Through the feedback information, our model not only can produce accurate estimations that are coherent to the input observation but also is capable of recovering from early incorrect predictions. We verify the performance of our approach over a wide range of inverse problems, including 6-DOF pose estimation, illumination estimation, as well as inverse kinematics. Comparing to traditional optimization-based methods, we can achieve comparable or better performance while being two to three orders of magnitude faster. Compared to deep learning-based approaches, our model consistently improves the performance on all metrics. Please refer to the project page for videos, animations, supplementary materials, etc.