ここでは、正確で鮮明な将来のフレームを生成することを目的とした予測コーディング ベースのモデルを紹介します。予測符号化仮説と関連研究に触発され、ボトムアップとトップダウンの情報フローの組み合わせを通じてモデル全体が更新され、異なるネットワーク レベル間の相互作用を強化できます。最も重要なことは、ニューラル ネットワークが明確で自然なフレームを生成できるようにするために、いくつかのアーティファクトを提案および改善していることです。異なる入力は単純に連結または追加されるのではなく、大まかに融合されることを避けるために変調された方法で計算されます。ダウンサンプリング モジュールとアップサンプリング モジュールは、ネットワークが低周波数入力のフーリエ特徴からより簡単に画像を構築できるように再設計されました。さらに、信頼できる結果を生成し、入力予測フレームとグラウンド トゥルース間の不一致を軽減するために、トレーニング戦略も調査および改善されます。私たちの提案は、ピクセル精度と視覚化効果のより良いバランスを実現する結果をもたらします。
We introduce here a predictive coding based model that aims to generate accurate and sharp future frames. Inspired by the predictive coding hypothesis and related works, the total model is updated through a combination of bottom-up and top-down information flows, which can enhance the interaction between different network levels. Most importantly, We propose and improve several artifacts to ensure that the neural networks generate clear and natural frames. Different inputs are no longer simply concatenated or added, they are calculated in a modulated manner to avoid being roughly fused. The downsampling and upsampling modules have been redesigned to ensure that the network can more easily construct images from Fourier features of low-frequency inputs. Additionally, the training strategies are also explored and improved to generate believable results and alleviate inconsistency between the input predicted frames and ground truth. Our proposals achieve results that better balance pixel accuracy and visualization effect.