arXiv reaDer
カーネルベースの補間アーキテクチャのパラメータ削減のためのマルチエンコーダネットワーク
Multi-encoder Network for Parameter Reduction of a Kernel-based Interpolation Architecture
ビデオフレーム補間には、既存のフレームからの新しいフレームの合成が含まれます。畳み込みニューラルネットワーク(CNN)は、この分野における最近の進歩の最前線にあります。一般的なCNNベースのアプローチの1つは、生成されたカーネルを入力フレームに適用して、補間されたフレームを取得することです。内挿法が提供するすべての利点にもかかわらず、これらのネットワークの多くは多くのパラメーターを必要とし、パラメーターが多いほど計算負荷が大きくなります。モデルのサイズを小さくすると、通常、パフォーマンスに悪影響を及ぼします。このホワイトペーパーでは、一般的なフローレスカーネルベースのネットワーク(フローの適応型コラボレーション)のパラメータ削減方法を紹介します。最も多くのパラメーターを必要とするレイヤーを削除し、それらをより小さなエンコーダーに置き換えるという私たちの手法により、ネットワークのパラメーターの数を減らし、元の方法と比較してさらに優れたパフォーマンスを実現します。これは、回転を展開して、個々のエンコーダーに入力画像からさまざまな機能を学習させることによって実現されます。デザインの選択を正当化するためにアブレーションが行われ、私たちの方法がフルレングスのビデオでどのように機能するかについての評価が提示されます。
Video frame interpolation involves the synthesis of new frames from existing ones. Convolutional neural networks (CNNs) have been at the forefront of the recent advances in this field. One popular CNN-based approach involves the application of generated kernels to the input frames to obtain an interpolated frame. Despite all the benefits interpolation methods offer, many of these networks require a lot of parameters, with more parameters meaning a heavier computational burden. Reducing the size of the model typically impacts performance negatively. This paper presents a method for parameter reduction for a popular flow-less kernel-based network (Adaptive Collaboration of Flows). Through our technique of removing the layers that require the most parameters and replacing them with smaller encoders, we reduce the number of parameters of the network and even achieve better performance compared to the original method. This is achieved by deploying rotation to force each individual encoder to learn different features from the input images. Ablations are conducted to justify design choices and an evaluation on how our method performs on full-length videos is presented.
updated: Fri May 13 2022 16:02:55 GMT+0000 (UTC)
published: Fri May 13 2022 16:02:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト