位置埋め込みを自然に学習し、従来の暗黙的ニューラル表現ネットワークが直面する低周波数へのスペクトル バイアスを克服するように設計されたニューラル ネットワーク アーキテクチャを紹介します。私たちが提案するアーキテクチャである SPDER は、減衰関数と呼ばれる、正弦波と副線形関数の積で構成される活性化関数を使用する単純な MLP です。正弦波により、ネットワークは入力座標の位置埋め込みを自動的に学習できるようになり、ダンピングは実際の座標値が有限範囲の値内に投影されるのを防ぐことでその値を渡します。私たちの結果は、SPDER が最先端の画像表現よりもトレーニングを 10 倍高速化し、損失が 1,500 ~ 50,000 分の 1 に収束することを示しています。 SPDER はオーディオ表現においても最先端です。優れた表現能力により、SPDER は画像の超解像度やビデオ フレーム補間などの複数の下流タスクでも優れた性能を発揮します。 SPDER がハイパーパラメーターの調整や前処理を必要とせずに、他の INR 手法と比較してフィッティングを大幅に向上させる理由について直感的に説明します。
We present a neural network architecture designed to naturally learn a positional embedding and overcome the spectral bias towards lower frequencies faced by conventional implicit neural representation networks. Our proposed architecture, SPDER, is a simple MLP that uses an activation function composed of a sinusoidal multiplied by a sublinear function, called the damping function. The sinusoidal enables the network to automatically learn the positional embedding of an input coordinate while the damping passes on the actual coordinate value by preventing it from being projected down to within a finite range of values. Our results indicate that SPDERs speed up training by 10x and converge to losses 1,500-50,000x lower than that of the state-of-the-art for image representation. SPDER is also state-of-the-art in audio representation. The superior representation capability allows SPDER to also excel on multiple downstream tasks such as image super-resolution and video frame interpolation. We provide intuition as to why SPDER significantly improves fitting compared to that of other INR methods while requiring no hyperparameter tuning or preprocessing.