座標ベースのMLPは、フーリエ特徴の配列として座標位置をエンコードすることにより、高周波情報を保持するという点でメリットがあることはよく知られています。これまで、これらの位置エンコーディングの有効性の理論的根拠は、主にフーリエレンズを通して研究されてきました。この論文では、代替の非フーリエ埋め込み関数が実際に位置符号化に使用できることを示すことにより、この理解を広げるよう努めています。さらに、それらのパフォーマンスは、埋め込まれた行列の安定したランクと埋め込まれた座標間の距離の保存との間のトレードオフによって完全に決定されることを示します。さらに、現在普及している位置のフーリエ特徴マッピングは、これらの条件を満たす特殊なケースであることを確立します。したがって、シフトされた基底関数の観点から位置エンコーディングを分析するためのより一般的な理論を提示します。さらに、モードの数に応じて指数関数的にスケーリングする、より複雑な位置エンコーディングを採用する場合、同等のパフォーマンスを実現するには、線形(深いではなく)座標関数のみが必要であると主張します。直感に反して、ネットワークの深さに対する位置埋め込みの複雑さの取引は、現在の最先端技術よりも桁違いに速いことを示しています。追加の埋め込みの複雑さにもかかわらず。この目的のために、私たちは必要な理論式を開発し、私たちの理論的主張が実際に成り立つことを経験的に検証します。
It is well noted that coordinate-based MLPs benefit -- in terms of preserving high-frequency information -- through the encoding of coordinate positions as an array of Fourier features. Hitherto, the rationale for the effectiveness of these positional encodings has been mainly studied through a Fourier lens. In this paper, we strive to broaden this understanding by showing that alternative non-Fourier embedding functions can indeed be used for positional encoding. Moreover, we show that their performance is entirely determined by a trade-off between the stable rank of the embedded matrix and the distance preservation between embedded coordinates. We further establish that the now ubiquitous Fourier feature mapping of position is a special case that fulfills these conditions. Consequently, we present a more general theory to analyze positional encoding in terms of shifted basis functions. In addition, we argue that employing a more complex positional encoding -- that scales exponentially with the number of modes -- requires only a linear (rather than deep) coordinate function to achieve comparable performance. Counter-intuitively, we demonstrate that trading positional embedding complexity for network deepness is orders of magnitude faster than current state-of-the-art; despite the additional embedding complexity. To this end, we develop the necessary theoretical formulae and empirically verify that our theoretical claims hold in practice.