座標ベースのMLPは、フーリエ特徴の配列として座標位置をエンコードすることにより、高周波情報を保持するという点でメリットがあることはよく知られています。これまで、これらの位置エンコーディングの有効性の理論的根拠は、フーリエレンズを通してのみ研究されてきました。この論文では、代替の非フーリエ埋め込み関数が実際に位置符号化に使用できることを示すことにより、この理解を広げるよう努めています。さらに、それらのパフォーマンスは、埋め込まれた行列の安定したランクと埋め込まれた座標間の距離の保存との間のトレードオフによって完全に決定されることを示します。さらに、現在普及している位置のフーリエ特徴マッピングは、これらの条件を満たす特殊なケースであることを確立します。したがって、シフトされた基底関数の観点から位置エンコーディングを分析するためのより一般的な理論を提示します。この目的のために、私たちは必要な理論式を開発し、私たちの理論的主張が実際に成り立つことを経験的に検証します。 https://github.com/osiriszjq/Rethinking-positional-encodingで入手可能なコード。
It is well noted that coordinate based MLPs benefit -- in terms of preserving high-frequency information -- through the encoding of coordinate positions as an array of Fourier features. Hitherto, the rationale for the effectiveness of these positional encodings has been solely studied through a Fourier lens. In this paper, we strive to broaden this understanding by showing that alternative non-Fourier embedding functions can indeed be used for positional encoding. Moreover, we show that their performance is entirely determined by a trade-off between the stable rank of the embedded matrix and the distance preservation between embedded coordinates. We further establish that the now ubiquitous Fourier feature mapping of position is a special case that fulfills these conditions. Consequently, we present a more general theory to analyze positional encoding in terms of shifted basis functions. To this end, we develop the necessary theoretical formulae and empirically verify that our theoretical claims hold in practice. Codes available at https://github.com/osiriszjq/Rethinking-positional-encoding.