スペクトルバイアスを回避することを可能にする新しい設計によって推進され、暗黙の神経表現(INR)は、信号の古典的な離散化表現の有望な代替手段として最近浮上しました。それにもかかわらず、それらの実際的な成功にもかかわらず、INRが信号をどのように表すかについての適切な理論的特性がまだ不足しています。この作業では、このギャップを埋めることを目指し、INRを理論的に分析するための新しい統一された視点を提案します。調和解析と深層学習理論の結果を活用して、ほとんどのINRファミリは、原子が初期マッピング周波数のセットの整数高調波である構造化信号辞書に類似していることを示します。この構造により、INRは、深さとともに直線的にのみ増加する多数のパラメーターを使用して、指数関数的に増加する周波数サポートで信号を表現できます。その後、経験的ニューラルタンジェントカーネル(NTK)に関する最近の結果を利用して、INRの誘導バイアスを調査します。具体的には、NTKの固有関数は、ターゲット信号との内積が再構成の最終的なパフォーマンスを決定する辞書アトムと見なすことができることを示します。この点で、メタ学習の初期化には、辞書学習に類似したNTKの再形成効果があり、メタトレーニング中に見られる例の組み合わせとして辞書アトムを構築することを明らかにします。私たちの結果は、新しいINRアーキテクチャを設計および調整することを可能にしますが、より広い深層学習理論コミュニティにとっても興味深いものになる可能性があります。
Propelled by new designs that permit to circumvent the spectral bias, implicit neural representations (INRs) have recently emerged as a promising alternative to classical discretized representations of signals. Nevertheless, despite their practical success, we still lack a proper theoretical characterization of how INRs represent signals. In this work, we aim to fill this gap, and we propose a novel unified perspective to theoretically analyse INRs. Leveraging results from harmonic analysis and deep learning theory, we show that most INR families are analogous to structured signal dictionaries whose atoms are integer harmonics of the set of initial mapping frequencies. This structure allows INRs to express signals with an exponentially increasing frequency support using a number of parameters that only grows linearly with depth. Afterwards, we explore the inductive bias of INRs exploiting recent results about the empirical neural tangent kernel (NTK). Specifically, we show that the eigenfunctions of the NTK can be seen as dictionary atoms whose inner product with the target signal determines the final performance of their reconstruction. In this regard, we reveal that meta-learning the initialization has a reshaping effect of the NTK analogous to dictionary learning, building dictionary atoms as a combination of the examples seen during meta-training. Our results permit to design and tune novel INR architectures, but can also be of interest for the wider deep learning theory community.