インスタンスセグメンテーションマスクを生成するために暗黙の神経表現と組み合わせたフーリエ級数を使用するFourierMaskを提示します。フーリエマッピング(FM)を座標位置に適用し、マッピングされた特徴を陰的表現(座標ベースの多層パーセプトロン(MLP))への入力として利用します。フーリエマスクは、特定のインスタンスのFMの係数を予測することを学習するため、FMを特定のオブジェクトに適合させます。これにより、FourierMaskを一般化して、自然画像からインスタンスセグメンテーションマスクを予測できます。陰関数は入力座標の領域で連続であるため、入力ピクセル座標をサブサンプリングすることにより、推論中に高解像度のマスクを生成できることを示します。さらに、FourierMaskの不確実な予測についてレンダラーMLP(FourierRend)をトレーニングし、マスクの品質が大幅に向上することを示します。フーリエマスクは、同じ出力解像度でベースラインマスクR-CNNと比較して、MS COCOデータセットで競争力のある結果を示し、より高い解像度でそれを上回っています。
We present FourierMask, which employs Fourier series combined with implicit neural representations to generate instance segmentation masks. We apply a Fourier mapping (FM) to the coordinate locations and utilize the mapped features as inputs to an implicit representation (coordinate-based multi-layer perceptron (MLP)). FourierMask learns to predict the coefficients of the FM for a particular instance, and therefore adapts the FM to a specific object. This allows FourierMask to be generalized to predict instance segmentation masks from natural images. Since implicit functions are continuous in the domain of input coordinates, we illustrate that by sub-sampling the input pixel coordinates, we can generate higher resolution masks during inference. Furthermore, we train a renderer MLP (FourierRend) on the uncertain predictions of FourierMask and illustrate that it significantly improves the quality of the masks. FourierMask shows competitive results on the MS COCO dataset compared to the baseline Mask R-CNN at the same output resolution and surpasses it on higher resolution.