arXiv reaDer
ビジュアルコンピューティングおよびそれ以降のニューラルフィールド
Neural Fields in Visual Computing and Beyond
機械学習の最近の進歩により、空間と時間にわたってシーンまたはオブジェクトの物理的特性をパラメーター化する座標ベースのニューラルネットワークのクラスを使用してビジュアルコンピューティングの問題を解決することに関心が高まっています。ニューラルフィールドと呼ばれるこれらの方法は、3D形状と画像の合成、人体のアニメーション、3D再構成、ポーズ推定にうまく適用されています。しかし、短期間での急速な進展により、多くの論文が存在しますが、問題の包括的なレビューと定式化はまだ明らかにされていません。このレポートでは、コンテキスト、数学的根拠、および神経分野に関する文献の広範なレビューを提供することにより、この制限に対処します。このレポートは、2つの側面に沿った調査をカバーしています。パートIでは、さまざまな表現、アーキテクチャ、フォワードマッピング、一般化手法など、ニューラルフィールド手法の一般的なコンポーネントを特定することにより、ニューラルフィールドの手法に焦点を当てます。パートIIでは、ビジュアルコンピューティングのさまざまな問題(ロボット工学、オーディオなど)へのニューラルフィールドの適用に焦点を当てます。私たちのレビューは、歴史的および現在の化身の両方で、ビジュアルコンピューティングですでにカバーされているトピックの幅を示し、ニューラルフィールドメソッドによってもたらされる品質、柔軟性、および機能の向上を示しています。最後に、コミュニティによって継続的に更新できるこのレビューのライブバージョンを提供するコンパニオンWebサイトを紹介します。
Recent advances in machine learning have created increasing interest in solving visual computing problems using a class of coordinate-based neural networks that parametrize physical properties of scenes or objects across space and time. These methods, which we call neural fields, have seen successful application in the synthesis of 3D shapes and image, animation of human bodies, 3D reconstruction, and pose estimation. However, due to rapid progress in a short time, many papers exist but a comprehensive review and formulation of the problem has not yet emerged. In this report, we address this limitation by providing context, mathematical grounding, and an extensive review of literature on neural fields. This report covers research along two dimensions. In Part I, we focus on techniques in neural fields by identifying common components of neural field methods, including different representations, architectures, forward mapping, and generalization methods. In Part II, we focus on applications of neural fields to different problems in visual computing, and beyond (e.g., robotics, audio). Our review shows the breadth of topics already covered in visual computing, both historically and in current incarnations, demonstrating the improved quality, flexibility, and capability brought by neural fields methods. Finally, we present a companion website that contributes a living version of this review that can be continually updated by the community.
updated: Mon Nov 22 2021 18:57:51 GMT+0000 (UTC)
published: Mon Nov 22 2021 18:57:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト