arXiv reaDer
メタ学習を使用した神経ルミグラフ表現の高速トレーニング
Fast Training of Neural Lumigraph Representations using Meta Learning
新しいビューの統合は、機械学習とコンピュータービジョンにおける長年の問題です。最近、任意のビューからフォトリアリスティックな画像を合成するニューラルシーン表現とレンダリング技術の開発が大幅に進歩しました。ただし、これらの表現はトレーニングが非常に遅く、レンダリングも遅いことがよくあります。画像ベースのレンダリングのニューラルバリアントに触発されて、リアルタイムでもレンダリングできる高品質の表現をすばやく学習することを目的として、新しいニューラルレンダリングアプローチを開発します。私たちのアプローチであるMetaNLR ++は、神経形状表現と2D CNNベースの画像特徴抽出、集約、および再投影の独自の組み合わせを使用してこれを実現します。表現の収束時間を数分に短縮するために、メタ学習を活用して、トレーニングを加速する神経形状と画像特徴の事前学習を行います。最適化された形状と画像の特徴は、従来のグラフィック技術を使用して抽出し、リアルタイムでレンダリングできます。 MetaNLR ++が、競合するメソッドに必要な時間のほんの一部で、同様またはより優れた新しいビュー合成結果を達成することを示します。
Novel view synthesis is a long-standing problem in machine learning and computer vision. Significant progress has recently been made in developing neural scene representations and rendering techniques that synthesize photorealistic images from arbitrary views. These representations, however, are extremely slow to train and often also slow to render. Inspired by neural variants of image-based rendering, we develop a new neural rendering approach with the goal of quickly learning a high-quality representation which can also be rendered in real-time. Our approach, MetaNLR++, accomplishes this by using a unique combination of a neural shape representation and 2D CNN-based image feature extraction, aggregation, and re-projection. To push representation convergence times down to minutes, we leverage meta learning to learn neural shape and image feature priors which accelerate training. The optimized shape and image features can then be extracted using traditional graphics techniques and rendered in real time. We show that MetaNLR++ achieves similar or better novel view synthesis results in a fraction of the time that competing methods require.
updated: Mon Jun 28 2021 18:55:50 GMT+0000 (UTC)
published: Mon Jun 28 2021 18:55:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト