人間のパフォーマンスを高忠実度で表現することは、映画制作、コンピューター ゲーム、ビデオ会議などのさまざまなアプリケーションにおいて不可欠な構成要素です。製品レベルの品質とのギャップを埋めるために、マルチビュー ビデオ入力から動きのある全身の外観をキャプチャし、これまでにない新しい視点からの再生を可能にする 4D ダイナミック ニューラル シーン表現である HumanRF を導入します。私たちの新しい表現は、時空間を時間的な行列ベクトル分解に因数分解することにより、高圧縮率で細部をキャプチャする動的なビデオ エンコーディングとして機能します。これにより、難しい動きのコンテキストでも高解像度の詳細を表現しながら、長いシーケンスで人間のアクターの時間的に一貫した再構成を取得することができます。ほとんどの研究は 4MP 以下の解像度での合成に焦点を当てていますが、私たちは 12MP で動作するという課題に取り組みます。この目的を達成するために、160 台のカメラからの 12MP 映像を 16 シーケンス、高忠実度のフレームごとのメッシュ再構成で提供する新しいマルチビュー データセットである ActorsHQ を導入します。このような高解像度データの使用から生じる課題を実証し、新しく導入された HumanRF がこのデータを効果的に活用し、実稼働レベルの高品質の新規ビュー合成に向けて重要な一歩を踏み出すことを示します。
Representing human performance at high-fidelity is an essential building block in diverse applications, such as film production, computer games or videoconferencing. To close the gap to production-level quality, we introduce HumanRF, a 4D dynamic neural scene representation that captures full-body appearance in motion from multi-view video input, and enables playback from novel, unseen viewpoints. Our novel representation acts as a dynamic video encoding that captures fine details at high compression rates by factorizing space-time into a temporal matrix-vector decomposition. This allows us to obtain temporally coherent reconstructions of human actors for long sequences, while representing high-resolution details even in the context of challenging motion. While most research focuses on synthesizing at resolutions of 4MP or lower, we address the challenge of operating at 12MP. To this end, we introduce ActorsHQ, a novel multi-view dataset that provides 12MP footage from 160 cameras for 16 sequences with high-fidelity, per-frame mesh reconstructions. We demonstrate challenges that emerge from using such high-resolution data and show that our newly introduced HumanRF effectively leverages this data, making a significant step towards production-level quality novel view synthesis.