長時間露光写真では、シーン内の動きのある要素をモーション ブラーで表現し、素晴らしい画像を生成します。これは通常、前景または背景のぼかし効果を生成する 2 つのモダリティで使用されます。前景のぼかし画像は伝統的に三脚に取り付けたカメラで撮影され、完全に鮮明な背景の風景の上に絹のような水や光跡などのぼやけた動く前景要素を描写します。背景ぼかし画像はパン写真とも呼ばれ、カメラが動く被写体を追跡している間に撮影され、相対的な動きによってぼやけた背景の上に鮮明な被写体の画像が生成されます。どちらの技術も難しいことで知られており、追加の機器と高度なスキルが必要です。この論文では、手持ちのスマートフォンのカメラ アプリで動作し、シャッター ボタンをタップするだけでこれらの効果を完全に自動的に実現するコンピュテーショナル バースト フォトグラフィー システムについて説明します。私たちのアプローチでは、最初に顕著な主題を検出してセグメント化します。複数のフレームにわたってシーンの動きを追跡し、必要な鮮明さを維持し、見た目に美しい動きの縞を生成するために画像を位置合わせします。露出不足のバーストをキャプチャし、シーンやカメラの動きの速度に関係なく、制御された長さのブラー軌跡を生成する入力フレームのサブセットを選択します。フレーム間の動きを予測し、モーション ブラーを合成して、入力フレーム間の時間的なギャップを埋めます。最後に、顔やほとんど動いていないシーンの領域の鮮明さを保護するために、ぼやけた画像を鮮明な通常の露出と合成し、最終的な高解像度および高ダイナミック レンジ (HDR) 写真を生成します。私たちのシステムは、これまでプロのみに限定されていた機能を民主化し、このクリエイティブなスタイルをほとんどのカジュアルな写真家が利用できるようにします。詳細と補足資料は、プロジェクトの Web ページでご覧いただけます: https://motion-mode.github.io/
Long exposure photography produces stunning imagery, representing moving elements in a scene with motion-blur. It is generally employed in two modalities, producing either a foreground or a background blur effect. Foreground blur images are traditionally captured on a tripod-mounted camera and portray blurred moving foreground elements, such as silky water or light trails, over a perfectly sharp background landscape. Background blur images, also called panning photography, are captured while the camera is tracking a moving subject, to produce an image of a sharp subject over a background blurred by relative motion. Both techniques are notoriously challenging and require additional equipment and advanced skills. In this paper, we describe a computational burst photography system that operates in a hand-held smartphone camera app, and achieves these effects fully automatically, at the tap of the shutter button. Our approach first detects and segments the salient subject. We track the scene motion over multiple frames and align the images in order to preserve desired sharpness and to produce aesthetically pleasing motion streaks. We capture an under-exposed burst and select the subset of input frames that will produce blur trails of controlled length, regardless of scene or camera motion velocity. We predict inter-frame motion and synthesize motion-blur to fill the temporal gaps between the input frames. Finally, we composite the blurred image with the sharp regular exposure to protect the sharpness of faces or areas of the scene that are barely moving, and produce a final high resolution and high dynamic range (HDR) photograph. Our system democratizes a capability previously reserved to professionals, and makes this creative style accessible to most casual photographers. More information and supplementary material can be found on our project webpage: https://motion-mode.github.io/