arXiv reaDer
STRIVE:ビデオでのシーンテキストの置換
STRIVE: Scene Text Replacement In Videos
ディープスタイル転送と学習したフォトメトリック変換を使用してビデオのシーンテキストを置き換えることを提案します。静止画像テキスト置換の最近の進歩に基づいて、元のビデオの外観とモーション特性を維持しながらテキストを変更する拡張機能を提示します。静止画の問題と比較して画像テキストの置換、私たちの方法は、ビデオによって導入された追加の課題、すなわち、照明の変化、モーションブラー、時間の経過に伴うカメラオブジェクトのポーズの多様な変化、および時間的一貫性の維持によって引き起こされる効果に対処します。問題を3つのステップに解析します。まず、すべてのフレームのテキストは、時空間トランスフォーマーネットワークを使用して正面ポーズに正規化されます。次に、最新の静止画像テキスト置換方法を使用して、テキストが単一の参照フレームで置換されます。最後に、新しいテキストは、時間的に一貫した方法で照明とぼかしの効果をキャプチャする新しい学習済み画像変換ネットワークを使用して、参照から残りのフレームに転送されます。合成的でやりがいのある実際のビデオの結果は、現実的なテキスト転送、競争力のある定量的および定性的パフォーマンス、および代替案と比較して優れた推論速度を示しています。ペアのテキストオブジェクトを使用した新しい合成データセットと実世界のデータセットを紹介します。私たちの知る限り、これは深いビデオテキスト置換の最初の試みです。
We propose replacing scene text in videos using deep style transfer and learned photometric transformations.Building on recent progress on still image text replacement,we present extensions that alter text while preserving the appearance and motion characteristics of the original video.Compared to the problem of still image text replacement,our method addresses additional challenges introduced by video, namely effects induced by changing lighting, motion blur, diverse variations in camera-object pose over time,and preservation of temporal consistency. We parse the problem into three steps. First, the text in all frames is normalized to a frontal pose using a spatio-temporal trans-former network. Second, the text is replaced in a single reference frame using a state-of-art still-image text replacement method. Finally, the new text is transferred from the reference to remaining frames using a novel learned image transformation network that captures lighting and blur effects in a temporally consistent manner. Results on synthetic and challenging real videos show realistic text trans-fer, competitive quantitative and qualitative performance,and superior inference speed relative to alternatives. We introduce new synthetic and real-world datasets with paired text objects. To the best of our knowledge this is the first attempt at deep video text replacement.
updated: Mon Sep 06 2021 22:21:40 GMT+0000 (UTC)
published: Mon Sep 06 2021 22:21:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト