arXiv reaDer
Visual Comfort Aware-Reinforcement Learning for Depth Adjustment of Stereoscopic 3D Images
奥行き調整は、立体3D(S3D)画像の視覚体験を向上させることを目的としており、視覚的な快適さと奥行きの知覚を向上させます。人間の専門家にとって、深度調整手順は一連の反復的な意思決定です。人間の専門家は、視覚的な快適さと知覚される奥行きの両方のレベルに満足するまで、奥行きを繰り返し調整します。この作業では、深さ編集操作における人間の順次意思決定を明示的にモデル化するために、VCA-RL(Visual Comfort Aware Reinforcement Learning)という名前の深さ調整のための新しい深層強化学習(DRL)ベースのアプローチを提示します。深度調整プロセスは、アクションがカメラの移動操作として定義され、左右のカメラ間の距離を制御するマルコフ決定プロセスとして定式化されます。私たちのエージェントは、客観的な視覚的快適性評価メトリックのガイダンスに基づいてトレーニングされ、立体視における知覚的側面の観点からカメラの動きのアクションの最適なシーケンスを学習します。広範な実験とユーザー調査により、3つの異なるS3DデータベースでのVCA-RLモデルの有効性を示します。
Depth adjustment aims to enhance the visual experience of stereoscopic 3D (S3D) images, which accompanied with improving visual comfort and depth perception. For a human expert, the depth adjustment procedure is a sequence of iterative decision making. The human expert iteratively adjusts the depth until he is satisfied with the both levels of visual comfort and the perceived depth. In this work, we present a novel deep reinforcement learning (DRL)-based approach for depth adjustment named VCA-RL (Visual Comfort Aware Reinforcement Learning) to explicitly model human sequential decision making in depth editing operations. We formulate the depth adjustment process as a Markov decision process where actions are defined as camera movement operations to control the distance between the left and right cameras. Our agent is trained based on the guidance of an objective visual comfort assessment metric to learn the optimal sequence of camera movement actions in terms of perceptual aspects in stereoscopic viewing. With extensive experiments and user studies, we show the effectiveness of our VCA-RL model on three different S3D databases.
updated: Wed Apr 14 2021 11:15:08 GMT+0000 (UTC)
published: Wed Apr 14 2021 11:15:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト