arXiv reaDer
ST360IQ: Spherical Vision Transformer を使用した参照不要の全方向画像品質評価
ST360IQ: No-Reference Omnidirectional Image Quality Assessment with Spherical Vision Transformers
全方向画像、別名 360 画像は、没入型でインタラクティブな視覚体験を提供できます。近年、その人気が劇的に高まっているため、360 度画像の品質を評価することは、この新しいメディアをキャプチャ、送信、および消費するための洞察を提供するため、関心のある問題になっています。ただし、全方向データの標準的な自然画像に対して提案されている品質評価方法を直接適応させることは、特定の課題をもたらします。これらのモデルは、非常に高解像度のデータと、画像の球形による暗黙の歪みを処理する必要があります。この研究では、参照なしの 360 度画像品質評価の方法を提示します。提案された ST360IQ モデルは、入力全方向画像の顕著な部分から接線ビューポートを抽出し、各ビューポートから品質スコアを推定する顕著性選択パッチ/トークンを処理するビジョン トランスフォーマー ベースのモジュールを使用します。次に、これらのスコアを集計して、最終的な品質スコアを算出します。 OIQA データセットと CVIQ データセットという 2 つのベンチマーク データセットに対する私たちの実験は、最先端のデータセットと比較して、私たちのアプローチが人間が知覚する画質と相関する全方向画像の品質を予測することを示しています。コードは https://github.com/Nafiseh-Tofighi/ST360IQ で入手できます
Omnidirectional images, aka 360 images, can deliver immersive and interactive visual experiences. As their popularity has increased dramatically in recent years, evaluating the quality of 360 images has become a problem of interest since it provides insights for capturing, transmitting, and consuming this new media. However, directly adapting quality assessment methods proposed for standard natural images for omnidirectional data poses certain challenges. These models need to deal with very high-resolution data and implicit distortions due to the spherical form of the images. In this study, we present a method for no-reference 360 image quality assessment. Our proposed ST360IQ model extracts tangent viewports from the salient parts of the input omnidirectional image and employs a vision-transformers based module processing saliency selective patches/tokens that estimates a quality score from each viewport. Then, it aggregates these scores to give a final quality score. Our experiments on two benchmark datasets, namely OIQA and CVIQ datasets, demonstrate that as compared to the state-of-the-art, our approach predicts the quality of an omnidirectional image correlated with the human-perceived image quality. The code has been available on https://github.com/Nafiseh-Tofighi/ST360IQ
updated: Mon Mar 13 2023 07:48:46 GMT+0000 (UTC)
published: Mon Mar 13 2023 07:48:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト