arXiv reaDer
参照なしの360度画質評価のための適応ハイパーグラフ畳み込みネットワーク
Adaptive Hypergraph Convolutional Network for No-Reference 360-degree Image Quality Assessment
参照なしの360度画質評価(NR 360IQA)では、グラフを介してビューポート間の相互作用をモデル化するグラフ畳み込みネットワーク(GCN)が優れたパフォーマンスを実現しました。ただし、一般的なGCNベースのNR 360IQAメソッドには、3つの主な制限があります。まず、歪んだ画像の高レベルの特徴のみを使用して品質スコアを回帰しますが、人間の視覚システム(HVS)は階層的な特徴に基づいて画像をスコアリングします。次に、グラフを介してペアワイズ方式でビューポート間の複雑な高次の相互作用を単純化します。第三に、グラフの構築では、コンテンツの特性を無視して、ビューポートの空間的な位置のみを考慮します。したがって、これらの問題に対処するために、AHGCNとして示されるNR360IQAの適応ハイパーグラフ畳み込みネットワークを提案します。具体的には、最初に、ビューポートから階層表現を抽出するためのマルチレベルのビューポート記述子を設計します。次に、ハイパーグラフを介してビューポート間の相互作用をモデル化します。ハイパーグラフでは、各ハイパーエッジが2つ以上のビューポートを接続します。ハイパーグラフの構築では、ビューポートごとにロケーションベースのハイパーエッジとコンテンツベースのハイパーエッジを構築します。 2つの公開360IQAデータベースでの実験結果は、提案されたアプローチが最先端の完全参照および非参照IQAモデルよりも明らかに有利であることを示しています。
In no-reference 360-degree image quality assessment (NR 360IQA), graph convolutional networks (GCNs), which model interactions between viewports through graphs, have achieved impressive performance. However, prevailing GCN-based NR 360IQA methods suffer from three main limitations. First, they only use high-level features of the distorted image to regress the quality score, while the human visual system (HVS) scores the image based on hierarchical features. Second, they simplify complex high-order interactions between viewports in a pairwise fashion through graphs. Third, in the graph construction, they only consider spatial locations of viewports, ignoring its content characteristics. Accordingly, to address these issues, we propose an adaptive hypergraph convolutional network for NR 360IQA, denoted as AHGCN. Specifically, we first design a multi-level viewport descriptor for extracting hierarchical representations from viewports. Then, we model interactions between viewports through hypergraphs, where each hyperedge connects two or more viewports. In the hypergraph construction, we build a location-based hyperedge and a content-based hyperedge for each viewport. Experimental results on two public 360IQA databases demonstrate that our proposed approach has a clear advantage over state-of-the-art full-reference and no-reference IQA models.
updated: Wed May 19 2021 14:02:48 GMT+0000 (UTC)
published: Wed May 19 2021 14:02:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト