arXiv reaDer
CoT-MISR: マルチイメージ超解像のためのコンボリューションとトランスフォーマーの結合
CoT-MISR:Marrying Convolution and Transformer for Multi-Image Super-Resolution
画像復元の手法として、当初は画像の超解像が盛んに研究されていました。低解像度の画像を変換して高解像度の画像情報を復元する方法は、研究者が探求してきた問題です。初期の物理的変換方法では、これらの方法で生成された高解像度の画像には、情報が欠落しているという深刻な問題が常にあり、エッジと詳細をうまく復元できませんでした。ハードウェア技術と数学の発展に伴い、人々は直接深層学習モデル、残差チャネル注意ネットワーク、双方向抑制ネットワークから変換ネットワークを備えた tr ネットワークまで、画像の超解像タスクに深層学習方法を使用し始めています。徐々に良い結果を達成しているモジュール。多グラフ超解像の研究では、多グラフ超解像データセットの確立により、畳み込みモデルから変換モデルへの進化を経験し、超解像の品質を継続的に向上させてきました。ただし、純粋な畳み込みも純粋な tr ネットワークも、低解像度の画像情報を十分に活用できないことがわかりました。これに基づいて、新しいエンドツーエンドの CoT-MISR ネットワークを提案します。 CoT-MISR ネットワークは、畳み込みと tr の利点を使用して、ローカル情報とグローバル情報を補います。等しいパラメーターの下でのデータセットの検証は、CoT-MISR ネットワークが最適なスコア インデックスに達したことを示しています。
As a method of image restoration, image super-resolution has been extensively studied at first. How to transform a low-resolution image to restore its high-resolution image information is a problem that researchers have been exploring. In the early physical transformation methods, the high-resolution pictures generated by these methods always have a serious problem of missing information, and the edges and details can not be well recovered. With the development of hardware technology and mathematics, people begin to use in-depth learning methods for image super-resolution tasks, from direct in-depth learning models, residual channel attention networks, bi-directional suppression networks, to tr networks with transformer network modules, which have gradually achieved good results. In the research of multi-graph super-resolution, thanks to the establishment of multi-graph super-resolution dataset, we have experienced the evolution from convolution model to transformer model, and the quality of super-resolution has been continuously improved. However, we find that neither pure convolution nor pure tr network can make good use of low-resolution image information. Based on this, we propose a new end-to-end CoT-MISR network. CoT-MISR network makes up for local and global information by using the advantages of convolution and tr. The validation of dataset under equal parameters shows that our CoT-MISR network has reached the optimal score index.
updated: Sun Mar 12 2023 03:01:29 GMT+0000 (UTC)
published: Sun Mar 12 2023 03:01:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト