arXiv reaDer
画像のかすみ除去に役立つものは何でもセグメント化しましょう
Let Segment Anything Help Image Dehaze
大規模な言語モデルと高レベルのビジョン モデルは、大規模なデータセットとモデル サイズで大幅なパフォーマンスの向上を達成しました。ただし、画像のかすみ除去やぼやけ除去などの低レベルのコンピューター ビジョン タスクは依然として少数のデータセットと小規模なモデルに依存しているため、一般に過剰学習や局所最適化が発生します。したがって、大規模なモデルの事前処理を低レベルのコンピューター ビジョン タスクに統合するフレームワークを提案します。画像セグメンテーションのタスクと同様に、ヘイズの劣化もテクスチャに関連しています。そこで、グレースケールコーディング、ネットワークチャネル拡張、およびかすみ除去前の構造を検出して、大規模モデルの事前知識を低レベルのかすみ除去ネットワークに統合することを提案します。私たちは、さまざまなデータセットとアルゴリズムの比較実験を通じて、低レベルの視覚タスクをガイドする際の大規模モデルの有効性と適用性を実証します。最後に、アブレーション実験を通じて、グレースケールコーディング、ネットワークチャネル拡張、およびリカレントネットワーク構造の効果を実証します。追加のデータとトレーニング リソースが必要ない条件下では、大規模モデルの事前知識の統合によりかすみ除去のパフォーマンスが向上し、低レベルの視覚タスクのトレーニング時間が節約されることを証明することに成功しました。
The large language model and high-level vision model have achieved impressive performance improvements with large datasets and model sizes. However, low-level computer vision tasks, such as image dehaze and blur removal, still rely on a small number of datasets and small-sized models, which generally leads to overfitting and local optima. Therefore, we propose a framework to integrate large-model prior into low-level computer vision tasks. Just as with the task of image segmentation, the degradation of haze is also texture-related. So we propose to detect gray-scale coding, network channel expansion, and pre-dehaze structures to integrate large-model prior knowledge into any low-level dehazing network. We demonstrate the effectiveness and applicability of large models in guiding low-level visual tasks through different datasets and algorithms comparison experiments. Finally, we demonstrate the effect of grayscale coding, network channel expansion, and recurrent network structures through ablation experiments. Under the conditions where additional data and training resources are not required, we successfully prove that the integration of large-model prior knowledge will improve the dehaze performance and save training time for low-level visual tasks.
updated: Wed Jun 28 2023 02:02:19 GMT+0000 (UTC)
published: Wed Jun 28 2023 02:02:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト