浅い層の特徴マップはテクスチャや形状などの画像属性に関連しているのに対し、深い層には抽象的な意味表現が存在するというのがコンセンサスです。その間、畳み込み演算の過程で一部の画像情報が失われます。当然のことながら、直接的な方法は、それらを組み合わせて、連結または追加によって失われた詳細情報を取得することです。実際、特徴融合で流れる画像表現は意味表現と完全に一致することはできず、異なるレイヤーでの意味偏差も情報の浄化を破壊し、無駄な情報が融合レイヤーに混在することになります。したがって、融合層間のギャップを狭め、融合中のノイズの影響を減らすことが重要です。この論文では、直列接続の連結における特徴マップ間のギャップを減らすための重みメカニズムという名前の方法を提案し、直列接続の連結の重みを変更することにより、マサチューセッツ州の建物データセットで0.80%mIoUの改善というより良い結果を得る残りのU-Net。具体的には、ウェイトメカニズムをテストするためにfused U-Netという名前の新しいアーキテクチャを設計し、0.12%のmIoUの改善も得ています。
It is a consensus that feature maps in the shallow layer are more related to image attributes such as texture and shape, whereas abstract semantic representation exists in the deep layer. Meanwhile, some image information will be lost in the process of the convolution operation. Naturally, the direct method is combining them together to gain lost detailed information through concatenation or adding. In fact, the image representation flowed in feature fusion can not match with the semantic representation completely, and the semantic deviation in different layers also destroy the information purification, that leads to useless information being mixed into the fusion layers. Therefore, it is crucial to narrow the gap among the fused layers and reduce the impact of noises during fusion. In this paper, we propose a method named weight mechanism to reduce the gap between feature maps in concatenation of series connection, and we get a better result of 0.80% mIoU improvement on Massachusetts building dataset by changing the weight of the concatenation of series connection in residual U-Net. Specifically, we design a new architecture named fused U-Net to test weight mechanism, and it also gains 0.12% mIoU improvement.