k-meansアルゴリズムなど、固定数のハードラベルで画像をセグメント化でき、深層学習手法のみに依存する深層学習の自己監視アルゴリズムは、まだ不足しています。ここでは、ak個のクラスに対して4バンド画像(RGB-NIR)の自己監視セグメンテーションを提供するk-texturesアルゴリズムを紹介します。高解像度の惑星衛星画像への適用例を示します。私たちのアルゴリズムは、畳み込みニューラルネットワーク(CNN)と最急降下法を使用して離散検索が実行可能であることを示しています。モデルは、モデルでk個の個別のバイナリマスクとして表されるk個のハードクラスタリングクラスと、それらに関連付けられたk個の独立して生成されたテクスチャを検出します。これらを組み合わせたものが元の画像のシミュレーションです。類似性の損失は、元の画像とシミュレートされた画像の特徴間の平均二乗誤差であり、Kerasの「imagenet」事前トレーニング済みVGG-16モデルの最後から2番目の畳み込みブロックとPlanetデータで作成されたカスタム特徴抽出器の両方から抽出されます。 k-texturesモデルの主な進歩は次のとおりです。最初に、k個の離散バイナリマスクが最急降下法を使用してモデル内で取得されます。このモデルでは、ハードシグモイド活性化関数を使用した新しい方法を使用して、離散バイナリマスクを生成できます。次に、ハードクラスタリングクラスを提供します。各ピクセルには1つのクラスしかありません。最後に、各ピクセルが独立して考慮されるk-meansと比較して、ここでは、コンテキスト情報も考慮され、各クラスは、カラーチャネル内の同様の値だけでなく、テクスチャにも関連付けられます。私たちのアプローチは、衛星画像セグメンテーションのためのトレーニングサンプルの作成を容易にするように設計されています。モデルコードと重みはhttps://doi.org/10.5281/zenodo.6359859で入手できます。
Deep learning self supervised algorithms that can segment an image in a fixed number of hard labels such as the k-means algorithm and only relying only on deep learning techniques are still lacking. Here, we introduce the k-textures algorithm which provides self supervised segmentation of a 4-band image (RGB-NIR) for a k number of classes. An example of its application on high resolution Planet satellite imagery is given. Our algorithm shows that discrete search is feasible using convolutional neural networks (CNN) and gradient descent. The model detects k hard clustering classes represented in the model as k discrete binary masks and their associated k independently generated textures, that combined are a simulation of the original image. The similarity loss is the mean squared error between the features of the original and the simulated image, both extracted from the penultimate convolutional block of Keras 'imagenet' pretrained VGG-16 model and a custom feature extractor made with Planet data. The main advances of the k-textures model are: first, the k discrete binary masks are obtained inside the model using gradient descent. The model allows for the generation of discrete binary masks using a novel method using a hard sigmoid activation function. Second, it provides hard clustering classes -- each pixels has only one class. Finally, in comparison to k-means, where each pixel is considered independently, here, contextual information is also considered and each class is not associated only to a similar values in the color channels but to a texture. Our approach is designed to ease the production of training samples for satellite image segmentation. The model codes and weights are available at https://doi.org/10.5281/zenodo.6359859