画像表現学習のための新しいアプローチであるflexgrid2vecを提案します。既存の視覚的表現方法には、非常に集中的な計算の必要性、詳細な構造情報を失うリスク、特定の形状またはオブジェクトに対する方法の特異性など、いくつかの問題があります。 flexgrid2vecは、画像を低次元の特徴ベクトルに変換します。各画像は、柔軟で一意のノード位置とエッジ距離のグラフで表されます。 flexgrid2vecは、最も代表的な画像パッチの機能を学習するマルチチャネルグラフ畳み込みネットワーク(GCN)です。 GCNノード埋め込みのスペクトル実装と非スペクトル実装の両方を調査しました。具体的には、ベクトルの合計、連結、固有ベクトルの中心性を使用した正規化など、さまざまなノード集約方法に基づいてflexgrid2vecを実装しました。 flexgrid2vecのパフォーマンスを、バイナリおよびマルチクラスの画像分類タスクに関する最先端の視覚表現学習モデルのセットと比較します。不均衡で、サイズが小さく、解像度の低いデータセットを利用していますが、flexgrid2vecは、よく知られている基本分類子に対して安定した優れた結果を示しています。 flexgrid2vecは、CIFAR-10で96.23%、CIFAR-100で83.05%、STL-10で94.50%、ASIRRAで98.8%、COCOデータセットで89.69%を達成しています。
We propose flexgrid2vec, a novel approach for image representation learning. Existing visual representation methods suffer from several issues, including the need for highly intensive computation, the risk of losing in-depth structural information, and the specificity of the method to certain shapes or objects. flexgrid2vec converts an image to a low-dimensional feature vector. We represent each image with a graph of flexible, unique node locations and edge distances. flexgrid2vec is a multi-channel Graph Convolutional Network (GCN) that learns features of the most representative image patches. We have investigated both spectral and non-spectral implementations of the GCN node-embedding. Specifically, we have implemented flexgrid2vec based on different node-aggregation methods such as vector summation, concatenation, and normalisation with eigenvector centrality. We compare the performance of flexgrid2vec with a set of state-of-the-art visual representation learning models on binary and multi-class image classification tasks. Although we utilise imbalanced, low-size and low-resolution datasets, flexgrid2vec shows stable and outstanding results against well-known base classifiers. flexgrid2vec achieves 96.23% on CIFAR-10, 83.05% on CIFAR-100, 94.50% on STL-10, 98.8% on ASIRRA, and 89.69% on COCO dataset.