arXiv reaDer
ニューラルアーキテクチャの風景センサー全体の検索:センサーの違いはどれくらいですか?
Landscape of Neural Architecture Search across sensors: how much do they differ ?
ニューラルアーキテクチャ検索の急速な台頭に伴い、検索アルゴリズムの観点からその複雑さを理解する能力が望まれています。最近、Traoréetal。は、ニューラルアーキテクチャの探索問題の記述と比較に役立つ、フィットネスランドスケープフットプリントのフレームワークを提案しています。これは、検索戦略がターゲットタスクで成功、苦労、または失敗する理由を説明しようとします。私たちの研究は、センサーデータの融合を含むセンサー全体の検索のコンテキストでこの方法論を活用しています。特に、ニューラルネットワークのハイパーパラメータ最適化問題に最も有益なセンサーを特定するために、So2SatLCZ42の実際の画像分類問題にFitnessLandscapeFootprintを適用します。適応度の分布の観点から、私たちの調査結果は、すべてのセンサーの検索スペースの同様の動作を示しています。トレーニング時間が長いほど、全体的な適応度が大きくなり、風景の平坦度が高くなります(凹凸と偏差が少なくなります)。センサーに関しては、センサーが有効にする適合性が優れているほど(Sentinel-2)、検索軌道が優れています(よりスムーズで持続性が高くなります)。結果は、検索スペース(Sentinel-2およびfusion)に適切に適合できるセンサーの非常に類似した検索動作も示しています。
With the rapid rise of neural architecture search, the ability to understand its complexity from the perspective of a search algorithm is desirable. Recently, Traoré et al. have proposed the framework of Fitness Landscape Footprint to help describe and compare neural architecture search problems. It attempts at describing why a search strategy might be successful, struggle or fail on a target task. Our study leverages this methodology in the context of searching across sensors, including sensor data fusion. In particular, we apply the Fitness Landscape Footprint to the real-world image classification problem of So2Sat LCZ42, in order to identify the most beneficial sensor to our neural network hyper-parameter optimization problem. From the perspective of distributions of fitness, our findings indicate a similar behaviour of the search space for all sensors: the longer the training time, the larger the overall fitness, and more flatness in the landscapes (less ruggedness and deviation). Regarding sensors, the better the fitness they enable (Sentinel-2), the better the search trajectories (smoother, higher persistence). Results also indicate very similar search behaviour for sensors that can be decently fitted by the search space (Sentinel-2 and fusion).
updated: Mon Jan 17 2022 10:14:39 GMT+0000 (UTC)
published: Mon Jan 17 2022 10:14:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト