arXiv reaDer
Finding Strong Gravitational Lenses Through Self-Attention
今後の大規模な調査では、現在の時代よりも何桁も大きいデータを分析することにより、約10 ^ 5の強力な重力システムを見つけることが期待されています。このシナリオでは、自動化されていない手法は非常に困難で時間がかかります。強い重力レンズを見つけるために、自己注意の原理に基づいた新しい自動化アーキテクチャを提案します。畳み込みニューラルネットワークに対する自己注意ベースのエンコーダモデルの利点が調査され、エンコーダモデルが分析されてパフォーマンスが最適化されます。ボローニャレンズチャレンジから重力レンズを識別するためにトレーニングされた21の自己注意ベースのエンコーダモデルと4つの畳み込みニューラルネットワークを構築しました。各モデルは、18,000のシミュレーション画像を使用して個別にトレーニングされ、2000の画像を使用して相互検証され、100000の画像を含むテストセットに適用されます。評価には、分類精度、受信者動作特性曲線(AUROC)の下の領域、TPR_0スコア、およびTPR_10スコアの4つの異なるメトリックを使用しました。自己注意ベースのエンコーダモデルとチャレンジに参加したCNNのパフォーマンスを比較します。エンコーダーモデルは、CNNよりもパフォーマンスが高く、TPR_0およびTPR_10のボローニャレンズチャレンジに参加したCNNモデルを大幅に上回りました。 AUROCに関しては、エンコーダーモデルは、CNNの6分の1のパラメーターのみを使用することにより、上位のCNNモデルと同等のスコアを獲得しました。自己注意ベースのモデルには、単純なCNNと比較して明らかな利点があります。計算コストが低く複雑であるため、現在使用されている残差ニューラルネットワークと非常に競合するアーキテクチャになっています。さらに、エンコーダーレイヤーを導入することで、効果的なフィルターとして機能することで、CNNに存在する過剰適合の問題に取り組むこともできます。
The upcoming large scale surveys are expected to find approximately 10^5 strong gravitational systems by analyzing data of many orders of magnitude than the current era. In this scenario, non-automated techniques will be highly challenging and time-consuming. We propose a new automated architecture based on the principle of self-attention to find strong gravitational lensing. The advantages of self-attention based encoder models over convolution neural networks are investigated and encoder models are analyzed to optimize performance. We constructed 21 self-attention based encoder models and four convolution neural networks trained to identify gravitational lenses from the Bologna Lens Challenge. Each model is trained separately using 18,000 simulated images, cross-validated using 2 000 images, and then applied to a test set with 100 000 images. We used four different metrics for evaluation: classification accuracy, the area under the receiver operating characteristic curve (AUROC), the TPR_0 score and the TPR_10 score. The performance of the self-attention based encoder models and CNN's participated in the challenge are compared. The encoder models performed better than the CNNs and surpassed the CNN models that participated in the bologna lens challenge by a high margin for the TPR_0 and TPR_10. In terms of the AUROC, the encoder models scored equivalent to the top CNN model by only using one-sixth parameters to that of the CNN. Self-Attention based models have a clear advantage compared to simpler CNNs. A low computational cost and complexity make it a highly competing architecture to currently used residual neural networks. Moreover, introducing the encoder layers can also tackle the over-fitting problem present in the CNN's by acting as effective filters.
updated: Mon Oct 18 2021 11:40:48 GMT+0000 (UTC)
published: Mon Oct 18 2021 11:40:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト