近年、観測者と物体の相対位置の変化を反映する幾何学的変換をコンピュータ ビジョンやディープ ラーニング モデルに組み込むことが注目されています。しかし、既存の提案は主に、このような幾何学的位置の変化を反映するには不十分なアフィン変換に焦点を当てています。さらに、現在のソリューションでは、多くの場合、ニューラル ネットワーク モジュールを適用して単一の変換マトリックスを学習します。これは、マルチビュー分析の重要性を無視するだけでなく、モデルの複雑さを増す変換マトリックス パラメーターとは別に、モジュールからの追加のトレーニング パラメーターも含みます。この論文では、深層学習のコンテキストで透視変換レイヤーが提案されています。提案されたレイヤーはホモグラフィを学習できるため、オブザーバーとオブジェクト間の幾何学的位置を反映します。さらに、変換行列を直接トレーニングすることにより、単一の提案されたレイヤーは、モジュールパラメーターを考慮することなく、調整可能な数の複数の視点を学習できます。実験と評価により、提案されたレイヤーの優位性が確認されました。
Incorporating geometric transformations that reflect the relative position changes between an observer and an object into computer vision and deep learning models has attracted much attention in recent years. However, the existing proposals mainly focus on the affine transformation that is insufficient to reflect such geometric position changes. Furthermore, current solutions often apply a neural network module to learn a single transformation matrix, which not only ignores the importance of multi-view analysis but also includes extra training parameters from the module apart from the transformation matrix parameters that increase the model complexity. In this paper, a perspective transformation layer is proposed in the context of deep learning. The proposed layer can learn homography, therefore reflecting the geometric positions between observers and objects. In addition, by directly training its transformation matrices, a single proposed layer can learn an adjustable number of multiple viewpoints without considering module parameters. The experiments and evaluations confirm the superiority of the proposed layer.