倉庫ラックの単眼カラー画像を前提として、ラック内の各棚の鳥瞰図レイアウトを予測することを目的としています。これを多層レイアウト予測と呼びます。この目的のために、単一の画像からリアルタイムの棚レイアウトを推定するためのディープニューラルネットワークであるRackLayを紹介します。支配的な地面だけに単一のレイアウトを提供する以前のレイアウト推定方法とは異なり、RackLayは、オブジェクトが配置されていると見なされるラック内の各シェルフの上面図と正面図のレイアウトを推定します。 RackLayのアーキテクチャとそのバリエーションは用途が広く、画像内のさまざまな数の表示可能な棚、さまざまな棚占有率、さまざまな背景の乱雑さを特徴とするさまざまなシーンの正確なレイアウトを推定します。このスペースのデータセットが極端に不足しており、ウェアハウスから実際のデータを取得するのが難しいため、ユーザーが生成プロセスを制御し、条件付きアプリケーションに応じてデータセットを調整できる、柔軟な合成データセット生成パイプラインWareSynthを追加でリリースします。アーキテクチャのバリエーション全体にわたるアブレーションと強力な以前のベースラインとの比較は、多層レイアウト推定の新しい問題に対する適切なアーキテクチャとしてのRackLayの有効性を証明しています。また、上面図と正面図を融合することで、検討対象のラックのメトリック空きスペースの見積もりなどの3D推論アプリケーションが可能になることも示します。
Given a monocular colour image of a warehouse rack, we aim to predict the bird's-eye view layout for each shelf in the rack, which we term as multi-layer layout prediction. To this end, we present RackLay, a deep neural network for real-time shelf layout estimation from a single image. Unlike previous layout estimation methods, which provide a single layout for the dominant ground plane alone, RackLay estimates the top-view and front-view layout for each shelf in the considered rack populated with objects. RackLay's architecture and its variants are versatile and estimate accurate layouts for diverse scenes characterized by varying number of visible shelves in an image, large range in shelf occupancy factor and varied background clutter. Given the extreme paucity of datasets in this space and the difficulty involved in acquiring real data from warehouses, we additionally release a flexible synthetic dataset generation pipeline WareSynth which allows users to control the generation process and tailor the dataset according to contingent application. The ablations across architectural variants and comparison with strong prior baselines vindicate the efficacy of RackLay as an apt architecture for the novel problem of multi-layered layout estimation. We also show that fusing the top-view and front-view enables 3D reasoning applications such as metric free space estimation for the considered rack.