ニューラルネットワークのルネッサンスにより、オブジェクト検出はボトムアップ認識問題からトップダウンアプローチにゆっくりと移行しました。クラス最高のアルゴリズムは、オブジェクトのほぼ完全なリストを列挙し、それぞれをオブジェクト/非オブジェクトに分類します。この論文では、ビジョンベースのオブジェクト認識タスクにボトムアップアプローチを使用して強力なパフォーマンスを達成し、競争力のあるビデオゲームプレイを実現できることを示します。完全畳み込みニューラルネットワークを使用して、オブジェクトの4つの極値点(上、左、下、右端の点)と1つの中心点を検出するために使用されるPuckNetを提案します。その場合、オブジェクト検出は、暗黙の特徴学習や領域分類を伴わない、純粋にキーポイントベースの外観推定問題です。ここで提案する方法は、クラス最高の領域ベースの検出方法と同等に機能し、COCO test-devでのバウンディングボックスAPは36.4%です。さらに、推定された極値は、COCOマスクAPが17.6%の長方形のオブジェクトマスクに直接分解され、バニラバウンディングボックスのマスクAPを上回ります。極値のガイド付きセグメンテーションは、これをさらに改善して32.1%マスクAPにします。 PuckNetビジョンシステムをSuperTuxKartビデオゲームに適用して、動的で協調的なマルチプレイヤー環境で競争力のあるプレイを実現する能力をテストしました。
With the renaissance of neural networks, object detection has slowly shifted from a bottom-up recognition problem to a top-down approach. Best in class algorithms enumerate a near-complete list of objects and classify each into object/not object. In this paper, we show that strong performance can still be achieved using a bottom-up approach for vision-based object recognition tasks and achieve competitive video game play. We propose PuckNet, which is used to detect four extreme points (top, left, bottom, and right-most points) and one center point of objects using a fully convolutional neural network. Object detection is then a purely keypoint-based appearance estimation problem, without implicit feature learning or region classification. The method proposed herein performs on-par with the best in class region-based detection methods, with a bounding box AP of 36.4% on COCO test-dev. In addition, the extreme points estimated directly resolve into a rectangular object mask, with a COCO Mask AP of 17.6%, outperforming the Mask AP of vanilla bounding boxes. Guided segmentation of extreme points further improves this to 32.1% Mask AP. We applied the PuckNet vision system to the SuperTuxKart video game to test it's capacity to achieve competitive play in dynamic and co-operative multiplayer environments.