コンピュータビジョンの異常検出は、通常の画像のセットから逸脱している画像を識別するタスクです。一般的なアプローチは、深い畳み込みオートエンコーダーをトレーニングして、画像の覆われた部分を修復し、出力を元の画像と比較することです。異常のないサンプルのみでトレーニングすることにより、モデルは異常な領域を適切に再構築できないと想定されます。修復による異常検出については、潜在的に離れた領域からの情報を組み込むことが有益であることをお勧めします。特に、異常検出をパッチ修復の問題として提起し、畳み込みを破棄する純粋な自己注意ベースのアプローチでそれを解決することを提案します。提案されたInpaintingTransformer(InTra)は、カバーされたパッチを画像パッチの大規模なシーケンスでインペイントするようにトレーニングされており、それによって入力画像の広い領域にわたって情報を統合します。ゼロからトレーニングする場合、追加のトレーニングデータを使用しない他の方法と比較して、InTraは、検出のためにMVTec ADデータセットの現在の最先端と同等の結果を達成し、セグメンテーションでそれらを上回ります。
Anomaly detection in computer vision is the task of identifying images which deviate from a set of normal images. A common approach is to train deep convolutional autoencoders to inpaint covered parts of an image and compare the output with the original image. By training on anomaly-free samples only, the model is assumed to not being able to reconstruct anomalous regions properly. For anomaly detection by inpainting we suggest it to be beneficial to incorporate information from potentially distant regions. In particular we pose anomaly detection as a patch-inpainting problem and propose to solve it with a purely self-attention based approach discarding convolutions. The proposed Inpainting Transformer (InTra) is trained to inpaint covered patches in a large sequence of image patches, thereby integrating information across large regions of the input image. When training from scratch, in comparison to other methods not using extra training data, InTra achieves results on par with the current state-of-the-art on the MVTec AD dataset for detection and surpassing them on segmentation.