一般化された固有値問題、錐計画問題、さらにはソートなどの最適化ルーチンへの内部呼び出しを含む学習アルゴリズムについて考えてみます。トレーニング可能なディープニューラルネットワーク(DNN)内のレイヤーなどの方法を、効率的で数値的に安定した方法で統合することは簡単ではありません。たとえば、最近になって、固有分解と微分可能な並べ替えの戦略が登場しました。 DNN内でレイヤーとしてプラグアンドプレイ方式で使用できる一般的な線形計画問題のための効率的で微分可能なソルバーを提案します。私たちの開発は、粘菌(physarum)のダイナミクスと最急降下法などの最適化スキームとの間の、魅力的ではあるが広く使用されていないリンクに触発されています。開発について説明し、ビデオセグメンテーションタスクでのソルバーの使用と、数ショット学習のためのメタ学習を示します。既存の結果を確認し、ユースケースへの適用性を説明するテクニカル分析を提供します。私たちのソルバーは、最初のタスクでカスタマイズされた投影勾配降下法と同等のパフォーマンスを発揮し、2番目のタスクで微分可能なCVXPY-SCSソルバーよりも優れています。実験は、実行可能な初期点を必要とせずに、ソルバーがすばやく収束することを示しています。私たちの提案は実装が簡単で、学習手順がより大きなネットワーク内でLPの高速近似ソリューションを必要とするときはいつでも、レイヤーとして簡単に機能できます。
Consider a learning algorithm, which involves an internal call to an optimization routine such as a generalized eigenvalue problem, a cone programming problem or even sorting. Integrating such a method as a layer(s) within a trainable deep neural network (DNN) in an efficient and numerically stable way is not straightforward -- for instance, only recently, strategies have emerged for eigendecomposition and differentiable sorting. We propose an efficient and differentiable solver for general linear programming problems which can be used in a plug and play manner within DNNs as a layer. Our development is inspired by a fascinating but not widely used link between dynamics of slime mold (physarum) and optimization schemes such as steepest descent. We describe our development and show the use of our solver in a video segmentation task and meta-learning for few-shot learning. We review the existing results and provide a technical analysis describing its applicability for our use cases. Our solver performs comparably with a customized projected gradient descent method on the first task and outperforms the differentiable CVXPY-SCS solver on the second task. Experiments show that our solver converges quickly without the need for a feasible initial point. Our proposal is easy to implement and can easily serve as layers whenever a learning procedure needs a fast approximate solution to a LP, within a larger network.