arXiv reaDer
Investigating Customization Strategies and Convergence Behaviors of Task-specific ADMM
乗数の交互方向法(ADMM)は、線形制約を伴う分離可能な最適化問題のための一般的なアルゴリズムフレームワークです。数値ADMMが目前の問題の特定の構造や入力データ情報を活用できない場合、タスク固有のモジュール(ニューラルネットワークやその他のデータ駆動型アーキテクチャなど)を活用してADMMを拡張することは、重要ですが困難なタスクです。この作業は、実際のアプリケーションでADMMのパフォーマンスを向上させるために、さまざまなタスク固有のモジュール(追加の制約なし)を組み込むための柔軟なアルゴリズムフレームワークの設計に焦点を当てています。具体的には、新しいカスタマイズ戦略であるGuidance from Optimality(GO)を提案し、タスク固有のモジュールをADMM(GO-ADMM)に埋め込みます。伝播を導くための最適性ベースの基準を導入することにより、GO-ADMMは追加モジュールの選択にとらわれない更新スキームを確立します。既存のタスク固有のメソッドは、タスク固有のモジュールを簡単な方法で数値反復にプラグインするだけです。プラグインモジュールにいくつかの制限的な制約がある場合でも、結果として得られるADMM反復に対して比較的弱い収束プロパティしか取得できません。幸い、組み込みモジュールに制限を設けることなく、客観的な値と制約違反に関するGO-ADMMの収束を証明し、反復の複雑さによって測定される最悪の場合の収束率を導き出します。理論的な結果を検証し、GO-ADMMの効率を実証するために、広範な実験が行われます。
Alternating Direction Method of Multiplier (ADMM) has been a popular algorithmic framework for separable optimization problems with linear constraints. For numerical ADMM fail to exploit the particular structure of the problem at hand nor the input data information, leveraging task-specific modules (e.g., neural networks and other data-driven architectures) to extend ADMM is a significant but challenging task. This work focuses on designing a flexible algorithmic framework to incorporate various task-specific modules (with no additional constraints) to improve the performance of ADMM in real-world applications. Specifically, we propose Guidance from Optimality (GO), a new customization strategy, to embed task-specific modules into ADMM (GO-ADMM). By introducing an optimality-based criterion to guide the propagation, GO-ADMM establishes an updating scheme agnostic to the choice of additional modules. The existing task-specific methods just plug their task-specific modules into the numerical iterations in a straightforward manner. Even with some restrictive constraints on the plug-in modules, they can only obtain some relatively weaker convergence properties for the resulted ADMM iterations. Fortunately, without any restrictions on the embedded modules, we prove the convergence of GO-ADMM regarding objective values and constraint violations, and derive the worst-case convergence rate measured by iteration complexity. Extensive experiments are conducted to verify the theoretical results and demonstrate the efficiency of GO-ADMM.
updated: Sun Sep 05 2021 13:54:39 GMT+0000 (UTC)
published: Tue Sep 24 2019 11:29:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト