ラグランジュ未定乗数法についてのメモ

ラグランジュ未定乗数法とは

多変数関数 $f(\bm{x})$ が、 $g_i(\bm{x}) = 0$ ($i = 1, 2, ..., m$)の制約の下、その極値を取る点はどこか、を求める手法。

と定義した $L(\bm{x}, \bm{\lambda})$ に対して、以下を制約式を解く。

2変数, 1制約であった場合の分かりやすい解説は次。

ラグランジュの未定乗数法とは～意味と証明～

ラグランジュの未定乗数法 (Lagrange multiplier) は，多変数関数における，条件付き極値問題を解く方法を指します。これについて，その内容とイメージ，証明を解説しましょう。

mathlandscape.com

多変数, 多制約の場合の説明

https://fd.kuaero.kyoto-u.ac.jp/ja/node/28

上記のページにある "Lagrange1.pdf" が分かりやすい。 これを参考に、陰関数定理を用いない、ざっくりとした説明は以下。

まず解くべき $L$ の制約のうち、 $\bm{\lambda}$ についてのものは、元々の条件である $g_i(\bm{x}) = 0$ と同値。 また、 $\bm{x}$ についてのものは、以下と同値。

$f$ が $\bm{x}_0$ にて各 $g_i$ の制約の下に極値となるためには、 $\nabla g_i$ を法線ベクトルとする超平面を $H_i(\bm{x}_0)$ として、 $\cap H_i(\bm{x_0})$ の下で $\bm{x}_0$ から微小に移動した時に、その移動方向と $\nabla f(\bm{x_0})$ が直交する必要がある。 $\nabla g_i(\bm{x_0})$ の法線ベクトルたちの張るベクトル空間こそが、 $\cap H_i(\bm{x_0})$ の直交補空間であるので、上記の式を満たすような $\bm{\lambda}$ が存在し、かつ $g_i(\bm{x}) = 0$ がすべての $i$ で成立することで、 $f$ が制約上の極値を持つ。

また、 $\nabla g_i(\bm{x})$ が線形独立であれば、陰関数定理を用いて、厳密に証明ができる模様。