ラプラス近似と鞍点法をできる限りそれっぽく証明してみる
参考文献: Wikipedia: Laplace's method
英語版のwikiには結構書いてあるのに、日本語の文献が見つからなかったのでバーっとメモしました。 色々と雑な箇所があるかもしれませんが、ご了承ください。
方針としては、鞍点法の前に実関数版であるラプラス近似を議論するという流れです。
ラプラス近似
\begin{align}
& I( T ) := \int_D \dd x ~ w(x) e^{ T f(x) } \qc D := [a,b] \in \mathbb{R}
\end{align}
という積分で表される関数が、$ T \gg 1 $でどのような漸近形を持つのかを議論したい。ここで漸近形$ A(T) $とは
\begin{align}
& \lim_{T \to \infty} \qty( \frac{I(T)}{ A(T) } ) = 1 \Leftrightarrow I(T) \approx A(T)
\end{align}
が成り立つ$T$の関数である。簡単にわかるように、その候補には
\begin{align}
& A(T) \to A'(T) := C(T) A(T) \qc \lim_{T \to \infty } C(T) = 1 \Rightarrow \lim_{T \to \infty} \qty( \frac{I(T)}{ A'(T) } ) = 1
\end{align}
のように大きな$T$で消える寄与の不定性があることには注意。このような$A(T)$を見つける実積分の議論をラプラス近似と呼ぶ。以下で証明するように、最終的には以下の式が成り立つ。
\begin{align}
& I(T) \approx w(x_0) e^{ T f(x_0) } \sqrt{ \frac{ 2\pi }{ T \abs{ f''(x_0) } } } \qc x_0 \in D
\end{align}
ここで$ x_0 $とは$D$の内部にある極大値かつ最大値である点である。以下ではまず$w(x)=1$の場合を示す。
証明
以下ではある$x_0$から距離$\delta$の領域を$ D_\delta(x_0) := ( x_0 - \delta , x_0 + \delta ) , \delta > 0 $と表す。より数式的には
\begin{align}
& D_\delta (x_0) := \qty{ x \in \mathbb{R} | \abs{ x - x_0 } < \delta }
\end{align}
と書く。またこの領域での2次のテイラーの定理は
\begin{align}
& \forall x \in D_\delta(x_0) \qc \exists c \in D_\delta (x_0) \qq{s.t.} f(x) = f(x_0) + f'(x_0) (x-x_0) + \frac{1}{2} f''(c) ( x - x_0 )^2
\end{align}
という主張である。特に$ f''(x) $の連続性を考えれば以下の主張も成り立つ。
\begin{align}
& \forall \epsilon > 0 \qc \exists \delta(\epsilon) > 0 \qq{s.t.} \abs{ f(x_0) - f(c) } < \epsilon \Rightarrow c \in D_{\delta(\epsilon)} (x_0)
\end{align}
つまり$ c \in D_{\delta(\epsilon)}(x_0) $では$ f(x_0) - \epsilon < f(c) < f(x_0) + \epsilon $がなりたつ。そのために
\begin{align}
\begin{split}
& f(x_0) + f'(x_0) (x-x_0) + \frac{1}{2} \qty( f''(x_0) - \epsilon ) ( x - x_0 )^2 < f(x) \\
& < f(x_0) + f'(x_0) (x-x_0) + \frac{1}{2} ( f''(x_0) + \epsilon ) ( x - x_0 )^2 \qc \forall x \in D_{\delta(\epsilon)}(x_0)
\end{split}
\end{align}
が成り立つ。以下では$ \delta(\epsilon) \to \delta $と略記する。これを用いてラプラス近似を証明する。
まず目的の積分の下限を考える。領域$D$に含まれる極大点
\begin{align}
& f'(x_0) = 0 \qc f''(x_0) < 0
\end{align}
について、以下の不等式評価が成立する。
\begin{align}
\begin{split}
& I_0(T) := \int_D \dd x ~ e^{ T f(x) } \geq \int_{ D_{ \delta }(x_0) } \dd x ~ e^{ T f(x) } \\
& > e^{ T f(x_0) } \int_{ D_{ \delta }(x_0) } \dd x ~ e^{ \frac{1}{2} T \qty(f''(x_0) - \epsilon ) \qty( x - x_0^2 ) } = \frac{ e^{Tf(x_0)} }{ \sqrt{ T \abs{f''(x_0) - \epsilon } } } \int_{- \delta \sqrt{ T \abs{f''(x_0) - \epsilon } } }^{ \delta \sqrt{ T \abs{f''(x_0) - \epsilon } } } \dd \xi ~ e^{ - \frac{1}{2} \xi^2 }
\end{split}
\end{align}
この両辺を$ e^{Tf(x_0)} \sqrt{ \frac{ 2 \pi }{ T \abs{f''(x_0)} } } $で割ることによって以下の式を得る。
\begin{align}
& \frac{ I_0(T) }{ e^{Tf(x_0)} \sqrt{ \frac{ 2 \pi }{ T \abs{f''(x_0)} } } } > \sqrt{ \frac{ \abs{f''(x_0)} }{ \abs{ f''(x_0) - \epsilon } } } \frac{1}{ \sqrt{ 2\pi } } \int_{- \delta \sqrt{ T \abs{f''(x_0) - \epsilon } } }^{ \delta \sqrt{ T \abs{f''(x_0) - \epsilon } } } \dd \xi ~ e^{ - \frac{1}{2} \xi^2 }
\end{align}
同様の記号を用いて上限を証明する。以下では
\begin{align}
& \bar{D}_\delta(x_0) = D - D_\delta(x_0)
\end{align}
とする。
\begin{align}
\begin{split}
& I_0(T) := \int_D \dd x ~ e^{ T f(x) } = \int_{ D_{ \delta }(x_0) } \dd x ~ e^{ T f(x) } + \int_{ \bar{D}_{ \delta }(x_0) } \dd x ~ e^{ T f(x) } \\
& > e^{ T f(x_0) } \int_{ D_{ \delta }(x_0) } \dd x ~ e^{ \frac{1}{2} T \qty(f''(x_0) + \epsilon ) \qty( x - x_0^2 ) } + \int_{ \bar{D}_{ \delta }(x_0) } \dd x ~ e^{ T f(x) } \\
& = \frac{ e^{Tf(x_0)} }{ \sqrt{ T \qty( \abs{f''(x_0) + \epsilon } ) } } \int_{- \delta \sqrt{ T \abs{ f''(x_0) + \epsilon } } }^{ \delta \sqrt{ T \abs{f''(x_0) + \epsilon } } } \dd \xi ~ e^{ - \frac{1}{2} \xi^2 } + \int_{ \bar{D}_{ \delta }(x_0) } \dd x ~ e^{ T f(x) }
\end{split}
\end{align}
ただしここで実数の連続性から$ f''(x_0) < 0 $について（任意だった）$ \epsilon $を$ f''(x_0) + \epsilon < 0 $が成り立つように選んだ。先ほどと同様に両辺を$ e^{Tf(x_0)} \sqrt{ \frac{ 2 \pi }{ T \abs{f''(x_0)} } } $で割ることによって以下の式を得る。
\begin{align}
& \frac{ I_0(T) }{ e^{Tf(x_0)} \sqrt{ \frac{ 2 \pi }{ T \abs{f''(x_0)} } } } < \sqrt{ \frac{ \abs{f''(x_0)} }{ \abs{ f''(x_0) + \epsilon } } } \frac{1}{ \sqrt{ 2\pi } } \int_{- \delta \sqrt{ T \abs{ f''(x_0) + \epsilon } } }^{ \delta \sqrt{ T \abs{f''(x_0) + \epsilon } } } \dd \xi ~ e^{ - \frac{1}{2} \xi^2 } + R(T) \\
& R(T) := e^{ - Tf(x_0)} \sqrt{ \frac{ T \abs{f''(x_0)} }{ 2 \pi } } \int_{ \bar{D}_{ \delta }(x_0) } \dd x ~ e^{ T f(x) }
\end{align}
ここで$ T $が大きい時に$ R(T) $が$0$に収束する条件を調べる。ここで$ x_0 $が真に最大値であることから
\begin{align}
& \forall x \in \bar{D}_{ \delta }(x_0) \qc f(x_0) - \eta > f(x) \qc \exists \eta > 0
\end{align}
が存在する。その値を用いることによって上から抑えられる。
\begin{align}
\begin{split}
& R(T) = e^{ - Tf(x_0)} \sqrt{ \frac{ T \abs{f''(x_0)} }{ 2 \pi } } \int_{ \bar{D}_{ \delta }(x_0) } \dd x ~ e^{ f(x) } e^{ (T-1) f(x) } \\
& < e^{ - Tf(x_0)} \sqrt{ \frac{ T \abs{f''(x_0)} }{ 2 \pi } } \int_{ \bar{D}_{ \delta }(x_0) } \dd x ~ e^{ f(x) } e^{ (T-1) \qty( f(x_0) - \eta ) } \\
& < e^{ - f''(x_0) + \eta } e^{- \eta T} \sqrt{ \frac{ T \abs{f''(x_0)} }{ 2 \pi } } \int_{ \bar{D}_{ \delta }(x_0) } \dd x ~ e^{ f(x) - f(x_0) } < e^{ - f''(x_0) + \eta } e^{ - \eta T} \sqrt{ \frac{ T \abs{f''(x_0)} }{ 2 \pi } } \int_{ D } \dd x ~ e^{ f(x) }
\end{split}
\end{align}
つまり$ \int_{ D } \dd x ~ e^{ f(x) } $が有限であれば$ T \to \infty $で収束する。つまり二つの不等式から
\begin{align}
& \sqrt{ \frac{ \abs{f''(x_0)} }{ \abs{ f''(x_0) - \epsilon } } } < \lim_{T \to \infty} \qty( \frac{ I_0(T) }{ e^{Tf(x_0)} \sqrt{ \frac{ 2 \pi }{ T \abs{f''(x_0)} } } } ) < \sqrt{ \frac{ \abs{f''(x_0)} }{ \abs{ f''(x_0) + \epsilon } } }
\end{align}
が成り立つため$ 0 < \epsilon < \abs{f''(x_0)} $の範囲で任意である$ \epsilon $を小さく選ぶことによって
\begin{align}
& \lim_{T \to \infty} \qty( \frac{ I_0(T) }{ e^{Tf(x_0)} \sqrt{ \frac{ 2 \pi }{ T \abs{f''(x_0)} } } } ) = 1 \Leftrightarrow I_0(T) := \int_D \dd x ~ e^{ T f(x) } \approx e^{ T f(x_0) } \sqrt{ \frac{ 2 \pi }{ T \abs{ f''(x_0) } } }
\end{align}
が成り立つ。ただし$ x_0 $は$D$での関数$f(x)$の極大値かつ最大値を取る点である。$ {}_\Box $
さてより一般の場合
\begin{align}
& I(T) := \int_D \dd x ~ w(x) e^{ T f(x) }
\end{align}
の証明を行う。以下では$ w(x) $が常に正であるとする。この場合
\begin{align}
& W(x) = \int_{x_0}^x \dd x' ~ w(x')
\end{align}
という一価の関数を定義できる。この場合に$W(x)$の逆関数$ x(W) $を用意できるため変数変換で
\begin{align}
& I(T) = \int_{D_W} \dd W ~ e^{ T F(W) } \qc F(W) := f( x(W) )
\end{align}
を定義できる。この量について先ほどのラプラス近似を適用する。その場合の$ F(W) $の最大値は
\begin{align}
& \dv{ F(W) }{W} = f'( x(W) ) \dv{ x(W) }{W} = 0 \\
& \dv[2]{ F(W) }{W} = f''( x(W) ) \qty( \dv{ x(W) }{W} )^2 + f'( x(W) ) \dv[2]{ x(W) }{W} = f''( x(W) ) \qty( \dv{ x(W) }{W} )^2 < 0
\end{align}
を満たす中で$ F(W) $が最大になるものである。これは$ x(W=0) = x_0 $であるため
\begin{align}
& \qty[ \dv{ x(W) }{W} ]_{W=0} = 1/f(x_0) \\
& I(T) \approx e^{ T F(0) } \sqrt{ \frac{ 2 \pi }{ T \abs{ F''(0) } } } = f(x_0) e^{T f(x_0) } \sqrt{ \frac{ 2 \pi }{ T \abs{ f''(x_0) } } }
\end{align}
が成り立つ。負の値を持つ場合には$ W(x) $が単調減少で一価な関数となり、その場合には変数変換で$-1$の符号が出る。その場合には平方根から出た$ \abs{ f(x_0) } $と符号で元の$ f(x_0) $へ戻る。また$W(x)$が多価になる場合には適切に領域を分割する。以上で一般の場合の証明も完了した。$ {}_\Box $
ここでは最大値の点のみを考えたが、同様の議論を全ての極大値$ x_i $について行い
\begin{align}
& I(T) \approx \sum_{i} f(x_i) e^{T f(x_i) } \sqrt{ \frac{ 2 \pi }{ T \abs{ f''(x_i) } } }
\end{align}
を得ることができる。しかしこれは最大値$f(x_0)$について括り出すと
\begin{align}
& \sum_{i} f(x_i) e^{T f(x_i) } \sqrt{ \frac{ 2 \pi }{ T \abs{ f''(x_i) } } } = f(x_i) e^{T f(x_i) } \sqrt{ \frac{ 2 \pi }{ T \abs{ f''(x_i) } } } \sum_{i} \qty( \frac{f(x_i)}{ f(x_0) } e^{ - T \qty( f(x_0) - f(x_i) ) } \sqrt{ \frac{ \abs{ f''(x_0) } }{ \abs{ f''(x_i) } } } )
\end{align}
となるが、和の中は$ T \to \infty $で
\begin{align}
& \sum_{i} \qty( \frac{f(x_i)}{ f(x_0) } e^{ - T \qty( f(x_0) - f(x_i) ) } \sqrt{ \frac{ \abs{ f''(x_0) } }{ \abs{ f''(x_i) } } } ) \to 1
\end{align}
となるものである。よって最大値ではない極大点は漸近形の不定性にすぎない寄与を与える。
鞍点法
以下の複素積分を考える。
\begin{align}
& I(T) = \int_C \dd z ~ w(z) e^{Tf(z)}
\end{align}
ここで経路$C$は$ f'(z_0) = 0 , ~ f''(x_0) \neq 0 $となる点$ z_0 $を用いて$ \Im( f(z) ) = \Im( f(z_0) ) $となる虚部が一定の曲線、もしくはコーシーの定理によってそのような経路に変形できるものであるとする。これは
\begin{align}
& I(T) \approx w(z_0) e^{i \theta_{\pm} } e^{T f(z_0) } \sqrt{ \frac{ 2 \pi }{ T \abs{ f''(z_0) } } } \qc \theta_{\pm} = \frac{ \pm \pi - \arg( f''(z_0) ) }{ 2 }
\end{align}
という値を持つ。これは先ほどのラプラス近似の複素数版であり、それを用いて証明することができる。
証明
まず、今考える積分で虚部が一定であることから以下の式変形が成り立つ。
\begin{align}
& I(T) = \int_C \dd z ~ w(z) e^{ T f(z) } = e^{ i T \Im ( f(z_0) ) } \int_{\Lambda} \dd \lambda ~ \dv{z(\lambda)}{\lambda} w( z(\lambda) ) e^{ T \Re ( f(z(\lambda)) ) }
\end{align}
この場合の$ Q(z(\lambda)) := \dv{z(\lambda)}{\lambda} w( z(\lambda) ) = A(\lambda) + i B(\lambda) $について各ラプラス近似を行えば
\begin{align}
& I(T) \approx e^{ i T \Im ( f(z(\lambda_0)) ) } \qty( A(\lambda_0) + i B(\lambda_0) ) e^{ T \Re ( f(z(\lambda_0)) ) } \sqrt{ \frac{ 2 \pi }{ T \abs{ \dv[2]{ \Re( f(z(\lambda_0)) ) }{ \lambda } } } } \\
& = Q(z_0) e^{ T f(z_0) } \sqrt{ \frac{ 2 \pi }{ T \abs{ \dv[2]{ f(z_0) }{ z } } } } = e^{ i \theta_{\pm} } w(z_0) e^{ T f(z_0) } \sqrt{ \frac{ 2 \pi }{ T \abs{ \dv[2]{ f(z_0) }{ z } } } }
\end{align}
が成り立つ。ここで$ \Im(f(z(\lambda))) = \mathrm{const.} $であることと正則関数が微分の方向によらないことから
\begin{align}
& \dv[2]{ \Re( f(z(\lambda)) ) }{ \lambda } = \dv{\lambda} \qty( \dv{ f(z( \lambda )) }{ \lambda } ) = \dv{\lambda} \qty( \dv{ f(z) }{ z } \dv{ z }{\lambda} ) = \dv[2]{ f(z) }{ z } \qty( \dv{ z }{\lambda})^2 + \dv{ f(z) }{ z } \dv[2]{ z }{ \lambda }
\end{align}
であり、考える点では$ \dv{ f(z) }{ z } = 0 $であることを用いた。また$\Re ( f(z(\lambda)) )$がラプラス近似を満たす関数である経路が$ C $であることと、その際に$ z_0 $を通る角度が$ \theta_{\pm} $であることを用いた。以下ではそれを証明する。
まず$ C $が関数$ \Im( f(z) ) = \Im( f(z_0) ) $を一定とする場合、その経路は$ z = z_0 $を通り$ \Re( f(z) ) $の値が最も値の変化が激しい経路であることを証明する。実部と虚部を以下のように書き直す。
\begin{align}
& z := x + i y \qc \vb*r := (x,y) \qc f(z) = u(\vb*r) + i v(\vb*r)
\end{align}
この$u(\vbr), ~ v(\vbr)$についてコーシー・リーマンの関係式から
\begin{align}
& \grad u(\vb*r) = \mqty[ \pdv{ u(\vb*r) }{ x } \\ \pdv{ u(\vb*r) }{ y } ] \qc \grad v(\vb*r) = \mqty[ \pdv{ v(\vb*r) }{ x } \\ \pdv{ v(\vb*r) }{ y } ] = \mqty[ - \pdv{ u(\vb*r) }{ y } \\ \pdv{ u(\vb*r) }{ x } ] \qc \grad u(\vb*r) \cdot \grad v(\vb*r) = 0
\end{align}
が成り立つ。ここである場の関数
$ H(\vb*r) $
について
$ \grad H(\vb*r) $
は
$ \vb*r $
における等高線について垂直な向き、つまり最も急な向きである。つまり、先ほどの関係は
$ u(\vb*r), ~ v(\vb*r) $
の急な方向が正則関数については常に垂直であることを表している。複素平面は二次元であるため、これは
$ v(\vb*r) $
の一定の線（等高線）と
$ u(\vb*r) $
の急な方向が一致するということである。つまり今考える$ C $は
$u(\vb*r)$
が急な曲線であることがわかった。
また$ f'(z_0) = 0 , ~ f''(z_0) \neq 0 $である点では最も急な線が2本通っていることを示す。その点の周りでは
\begin{align}
& f(z) = f(z_0) + \frac{1}{2} f''(z_0) \qty( z - z_0 )^2 + \order{ (z-z_0)^3 } \qc z = z_0 + r e^{ i \theta }
\end{align}
と展開が成り立つ。ここで$ \theta $が経路が進む方向を表す。ラプラス近似を用いるためにこの経路ではこの点の経路上で$f(z)$が実数でその係数が負の実数である方向を動く。実際に偏角を調べると
\begin{align}
& f(z) = f(z_0) + \frac{1}{2} \abs{f''(z_0)} r^2 e^{ i \qty( 2 \theta + \chi ) } + \order{ r^3 } \qc \chi := \arg( f''(z_0) ) \\
& 2 \theta + \chi = \pm \pi \Rightarrow \theta_\pm := \frac{ \pm \pi - \chi }{2} \qc \abs{ \theta_+ -\theta_- } = \pi
\end{align}
という角度で通れば2次の微分が正になる点を通ることができる。特にその位相差が$ \pi $であること、そして
\begin{align}
& - \pi/2 < \theta_+ < \pi / 2
\end{align}
であることから
$ \theta_{+} $
が右方向、
$ \theta_- $
が左方向を表していることがわかる。これを用いれば
\begin{align}
& \qty[\dv{z(\lambda)}{ \lambda }]_{ z(\lambda) = z_0 } = e^{ i \theta_\pm }
\end{align}
であることがわかる。これで証明が完了した。$ {}_\Box $
終わりに
一般的にはテイラー展開の2次でガウス積分して終わりって感じですが、それよりは少しスッキリする議論かなと思います。普通に書いてある英語版のwikiは宝の山です。
