再生核ヒルベルト空間

(なにこれ): 正定値カーネルに対して 1 対 1 で定義されるヒルベルト空間

ある集合 XX 上で定義されるの実関数の集合がヒルベルト空間 HH をなしているとする。すべての xXx \in X に対して、評価関数 Lx:ff(x)(fH)L_x: f \mapsto f(x) (\forall f \in H) がすべての fHf \in H に対して連続線形汎関数となるとき、この HH を再生核ヒルベルト空間と呼ぶ。 補足として、線形汎関数は、無限次元のヒルベルト空間においては必ずしも連続ではない。

(再生核ヒルベルト空間     \implies 正定値カーネル) x,yXx, y \in X が与えられたとき、まず LxL_xリースの表現定理を適用して、 Lx(f)=f,KxL_x(f) = \langle f, K_x \rangle を得る。同様に Ly(f)=f,KyL_y(f) = \langle f, K_y \rangleKxHK_x \in H なので、 Ly(Kx)=Kx,KyL_y(K_x) = \langle K_x, K_y \rangleK(x,y)=Kx,KyK(x,y) \coloncolonequals \langle K_x, K_y \rangle と定義することで、これは正定値カーネルとなる。(内積ベースの定義なので、正定値になる)

(正定値カーネル     \implies 再生核ヒルベルト空間) K:X×XRK: X \times X \to \mathbb{R} が与えられたとき、 Kx(y)=K(x,y)K_x(y) \coloncolonequals K(x, y) として、 {KxxX}\{K_x | x \in X\} が張る空間(有限個の KxK_x の線形結合の形で表されるような関数の集合全体)を考える。その上での内積を以下のように定める。

i=1naiKxi,j=1mbjKyj=i=1nj=1maibjK(xi,yj)\langle \sum_{i=1}^{n}a_i K_{x_i}, \sum_{j=1}^{m}b_j K_{y_j} \rangle \coloncolonequals \sum_{i=1}^{n}\sum_{j=1}^{m}a_i b_j K(x_i, y_j)

KK が正定値であることにより、内積として well defined になり、これを完備化すると再生核ヒルベルト空間になる。らしい。

参考:

https://en.wikipedia.org/wiki/Reproducing_kernel_Hilbert_space

https://www.ism.ac.jp/~fukumizu/H20_kernel/Kernel_2_elements.pdf

Related Scraps:

ヒルベルト空間

内積が定義されるベクトル空間の一般化。

  • x,yH.x,y=y,x\forall x, y \in H.\,\, \langle x,y \rangle = \overline{\langle y,x \rangle}
  • x,yHa,bC.ax1+bx2,y=ax1,y+bx2,y\forall x, y \in H\,\, a, b \in \mathbb{C}.\,\, \langle ax_1 + bx_2, y \rangle = a\langle x_1, y \rangle + b \langle x_2, y \rangle
  • xH.x,x0;x,x=0    x=0\forall x \in H.\,\, \langle x, x \rangle \geq 0; \langle x, x \rangle = 0 \iff x = \bm{0}

リースの表現定理

あるヒルベルト空間 HH が与えられたとき、それ上の連続線形汎関数 fHf \in H^{*} は、 HH 上のある点 x0x_0 がただひとつ存在して、 f(x)=x,x0f(x) = \langle x, x_0 \rangle を満たす。

SVM

w,xHb=0\langle \bm{w}, \bm{x} \rangle_{\mathcal{H}} - b = 0

の超平面で対象データを分離し、その平面から直近のデータ点への距離であるマージンを最大化する手法。

ヒルベルト空間上の超平面と点の距離

https://yamagensakam.hatenablog.com/entry/2021/07/25/184016

複素ベクトルの内積

x,yCn\bm{x}, \bm{y} \in \mathbb{C}^n に対して、

x,y=xTy\langle \bm{x}, \bm{y} \rangle \coloncolonequals \bm{x}^T\overline{\bm{y}}

これは、ヒルベルト空間の内積の定義を満たす。