Lesson5 Kernel Method

Generalized Linear Function & Kernel Methods

之前讲述的内容大部分是线性可分的，我们现在讨论一些线性不可分的内容。

这样高度切一刀就可以实现区分了。

Generalized Linear Discriminant Function

在线性判别中（就是线性可分的），原本的一个函数是\(g(x) = \sum^d_{i=1}w_ix_i + w_0\)

• 我们认为其去算出来的正负实现了一个分类。

然后广义线性判别式就是，对于给定的空间例如\([x_1, x_2, x_3]\)，保留其内积，如\([x_1, x_2, x_3, x_1x_2, x_2x_3, x_1x_2x_3]\)

上面的这面PPT大致讲述了核方法的基本思想，就是利用这个phi函数实现将原始数据点 x 转换（映射）到一个更高维的空间（称为"特征空间"）中，表示为 \(y = φ(x)\)，即\(x \rightarrow \phi(x)\)。

然而这个\(\phi\)函数存在"找不到"的风险。

Kernel Methods

• 不知道phi长啥样的，可以通过预先定义核函数，代表phi映射后的内积。

很妙的推导：

看结尾而言，首先一点是\(\phi\)但凡出现，即以内积形式出现，同时由于是\(J(a)\)，也不用去考虑\(w\)了。

在对偶形式下，虽然a的定义值包含w，但是可以不去考虑之，仅针对a求解。

\(a^*\)指的是极值，这样计算：

\[ J'(a) = KKa - Kt + \lambda aK = 0 \\ Ka - t + \lambda a = 0 \\ \]

我们这里K实际是\(\phi\phi^T\)即一个矩阵，