支持向量机2

在上一篇中，我们由于要最大化间隔故推导出最终要处理的公式为 

下面我们的目的就是求解ω,b使得上式子成立。

对偶问题

为什么要使用对偶问题来求解ω,b？

1. 不等式的约束一直是优化里的难题，求解对偶问题可以将原来的不等式约束问题变成等式约束。
2. 支持向量机用到了高维映射，但是映射函数的具体形式几乎完全不确定，而求解对偶问题之后，可以用核函数来处理这个问题。

原始问题是： 

则该问题的拉格朗日函数： 

可以让原始问题等价于： 

为何可以让两个问题等价

1.如果(2.3)中ω,b不满足(2.1)的约束条件，则1−yi(ωTxi+b)>0，根据(2.3)中内部的max的操作，会让ω趋于无穷大，那么就会在min中被淘汰。所以ω,b一定是满足(2.1)的约束条件的。

2.如果(2.3)中ω,b满足(2.1)的约束条件，那么内部的max操作会让α都趋于0，则max的结果就是目标函数12||ω||2，在外部的min操作就会取得使目标函数最小的ω,b组合。而这样就和原始问题(2.1)相同了。

(2.3)的性质

对于任意一个α′，恒有： 

因为对于任意一个b,ω，内部的max L 恒大于L，也就是左边的最低点一定大于等于右边的最低点。

由于对于任意α成立，所以 

因为使得min最大的α是所有α的一个。

观察发现只不过把min,max换了一个位置，称该问题为对偶问题。

只要求得(2.4)式右部分，那么就可求得原问题的下限。

下面求解(2.4)右半部分

由于(2.5)的min操作没有约束条件，因此直接对L中ω,b求导

令(2.6),(2.7)为0，则

将其带入(2.2)，得到： 

我么已经求解出minb,ωL(ω,b,α′),现在只要求出： 

求解出α将其带入ω,b的表达式，可以求出ω,b。从而可以得到模型：