支持向量机SVM（二）

正文

请到「今天看啥」查看全文

，而且求极大值。

因此我们可以写作

这样我们原来要求的min f(w)可以转换成求

了。

我们使用 来表示

。如果直接求解，首先面对的是两个参数，而

也是不等式约束，然后再在w上求最小值。这个过程不容易做，那么怎么办呢？

我们先考虑另外一个问题

D的意思是对偶，

将问题转化为先求拉格朗日关于w的最小值，将 和 看作是固定值。之后在 求最大值的话：

这个问题是原问题的对偶问题，相对于原问题只是更换了min和max的顺序，而一般更换顺序的结果是Max Min(X) <= minmax(x)。然而在这里两者相等。用<="" span="">

来表示对偶问题如下： 下面解释在什么条件下两者会等价。假设f和g都是凸函数，h是仿射的（affine，

）。并且存在w使得对于所有的i，

。在这种假设下，一定存在 使得 是原问题的解， 是对偶问题的解。还有

另外， 满足库恩-塔克条件（Karush-Kuhn-Tucker, KKT condition），该条件如下：

所以如果 满足了库恩-塔克条件，那么他们就是原问题和对偶问题的解。让我们再次审视公式（5），这个条件称作是KKT dual complementarity条件。这个条件隐含了如果

，那么

请到「今天看啥」查看全文