拉格朗日函数怎么构造的

,拉格朗日的定义就是,有多少个约束,每个约束乘以拉格朗日乘子再加上原目标,所以是累加。

其实构造这个公式的意义本身,是要求构造出的无约束问题L(w,b,alpha)与原问题等价。

Hard-marginSVM:

拉格朗日:

在求解L(w,b,alpha)过程中,我们首先将b,w固定,然后在该固定的b,w下,调整alpha,对alpha求导,

得到在该b,w下最大的L_max,那么在所有的L_max中选择一个最小的,其对应的b,w则是该拉格朗日问题的最优的b,w。并且与原Hard-marginSVM求得的b,w相同。该过程也就是

而这两个问题为什么等价,也就是为什么上述两种方法求得的b,w相同呢?下面给一个简单的说明。

假设由拉格朗日问题求得的b,w不满足原SVM的条件,即

又因为alpha>=0,因此

的最大值为正无穷。

2.假设求得的b,w满足原SVM的条件,即

则要想取得最大值,上式中,只需要alpha_n=0,得到的最大值为

即刚好与原问题等价。

免责声明:本站所有文章和图片均来自用户分享和网络收集,文章和图片版权归原作者及原出处所有,仅供学习与参考,请勿用于商业用途,如果损害了您的权利,请联系网站客服处理。