机器学习课程笔记(第七周)支持向量机SVM

mac2025-12-31  0

课程链接https://www.coursera.org/learn/machine-learning 参考内容https://www.cnblogs.com/maxiaodoubao/p/10213597.html 这一节学习的不是很认真,主要靠看以上博客内容。本文仅供自己学习记录,建议移步以上链接写的更好。

SVM支持向量机

逻辑回归回顾

代价函数如下:

构建SVM

逻辑回归的 cost function 分为A、B 两个部分。 我们做下面的操作: (a) 使用之前定义的 cost1() 和 cost0() 替换公式中对应的项。 (b) 根据 SVM 的习惯,除去 1/m 这个系数。因为1/m 仅是个常量,去掉它也会得出同样的 θ 最优值。 (c)同样根据 SVM 的习惯, 我们删掉 λ,引入常数 C, 将 cost function 改为 C × A + B, 通过设置不同的 C 达到优化目的。 (在优化过程中,其意义和逻辑回归是一样的。可以理解为 C = 1 / λ) 最终得到 SVM 的代价函数:

SVM 经常被看作是一个"大间距分类器" Large Margin Intuition

为了增加鲁棒性,得到更好的结果(避免欠拟合、过拟合,应对线性不可分的情况),SVM 做的不仅仅是将间距最大化,而是做了一些优化: 之前的定义中,θTx ≥ 0 被分为正类,θTx < 0 被分为负类。SVM 的要求更严格: θTx ≥ 1 被分为正类;θTx ≤ -1 被分为负类。只有当C 特别大的时候, SVM 才是一个最大间隔分类器

为构造复杂的非线性分类器:核函数Kernels

 

最新回复(0)