f ( x ) = sign ( w ⋅ x + b ) f(x)=\operatorname{sign}(w \cdot x+b) f(x)=sign(w⋅x+b)
感知机模型对应于输入空间（特征空间）中的分离超平面 w ⋅ x + b = 0 w \cdot x+b=0 w⋅x+b=0。
极小化损失函数：
min w , b L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) \min _{w, b} L(w, b)=-\sum_{x_{i} \in M} y_{i}\left(w \cdot x_{i}+b\right) w,bminL(w,b)=−xi∈M∑yi(w⋅xi+b)
损失函数对应于误分类点到分离超平面的总距离。
感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。算法简单且易于实现。原始形式中，首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数。在这个过程中一次随机选取一个误分类点使其梯度下降。
当训练数据集线性可分时，感知机学习算法是收敛的。感知机算法在训练数据集上的误分类次数 k k k满足不等式：
k ⩽ ( R γ ) 2 k \leqslant\left(\frac{R}{\gamma}\right)^{2} k⩽(γR)2
当训练数据集线性可分时，感知机学习算法存在无穷多个解，其解由于不同的初值或不同的迭代顺序而可能有所不同。
f ( x ) = s i g n ( w ⋅ x + b ) f(x) = sign(w\cdot x + b) f(x)=sign(w⋅x+b)
sign ( x ) = { + 1 , x ⩾ 0 − 1 , x < 0 \operatorname{sign}(x)=\left\{\begin{array}{ll}{+1,} & {x \geqslant 0} \\ {-1,} & {x<0}\end{array}\right. sign(x)={+1,−1,x⩾0x<0
给定训练集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1,y1),(x2,y2),⋯,(xN,yN)}
定义感知机的损失函数
L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) L(w, b)=-\sum_{x_{i} \in M} y_{i}\left(w \cdot x_{i}+b\right) L(w,b)=−∑xi∈Myi(w⋅xi+b)
随即梯度下降法 Stochastic Gradient Descent
随机抽取一个误分类点使其梯度下降。
w = w + η y i x i w = w + \eta y_{i}x_{i} w=w+ηyixi
b = b + η y i b = b + \eta y_{i} b=b+ηyi
当实例点被误分类，即位于分离超平面的错误侧，则调整 w w w, b b b的值，使分离超平面向该无分类点的一侧移动，直至误分类点被正确分类
在这里；使用iris数据集中两个分类的数据和[sepal length，sepal width]作为特征
# 提取数据及可视化 import pandas as pd import numpy as np from sklearn.datasets import load_iris import matplotlib.pyplot as plt %matplotlib inline # load data iris = load_iris() df = pd.DataFrame(iris.data, columns=iris.feature_names) df['label'] = iris.target df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label'] df.label.value_counts() data = np.array(df.iloc[:100, [0, 1, -1]]) X, y = data[:,:-1], data[:,-1] y = np.array([1 if i == 1 else -1 for i in y]) plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], label='0') plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], label='1') plt.xlabel('sepal length') plt.ylabel('sepal width') plt.legend()对偶形式的基本想法是，将w和b表示为实例xi 和标记 yi 的线性组合的形式，通过求解其系数而求得w和b. 假设w0=0,b=0,那么当所有的点均不发生误判时，最后的w,b一定有如下的形式:
w = ∑ i = 1 N n i η y i x i = ∑ i = 1 N α i y i x i w = \sum\limits_{i = 1}^N {{n_i}\eta {y_i}{x_i}} = \sum\limits_{i = 1}^N {{\alpha _i}} {y_i}{x_i} w=i=1∑Nniηyixi=i=1∑Nαiyixi
b = ∑ i = 1 N n i η y i = ∑ i = 1 N α i y i b = \sum\limits_{i = 1}^N {{n_i}\eta {y_i}} = \sum\limits_{i = 1}^N {{\alpha _i}} {y_i} b=i=1∑Nniηyi=i=1∑Nαiyi α i = n i α_i = n_i αi=ni代表对第i个样本的学习次数，感知机对偶形式的完整形式即为下式： f ( x ) = s i g n ( ∑ j = 1 N α j y j x j ⋅ x + b ) f(x) = sign(\sum\limits_{j = 1}^N {{\alpha _j}} {y_j}{x_j} \cdot x + b) f(x)=sign(j=1∑Nαjyjxj⋅x+b) 初始化α=0,b=0；任意选取(xi,yi)；如果 y i ( ∑ j = 1 N α j y j x j ⋅ x i + b ) ≤ 0 y_i(\sum\limits_{j = 1}^N {{\alpha _j}} {y_j}{x_j} \cdot x_i + b)\le0 yi(j=1∑Nαjyjxj⋅xi+b)≤0，即发生误判，则对αi,bi进行更新，重复直到所有点都被正确分类 α i ← α i + η b i ← b i + η y i \alpha_i\leftarrow \alpha_i+\eta\\ b_i\leftarrow b_i+\eta y_i αi←αi+ηbi←bi+ηyi
感知机的对偶形式就是把对w,b的学习变成了对α,b的学习，原始形式中，w在每一轮迭代错分时都需要更新，而采用对偶形式时，对于某一点(xi,yi)发生错分时，只需要更新其对应的αi即可，最后即可一次计算出w
同时上述步骤中的 y i ( ∑ j = 1 N α j y j x j ⋅ x i + b ) ≤ 0 y_i(\sum\limits_{j = 1}^N {{\alpha _j}} {y_j}{x_j} \cdot x_i + b)\le0 yi(j=1∑Nαjyjxj⋅xi+b)≤0 可以看出 x j ⋅ x i x_j \cdot x_i xj⋅xi仅以内积的形式出现，因此我们可以是先计算出x的gram矩阵存储起来，这样正式训练时只需要查表就可以得到 x j ⋅ x i x_j \cdot x_i xj⋅xi的值，这样做可以方便程序的优化，提高运算的速度。 原始形式和对偶形式对参数b的处理是相同的。
