损失函数、代价函数（经验风险）、期望风险、目标函数（结构风险）

损失函数：【单次】

单次预测的错误程度，度量模型一次预测的好坏。

代价函数（经验风险）：【局部】

多次预测的错误程度的均值。

期望风险：【全局】

对所有样本预测错误程度的均值

经验风险是局部的，基于训练集所有样本点损失函数最小化。经验风险是局部最优，是现实的可求的。

期望风险是全局的，基于所有样本点损失函数最小化。期望风险是全局最优，是理想化的不可求的。

目标函数（结构风险）：

经验风险 + 正则项（惩罚项） 

 

 

参考文献：

《统计学习方法》