模型评估与选择 ML笔记1

1 基本概念

1.1 奥卡姆剃刀和NFL定理

1.1.1 奥卡姆剃刀

含义: 若存在多个假设与观察一致,选最简单的. 注: 怎样判断"简单",并不简单.

1.1.2 NFL定理

结论:学习算法无论多么聪明和笨拙,他们的期望性能相同.即算法只是逼近期望性能的上限 $$\begin{array}{rlr}\sum _f{E}_{ote}({\mathfrak{L}}_a|X,f)& =& =2^{|\mathcal{X}|-1}\sum _{x\in \mathcal{X}-X}P(x)\cdot 1\end{array}$$

参考: [1] 西瓜书 [2] NFL定理

1.2 测试集分离方法

1.2.1 留出法

含义:直接将数据集划分为两个互斥的集合

1.2.2 交叉验证法

貌似batch SGD和交叉验证有异曲同工之处

1.3 模型性能度量

1.3.1 回归任务度量

最常用的是均方误差

1.3.2 分类任务度量

(1) 查准率: 预测为正例中存在多少真正的正例 $$P=\frac{TP}{TP+FP}$$ (2) 查全率(召回率): 真正的正例有多少预测为正例 $$P=\frac{TP}{TP+FN}$$ (3) $F_{\beta }$度量: $$F_{\beta }=\frac{(1+{\beta }^2)PR}{({\beta }^{2}P)+R}$$ 当$\beta =1$时为F1度量 (4) mAP计算

参考 [1] mAP计算