问题:给定 N 个样本数据点及其对应的函数值，找出该函数
minimize the sum of squares of error: 假设函数的形式是 y(x,w)，其中 w 是该函数的待估计参数，x 则是 input variable;该方法认为，该函数应该使得平方误差之和最小化: MLE:假设每个观察到的样本数据点的函数值的 t 是一个以真实的函数 y(x, w)均值的高斯 分布产生的。然后求使似然最大的参数值 w，即完成参数估计。
MAP:与 MLE 类似，不过是求解使后验概率最大的参数值 w。
minimize the sum of squares of error with regularizer:往无regularizer的E(w)加入一个 regularizer，例如: 在以上问题中: MLE 等价于 minimize the sum of squares of error MAP 等价于 minimize the sum of squares of error with regularizer (MAP with Gaussian prior)
函数关于参数，而不是 input variable 是线性，则是线性模型。 例如:linear basis function model 这里面，basis function 可以任意的选择，而函数 y(x, w)关于 w 始终是线性的。 Basis function的选择有: Polynomial, Gaussian, Logistic sigmoid function, Fourier basis, wavelets
