from：https://blog.csdn.net/fangqingan_java/article/details/48951191
概述数值优化对于最优化问题提供了一种迭代算法思路，通过迭代逐渐接近最优解，分别对无约束最优化问题和带约束最优化问题进行求解。 该系列教程可以参考的资料有 1. 《Numerical Optimization 2nd》–Jorge Nocedal Stephen J. Wright 2. 《凸优化》–Stephen Boyd 3. 《非线性最优化基础》–Masao Fukushima（林贵华译） 在·4. 《非线性最优化理论与方法》–王宜举 5. 凸优化在线课程
学习链接最优化问题概述 *介绍最优化问题分类以及求解思路线搜索方法 *基于线搜索方法，包括最速下降、牛顿方法以及步长计算等信赖域方法 *介绍信赖域求解最优化问题的思路共轭梯度方法 *介绍共轭方法的思路拟牛顿方法 *介绍拟牛顿方法，用一阶梯度近似Hessian矩阵方法大规模无约束最优化方法 *大规模无约束问题，LBFGS等梯度计算 *复杂函数梯度近似方法无梯度最优化方法 *不计算梯度情况下，如何进行最优化最小二乘问题 *最优化方法应用，求解最小二乘问题非线性方程 *最优化方法应用，求解非线性方程问题有约束最优化问题 *介绍等式、非等式约束最优化问题以及最优化条件，包括KKT条件、对偶等线性规划问题 *线性规划常见求解算法非线性约束最优化问题 *介绍非线性约束的最优化问题求解思路二次规划问题 *目标函数是二次函数的特殊最优化问题，是SQP、内点等方法的基础惩罚和增广拉格朗日方法 *求解带约束最优化问题常用方法序列二次规划和内点法 *SQP和IP方法对于求解大规模约束最优化问题提供方案说明该系列文章是个人学习总结，由于非数学专业和时间关系，可能会有错误和纰漏，欢迎大家批评指正。 另外文章每一行都是个人一字一字敲进去的，转载请注明出处，谢谢。
转载于:https://www.cnblogs.com/leokale-zz/p/11147257.html
相关资源：《Numerical Optimization 2nd》--Jorge Nocedal Stephen J. Wright