推荐图灵书:《深度学习的数学》作者:[日]涌井良幸、涌井贞美 杨瑞龙译
梳理神经网络中频繁出现的函数：
一次函数 (a、b为常数，) ，a为斜率，b称为截距。当然，一次函数关系也同样适用于多个自变量的情形。有两个变量x1、x2，当它们满足下列关系，称y和x1、x2是一次函数关系：（a,b,c为常数，）。在神经网络中，神经单元的加权输入可以表示为一次函数关系。例如，神经单元有三个来自下层的输入，其加权输入z的式子如下所示： ，如果把作为参数的权重与偏置b看作常数，那么加权输入z和x1、x2、x3是一次函数关系。另外，在神经单元的输入x1、x2、x3作为数据值确定了的情况下，加权输入z和权重以及偏置b是一次函数关系。用误差反向传播法推导计算式，这些一次函数关系使得计算可以简单进行。二次函数，当然二次函数关系可以推广到多个变量，关于x1、x2的二次函数：单位阶跃函数作为激活函数，，从这个式子可知，单位阶跃函数在原点处不连续，也就是在原点不可导，由于这个不可导的性质，单位阶跃函数不能成为主要的激活函数。指数函数与Sigmoid函数 具有以下2形状的函数称为指数函数 常数a称为指数函数的底数，这个指数函数包含在sigmoid函数这个函数是光滑的，也就是处处可导。函数取值在0和1之间，因此函数值可以用概率来解释。正态分布的概率密度函数数列与递推关系式 熟悉了数列和递推关系式，就很容易理解误差反向传播法。在神经网络中，神经单元的加权输入及其输出可以看成数列，因为可以像“第几层的第几个神经单元的数值是多少”，这样按顺序来确定值。符号可以简洁地表示数列的总和有助于理解神经网络的向量基础 大小和方向的量 神经单元有多个输入x1，x2，.....xn时，将它们整理为如下的加权输入：，其中，w1,w2,...,wn为权重，b为偏置。使用w=(w1,w2,...,wn),x=(x1,x2,..,xn)这两个向量，可以将加权输入表示为内积形式。 矩阵 单位矩阵 矩阵的和、差、常数倍 矩阵的乘积 转置矩阵导数 导数的定义、性质、最小值的条件偏导数基础 多变量函数、偏导数、多变量函数的最小值条件。在用于求性能良好的神经网络的正则化技术中，经常会使用该方法。误差反向传播法必需的链式法则 神经网络和复合函数 单变量/多变量函数的链式法则梯度下降法：多变量函数的近似公式 最优化问题和回归分析 从数学上说，确定神经网络的参数是一个最优化问题，具体就是对神经网络的参数（即权重和偏置）进行拟合，使得神经网络的输出与实际数据相吻合。使用excel理解梯度下降