推荐图灵书:《深度学习的数学》作者:[日]涌井良幸、涌井贞美 杨瑞龙译
神经元点火的结构：
来自其他多个神经元的信号之和成为神经元的信号之和成为神经元的输入。如果这个信号之和超过神经元固有的阈值，则点火。神经元的输出信号可以用数字信号0和1来表示。即使有多个输出端，其值也是同一个。用数学公式表示输入信号,由于输入信号是来自相邻神经元的输出信号，所以根据3，输入信号也可以用“有”，“无”两种信息表示。因此，用变量x表示输入信号时，如下所示：
用数学公式表示输出信号，根据第3点，输出信号可以用表示点火与否的“有”、“无”两种信息来表示。因此，用变量y表示输出信号时，如下所示：
从第1和2点，神经元点火与否是根据来自其他神经元的输入信号的和来判定的，但这个求和的方式应该不是简单的求和。因此，神经元的输入信号应该是考虑了权重的信号之和。用数学语言来表示的话，来自相邻神经元1、2、3的输入信号分别为X1 X2 X3，则神经元的输入信号之和可以如下表示：
，其中,w1、w2、w3是输入信号x1、x2、x3对应的权重(weight)
根据第2点，神经元在信号之和超过阈值时点火，不超过阈值时不点火。利用 ，点火条件可以如下表示：
这里是该神经元固有的阈值
注意：
这里的函数a是激活函数的一般化，而sigmoid函数是其特殊化。x1、x2、x3是模型允许的任意数值，y是函数a能取到的任意数值。再把替换为b，称之为偏置项，将上述公式修改为：
回顾神经元公式，处理操作：
1、其中为权重，b为偏置，n为输入的个数。
2、神经元通过激活函数a(z)，根据加权输入z输出y
神经元具有如上总结的运算功能。另外，即使有多个输出，其值也相同。将这样的神经元连接为网络状，形成了神经网络。
神经网络各层的职责：
输入层:负责读取给予神经网络的信息。属于这个层的神经单元没有输入箭头，它们是简单的神经单元，只是将从数据得到的值原样输出。隐藏层(称之为中间层)的神经单元执行前面所复习过的1、2两项操作。在神经网络中，这是实际处理信息的部分，肩负着特征提取的重要职责。输出层与隐藏层一样执行信息处理操作1、2,并显示神经网络计算出的结果，也就是整个神经网络的输出。
深度学习，顾名思义，是叠加了很多层的神经网络。叠加层有各种各样的方法，其中著名的是卷积神经网络。
从数学角度看神经网络的学习：
网络自学习算法来确定权重。神经网络的参数上个月确定方法分为监督学习和无监督学习。有监督学习指：为了确定神经网络的权重和偏置，事先给予数据，这些数据称为学习数据(或训练数据)。根据给定的学习数据确定权重和偏置，称为学习。
神经网络如何学习呢？思路机器简单：计算神经网络得出的预测值与正解的误差，确定使得误差综合达到最小的权重和偏置。这个在数学上称为模型的最优化。
关于预测值与正解的误差总和，有各种各样的定义：针对全部学习数据，计算预测值与正解的误差的平方(称为平方误差)，然后再相加。这个误差的总和称为代价函数。利用平方误差确定参数的方法在数学上称为最小二乘法。注意：神经网络的权重是允许出现负数。
