基于计算图的全连接层反向传播导数公式推导

0. 前言

这一部分是斋藤康毅先生所编写的《深度学习入门·基于Python的理论和实现》的补充，在Chapter 5 · 误差反向传播法中，作者对全连接层和Softmax层只给出了公式，对相关推导过程进行了省略，本文主要解决问题为 : 作者在文中所提出的公式如下所示，该公式应如何理解

假设全连接层计算公式为 : Y = X * W + B，则有 : 1. $\frac{\partial L}{\partial B}=\frac{\partial L}{\partial Y}$ 2. $\frac{\partial L}{\partial W}=X^T\ast \frac{\partial L}{\partial Y}$ 3. $\frac{\partial L}{\partial X}=\frac{\partial L}{\partial Y}\ast W^T$

PS :

本文为本人的阅读笔记，只能作为对书本的补充理解，具体的知识请参阅书本在阅读前，您需阅读该文章，并对 在正向传播时有分支流出，则反向传播时它们的反向传播值会相加 这一结论有所理解 : 基于计算图的Softmax层反向传播推导

1. 全连接层计算图

2. 公式解释

$\frac{\partial L}{\partial B}=\frac{\partial L}{\partial Y}$

由图可知，B 与 X * W 关系为相加，对加结点而言，下级导数等于上级导数

$\frac{\partial L}{\partial W}=X^T\ast \frac{\partial L}{\partial Y}$

矩阵形状以图中样例为例，W 矩阵为 (2,3) ，X 矩阵为 (1,2)，令 M = X * W ，假设 w_ij 为对 m_i 而言，x_j 的权重，由全连接层计算公式，有 : $m_i=\sum w_{ij}\ast x_j$

所以可知 : w_ij 在全连接层输出Y的计算中，出现且只出现一次，所以 : $\frac{\partial Y}{\partial w_{ij}}=x_j$

又 : 对 m_i 而言，上层传递的导数为$\frac{\partial L}{\partial y_i}$。

以该图为例构造L对参数W的导数矩阵U，以实现更新公式 : W = W - α * U，则有 : $$\frac{\partial L}{\partial W}=\frac{\partial L}{\partial Y}\ast \frac{\partial Y}{\partial W}=\left[\begin{array}{ccc}\frac{\partial L}{\partial y_1}\ast x_1& \frac{\partial L}{\partial y_2}\ast x_1& \frac{\partial L}{\partial y_3}\ast x_1\\ \frac{\partial L}{\partial y_1}\ast x_2& \frac{\partial L}{\partial y_2}\ast x_2& \frac{\partial L}{\partial y_3}\ast x_2\end{array}\right]=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\ast \left[\begin{array}{ccc}\frac{\partial L}{\partial y_1}& \frac{\partial L}{\partial y_2}& \frac{\partial L}{\partial y_3}\end{array}\right]=X^T\ast \frac{\partial L}{\partial Y}$$

$\frac{\partial L}{\partial X}=\frac{\partial L}{\partial Y}\ast W^T$

假设 Y( x₁,x₂ ) = Y( u( x₁ , x₂ ) , f( x₁, x₂ ) , φ( x₁, x₂ ) )，其中 u , f , φ 对应着 y₁ , y₂ , y₃ 的输出，以 x₁ 为例，有 :

$\frac{\partial L}{\partial x_1}=\frac{\partial L}{\partial Y}\ast \frac{\partial Y}{\partial x_1}=\frac{\partial L}{\partial Y}\ast (\frac{\partial Y}{\partial u}\ast \frac{\partial u}{\partial x_1},\frac{\partial Y}{\partial f}\ast \frac{\partial f}{\partial x_1},\frac{\partial Y}{\partial \phi }\ast \frac{\partial \phi }{\partial x_1})=\frac{\partial L}{\partial Y}\ast (w_{11},w_{12},w_{13}{)}^T=w_{11}\ast \frac{\partial L}{\partial y1}+w_{12}\ast \frac{\partial L}{\partial y2}+w_{13}\ast \frac{\partial L}{\partial y3}$

即 :

$\frac{\partial L}{\partial x_1}=\frac{\partial L}{\partial Y}\ast (w_{11},w_{12},w_{13}{)}^T$

$\frac{\partial L}{\partial x_2}=\frac{\partial L}{\partial Y}\ast (w_{21},w_{22},w_{23}{)}^T$

所以 :

$\frac{\partial L}{\partial X}=\frac{\partial L}{\partial Y}\ast \left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\end{array}\right]=\frac{\partial L}{\partial Y}\ast W^T$