神经网络的符号表示

假设我们有$m$个输入数据，每个输入数据有$n$个特征，也就是说每个数据的输入是一个向量（通常默认为列向量）。每个数据有一个标签$y$，那么用向量化的方式表示即输入数据为$X$，其中$X$是一个$n\times m$的矩阵。

X = \begin{bmatrix}

x_1, \cdots, x_m

\end{bmatrix} = 

\begin{bmatrix}

x_{11}, \cdots, x_{m1} \\
\cdots, \cdots, \cdots \\
x_{1n}, \cdots, x_{mn} 

\end{bmatrix}

通常情况下，在神经网络中有三个表示维度的量，即$n_x$、$n_h^l$和$n_y$。其中$n_x$表示输入数据的维度，$n_h^l$表示第$l$层神经网络的神经元数量，$n_y$表示输出数据的维度。

除了输入层以外，每个神经元都有一个输出量，一般用$a_j^l$表示第$l$层神经网络的第$j$个神经元，用$a^l$表示第$l$层所有的神经元，$A$表示所有的神经元。

每个神经元都是对输入数据经过激活函数计算得到输出值$A$的。通常使用$\sigma$表示激活函数，激活函数里面是一个线性变换：

a^l_j = \sigma(w^l_{\cdot j} a^{l-1}_j + b^l_j)