神经网络发展简介

看过很多书，都说了神经网络的进展，但总有一些小问题没有明白。这次基本上都明白了，记录一下。

模拟神经网络最早的原创文章是由麦卡洛克（Warren McCulloch）和皮茨（Walter Pitts）于1943年发表，他们提出了M-P（之所以叫M-P是因为作者两个人的名字）神经元模型，这是最早的基于神经元的模型。M-P神经元接受来自其他n个神经元的输入信号，然后使用线性组合计算这些信号的输出值，当这些输出值高于某个阈值的时候，该神经元为“兴奋”状态，输出为1，否则为0。这里可以将神经元的激活函数理解为一个阶跃函数。这种神经元模型称为M-P神经元模型。如下图所示：

M-P神经元模型有如下假设： 1、都是二元的，取值只有0和1两种情况 2、每个神经元都有一个阈值，称为$\theta$ 3、每个神经元都从其他“兴奋（excitatory）”状态的神经元接受信号，并且它们的权重都一样（但是一个神经元可以从一个来源接受多次输入，所以这些兴奋权重都是正整数） 4、抑制性的输入与其它兴奋状态的输入相比有绝对的否决权 5、每一次迭代更新的时候，如果该神经元没有抑制性神经元作为输入，且所有兴奋状态神经元的线性组合结果高于阈值的时候，该神经元输出为1，否则为0。

这个M-P神经元模型是最早的神经元模型。这个模型没有学习的方法，但是其结果很鼓舞人心。尽管我们很难找出权重的值，也无法找出一种合适的方式将神经元连接起来以获取期望的计算结果。但是它意味着类似神经元的连接是可以计算出来的。它最大的贡献是用一种简单的方式来理解人脑如何基于简单的细胞来产生复杂的识别结果。