正则项的理解之正则从哪里来

本文来自合肥工业大学电子商务研究所刘业政老师的上课总结。感谢刘老师。哈哈。

人类认识世界的过程可以理解成是对世界上的事物进行分类的过程。没有分类的能力，人类的认知将无法进行。因此，我们从分类的角度来说明这个问题。

一、线性可分与线性不可分

说到分类就要说到线性可分和线性不可分。这是属于模式识别中的概念。在欧几里德几何中，线性可分是一组点的集合性质。最容易描述的情况是在二维平面中，有一些点，分别是红色的点和蓝色的点。如果我们可以使用一条直线将不同颜色的点分开，那么这些点就是线性可分的。确定一组点是否线性可分就是看是否能找到一个超平面将这些点分开。超平面就是n维欧式空间中余维度等于一的线性子空间，也就是必须是(n-1)维度。例如平面中的线、空间中的平面等就是二维空间和三维空间的超平面。如下图所示，是二维空间线性可分与线性不可分的例子。

图 1

有了线性可分的概念之后，我们就可以构造分类器来帮助我们对目标对象进行分类。比如，数据是p维的向量，那么我们就可以构造一个(p-1)维的超平面来将数据分开。如图1所示中第一个线性可分的情况，假设我们要将一个二维平面的点分开。那么我们可以构造一个分类器，即一个线性函数：

y = f(x) = wx +b

我们希望这个方程可以将不同颜色的点分开，也就是说需要求的一组参数w和b，得到一个函数。使得所有的红色的点都在线的左边，蓝色的点在线的右边。

图 2

总结一下，在机器学习的分类任务中。我们需要构造一个分类模型$Y=F(X)$，使得它能很好的判别数据所属的类别。假设我们有N个训练数据$\{x_i,y_i\}$，那么该分类器的目标（函数）是：

\min \frac{1}{N}\sum_{i=1}^N ||  F(X_i) - Y_i||^k

这里的N是样本规模，k是范数的阶，可取k=0,1,2,... 以上是机器学习中分类模型的简单总结。不懂的同学自己可以去补补课，这不是本文的重点，过程不细说了，我们只用这个形式。