机器学习中的优化问题可以分为参数优化问题和超参数优化问题。
        在确定了训练集D、假设空间f以及学习准则后，如何找到最优的模型f(x,\theta ^{})就成了一个最优化问题，模型f(x,\theta)中的参数\theta称为模型的参数，可以通过优化算法进行学习。除了可以学习的参数\theta外，还有一类参数用来定义模型结构或者优化策略，这类参数称为超参数(hyper-parameter)。
        常见的超参数包括：*聚类算法中的类别个数、梯度下降法的步长、正则化的系数、神经网络的层数、支持向量机中的核函数等。超参数的选取一般都是组合优化问题，很难通过优化算法来自动学习。因此，超参数优化是机器学习中一个经验性很强的技术，通常是按照个人经验来设定的，或者通过搜索的方法对一组超参数组合进行不断试错调整。此外，在贝叶斯框架下，可以将超参数理解为参数的参数，即控制模型参数分布的参数。

        欢迎交流！ QQ：3408649893