标签为 #正则化# 的博客

tokens危机到来该怎么办？新加坡国立大学最新研究：为什么当前的大语言模型的训练都只有1次epoch？多次epochs的大模型训练是否有必要？

epoch是一个重要的深度学习概念，它指的是模型训练过程中完成的一次全体训练样本的全部训练迭代。然而，在LLM时代，很多模型的epoch只有1次或者几次。这似乎与我们之前理解的模型训练充分有不一致。那么，为什么这些大语言模型的epoch次数都很少。如果我们自己训练大语言模型，那么epoch次数设置为1是否足够，我们是否需要更多的训练？

正则项的理解之正则从哪里来

在机器学习或者深度学习中，正则项是我们经常遇到的概念。它对提高模型的准确性和泛化能力非常重要。本文详细描述了正则项的来源以及与其他概念的相关关系。

机器学习之正则化项

在我们给推荐问题建模时，神秘的正则化项L0、L1、L2的选择对模型很重要。为什么要加正则化？正则化有哪几种形式？到底该选择哪种正则化来建模呢？正则化项与推荐问题的关系？