全世界第一个基于text的超参数optimizer诞生!

标签:Transformers,超参数优化 时间:2022-05-28 20:18:56.239 发布者:小木

论文名:Towards Learning Universal Hyperparameter Optimizers with Transformers
发布时间:2022-5-26
论文地址:https://arxiv.org/abs/2205.13320
代码地址:

原文摘要:从先前的实验中元学习超参数优化(HPO)算法是一种很有前途的方法,可以提高对来自类似分布的目标函数的优化效率。然而,现有的方法仅限于从共享同一组超参数的实验中学习。在本文中,我们介绍了OptFormer,这是第一个基于文本的Transformer HPO框架,它提供了一个通用的端到端接口,用于在来自野外的大量调谐数据上训练时联合学习策略和函数预测。我们广泛的实验证明,OptFormer可以模仿至少7种不同的HPO算法,通过其函数的不确定性估计可以进一步提高。与高斯过程相比,OptFormer还为超参数响应函数学习了一个稳健的先验分布,因此可以提供更准确和更好的校准预测。这项工作为未来扩展训练基于Transformer的模型作为一般HPO优化器铺平了道路。