Google生产环境中的推荐系统大揭秘——工业规模的广告推荐模型的ML工程

Google研究人员在ACM RecSys2022发表的这篇论文主要的目的是让大家了解Google生产环境中的推荐系统工作面貌。广告点击率（CTR）预测是在线广告系统的一个关键组成部分，对收入有直接影响，并继续成为一个积极研究的领域。这篇论文提出了一个详细的案例研究，让读者 “参观 “生产型CTR预测系统的工厂车间，描述了这类大型工业ML系统所特有的挑战，并强调了在实践中被证明行之有效的技术。生产型CTR预测模型由数十亿个权重组成，在一千多亿个例子上进行训练，并且需要以每秒超过十万个请求的速度进行推理。这里描述的技术在提高准确率和训练及服务成本之间取得了平衡，同时也没有增加不适当的复杂性。

对于广告点击率预测器来说，模型质量的微小改进往往会转化为用户体验的改善和整个广告系统的收益。这就促使人们不断投资于模型的研究和开发。来自ML文献的理论和基准改进很少直接转移到现实世界应用的问题依赖设置中。因此，模型研究必须主要是实证和实验性的。因此，在评估新技术时，必须对模型训练实验的机器成本给予极大的关注。

这篇论文给出了Google工业化模型和训练设置的总体概述，并讨论了效率问题并详细介绍了几个成功部署的技术。此外，作者还调查了现代ML技术的应用，这些技术的目标是提高准确度，并明确面向超大规模的模型。

论文总结了经验性的结果，大致描述了这些技术的相对影响。深度神经网络（DNNs）在许多应用中提供了比以前的方法更多的改进，包括大规模的工业环境。然而，非凸优化揭示了（并加剧了）预测的一个关键问题：不可复制性。对同一模型进行两次训练（相同的结构、超参数、训练数据）可能会导致第二个模型的指标与第一个模型大不相同。我们区分了模型的不可复制性和系统的不可复制性，前者与固定数据的预测严格相关，后者是指部署的不可复制的模型会影响重要的系统指标。

最后描述了这个问题的特点，并描述了对模型不可复制性的改进。一个有效的点击预测模型必须能够跨越不同的用户界面处理，包括：广告在页面上的显示位置以及对广告格式的任何改变（例如，加粗特定文本或添加图片）。详细介绍了一种向模型添加偏见约束的通用技术，该技术已被应用于改善泛化和系统的不可复制性。

本文有以下贡献。1）我们从多个角度讨论了实际的ML考虑，包括准确性、效率和可重复性，2）我们详细介绍了提高效率和准确性的技术的实际应用，在某些情况下描述了针对在线学习的适应性，3）我们描述了模型如何通过模型因式分解和偏置约束更好地泛化不同的UI处理。