Zephyr 7B Beta：Mistral微调新模型的技术解读

<h1 id="h1-zephyr-7b-beta-mistral-"><a name="Zephyr 7B Beta：Mistral微调新模型的技术解读" class="reference-link"></a><span class="header-link octicon octicon-link"></span>Zephyr 7B Beta：Mistral微调新模型的技术解读</h1><p>最近，Hugging Face公司发布了Zephyr 7B Beta，这是一款Mistral微调新模型，与之前的Chat Llama 70B模型在多个基准测试中表现相似，并在MT bench上表现优异。本文将深入解析这款新模型，对其训练过程、技术特点以及模型优化策略进行详细解读。</p>
<h2 id="h2-u6A21u578Bu6027u80FD"><a name="模型性能" class="reference-link"></a><span class="header-link octicon octicon-link"></span>模型性能</h2><p>在MT-Bench上，Zephyr Beta的得分为7.34，而Llama 2 Chat 70B的得分为6.86；在AlpacaEval上，Zephyr的胜率为90.6%，而Llama 2 Chat 70B的胜率为92.7%。这些结果表明，Zephyr Beta是一款非常优秀的模型。</p>
<h2 id="h2-u6A21u578Bu8BADu7EC3"><a name="模型训练" class="reference-link"></a><span class="header-link octicon octicon-link"></span>模型训练</h2><p>Zephyr Beta的训练过程非常有趣，其不仅包含了优秀的指标，还包含了一些独特的训练组件：</p>
<ul>
<li>使用了最好的小型开源预训练模型：Mistral 7B</li><li>使用了大规模偏好数据集：UltraFeedback</li><li>放弃RL，使用直接偏好优化（DPO）</li><li>在偏好数据集上过拟合，却出奇地得到了更好的聊天结果</li></ul>
<h2 id="h2-u6A21u578Bu4F18u5316"><a name="模型优化" class="reference-link"></a><span class="header-link octicon octicon-link"></span>模型优化</h2><p>Zephyr Beta的训练过程包含了三个阶段：</p>
<ol>
<li>蒸馏监督微调（dSFT）：构建一个大规模的、自我指导式的数据集（UltraChat），然后进行蒸馏SFT。</li><li>AI反馈（AIF）收集：4个不同的LLMs生成补全，然后使用GPT-4对响应进行排名（UltraFeedback）。</li><li>蒸馏直接偏好优化（dDPO）：我们对dSFT模型（来自步骤1）使用反馈数据（来自步骤2）进行DPO。DPO是一种替代PPO的方法，它去除了对奖励模型的需要。Zephyr beta训练了更多的DPO周期（比Zephyr alpha），从而得到了更好的聊天结果。</li></ol>
<h2 id="h2-u5176u4ED6u6709u8DA3u7684u53D1u73B0"><a name="其他有趣的发现" class="reference-link"></a><span class="header-link octicon octicon-link"></span>其他有趣的发现</h2><ul>
<li>使用DPO进行过拟合可以根据所有基准测试得到更好的聊天模型</li><li>我们进行了消融实验，以查看是否真的需要SFT和DPO。结论是：没有SFT的DPO会导致模型无法学习聊天模板。SFT + DPO产生最好的结果。</li><li>对Zephyr Alpha的反馈是，存在错误的大小写（例如”Hi. how are you?”）和一些奇怪的回应前缀（例如”I don’t have personal X”），因此我们对此进行了一些额外的过滤。</li></ul>
<p>以上就是对Zephyr 7B Beta模型的详细解读，希望能对您有所帮助。如果您对这方面的内容感兴趣，欢迎继续关注我们的后续文章。</p>

Zephyr 7B Beta：Mistral微调新模型的技术解读

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客