HelixNet：深度学习新架构的探索与实践

在深度学习领域，研究人员一直在探索新的网络架构以提高模型的性能。最近，一种名为HelixNet的新架构引起了大家的关注。它由三个Mistral-7B LLM组成，包括一个演员（actor）、一个评论家（critic）和一个再生器（regenerator）。这种架构的灵感来自于强化学习算法中最突出的演员-评论家（actor-critic）架构。

HelixNet的组成

在HelixNet中，演员LLM对给定的系统环境和问题产生初始响应。然后，评论家接收一个由系统环境、问题和响应组成的元组作为输入，并根据提供的答案对给定的系统环境和问题提供批评。评论家的任务并不是批评，而是提供智能的批评，以便可以修改/再生答案以更好地解决问题。最后，再生器接收一个由系统环境、问题、响应和批评组成的元组，并再生答案。

训练方法

HelixNet的训练分为三个阶段：

• 第一阶段：演员网络通过监督细调（Supervised Fine-Tuning）在大约250K的高质量样本上进行训练。

• 第二阶段：评论家网络的训练过程包括使用演员发送10K的系统环境和问题对，生成响应，然后使用这些元组生成批评。然后使用这些训练数据集进行细调。

• 第三阶段：再生器网络使用元组重新生成答案。使用上述数据对第三个LLM进行细调。

性能评估

在HuggingFaceH4 Open LLM Leaderboard使用的指标上，演员网络的结果如下：

任务	指标	值
arc_challenge	acc_norm	62.28
hellaswag	acc_norm	83.22
mmlu	acc_norm	63.10
truthfulqa_mc	mc2	50.10
总平均	-	0.64675

批评和再生器的可重用性

HelixNet的批评和再生器不仅在附带的演员模型上进行了测试，还在13B和70B的SynthIA模型上进行了测试。它们似乎可以很容易地进行转移，因为它们学习的功能是提供智能的批评，然后再生原始的响应。但是，当所有三者都像在HelixNet中那样一起使用时，这种架构的效果最好。

结论

HelixNet是一种新颖的深度学习架构，它通过结合演员、评论家和再生器三者的优势，提供了一种新的方式来改进模型的性能。尽管它的训练过程可能比传统的深度学习模型更复杂，但其结果表明，这种新的方法是有价值的。未来，我们期待看到更多的研究和实践来进一步探索和优化这种架构。