WebLlama：基于Llama的Web智能助手新进展

WebLlama项目简介

WebLlama是一个致力于构建高效人性化Web浏览智能助手的新项目。该项目的目标不是取代用户，而是为用户配备强大的智能助手。项目主要包含以下几个方面：

1. 建模：在最先进的库的基础上，为Llama智能体训练Web导航任务。提供训练脚本、优化配置以及训练尖端Llama模型的说明。
2. 评估：为在真实Web浏览场景中测试Llama模型提供基准，包括通过对话进行以人为本的浏览（WebLINX），很快还会增加更多自动Web导航的基准（如Mind2Web）。
3. 数据：第一个模型在超过24K个Web交互实例上进行了微调，包括点击、文本输入、提交和对话行为。希望不断策划、编译和发布数据集，以训练更好的智能体。
4. 部署：希望让Llama模型与现有的部署平台（包括Playwright、Selenium和BrowserGym）轻松集成。目前正致力于实现这一目标。

Llama-3-8B-Web行动模型

WebLlama项目发布了一个名为Llama-3-8B-Web的强大行动模型，用于构建可以遵循指令并与用户对话的Web智能体。该模型在超过24K个Web交互实例上进行了微调，包括点击、文本输入、提交和对话行为。

Llama-3-8B-Web模型在WebLINX基准测试中表现出色，优于零样本GPT-4V（添加了屏幕截图，因为它支持视觉）和其他微调模型（使用API的GPT-3.5、在Mind2Web上训练的MindAct，也在WebLINX上进行了微调）。下图显示了各模型的性能对比：

总分是IoU（针对目标元素的操作）和F1（针对文本/URL）的组合。这里的29%直观地告诉我们模型在现实世界中的表现如何，显然不需要100%才能获得一个好的智能体，但如果一个智能体获得100%，那肯定会很棒！

未来展望

WebLlama项目的潜力对于本地使用来说可能会非常大，因为使用本地托管的模型执行任务可能会更好，你可以轻松审核，而不是使用公司提供的智能体，后者运行成本高、延迟高，而且可能不太安全/私密，因为它可以访问你的整个浏览历史。

接下来，WebLlama项目计划将行动模型与BrowserGym或Playwright等部署平台集成。此外，还将持续策划、编译和发布数据集，以训练更好的智能体，并增加更多自动Web导航的评估基准。

WebLlama项目的目标是打造高效人性化的Web浏览智能助手，相信随着项目的不断发展和完善，必将为人们的Web浏览体验带来革命性的变化。让我们拭目以待！