加载中...
OSWorld 是一个用于测试 AI 代理在真实计算机环境中的基准。这些代理是能处理文字、图片等信息的 AI 系统。基准包括开放式任务，比如操作文件或使用软件。OSWorld Verified 是它的改进版，通过修复问题和提升运行方式，提供更准确的测试结果。它支持不同操作系统，如 Ubuntu、Windows 和 macOS，并允许 AI 通过互动学习来完成任务。
许多现有的 AI 测试基准使用模拟环境，而不是真实的计算机。这导致测试结果无法反映实际使用情况。主要问题包括：
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
这些问题使评估 AI 在日常计算机任务中的表现变得不准确。
OSWorld 由香港大学、销售力量研究、卡内基梅隆大学和滑铁卢大学共同开发。初版于 2024 年发布，相关论文发表于 NeurIPS 2024 会议。OSWorld Verified 于 2025 年 7 月 28 日推出，添加了 AWS 云服务支持，以加快测试速度，并修复了社区报告的 300 多项问题。
这个基准的目的是解决现有测试的不足，帮助评估 AI 代理在真实计算机中的能力。具体包括：
OSWorld Verified 使用虚拟机来模拟计算机环境。AI 代理通过查看屏幕截图和界面结构树来理解情况，然后执行动作，如鼠标点击或键盘输入。测试结果由脚本自动检查，例如验证文件内容或软件状态。
基准共有 369 个任务（如果排除 8 个需要网络的 Google Drive 任务，则为 361 个）。任务分类如下：
运行步骤包括：
基准提供 134 个检查脚本，确保测试结果一致，并有工具供手动验证。
根据 2026 年 2 月数据，部分模型在 OSWorld Verified 上的表现如下（成功率基于单次运行，最多 100 步）：
人类在相同任务上的成功率为 72.36%。AI 模型的表现已从早期版本的 12.24% 显著提高。
观察显示：
其他模型如 Seed-1.8 (ByteDance) 达到 61.9%，显示通用模型在多任务处理上的优势。
OSWorld Verified 通过真实环境和自动检查，推动 AI 代理的进步。它揭示了 AI 在任务规划和执行中的弱点，并提供数据用于改进。未来可扩展到更多操作系统和任务，支持学习方法和安全研究。
| 17 |
| 播放视频 |
| VS Code 代码编辑 | 23 | 编写程序 |
