加载中...
Terminal-Bench是一个新兴的开源基准测试，专为评估人工智能Agent（AI Agent）在命令行终端环境中的实际操作能力而设计。它通过一系列模拟真实世界场景的复杂任务，旨在客观、可量化地衡量AI Agent在执行代码编译、服务器管理和数据处理等任务时的熟练程度与自主性。
在AI技术飞速发展的今天，大多数基准测试侧重于评估模型的对话、推理或信息检索能力。然而，许多关键的专业工作，如软件开发、系统运维和数据科学，其核心工作流都发生在命令行终端中。当前AI Agent在这些实际操作环境中的能力边界尚不明确，存在一个显著的评估空白。
Terminal-Bench的诞生正是为了填补这一空白。其核心价值在于：
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
Terminal-Bench由斯坦福大学（Stanford University）与Laude研究所（Laude Institute）牵头开发，并得到了来自Anthropic、华盛顿大学（University of Washington）等顶尖研究机构和公司的重要贡献。该项目于2025年5月19日正式向公众发布。
Terminal-Bench的设计理念超越了简单的命令验证，其核心在于评估AI Agent的系统级推理与自主执行能力。为实现这一目标，其技术架构主要由两大组件构成：
此外，为确保评估的公正性并防止模型通过训练数据“作弊”，Terminal-Bench为自身分配了一个唯一的全局标识符（GUID），以追踪其在网络上的传播，确保测试的纯净性。
自发布以来，Terminal-Bench已证明其具有相当的挑战性。在早期测试中，即便是顶级的商业AI Agent，在基准任务上的得分也普遍低于20%。这凸显了在真实终端环境中自主完成复杂任务的难度。
根据截至2025年7月中旬的公开排行榜数据，各AI Agent在terminal-bench-core==0.1.1测试集上的表现呈现出显著差异。以下是部分领先Agent的成绩概览：
通过这些数据，我们可以看到：
然而，随着AI Agent技术的快速迭代，性能也在不断提升。例如，Anthropic的Claude 4 Opus模型已在测试中取得了43.2%的成功率，而专门为开发者设计的终端工具Warp也解决了超过一半的问题。这些数据不仅展示了领先模型的当前水平，也反映了整个领域在实用能力上的显著进步。该基准测试对社区开放，用户可通过简单的pip命令安装，并在公开的排行榜上提交和比较结果。
Terminal-Bench不仅仅是一个评测工具，它更是一个推动AI Agent从理论走向实践的催化剂。通过提供一个客观、严谨且贴近现实的评估平台，它为衡量、比较和提升AI Agent的终端操作能力提供了关键的洞察和指导，正在成为塑造下一代实用型AI Agent发展方向的重要力量。
| 30.3% |
| 13 | Terminus | gemini-2.5-pro | 25.3% |
| 21 | Terminus | Qwen3-235B | 6.6% |
