Terminal-Bench 4.0

简介

Terminal-Bench 4.0 是 Terminal-Bench 团队持续维护的终端智能体评测版本，通过 66 个容器化专业计算机任务测量模型与 Agent 脚手架组成的完整系统。4.0 将每次 Agent 运行的超时上限统一调整为 8 小时，修复 19 个任务，并移除 8 个已饱和、容易触发拒答、存在公开解法或仍有质量与平台问题的任务。每个任务运行 5 次，榜单报告任务解决率及 95% 置信区间；因任务集和资源规则已发生破坏性变更，4.0 成绩不应与 3.0 或 2.x 直接对比。