Terminal-Bench 评测全解析：一个用于评测大模型在终端环境使用工具能力的评测基准以及Terminal 1.0与 2.0 的完整对比
本文介绍 Terminal-Bench 的设计理念，深入讲解 core、Terminal-Bench Hard 与最新 Terminal-Bench 2.0 的区别，帮助开发者选择合适的 AI 终端评测基准。
统计、机器学习与编程知识的原创博客
聚焦人工智能、大模型与深度学习的精选内容，涵盖技术解析、行业洞察和实践经验，帮助你快速掌握值得关注的AI资讯。
最新博客
LiveBench：一种抗污染的大型语言模型基准测试
LiveBench是一个针对大型语言模型（LLM）的基准测试框架。该框架通过每月更新基于近期来源的问题集来评估模型性能。问题集涵盖数学、编码、推理、语言理解、指令遵循和数据分析等类别。LiveBench采用自动评分机制，确保评估基于客观事实而非主观判断。基准测试的总问题数量约为1000个，每月替换约1/6的问题，以维持测试的有效性。
IMO-Bench：谷歌发布的用于大模型数学推理的鲁棒评估基准
IMO-Bench 是 Google DeepMind 开发的一套基准测试套件，针对国际数学奥林匹克（IMO）水平的数学问题设计，用于评估大型语言模型在数学推理方面的能力。该基准包括三个子基准：AnswerBench、ProofBench 和 GradingBench，涵盖从短答案验证到完整证明生成和评分的全过程。发布于 2025 年 11 月，该基准通过专家审核的问题集，帮助模型实现 IMO 金牌级别的性能，并提供自动评分机制以支持大规模评估。
BrowseComp：OpenAI发布的AI Agent网页浏览能力评估基准
BrowseComp是一个用于评估AI代理网页浏览能力的基准测试。它包含1266个问题，这些问题要求代理在互联网上导航以查找难以发现的信息。该基准关注代理在处理多跳事实和纠缠信息时的持久性和创造性。OpenAI于2025年4月10日发布此基准，并将其开源在GitHub仓库中。
DocVQA：文档视觉问答基准详解
DocVQA是一个针对文档图像的视觉问答基准数据集。该数据集包含50,000个问题，这些问题基于12,767张文档图像构建而成。数据集旨在评估模型在提取和理解文档内容方面的能力，特别是当问题涉及布局、表格和文本时。基准通过提供标注的问答对，支持模型在真实文档场景下的测试。
FrontierMath：AI大模型高级数学推理评测的新基准
FrontierMath是一个由Epoch AI开发的基准测试套件，包含数百个原创的数学问题。这些问题由专家数学家设计和审核，覆盖现代数学的主要分支，如数论、实分析、代数几何和范畴论。每个问题通常需要相关领域研究人员投入数小时至数天的努力来解决。基准采用未发表的问题和自动化验证机制，以减少数据污染风险并确保评估可靠性。当前最先进的AI模型在该基准上的解决率低于2%，这反映出AI在处理专家级数学推理时的局限性。该基准旨在为AI系统向研究级数学能力进步提供量化指标。
Scale AI 发布 SWE-Bench Pro 评测：AI 软件工程代理的新基准
Scale AI 于 2025 年 9 月 21 日发布了 SWE-Bench Pro，这是一个针对 AI 代理在软件工程任务上的评估基准。该基准包含 1,865 个问题，来源于 41 个活跃维护的代码仓库，聚焦企业级复杂任务。现有模型在该基准上的表现显示出显著差距，顶级模型的通过率低于 25%，而最近的榜单更新显示部分模型已超过 40%。这一发布旨在推动 AI 在长时程软件开发中的应用研究。
IFBench：大模型指令跟随能力评测基准详解
IFBench 是一个针对大语言模型（LLM）指令跟随能力的评测基准。该基准聚焦于模型对新颖、复杂约束的泛化表现，通过 58 个可验证的单轮任务进行评估。发布于 2025 年 7 月，该基准旨在揭示模型在未见指令下的精确执行水平。目前，主流模型在该基准上的得分普遍低于 50%，显示出指令跟随的潜在局限。
GPT-5.1 有哪些提升？来自 OpenAI 官方 AMA 的能力、推理模式、安全策略全解读
2025 年 11 月 13 日，OpenAI 团队在 Reddit 上进行了一场针对 GPT-5.1、模型自定义能力、开发者 API、未来路线图 的公开 AMA（Ask Me Anything）。这次交流并不是简单的功能答疑，而是罕见地从内部视角解释了他们如何思考安全策略、模型行为塑形、推理模式优化、人格定制逻辑、多模态进展以及实际工程实现细节。
IOI（International Olympiad in Informatics）：从世界顶级算法竞赛到大语言模型的新基准
在衡量大语言模型（LLM）智能水平的众多方法中，除了常见的常识推理、专业领域测评外，还有一个正在兴起且极具挑战性的方向——算法问题求解。在这一领域，几乎没有哪项比赛能比 国际信息学奥林匹克（International Olympiad in Informatics，简称 IOI） 更具权威性与含金量。
GenAI 流量格局更新：ChatGPT 持续下滑、Claude 首超 Perplexity、Grok 与 DeepSeek 重新走强，Gemini 成为增长速度最快的模型
11 月 13 日，SimilarWeb 发布了最新的 GenAI 访问流量分布。从数据走势可以明显看到，大模型行业正在经历从“ChatGPT 绝对统治”向“多极竞争”的结构性转变。 一年前，ChatGPT 占据了超过 86% 的流量份额，整个行业几乎处于单中心状态。然而在过去的 12 个月里，大模型的多样化发展、不同厂商的产品升级、企业用户需求变化，都推动了新一轮的流量重分配。
AI Agent工具调用token消耗太多不准确怎么办？Anthropic官方的大模型工具使用（MPC）优化：tokens消耗降低98.7%
让AI Agent通过编写代码来调用工具，而不是直接工具调用。这种方法利用了MCP（Model Context Protocol，模型上下文协议）标准，能显著降低token消耗，同时保持系统的可扩展性。下面，我结合原文的逻辑，分享我的理解和改写版本，目的是记录这个洞察，并为后续实验提供参考。Anthropic作为领先的AI研究机构，于2024年11月推出了MCP，这是一个开放标准，旨在简化AI Agent与外部工具和数据的连接，避免传统自定义集成的碎片化问题。
如何让Nano Banana Pro生成更好的图片？Nano Banana Pro 提示词写作官方教程
Google 最新推出的 Nano Banana Pro（Gemini 3 Pro Image） 不只是一次“图像质量提升”，而是让普通用户也能借助专业级提示词，生成具备排版、构图、品牌、摄影语言的作品。 在这个版本中，最关键的能力不是模型本身，而是： 它对结构化、专业化 Prompt 的响应能力非常强。 写对提示词，效果天差地别。 本文将完全聚焦于： 怎么写提示词，才能让 Nano Banana Pro 生出最好的图。
OpenAI发布GPT-5.1：围绕“对话体验、一致性、任务适配性”进行的系统化优化的实质性升级！重回写作排名第一！
OpenAI 于 2025 年 11 月正式发布 GPT-5 系列的阶段性更新版本 —— GPT-5.1。这一更新并非针对模型架构的全面重做，而是围绕“对话体验、一致性、任务适配性”进行的系统化优化。在 GPT-5 推出后，业界对其不稳定回复、语气波动、任务深度控制不足等表现提出了不少批评，因此本次更新可视为 OpenAI 对这些问题的集中调整。
大模型评测SimpleVQA全方位深度解析，直击多模态模型“事实幻觉”
随着多模态大语言模型（MLLM）在各个领域的应用日益广泛，一个核心问题浮出水面：我们如何信赖它们生成内容的准确性？当模型需要结合图像和文本进行问答时，其回答是否基于事实，还是仅仅是“看似合理”的幻觉？为了应对这一挑战，一个名为SimpleVQA的新型评测基准应运而生，旨在为多模态模型的事实性能力提供一个清晰、可量化的度量衡。
Anthropic发布了Claude Opus 4.1：这是一个Claude Opus 4的小幅升级版本，价格和技术参数不变，性能略有提升
Anthropic 在 Opus 4 发布不到三个月后推出 Claude Opus 4.1，宣称“可直接替换”旧版模型。更新聚焦真实世界编码、长链路代理（agentic）任务和细粒度推理，同时保持相同 API 名称结构和计费档位，方便现有应用平滑迁移。
如何快速五分钟就能了解GitHub中一个项目的代码架构和逻辑：智谱类DeepResearch的大模型产品Zread介绍，GitHub仓库解读神器
智谱AI于2025年7月发布了Zread。这款产品能够利用其大模型能力，结合类似Deep Research的Agent技术，对GitHub项目进行深度解读和问答。其价值在于将强大的模型能力通过优秀的工程化设计，变成了一个真正“好用”的工具。它解决的正是那种“代码就在那里，但我就是看不懂”的尴尬，这种体验是单纯聊天机器人无法替代的。
ManusAI产品介绍和特点总结，以及用户对该产品的评价总结，背后的开发团队介绍
Manus AI 是一款尖端的人工智能代理程序，于 2025 年 3 月 6 日正式发布，旨在跨多个领域自主执行复杂任务，弥合人类意图与可操作结果之间的差距。它由 Butterfly Effect 开发，该公司在中国（北京和武汉）以及新加坡（BUTTERFLY EFFECT PTE. LTD.）设有运营机构。以下内容基于截至 2025 年 7 月 5 日的最新信息，涵盖其产品功能、关键技术特点及用户反馈。
谷歌发布视频大模型Veo 3.1：电影级别的视频生成，声音合成和同步能力大幅提升，但相比较Sora2依然有明显差距！
就在今日，Google 正式推出 Veo 3.1 和 Veo 3.1 Fast，这两款升级版视频生成模型以付费预览形式登陆 Gemini API。Veo 3.1的核心亮点是：更丰富的原生音频（从自然对话到同步音效）、更强的电影风格理解与叙事控制、以及显著增强的图生视频（Image-to-Video）质量与一致性。
新模型发布：Gemma 3 270M，为特定任务打造的高效工具
谷歌开源了其Gemma 3模型系列的新成员——Gemma 3 270M。该模型的设计理念并非追求通用性和大规模，而是专注于为定义明确的特定任务提供一个高效、紧凑的解决方案。其核心价值在于通过微调（fine-tuning）来执行专门化任务。
Anthropic发布Claude Haiku 4.5：一个不可忽视的低成本模型，1/3的价格，1.5倍的速度，但是有Claude Sonnet 4的水平！
Anthropic正式发布最新一代入门级模型Claude Haiku 4.5。相较上一代小模型，Haiku 4.5 在编码、推理与“计算机使用/子代理编排”等关键生产力场景上实现逼近甚至局部追平 Sonnet 4，但价格更低、速度更快，定位于“面向规模化落地的高性价比主力”。
如何评估向量大模型在多种任务上的表现？Massive Text Embedding Benchmark（MTEB）评测介绍
MTEB是一个用于评估向量大模型向量化准确性的评测排行榜。它全称为Massive Text Embedding Benchmark，是一个旨在衡量文本嵌入模型在多种任务上表现的基准测试。
如何评估大模型的Agent能力？τ²-Bench：评估双控对话智能体的新标准
为了解决大模型的Agent操作依赖交互和人工处理这个问题，普林斯顿大学与 Sierra Research 的研究团队在 2025 年 6 月提出了 τ²-Bench（Tau-Squared Benchmark），并发布了论文《τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment》。 它是对早期 τ-Bench 的扩展版本，旨在建立一种标准化方法，评估智能体在与用户共同作用于环境时的表现。