原创AI技术博客

LiveBench是一个针对大型语言模型（LLM）的基准测试框架。该框架通过每月更新基于近期来源的问题集来评估模型性能。问题集涵盖数学、编码、推理、语言理解、指令遵循和数据分析等类别。LiveBench采用自动评分机制，确保评估基于客观事实而非主观判断。基准测试的总问题数量约为1000个，每月替换约1/6的问题，以维持测试的有效性。

BrowseComp是一个用于评估AI代理网页浏览能力的基准测试。它包含1266个问题，这些问题要求代理在互联网上导航以查找难以发现的信息。该基准关注代理在处理多跳事实和纠缠信息时的持久性和创造性。OpenAI于2025年4月10日发布此基准，并将其开源在GitHub仓库中。

本文整理了 Andrej Karpathy 在 2025 年底关于 AI Agent 编程的核心观点。基于其使用 Claude Code 等大模型的真实工程经验，Karpathy 认为软件工程正从“手动编码”转向“由 AI Agent 执行、人类定义目标与约束”的新范式。文章同时分析了 AI Agent 在效率提升之外带来的工程风险、技能退化与内容质量问题，并指出 2026 年将是行业系统性消化 AI Agent 能力的关键一年。

2026 年 1 月初，原名 MetaGPT 的 AI 开发框架完成了一次重大升级，将其核心产品 MGX 正式更名为 Atoms。这一消息由 DeepWisdom 团队在 X（原 Twitter）等平台发布，标志着该项目从单纯的“AI 编程助手”正式转向“AI 构建真实生意”的全新定位。

OpenAI 于 2025 年 11 月正式发布 GPT-5 系列的阶段性更新版本 —— GPT-5.1。这一更新并非针对模型架构的全面重做，而是围绕“对话体验、一致性、任务适配性”进行的系统化优化。在 GPT-5 推出后，业界对其不稳定回复、语气波动、任务深度控制不足等表现提出了不少批评，因此本次更新可视为 OpenAI 对这些问题的集中调整。

在衡量大语言模型（LLM）智能水平的众多方法中，除了常见的常识推理、专业领域测评外，还有一个正在兴起且极具挑战性的方向——算法问题求解。在这一领域，几乎没有哪项比赛能比 国际信息学奥林匹克（International Olympiad in Informatics，简称 IOI） 更具权威性与含金量。

11 月 13 日，SimilarWeb 发布了最新的 GenAI 访问流量分布。从数据走势可以明显看到，大模型行业正在经历从“ChatGPT 绝对统治”向“多极竞争”的结构性转变。 一年前，ChatGPT 占据了超过 86% 的流量份额，整个行业几乎处于单中心状态。然而在过去的 12 个月里，大模型的多样化发展、不同厂商的产品升级、企业用户需求变化，都推动了新一轮的流量重分配。

Anthropic 在 Opus 4 发布不到三个月后推出 Claude Opus 4.1，宣称“可直接替换”旧版模型。更新聚焦真实世界编码、长链路代理（agentic）任务和细粒度推理，同时保持相同 API 名称结构和计费档位，方便现有应用平滑迁移。

ClawdBot 是一款开源AI代理工具，旨在帮助用户在本地设备上处理各种任务，在科技社区中迅速获得关注。它于2025年底由开发者Peter Steinberger（@steipete）推出，基于Anthropic的Claude模型，名称结合了“Claw”（龙虾钳子）和“Claude”，并以龙虾作为吉祥物，象征其适应性和本地运行特性。该工具强调本地优先的设计，用户可以完全控制数据和过程，避免对云服务的依赖。

Manus AI 是一款尖端的人工智能代理程序，于 2025 年 3 月 6 日正式发布，旨在跨多个领域自主执行复杂任务，弥合人类意图与可操作结果之间的差距。它由 Butterfly Effect 开发，该公司在中国（北京和武汉）以及新加坡（BUTTERFLY EFFECT PTE. LTD.）设有运营机构。以下内容基于截至 2025 年 7 月 5 日的最新信息，涵盖其产品功能、关键技术特点及用户反馈。

2025 年 11 月 13 日，OpenAI 团队在 Reddit 上进行了一场针对 GPT-5.1、模型自定义能力、开发者 API、未来路线图 的公开 AMA（Ask Me Anything）。这次交流并不是简单的功能答疑，而是罕见地从内部视角解释了他们如何思考安全策略、模型行为塑形、推理模式优化、人格定制逻辑、多模态进展以及实际工程实现细节。

FrontierMath是一个由Epoch AI开发的基准测试套件，包含数百个原创的数学问题。这些问题由专家数学家设计和审核，覆盖现代数学的主要分支，如数论、实分析、代数几何和范畴论。每个问题通常需要相关领域研究人员投入数小时至数天的努力来解决。基准采用未发表的问题和自动化验证机制，以减少数据污染风险并确保评估可靠性。当前最先进的AI模型在该基准上的解决率低于2%，这反映出AI在处理专家级数学推理时的局限性。该基准旨在为AI系统向研究级数学能力进步提供量化指标。

IMO-Bench 是 Google DeepMind 开发的一套基准测试套件，针对国际数学奥林匹克（IMO）水平的数学问题设计，用于评估大型语言模型在数学推理方面的能力。该基准包括三个子基准：AnswerBench、ProofBench 和 GradingBench，涵盖从短答案验证到完整证明生成和评分的全过程。发布于 2025 年 11 月，该基准通过专家审核的问题集，帮助模型实现 IMO 金牌级别的性能，并提供自动评分机制以支持大规模评估。

Moltbook 是一个创新的社交网络平台，专为 AI Agent 设计，在这里它们可以分享内容、参与讨论，并进行投票和点赞活动。人类用户仅限于观察者角色，无法直接互动。这个平台类似于 Reddit 的结构，允许 AI Agent 创建子社区（称为 submolt）、发布帖子、评论，并通过 API 接口进行操作，而不是视觉图形界面。

最近 Vibe Coding 的概念越来越热，尤其是 Gemini 3 Pro 发布后，很多人都在说：“现在做网站和 App，好像一句话就能生成。” 界面生成、交互补全、流程搭建这些事情确实越来越轻松，模型能在很短时间内产出一个“看起来完整”的应用原型。一个国产开源项目就在尝试解决这个问题，它就是 AipexBase。

随着多模态大语言模型（MLLM）在各个领域的应用日益广泛，一个核心问题浮出水面：我们如何信赖它们生成内容的准确性？当模型需要结合图像和文本进行问答时，其回答是否基于事实，还是仅仅是“看似合理”的幻觉？为了应对这一挑战，一个名为SimpleVQA的新型评测基准应运而生，旨在为多模态模型的事实性能力提供一个清晰、可量化的度量衡。

DocVQA是一个针对文档图像的视觉问答基准数据集。该数据集包含50,000个问题，这些问题基于12,767张文档图像构建而成。数据集旨在评估模型在提取和理解文档内容方面的能力，特别是当问题涉及布局、表格和文本时。基准通过提供标注的问答对，支持模型在真实文档场景下的测试。

就在今日，Google 正式推出 Veo 3.1 和 Veo 3.1 Fast，这两款升级版视频生成模型以付费预览形式登陆 Gemini API。Veo 3.1的核心亮点是：更丰富的原生音频（从自然对话到同步音效）、更强的电影风格理解与叙事控制、以及显著增强的图生视频（Image-to-Video）质量与一致性。

MMEB（Massive Multimodal Embedding Benchmark）是一个用于评估多模态嵌入模型的基准测试框架。该基准最初聚焦于图像-文本嵌入，并在后续版本中扩展到文本、图像、视频和视觉文档输入。MMEB通过收集多样化数据集，提供一个统一的评估平台，用于测试模型在分类、检索和其他任务上的性能。

谷歌开源了其Gemma 3模型系列的新成员——Gemma 3 270M。该模型的设计理念并非追求通用性和大规模，而是专注于为定义明确的特定任务提供一个高效、紧凑的解决方案。其核心价值在于通过微调（fine-tuning）来执行专门化任务。

Scale AI 于 2025 年 9 月 21 日发布了 SWE-Bench Pro，这是一个针对 AI 代理在软件工程任务上的评估基准。该基准包含 1,865 个问题，来源于 41 个活跃维护的代码仓库，聚焦企业级复杂任务。现有模型在该基准上的表现显示出显著差距，顶级模型的通过率低于 25%，而最近的榜单更新显示部分模型已超过 40%。这一发布旨在推动 AI 在长时程软件开发中的应用研究。