加载中...
Creative Writing v3 是一个用于评估大型语言模型（LLM）创意写作能力的评测基准。该基准采用混合评分系统，旨在更精确地区分不同模型，特别是顶尖模型之间的性能差异。
关于Creative Writing v3的排行榜数据可以参考DataLearnerAI的评测数据：https://www.datalearner.com/ai-models/llm-benchmark-tests/44
🎨 Creative Writing v3评测是大模型EQ-Bench情商评测中一个指标，EQ-Bench是一个专门用来评估大模型情商的评测基准，是Samuel J. Paech在2023年发布。
🎨 Creative Writing v3评测评测基准的运作流程包含以下几个步骤：
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
2025年5月29日，该评测基准的裁判模型正在从Claude Sonnet 3.7更新为Claude Sonnet 4。
该基准采用两种不同的方式对模型进行评分：
这两种分数可能不一致，因为配对比较能让裁判更敏锐地发现细微差异，从而具有更高的区分度。此外，不同的评估方法和评分标准也会导致分数差异。两种方法各有优劣：量规评估受系统性偏见影响较小，但区分度也较低。
为了应对新模型加入时Elo分数整体浮动的问题，排行榜上的分数通过锚定两个参考模型进行校准：DeepSeek-R1的分数固定为1500，而ministral-3b的分数固定为200。
评测创意写作并使其符合人类偏好是一项艰巨的任务。任何创意写作评估的根本局限在于裁判辨别优劣的能力，同时LLM裁判也存在多种偏见。该基准的v2版本已出现饱和现象，即裁判难以区分顶尖模型的表现。
为了解决此问题，v3版本在各方面进行了调整，以降低裁判评估的难度。新版本采用了区分度更高的配对比较和Elo排名系统。提示的设计也经过精心筛选，旨在挑战模型的弱点，从而形成更陡峭的评估梯度，以便于裁判进行评估。这些提示涵盖了语言模型通常难以写好的主题，如幽默、浪漫、空间意识和非寻常的第一人称视角。
在该框架下，完整运行一次模型评测的API费用约为10美元。
该基准尝试控制以下几种在配对比较中常见的偏见：
裁判在进行配对比较时，会依据以下标准评估两位“作者”的相对能力：
裁判需注意，这些能力维度是独立的，且必须为每个标准选出胜者，不允许平局。结果以“+”到“+++++”的形式表示胜出方以及其领先程度。
运行此基准测试和复现排行榜结果的源代码可在GitHub上获取：https://github.com/EQ-bench/creative-writing-bench
关于大模型在Creative Writing v3的排行榜数据可以参考DataLearnerAI的评测数据：https://www.datalearner.com/ai-models/llm-benchmark-tests/44
