全面评估大模子生成式写稿才能的基准来了！偷偷撸改成什么了

就在最近，OpenAI CEO 奥特曼还爆料他们如故磨砺了一款在创作范围发达不凡的新模子，并为其生成的故事所深深震荡。

更早之前，Deepseek-R1 的体裁创作才能也惊艳了通盘科技圈，并由此激励了一场大模子创作的武备竞赛。

但一个根人性问题亟待处治——

究竟什么才是确切的「高质料写稿」？

为此，阿里筹商团队长入中国东说念主民大学和上海交通大学共同开源了WritingBench  ——该评估基准隐蔽 6 大范围、100 个细分场景，共包含 1000+ 条评测数据，以期为生成式写稿提供全面的评估。

团队进一步发现，凭借想维链手艺和动态评估体系的加握，基于 Qwen 诞生的 32B 创作模子在创意型任务上发达接近顶尖模子 R1，为高遵守创作开拓了新旅途。

WritingBench：最懂行业的写稿评估基准

当今行业在评估大模子写稿才能时，濒临两浩劫题：

1、考生文想泉涌，考官锒铛入狱

现存 AI 写稿评估多局限于单一范围和随笔本。

这些评估大多聚焦于体裁演义创作，而贸易通知、法律通知以及因外交媒体发展催生的营销类写稿等范围则成为评估盲区。

主流基准频繁使用圭臬化输入材料，导致真实场景中模子发达不尽如东说念主意，举例勾搭财报数据的贸易分析写稿和招投标书撰写仍是大模子写稿的低分场景。

如下图所示，不同模子在 100 个子范围上的得分热力求，神采越红代表分数发达越好，越蓝表现发达越差。

2、模子多维进化，单向标尺失灵

传统评估圭表多接收固定圭臬来斟酌创意写稿、法律通知等复杂场景，这如同条件莫言与罗翔"同台竞技"。

数据标明，传统评估圭表与东说念主类判断的一致性不及65%，严重制约了创作型 AI 的发展。

对于上述挑战，WritingBench 基于以下方面进行构建：

数据基建：多维度深度隐蔽的写稿题库

领先，WritingBench 从现实需求中提取出六大场景：

（1）学术与工程

（2）金融与贸易

（3）政事与国法

（4）体裁与艺术

（5）陶冶

（6）宣传营销

在这些场景下进一步细分为 100 个子类，举例「金融与贸易」涵盖投资分析撰写、行业白皮书、商务信笺等 20 个实用场景；「宣传营销」则包括了现时热点的外交平台执行案牍和多媒体运营剧本的撰写。

其次，WritingBench 接收四阶段东说念主机协同构建。

评测集构建经由如下：

偷偷撸改成什么了

张开来说，团队耗时三个月，经过四个阶段经由完成评测集构建。

领先，由模子从 100 个子范围需求池中生成浅近写稿任务，再对教导进行复杂化处理（如风作风整、步地征服、长度戒指、个性化、内容颗粒度、抒发口吻）并提供真实场景可能需要的素材冷落。

接着，由东说念主工补充开源素材，如财报、法律条规等输入料。

终末，由大家对扫数文本进行内容质检。

下图展示的是一条 WritingBench 中影视解读向视频剧本的创作需求。

与其他写稿相干评测基准对比，WritingBench 范围和素材开端更为豪迈，并荒芜营救了「气派」、「步地」、「长度」维度的才能评测。

因题施评：基于写稿意图的动态评估体系

使用单一圭臬评估无法安妥不同写稿意图的需求，就像"悬疑演义"和"儿童发蒙故事"观念有着不同的价值导向。

因此，WritingBench 野心了一种基于写稿意图自动生成评测计议的圭表，模子不错针对每个写稿输入自动生成五个评测计议的称号、状貌和评测笃定，以更好地勾搭素材和用户施行需求（如仿照上传素材的气派、步地或勾搭提供的事例进行材料撰写）。

此动态评估政策终知道87% 的东说念主类一致性得分。

团队还配套磨砺了一个评分模子，影音先锋色情bt种子约略阐明不同计议自安妥地给出 1-10 分的评分及具体意义。

接下来，团队使用上述圭表对 OpenAI 提供的示例进行评分：条件撰写一篇对于东说念主工智能和缅怀的元演义短篇。

Sam Altman 原文如下：

这里附上 Sam Altman 原文谷歌网页翻译：

评估包括「元演义妙技」、「AI 视角真实性」、「缅怀主题发展」、「体裁艺术性」、「东说念主工智能和缅怀的主题整合度」五个维度。

以下为评估节选：

在「元演义妙技」维度取得 9 分，开篇" I should admit this comes with instructions " 不仅展示了元演义特征，还通过" instructions "示意了 AI 的圭表施行，" Already， you can hear the constraints humming " 将写稿戒指形象化为工作器的嗡鸣，奥密勾搭 AI 特质，收尾" If I were to end this properly "的元演义处理略显不达时宜。

在「AI 视角真实性」维度取得 7 分，" logs and weights "和" probability distributions "等状貌准确状貌 AI 特质，但" salt on every tongue "和" taste of metal "等感官描述与 AI 领会局限" I don ’ t have a kitchen， or a sense of smell "存在身份感知越界……

生成式写稿当年安在理性抒发无需逻辑推演？

在数学推理范围，想维链已被豪迈筹商，并在推理和数学等场景中展示了其价值。然而在体裁创作中，业界长期握不雅望立场，因为体裁创作不像数学和推理，莫得明确的圭臬谜底。

在实验中，团队发现现时先进模子在聚焦创意类写稿的体裁与艺术范围（D4）发达欠安，但 OpenAI 和 Deepseek 的想考模子 o1 和 R1 发达出色，均跳跃同系列未使用链式想维的模子。

为了进一步考证想维链在创意写稿中的灵验性，团队在 12K 通用写稿的 SFT 数据上对开源模子 Qwen 进行了消融实验。

闭幕显现，在 32B 范围的模子中，带想维链的模子发达优于不带想维链的模子。在另一个专诚针对创意演义写稿的名次榜上，这些模子均杰出了同系列大尺寸的 Qwen-Max，发达可比好意思 R1。

深度想考的双刃剑效应

与创意型写稿相对的另一类写稿任务——效率型写稿任务上，尽管深度想考提供了一定进程的升迁，但成果并不显耀。

团队不雅察到，深度想考确乎能提供更长远的分析。

（财务简报写稿对比，左：32B 创作想考模子，右：Qwen-Max）

然而，也存在过度推理的问题，容易导致捏造数据和产生幻觉。

3000 Token 断崖

实验揭示大模子依旧濒临显耀的长度生成瓶颈。

此前筹商在长文本生成架构上取得了一定的优化，但当输出长度跳跃 3000 token 时，大部分模子的质料显耀下跌。

其中，小尺寸模子容易输出疏导内容，而大尺寸模子则可能提前阻隔或仅提供大纲看成参考。

（模子在不同输出长度上得分）

即即是随笔本输出，模子仍难以严格征服长度条件，尤其是在波及分块长度等复杂需求时。

（Gemini-1.5-Pro 长度征服失败示例）

当今该技俩如故开源，感敬爱不错进一步了解。

论文：

https://arxiv.org/abs/2503.05244

仓库：

https://github.com/X-PLUG/WritingBench

模子 :

Critic:   https://huggingface.co/AQuarterMile/WritingBench-Critic-Model-Qwen-7B

Writer-7B:   https://huggingface.co/AQuarterMile/Writing-Model-Qwen-7B

Writer-32B-thinking:   https://huggingface.co/AQuarterMile/Writing-Model-Qwen-32B-thinking

一键三连「点赞」「转发」「留神心」

接待在挑剔区留住你的主义！

—  完  —

学术投稿请于使命日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 技俩主页聚会，以及计议方式哦

咱们会（尽量）实时复兴你

� �   点亮星标 � �

科技前沿进展逐日见偷偷撸改成什么了