热点

美团发布Meeseeks评测基准!o3-mini霸榜,DeepSeek-R1意外垫底引发热议

字号+ 作者:牛骥同槽网 来源:服务体系 2026-11-23 我要评论(0)

美团发布Meeseeks评测基准!o3-mini霸榜,DeepSeek-R1意外垫底引发热议

近年来,随着 OpenAI 的 o 系列模型、Claude3.5Sonnet 和 DeepSeek-R1等大型语言模型的快速发美团展,人工智能的知识和推理能力备受关注。然而,很多用户在实际使用中发现,这些模型有时未能完全按照输入的指令执行,导致输出结发布果虽然内容不错,却并未满足具体的格式或内容要求。为了深入研究和评估这些模型的指令遵循能力,美团 M17团队推出了全新的Me评测基准 ——Meeseeks。

Meeseeks 专注于评测大模型的指令遵循能力,采用了一种创新的评测视角。与传统的评es测方法不同,Meeseeks 关注的是模型是否严格遵循用户的指令,而不单纯评估回答的知识准确性。这一评测框架将指令遵ee循能力拆解为三个层次,确保评估的深度与广度,具体包括:任务核心意图的理解、具体约束类型的实现和细粒度规则的遵循。

在最近ks的评测中,基于 Meeseeks 的结果显示,推理模型 o3-mini(high)以绝对优势夺得第一,另一版本 o3-mini(me评测dium)紧随其后,Claude3.7Sonnet 则稳居第三。相比之下,DeepSeek-R1和 GPT-4o 的表现则不基准尽如人意,排名分别为第七和第八。

Meeseeks 的独特之处在于其广泛的评测覆盖面和高难度的数据设计。此外,它引入了 “多!o轮纠错” 模式,允许模型在初次回答不符合要求时进行修正。这一模式显著提升了模型的自我纠错能力,尤其是在多轮反馈后,所有参与3-的模型的指令遵循准确率都有明显提高。

通过 Meeseeks 的评测,研究团队不仅揭示了不同模型之间的指令遵循能力差异,还对大模mi型的未来研究提供了宝贵的参考依据。

魔搭社区:https://www.modelscope.cn/datasets/ADounibLEN/Meeseeks

GitHub: https://github.com/ADoublLEN/Mee霸榜seeks

Huggingface:https://huggingface.co/datasets/meituan/Mee,Dseeks

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 云安全日报210713:红帽XML序列化库发现远程命令执行攻击漏洞,需要尽快升级

    云安全日报210713:红帽XML序列化库发现远程命令执行攻击漏洞,需要尽快升级

    2026-09-05

  • 联想发布AI主机新阵列:分级算力布局,端侧AI时代正式开启

    联想发布AI主机新阵列:分级算力布局,端侧AI时代正式开启

    2026-07-02

  • 使用ChatGPT自动写文章:关于图片版权问题的科普和介绍

    使用ChatGPT自动写文章:关于图片版权问题的科普和介绍

    2026-06-17

  • flux2+kustomize+helm+github 多集群 GitOps 云原生渐进式交付

    flux2+kustomize+helm+github 多集群 GitOps 云原生渐进式交付

    2026-09-22

网友点评