热点

​OSWorld-MCP:全新评测基准助力计算机代理产品发展

字号+ 作者:牛骥同槽网 来源:分类导航 2026-11-23 我要评论(0)

​OSWorld-MCP:全新评测基准助力计算机代理产品发展

近日,OSWorld 团队正式发布了 OSWorld-MCP,这是首个针对计算机使用代理产品进行全面评估的基准测试工具​O。该基准旨在为开发者和用户提供真实环境下的产品能力评测,提升了评估的真实度、平衡性与可比性。

OSWorld-MCP 的SW主要特性包括:它综合衡量了模型上下文协议(MCP)工具调用能力、图形用户界面(GUI)操作技能以及决策表现。该基准测试包含了or158个经过验证的 MCP 工具,涵盖了七个常用应用程序,包括 LibreOffice Writer、Calc、Impressld、VS Code、Google Chrome、VLC 及操作系统实用程序。其中,有25个工具专门用于鲁棒性测试,以保证评-M测的全面性和可靠性。

此外,OSWorld-MCP 还设定了250项工具适用性任务,其中69% 的基准任务受益于 MCP 工具的CP应用。这些工具的多轮调用设置带来了决策上的真实挑战,使得测试结果更具参考价值。根据数据,使用 MCP 工具的模型准确率和:全效率明显提升,OpenAI 的 o3模型在进行15步调用后,准确率从8.3% 提升至20.4%。在测试中,Claude-4新评-Sonnet 模型观察到的最高工具调用率达到了36.3%,显示出未来改进的潜力。

该项目的开源特性也为开发者提供了丰测基富的资源与说明,促进了技术的共享与合作。有关项目的详细信息和资源,用户可以访问其官方网站和 GitHub 页面。

OSWorld准助-MCP 的发布不仅为计算机使用代理产品的评估提供了强有力的工具,也为未来相关技术的发展奠定了基础。

github:h力计ttps://github.com/X-PLUG/OSWorld-MCP

划重点:  

** 首个全算机面评估计算机代理产品的基准测试工具 OSWorld-MCP 正式发布。**  

️ ** 涵盖158个经过验证的代理 MCP 工具,支持多种常用应用程序。**  

** 通过多轮调用设置,显著提升模型的准确率与效率。**&n产品bsp; 

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 云计算开发实例:Python3查找列表中最大元素

    云计算开发实例:Python3查找列表中最大元素

    2026-11-18

  • 像金枪鱼一样动态调节尾巴弹性:「机器金枪鱼」登上Science子刊

    像金枪鱼一样动态调节尾巴弹性:「机器金枪鱼」登上Science子刊

    2026-08-15

  • 阿里云季度营收再次超过200亿元 同比环比均保持增长

    阿里云季度营收再次超过200亿元 同比环比均保持增长

    2026-11-18

  • 标签: 目心智能 TerraMow 安克创新 纯视觉VSLAM

    标签: 目心智能 TerraMow 安克创新 纯视觉VSLAM

    2026-07-30

网友点评