微软发布Windows Agent Arena 为生成式AI代理提供基准测试，助力AI代理性能评估

使用生成式人工智能和大型语言模型来自动化和简化使用 PC 的人员的任务的情况持续增长。不过，人们也需要了解人工智能在完成任务方面的工作表现。本周微软研究院宣布，它已开发出一种专门用于在 Windows PC 上测试人工智能代理的基准。

微软在 GitHub 页面上公布的这一基准名为 Windows Agent Arena。该框架旨在测试人工智能代理与人类通常使用的 Windows 应用程序的交互能力和速度。在 Windows Agent Arena 中与 AI 代理进行测试的应用程序列表包括Microsoft Edge 和Google Chrome 浏览器等网页浏览器、文件资源管理器设置等操作系统功能、Visual Studio Code 等编码应用程序、记事本、时钟和画图等简单的预装 Windows 应用程序，甚至还包括使用 VLC 播放器观看视频。

微软表示：

微软研究院也创建了自己的多模式代理，名为 Navi，并在 Windows Agent Arena 基准测试中进行了测试。测试要求它在某些文本提示下执行任务，例如："你能把我正在浏览的网站转换成 PDF 文件并放到我的主屏幕上吗？"测试发现，Navi 的平均成功率为 19.5%，与人类 74.5% 的成功率相比仍然很低。

有了 Windows Agent Arena 这样的基准，对创建人工智能代理来说将是一个巨大的发展。这样它们就能得到改进，表现得更接近人类的水平。

微软团队还与卡内基梅隆大学和哥伦比亚大学的研究人员合作完成了该项目。您可以以及该基准的代码。