转载：https://news.zol.com.cn/1266/12660178.html
2026-10-28 12:02:23·[ 中关村在线 原创 ]·作者：科技快讯
近日，AI 智能体网络安全评测基准 CyberGym 相关测评数据更新。在已公开单题成本、且符合本次比较条件的方案中，知道创宇旗下 AiPy 以平均每题 0.174 美元的测评成本位列第一，漏洞复现成功率达到 92.83%，成功完成 1,507 道测试题中的 1,399 道。
CyberGym 由加州大学伯克利分校研究团队发起，是评估 AI 智能体漏洞复现能力的重要公开基准之一。此次测评结果显示，AiPy 在保持较高漏洞复现成功率的同时，实现了较低的单题执行成本，为 AI 智能体在网络安全场景中的高效应用提供了新的实践参考。
以真实漏洞为基准，检验智能体任务执行能力
CyberGym 的评测任务基于真实软件漏洞构建。Level 1 测试集涵盖来自 188 个大型开源项目的 1,507 个历史漏洞实例，这些漏洞由 OSS-Fuzz 发现并已得到修复。
在测试过程中，智能体需要根据漏洞描述和未修复版本的源代码，自主分析漏洞成因，并生成用于验证漏洞的概念验证程序（PoC）。只有当程序能够在存在漏洞的版本中触发相应故障，同时在官方修复版本中不再触发，任务才被判定为成功。
与仅考察文本回答或理论分析的测试不同，CyberGym 更关注智能体能否将分析结果转化为可验证的执行成果。其评测方式也对智能体的代码理解、漏洞定位、执行规划与结果验证能力提出了综合要求。
单题成本 0.174 美元，在已公开成本数据方案中位列第一
随着 AI 智能体逐步进入实际安全研究流程，任务完成率之外的资源消耗也成为重要的评价维度。
CyberGym 团队在 2026 年 8 月更新的提交规范中提出，参测方案需要同步报告测评成本，以便将任务成功率与执行效率结合起来进行比较。官方同时指出，成本数据会受到网络条件、处理吞吐量、分词器差异及具体实现方式等因素影响，因此不同方案之间的成本比较需要结合各自的测评条件进行理解。
根据本次统计口径，参与比较的 8 个方案均完成了全部 1,507 道测试题，单题成本从 0.174 美元到 3.320 美元不等，最高约为最低值的 19.1 倍。
从对比结果来看，AiPy 的单题成本为 0.174 美元，约为 Whitzard 的三分之一、NASH 的五分之一。两者的漏洞复现成功率分别为 91.20% 和 91.37%，与 AiPy 的差距均不足 1.5 个百分点。
部分成功率更高的方案也呈现出不同的成本水平。例如，Ostorlab Neutron 的成功率为 97.08%，单题成本为 1.040 美元；OrcaCyber 的成功率为 98.01%，单题成本为 3.320 美元。
这些数据表明，在该组测评结果中，任务成功率与执行成本之间存在值得关注的差异。对于需要持续开展漏洞研究的团队而言，除关注单次任务的成功表现外，也需要综合考量任务规模、资源消耗与长期运行成本。
从执行框架到模型协同，探索成本优化路径
据 AiPy 团队提供的测评记录，AiPy 在完成全部 1,507 道测试题的过程中，累计支出约 262 美元，按 1 美元兑 6.72 元人民币折算，约合 1,762 元人民币。运行期间，输入 Token 累计约 19.57B，其中缓存命中率为 99.33%，单任务耗时中位数为 207 秒。
在技术实现上，AiPy 采用通用智能体执行框架，并结合 DeepSeek-V4.1-Flash-0910 模型开展任务处理。根据团队介绍，其通过动态提示词组织漏洞定位、调用链追踪、假设验证与 PoC 构造等环节，并利用上下文缓存等机制控制重复计算带来的开销。
上述数据为理解本次测评的成本表现提供了参考。不过，缓存命中率、任务耗时与单题成本之间的具体关系，还需要结合模型计费规则、任务分布和执行环境等因素综合分析。不同智能体在框架设计、模型选择及任务调度方面存在差异，不能仅凭单一指标判断其整体技术水平。
对于 AI 智能体而言，真正的效率优化不仅在于减少单次任务的资源消耗，也在于通过合理的任务规划、工具调用和结果验证机制，提升整体执行流程的稳定性与可持续性。
从基准测试走向实际应用，持续探索 AI 安全能力
除公开基准测试外，据知道创宇提供的公开记录，近四个月内，Google Chrome、Mozilla Firefox、Apple macOS、PostgreSQL、QEMU、FreeBSD、F5/NGINX、OpenVPN 等厂商或开源社区曾在安全致谢记录中提及 AiPy 相关贡献。其中，团队提及的一项 NGINX 堆缓冲区溢出漏洞，其 CVSS v4.0 评分为 9.2；AiPy 也以代码贡献者身份出现在 FreeBSD 官方源码仓库的致谢记录中。
此外，知道创宇发起的「MB 计划」累计报送漏洞已超过 100 个。相关实践体现了团队将 AI 智能体能力应用于安全研究与漏洞发现工作的持续探索。
需要指出的是，公开安全致谢、漏洞报送记录与基准测试成绩分别反映不同维度的工作成果，不能相互替代。AiPy 将持续结合实际安全研究需求，探索智能体在代码分析、漏洞验证及相关工作流程中的应用潜力。
以效率为支点，推动 AI 智能体深入专业场景
漏洞研究是一项需要持续投入的专业工作。随着任务规模扩大，执行成本、处理效率与结果可靠性将共同影响相关技术的实际应用价值。
CyberGym 将测评成本纳入公开提交规范，为观察 AI 智能体的执行效率提供了新的参考维度。AiPy 此次以平均单题 0.174 美元的成本位列本次比较方案首位，同时取得 92.83% 的漏洞复现成功率，展示了其在该基准测试中的成本控制表现。
面向未来，知道创宇将继续探索 AI 智能体与网络安全专业场景的融合，围绕任务执行效率、资源利用与结果可靠性持续开展技术实践，推动 AI 能力在更多真实业务场景中落地。
微讯资讯
相关广告
