promptfoo

介绍

promptfoo 已经从 Prompt 回归工具演进为面向 AI 应用安全和评测的体系化平台。它适合把模型输出、RAG 结果、agent 行为、越狱风险、数据泄漏和业务规则违反都纳入可重复评测。对 AI 测试开发来说，它的价值是把模糊的 LLM 质量问题转成可配置、可运行、可审计的测试资产。

技术栈

工具定位

promptfoo 面向 AI 应用的评测和安全测试，覆盖 prompt、模型、RAG、agent、guardrails 和红队场景。它的重点是让 AI 输出和安全风险可以被反复执行、比较和审计。

评测资产

通过配置文件组织输入样本、模型、断言和评分规则，可以把一次性的人工判断沉淀为可复用测试资产。适合做模型升级、prompt 调整和 RAG 检索策略变更的回归。

安全红队

promptfoo 的红队能力会围绕目标应用生成上下文相关攻击，覆盖直接/间接 prompt injection、jailbreak、PII 泄漏、业务规则违反和不安全工具调用等风险。

工程集成

它适合接入 GitHub、GitLab、Jenkins 等 CI/CD 工作流，在 pull request 或发布前执行评测。这样 AI 变更可以像普通代码一样有门禁，而不是只靠人工抽查。

使用边界

promptfoo 适合评测和红队，不负责完整测试资产管理、权限、执行历史治理或跨团队质量看板。大型平台可以把它作为 AI 安全评测执行器接入。

要点

• 支持 prompt、模型、RAG 和 agent 的可重复评测，把主观输出质量转成测试资产。
• 红队能力覆盖 prompt injection、jailbreak、数据泄漏、业务规则绕过和不安全工具调用等场景。
• YAML 配置适合纳入 Git，和 CI/CD 结合做 AI 输出回归。
• 适合在 AI 应用开发阶段发现风险，而不是等线上问题出现后再人工排查。
• 对于内部 AI 测试平台，可以作为 eval/red-team 能力模块，而不是替代完整质量平台。