Promptfoo — LLM 应用测试与红队攻防框架，本地运行不泄露提示词

LLM 应用上线前，你测了吗？

Promptfoo 是专门为 LLM 应用设计的测试框架。它解决了一个普遍痛点：开发者凭感觉调提示词，上线后才发现问题。有了 Promptfoo，你可以用数据说话。

核心功能

• 自动化评测：用 YAML 配置，批量测试提示词在不同输入下的表现
• 多模型对比：并排比较 OpenAI、Anthropic、Gemini、Llama 等模型的输出质量
• 红队安全扫描：自动检测 prompt injection、越狱、隐私泄露等漏洞
• CI/CD 集成：把 LLM 安全检查加入 PR 流程，防止问题上线
• 完全本地：评测数据不离开你的机器

快速上手

npm / Homebrew / pip 任选安装，promptfoo init 生成示例项目，promptfoo eval 运行评测，Web UI 或 CLI 查看结果。

12.4k Stars，TypeScript 实现，MIT 许可。