EvalForge

问题

AI 系统上线前往往做了不少测试，但结果散落在脚本和日志里，团队很难回答“这次改动到底能不能发”。

判断

先确认两次评测是否能比较，再判断分数是否达标。保留数据集、评测器、指标单位与方向，以及来源指纹，让一次通过或回归都有依据。

实现

• →为 promptfoo、Ragas 和 DeepEval 的已验证格式提供导入器，检查指标约定与证据来源。
• →支持阈值门禁和历史基线比较；回归时返回非零退出码，输出 JSON、JUnit XML、SARIF 与 Markdown 报告。
• →提供 BM25、确定性向量与混合检索的离线 RAG 参考评测器，无需模型密钥即可复现。
• →发布可安装的 Python 包，并提供 CLI、FastAPI 与 Streamlit 入口。