Evidently用一套 Python 库跑通 ML/LLM 的评估、测试与监控【免费下载链接】evidentlyEvidently is an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidentlyEvidently 是一个开源的 Python 框架定位是 ML 与 LLM 系统的可观测性它内置 100 多个指标帮算法工程师和数据分析师在实验和线上环境做模型评估、回归测试与持续监控。 三个典型用法一次性评估先看看数据或模型出了什么问题。适合发布前的数据体检。官方 README 里的例子用鸢尾花数据集做数据漂移检查前 60 行当当前数据后面当参考数据跑完导出一份 HTML 报告report Report([DataDriftPreset(methodpsi)]) my_eval report.run(iris_frame.iloc[:60], iris_frame.iloc[60:]) my_eval.save_html(file.html)结果也可以取 JSON 或 dict方便塞进你自己的流程。回归测试把评估变成通过/失败。任意 Report 加上传输gt大于、lt小于等判断条件就变成一个 Test Suite适合放进 CI/CD 或数据校验环节测试阈值还能从一个参考数据集自动生成不用手填。持续监控指标随时间变化要看趋势。一条命令拉起本地监控面板evidently ui --demo-projects all然后访问 localhost:8000 即可看到演示项目。如果团队已有 Grafana仓库里examples/grafana/下有完整示例用 docker-compose 起 PostgreSQL Grafana脚本每 10 秒算一批指标写库。⚡ 三步跑通安装到出报告要求 Python 3.10 及以上见 pyproject.toml 中requires-python安装pip install evidentlyLLM 相关能力语义相似度、LLM 裁判等依赖较重按需单独装pip install evidently[llm]最小 LLM 评估示例摘自 README数据换成自己的问答对即可from evidently import Report, Dataset, DataDefinition from evidently.descriptors import TextLength from evidently.presets import TextEvals ds Dataset.from_pandas(df, data_definitionDataDefinition(), descriptors[TextLength(answer, aliasLength)]) Report([TextEvals()]).run(ds)其中 descriptors 是逐行打分器长度、情感、是否含某词等定义在 src/evidently/descriptors/。 关键规格开始之前该知道什么项目取值对使用者意味着什么许可Apache 2.0可商用、可集成进公司项目Python3.10老环境需先升级解释器内置指标100数据漂移、分类/回归性能、RAG 排序NDCG/MAP/MRR等开箱即用输出格式HTML / JSON / dict报告可存档、可编程消费、可喂给 Grafana可选依赖[llm][spark][sql][s3]等用到哪块装哪块基础环境保持轻量️ 实战要点与常见坑漂移评估必须给两份数据当前数据 参考数据通常是历史快照只传一份不会报错但结果没有意义。descriptors 的列名要和 DataFrame 完全一致alias只影响显示名称不匹配时该行评估结果为空。HTML 报告要在其所在目录打开直接双击可能因路径问题加载不出图表。不需要的能力别装[llm]会引入 transformers、sentence-transformers 等重依赖只评估表格数据用基础包即可。想拦截线上输出可以加一层 guardrails如毒性、敏感词检查代码在 src/evidently/guardrails/。想深入理解结构可以从 examples/classic_ml_validation.ipynb 和 examples/llm_input_output_validation.ipynb 两个官方笔记本入手细节以项目文档为准。收尾Evidently 的价值在于把模型到底还行不行这件事从人工抽查变成可复现的指标化流程离线评估一条pip install就能开始要上生产监控再参考examples/grafana/下的部署示例。下一步建议先跑通数据漂移或文本评估任一示例再按业务补上 pass/fail 条件。【免费下载链接】evidentlyEvidently is an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考