5分钟上手Evidently数据质量检测：缺失值、重复值、异常值一份报告全查出

5分钟上手Evidently数据质量检测缺失值、重复值、异常值一份报告全查出【免费下载链接】evidentlyEvidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently模型精度一夜掉了8个点你首先怀疑数据但表里四五十列不知道先看哪一列。Evidently 是一个面向 ML/LLM 系统的开源评估与监控框架把一张数据表交给它几十秒内输出一份 HTML 报告标出哪些列有缺失、哪些行在重复、哪些值超出合理范围并直接给出 pass/fail 结论。3分钟装好并跑出一份质量报告 先克隆仓库安装最小依赖git clone https://gitcode.com/GitHub_Trending/ev/evidently cd evidently pip install -r requirements.min.txt接着4行代码生成第一份报告。假设手头是用户表先看重复行和 age 列的缺失from evidently import Report from evidently.metrics import DuplicatedRowCount, MissingValueCount report Report([DuplicatedRowCount(), MissingValueCount(columnage)]) report.run(current_datadf).save_html(quality.html)浏览器打开 quality.html每个指标一行数值、状态、失败原因一目了然。下面按要排查什么来挑指标。先找数据里的坑缺失、重复、异常三类怎么查缺失值两个粒度可选。单列用MissingValueCount(columnage)同时返回缺失个数和缺失比例该列只要有一个空值就判 fail整表用DatasetMissingValueCount汇总总缺失再配EmptyRowsCount、EmptyColumnsCount数整行为空/整列为空——后者通常意味着上游管道把某列写坏了光看缺失率发现不了。实现在 src/evidently/metrics/column_statistics.py 和 src/evidently/metrics/dataset_statistics.py。给个参照一个数值列哪怕只有 1% 缺失如果填充策略是补 0列均值直接下移约 1%这类漂移肉眼看分布图根本察觉不到。重复行、重复列一眼找出来DuplicatedRowCount数完全相同的行非 0 即 failDuplicatedColumnsCount数完全相同的列。更隐蔽的是另外两个AlmostDuplicatedColumnsCount按 epsilon 容差找几乎一样的列抓的是引入共线性的冗余特征AlmostConstantColumnsCount找出 95% 取值相同的列抓的是已经停更、形同死数据的字段。异常值与超范围值怎么检先看分布对指定列输出MinValue、MeanValue、MaxValue、MedianValue、StdValue、QuantileValue(quantile0.99)每个指标自带一张分布图离群点在直方图尾部很明显。如果知道列的合理区间直接用OutRangeValueCount(columnage, left0, right120)返回超范围值的个数和占比InRangeValueCount是它的反向计数。想检测整列分布变了而不只是个别值过大用ValueDrift并传入 reference 数据drift score 由 PSI、Wasserstein 距离等统计检验自动判定是否越界。报告怎么看HTML 报告与 Grafana 仪表板save_html生成的报告按卡片排列每张卡是当前值 参考值 测试状态红色代表越界。重点不是单次数字而是 current 与 reference 的差异——缺失类指标的默认测试是与参考集持平±10%今天缺 2000 行昨天缺 50 行就会判 fail逼你盯相对变化而不是绝对值。想持续监控而不是跑一次仓库自带现成示例examples/grafana/grafana_data_drift_dashboard/ 用 docker-compose 起 PostgreSQL Grafana脚本每 10 秒采一批数据、把指标写入库仪表板展示趋势。看盘时盯两点曲线拐点是否和发布、换数据源的时间对得上current 与 reference 的差距是否逐日扩大。进阶自己写检测规则 入口是 src/evidently/legacy/metrics/custom_metric.py 里的CustomValueMetric传入一个接收输入数据、返回 float 的函数它就以数字卡片形式出现在报告里。比如金额为负的记录占比一行就能写return (df[amount] 0).mean()。两个容易踩的坑部分指标没有 reference 跑不出结果。ValueDrift缺 reference 直接抛异常其他指标带 reference 的默认测试会被静默跳过你会误以为这次怎么没有失败项。列类型是从数据推断的。同一列这批全是数字推成 numeric、下批混进字符串就变 text可用指标集合随之变化把列类型固定在数据定义里跨批次行为才一致。收尾适用场景两类新表进训练前做一次全量体检线上指标漂移时拿 current 对比 reference 快速定位是哪列变了。想深入的话翻一遍 src/evidently/metrics/ 看每个指标的计算方式和默认阈值再配合 Grafana 示例搭成持续运行的监控即可。【免费下载链接】evidentlyEvidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考