指标监控监控大盘CLI告警MCP 服务【免费下载链接】glancesGlances an Eye on your system. A top/htop alternative for GNU/Linux, BSD, macOS and Windows operating systems.项目地址https://gitcode.com/gh_mirrors/gl/glances点击查看免费下载导读DuckDB 是 Glances 众多导出目标Gateway中的一员它把 CPU、内存、网络等插件采集到的实时统计数据持续写入一个本地 DuckDB 数据库文件或内存数据库从而让系统监控数据可以直接用标准 SQL 做离线分析、趋势查询与可视化。读完本文你将掌握 DuckDB 导出插件的启用前提、配置方法、命令行用法、底层表结构与类型映射并能借助仓库自带的校验脚本验证导出结果是否正确。背景Glances 的 Gateway 导出体系Glances 除了在终端、Web 界面展示系统状态外还提供了一整套Gateway To Other Services导出体系可以把统计数据写到文件或各类外部服务数据库、消息队列、时序数据库等。所有导出器的配置都集中在 Glances 主配置文件glances.conf中并共享一个公共配置段[export] # Common section for all exporters # Do not export following fields (comma separated list of regex) exclude_fields.*_critical,.*_careful,.*_warning,.*\.key$exclude_fields允许按正则表达式排除部分字段例如默认值会剔除*_critical、*_careful、*_warning这类阈值字段以及以.key结尾的字段从而减小落库的数据体积。DuckDB 正是该导出体系docs/gw/index.rst 中列出的 20 余个导出目标之一中一个轻量而特殊的选项——它不需要独立部署数据库服务一个文件即是一个完整的分析数据库。启用前提DuckDB 并非默认依赖使用 DuckDB 导出前必须注意一个重要警告当前版本的 Glances 并没有把 DuckDB 列为默认依赖。原因在 pyproject.toml 的export可选依赖组中有明确注释export [ #duckdb, # Make the Github pipeline failed when building Alpine Docker ... ]由于duckdb库会导致 Docker Alpine 镜像构建失败它被从依赖列表中注释掉了。因此想要使用此导出功能你需要自行安装 DuckDB 的 Python 库$ pip install duckdb安装完成后即可通过--export duckdb参数启用该导出器。配置在 glances.conf 中定义连接连接信息需要在 Glances 配置文件中定义完整段落如下摘自 conf/glances.conf[duckdb] # database defines where data are stored, can be one of: # :memory: (see https://duckdb.org/docs/stable/clients/python/dbapi#in-memory-connection) # :memory:glances (see https://duckdb.org/docs/stable/clients/python/dbapi#in-memory-connection) # /path/to/glances.db (see https://duckdb.org/docs/stable/clients/python/dbapi#file-based-connection) # Or anyone else supported by the API (see https://duckdb.org/docs/stable/clients/python/dbapi) database:memory:官方文档docs/gw/duckdb.rst给出的示例则是基于文件的连接[duckdb] # database defines where data are stored, can be one of: # /path/to/glances.db (see https://duckdb.org/docs/stable/clients/python/dbapi#file-based-connection) # :memory:glances (see https://duckdb.org/docs/stable/clients/python/dbapi#in-memory-connection) # Or anyone else supported by the API (see https://duckdb.org/docs/stable/clients/python/dbapi) database/tmp/glances.db配置项说明配置项是否必填默认值说明database必填无仓库默认配置为:memory:数据存储位置可为文件路径如/tmp/glances.db或内存连接:memory:/:memory:glancesuser可选无预留的用户名选项password可选无预留的密码选项hostname可选本机 hostname取node().split(.)[0]即短主机名写入表中的主机标识用于多主机数据区分通常无需覆盖从源码glances/exports/glances_duckdb/init.py可以看到配置加载逻辑为self.export_enable self.load_conf( duckdb, mandatories[database], options[user, password, hostname] ) if not self.export_enable: exit(Missing DuckDB config)也就是说database是唯一的强制配置项若缺失Glances 会直接以 Missing DuckDB config 退出。hostname会被写入每条记录作为多主机场景下的天然分区键self.hostname self.hostname or node().split(.)[0]运行启动 DuckDB 导出配置完成后只需在命令行指定导出目标$ glances --export duckdbGlances 会按默认刷新周期持续采集各插件数据并写入 DuckDB。如果需要限定导出时长还可以配合--stop-after参数例如仓库自带的端到端测试脚本tests/test_export_duckdb.sh就是这样运行的.venv/bin/python -m glances --config $CUSTOM_CONF --export duckdb --stop-after 10 --quiet该脚本先从默认配置生成一份把database:memory:替换为database/tmp/glances.db的自定义配置再运行 Glances 写入 10 次数据后自动退出最后调用校验工具检查落库结果——这是验证导出功能是否正常的最快路径。数据模型每个插件一张表DuckDB 导出的数据模型非常直观每个 Glances 插件对应一张表表名即插件名。每个插件表都固定包含两个公共标识列timeTIMETZ带时区的时间戳精度到秒datetime.now().replace(microsecond0)hostname_idVARCHAR数据来源主机标识。对于含多个子项如 network 按接口、diskio 按磁盘、ports 按端口的插件还会额外增加第三列key_idVARCHAR子项标识例如网络接口名。其余列由插件字段动态生成列名即字段名列类型依据 Python 运行时类型动态映射映射表见 glances/exports/glances_duckdb/init.pyPython 类型DuckDB 类型boolBOOLEANintBIGINTfloatDOUBLEstrVARCHARtupleVARCHAR逗号分隔存储listVARCHAR逗号分隔存储NoneTypeVARCHAR另外每个插件的字段会与 Glances 的阈值limits合并写入因此表里会包含类似cpu_iowait_warning、cpu_iowait_critical、cpu_ctx_switches_critical这样的阈值列同时导出时会移除*_disable字段源码 update 方法。已知限制从源码注释可以看出目前存在一个明确限制sensors和fs两个插件不会被导出原因是它们的字段列表在采集周期内不固定glances/exports/glances_duckdb/init.py# Current limitation with sensors and fs plugins because fields list is not the same self._last_exported_list [p for p in self.plugins_to_export(stats) if p not in [sensors, fs]]查询示例用 SQL 分析监控数据导出完成后任何支持 DuckDB 的客户端都能以只读方式打开数据库文件进行查询。查询 CPU 表 import duckdb db duckdb.connect(database/tmp/glances.db, read_onlyTrue) db.sql(SELECT * from cpu) ┌─────────────────────┬─────────────────┬────────┬────────┬────────┬───┬────────────────────┬─────────────────────┬──────────────────────┬──────────────────────┬──────────────────────┐ │ time │ hostname_id │ total │ user │ nice │ … │ cpu_iowait_warning │ cpu_iowait_critical │ cpu_ctx_switches_c… │ cpu_ctx_switches_w… │ cpu_ctx_switches_c… │ │ time with time zone │ varchar │ double │ double │ double │ │ double │ double │ double │ double │ double │ ├─────────────────────┼─────────────────┼────────┼────────┼────────┼───┼────────────────────┼─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┤ │ 11:50:2500 │ nicolargo-xps15 │ 8.0 │ 5.6 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:2700 │ nicolargo-xps15 │ 4.3 │ 3.2 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:2900 │ nicolargo-xps15 │ 4.3 │ 3.2 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:3100 │ nicolargo-xps15 │ 14.9 │ 15.7 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:3300 │ nicolargo-xps15 │ 14.9 │ 15.7 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:3500 │ nicolargo-xps15 │ 8.2 │ 7.8 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:3700 │ nicolargo-xps15 │ 8.2 │ 7.8 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:3900 │ nicolargo-xps15 │ 12.7 │ 10.3 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:4100 │ nicolargo-xps15 │ 12.7 │ 10.3 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ 11:50:4300 │ nicolargo-xps15 │ 12.2 │ 10.3 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ │ · │ · │ · │ · │ · │ · │ · │ · │ · │ · │ · │ │ 11:51:4800 │ nicolargo-xps15 │ 11.1 │ 8.8 │ 0.0 │ … │ 5.625 │ 6.25 │ 640000.0 │ 720000.0 │ 800000.0 │ ├─────────────────────┴─────────────────┴────────┴────────┴────────┴───┴────────────────────┴─────────────────────┴──────────────────────┴──────────────────────┴──────────────────────┤ │ 41 rows (20 shown) 47 columns (10 shown) │ └──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘取第一行数据可以看到完整的行结构 db.sql(SELECT * from cpu).fetchall()[0] (datetime.time(11, 50, 25, tzinfodatetime.timezone.utc), nicolargo-xps15, 8.0, 5.6, 0.0, 2.3, 91.9, 0.1, 0.0, 0.0, 0.0, 0, 0, 0, 0, 16, 2.4103684425354004, 90724823, 0, 63323797, 0, 30704572, 0, 0, 0, 1200.0, 65.0, 75.0, 85.0, True, 50.0, 70.0, 90.0, True, 50.0, 70.0, 90.0, True, 50.0, 70.0, 90.0, 5.0, 5.625, 6.25, 640000.0, 720000.0, 800000.0)查询网络表 db.sql(SELECT * from network) ┌─────────────────────┬─────────────────┬────────────────┬────────────┬────────────┬───┬─────────────────────┬────────────────┬────────────────────┬────────────────────┬───────────────────┐ │ time │ hostname_id │ key_id │ bytes_sent │ bytes_recv │ … │ network_tx_critical │ network_hide │ network_hide_no_up │ network_hide_no_ip │ network_hide_zero │ │ time with time zone │ varchar │ varchar │ int64 │ int64 │ │ double │ varchar │ boolean │ boolean │ boolean │ ├─────────────────────┼─────────────────┼────────────────┼────────────┼────────────┼───┼─────────────────────┼────────────────┼────────────────────┼────────────────────┼───────────────────┤ │ 11:50:2500 │ nicolargo-xps15 │ interface_name │ 407761 │ 32730 │ … │ 90.0 │ [docker.*, lo] │ true │ true │ true │ │ 11:50:2700 │ nicolargo-xps15 │ interface_name │ 2877 │ 4857 │ … │ 90.0 │ [docker.*, lo] │ true │ true │ true │ │ 11:50:2900 │ nicolargo-xps15 │ interface_name │ 44504 │ 32555 │ … │ 90.0 │ [docker.*, lo] │ true │ true │ true │ │ 11:50:3100 │ nicolargo-xps15 │ interface_name │ 1092285 │ 48600 │ … │ 90.0 │ [docker.*, lo] │ true │ true │ true │ │ · │ · │ · │ · │ · │ · │ · │ · │ · │ · │ · │ │ 11:51:4800 │ nicolargo-xps15 │ interface_name │ 128947 │ 18087 │ … │ 90.0 │ [docker.*, lo] │ true │ true │ true │ ├─────────────────────┴─────────────────┴────────────────┴────────────┴────────────┴───┴─────────────────────┴────────────────┴────────────────────┴────────────────────┴───────────────────┤ │ 41 rows (20 shown) 28 columns (10 shown) │ └───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘网络表的key_id列保存接口标识每个接口每一拍都会产生一行记录适合按key_id分组分析各接口的流量趋势。底层实现原理建表与写入流程从源码层面看DuckDB 导出器的核心流程glances/exports/glances_duckdb/init.py分三步检查表是否存在通过SHOW TABLES查询现有表列表若插件表不存在则执行CREATE TABLE列定义由creation_list动态拼接创建表列定义由time TIMETZ、hostname_id VARCHAR多子项插件再加key_id VARCHAR加上各字段按类型映射生成的列组成批量插入使用参数化INSERT INTO table VALUES (?, ?, ...)预编译语句逐行写入每写完一批即commit()退出时先强制commit()并等待 3 秒确保数据落盘再关闭连接exit 方法。值得注意的是安全设计所有表名、列名都经过_quote_identifier函数处理glances/exports/glances_duckdb/init.pydef _quote_identifier(name): Quote a SQL identifier to prevent injection. DuckDB uses standard double-quote escaping for identifiers. Any embedded double-quote is doubled to escape it. return str(name).replace(, ) 由于列名来自插件字段字段名可能包含特殊字符该函数用标准双引号包裹标识符并将内嵌双引号翻倍转义从而防止通过精心构造的字段名/表名实施 SQL 注入。仓库为此专门编写了单元测试tests/test_duckdb_sanitize.py覆盖了_quote_identifier的各类输入并用真实 DuckDB 连接验证了恶意列名/表名不会执行注入的 DROP TABLE这一关键安全场景。验证与排障仓库自带的检查工具仓库提供了一个专门用于验证 DuckDB 导出结果的脚本 tests-data/tools/duckdbcheck.py用法如下$ python ./tests-data/tools/duckdbcheck.py -i /tmp/glances.db -l 9它会以只读方式打开数据库检查cpu表的行数是否不少于预期行数-l参数network表的行数是否不少于预期行数行数不足时输出错误并返回非零退出码。通过后输出DuckDB - All checks passed successfully!。这套运行导出 → 校验结果的完整闭环在 tests/test_export_duckdb.sh 中已自动化可作为日常排障的参考模板。常见排障点Missing DuckDB config[duckdb]段缺少database配置项Cannot connect to DuckDB ...duckdbPython 库未安装或数据库路径不可写源码中会以sys.exit(2)退出表里看不到 sensors/fs 数据这是当前版本的已知限制这两个插件不在导出范围内期望看到阈值列注意公共配置段[export]的exclude_fields可能会按正则剔除.*_critical、.*_warning等阈值字段如不需要剔除请调整该配置。小结DuckDB 导出为 Glances 提供了一条零服务端依赖的监控数据落盘与分析路径只需pip install duckdb在 conf/glances.conf 的[duckdb]段指定database再以--export duckdb启动即可。数据以每插件一表的组织方式写入配合time/hostname_id/key_id公共列可以直接用 DuckDB Python API 进行 SQL 分析同时其标识符转义与参数化写入保证了在动态字段场景下的注入安全仓库中的测试脚本也提供了从导出到校验的完整实践参考。赞分享指标监控监控大盘CLI告警MCP 服务【免费下载链接】glancesGlances an Eye on your system. A top/htop alternative for GNU/Linux, BSD, macOS and Windows operating systems.项目地址https://gitcode.com/gh_mirrors/gl/glances点击查看免费下载相关推荐DuckDB终极指南嵌入式分析数据库的完整使用手册DuckDB终极指南嵌入式分析数据库的完整使用手册 DuckDB是一个革命性的嵌入式SQL数据库系统专为高性能数据分析而设计。无论您是数据科学家、开发者还是数据库OLAP嵌入式数据库数据分析DuckDB 嵌入式数据库重新定义数据分析体验的完整指南DuckDB 嵌入式数据库重新定义数据分析体验的完整指南 DuckDB作为一款革命性的嵌入式分析型数据库正在改变数据分析师和开发者处理数据的传统方式。这款高数据库OLAP嵌入式数据库数据分析DuckDB Java实战高效嵌入式数据分析完整指南DuckDB Java实战高效嵌入式数据分析完整指南 业务需求与架构选型 在数据驱动决策的时代传统数据库往往无法满足实时分析需求。DuckDB作为嵌入式OL数据库OLAP嵌入式数据库数据分析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考