ODS接入Langfuse:给本地AI服务器装上可观测性引擎
ODS接入Langfuse给本地AI服务器装上可观测性引擎【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODSODS可以把 PC、Mac 或 Linux 变成一台私有 AI 服务器而 Langfuse 可观测性扩展 让每一次 LLM 调用都有迹可循——请求、Token、延迟、模型版本全部自动记录无需改动任何业务代码。本文带你用最少的步骤为本地 AI 栈装上这套开源 Tracing 引擎。为什么本地 AI 服务器需要可观测性当你的 AI 服务器上跑着 LiteLLM、Open WebUI、n8n 工作流和多个 Agent 时一个常见问题是输出质量变差了但不知道是哪个模型、哪条 Prompt 出的问题。手动翻容器日志低效且不可靠。Langfuse 作为开源 LLM 观测平台提供三大核心能力完整调用链Traces每次 LLM 请求的输入、输出、延迟、Token 数、所用模型一目了然⭐评估Evaluations对调用结果打分数手动或程序化跟踪质量变化趋势✏️Prompt 管理在界面中版本化 Prompt 模板并做 A/B 测试 在多 Agent 场景下观测平台几乎是刚需。ODS 官方模板 multi-agent-laboratory.yaml 就注明Langfuse 用于 debugging agent loops。一键启用两条命令完成部署Langfuse 在 ODS 中是默认关闭的可选扩展启用只需一行命令ods enable langfuse或者在安装阶段直接带上参数./install.sh --langfuse扩展的完整定义见 compose.yaml.disabled启用后自动重命名为compose.yaml生效服务元数据则定义在 manifest.yaml 中。启用后Langfuse 界面运行在http://localhost:3006端口可通过.env中的LANGFUSE_PORT修改。首次启动的小提示Langfuse 由 6 个容器组成Web、Worker、PostgreSQL、ClickHouse、Redis、MinIO全部运行在隔离的langfuse-internal内部网络中。ClickHouse 首次启动需要约 90 秒初始化请耐心等待所有容器变为 healthy 状态。零配置打通 LiteLLMTraces 自动上报这是 ODS 集成 Langfuse 最优雅的地方——不需要修改任何 LiteLLM 配置也不需要改应用代码。原理很简单安装器自动生成项目密钥对LANGFUSE_PROJECT_PUBLIC_KEY/SECRET_KEY写入.env扩展的 compose overlay 在启用时自动把这两个密钥和LANGFUSE_HOST注入 LiteLLM 容器LiteLLM 入口脚本检测到LANGFUSE_ENABLEDtrue后自动注册langfuse回调LiteLLM 侧的回调注入逻辑可以查看 litellm/compose.yaml。也就是说开关一打开所有经过 LiteLLM 的调用就自动出现在 Langfuse 面板里。数据完全留在本地私有化数据栈担心 Trace 数据泄露在 ODS 中Langfuse 的所有数据都存储在本地磁盘且与其他扩展完全隔离本地路径存储内容data/langfuse/postgres/调用元数据、项目与用户数据data/langfuse/clickhouse/事件数据与分析存储data/langfuse/redis/队列与缓存data/langfuse/minio/事件上传桶langfuse-events所有密码和密钥数据库口令、加密密钥等都由安装器自动生成并保存在.env无需手动设置。值得一提的是post_install.sh 钩子会在 Linux 原生 Docker 环境自动修正数据目录的 uid 归属避免 PostgreSQL/ClickHouse 因权限问题初始化失败——macOS 和 WSL2 用户无需关心这一步。常见问题快速排查① 界面没有 Trace确认.env中LANGFUSE_ENABLEDtrue然后重启 LiteLLMdocker compose up -d --force-recreate litellm docker compose logs litellm | grep -i langfuse② 服务起不来逐个检查 6 个容器的健康状态docker compose ps langfuse langfuse-worker langfuse-postgres③ 登录不进去检查.env中的LANGFUSE_INIT_USER_EMAIL/LANGFUSE_INIT_USER_PASSWORD默认邮箱adminods.local。修改凭证后需重建容器生效。④ 内存占用偏高ClickHouse 是最大消耗者默认上限 2 GB可在 compose 文件的deploy.resources.limits中调整。把它放进你的模板ODS 提供了多个官方模板开箱即用地包含 Langfusellm-platform.yamlLLM 平台全家桶LiteLLM Langfuse Token-Spy LibreChat n8nml-data-workshop.yaml机器学习数据工作坊onboarding-full-stack.yaml全栈入门方案完整扩展目录可参阅 extensions/CATALOG.md。总结用一行ods enable langfuse你就拥有了✅ 全量 LLM 调用链追踪问题定位从大海捞针到按图索骥✅ Prompt 版本管理与 A/B 测试质量改进有据可依✅ 评估体系让 AI 应用的质量可度量、可追踪✅ 数据 100% 本地化隐私安全无忧给本地 AI 服务器装上 Langfuse 观测引擎是你从能跑起来迈向跑得明白的关键一步。【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODS创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

三极管静态工作点详解:从原理到偏置电阻调试实战

三极管静态工作点详解:从原理到偏置电阻调试实战

三极管的静态工作点到底是什么,为什么调偏置电阻时波形会变样? 这段时间又看到有人问起三极管静态工作点的问题,问法挺典型的:“老师说要设静态工作点,到底什么是静态工作点?为什么电阻不对波形就削顶&…

2026/11/21 23:00:47 阅读更多 →
STM32H7驱动6.86寸MIPI屏并移植LVGL V9.4的完整实战解析

STM32H7驱动6.86寸MIPI屏并移植LVGL V9.4的完整实战解析

6.86寸480x1280的MIPI接口电容触摸屏,配上STM32H757XIH6和LVGL V9.4,这套组合在嵌入式HMI项目里出现得越来越频繁。先给结论:如果你想做的是界面密度中等、显示细腻的工控面板、智能家居终端或设备参数屏,这个方案显示效果比同尺寸…

2026/11/21 23:00:47 阅读更多 →
开源本地离线工具箱:从安装到批量处理的实用指南

开源本地离线工具箱:从安装到批量处理的实用指南

本地离线工具箱这个方向,最近在 GitHub 上相当活跃。它的核心思路很简单:把常用小工具全部集成到一个本地页面或程序里,不用注册、不用联网、打开就能用。很多人一开始觉得这类工具只是小打小闹,实际用下来才知道,处理…

2026/11/19 23:57:46 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻