多协议支持实战：用 LiteLLM 让一个模型同时讲 OpenAI、Responses 和 Anthropic 三种“方言”并接入 TaoToken

发布时间：2026/9/26 14:02:18

多协议支持实战：用 LiteLLM 让一个模型同时讲 OpenAI、Responses 和 Anthropic 三种“方言”并接入 TaoToken
1. 为什么需要给一个模型配三种“方言”你可能遇到过这种局面本地跑着一个模型OpenAI 兼容接口用得好好的结果想接 Claude Code它张口就要 Anthropic Messages 协议换 Codex CLI它又只认 OpenAI Responses 协议。模型只有一个客户端却各说各话总不能给每个客户端单独部署一套服务。LiteLLM 的定位就是这层“协议翻译官”。它对外同时暴露 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 三种接口风格对内统一转成 OpenAI 兼容请求打到你的模型端点。本文把上游换成 TaoToken 的 API 通道这样你不需要本地显卡也能让同一个模型按三种方言被调用并且返回结构各自正确。适合谁看手里有只认某一种协议的客户端Claude Code、Codex CLI、原生 Anthropic SDK又想统一走一个 Key、一个模型名的开发者。读完你能拿到一份可复制的 config.yaml、三条路由的 curl 验证命令以及几个我实际踩过的版本坑。核心检索词先摆出来LiteLLM 多协议、OpenAI Responses、Anthropic Messages、TaoToken 接入。下面从架构落点讲起。2. TaoToken 前置Key、API 地址与模型名TaoToken 在这里扮演的是上游模型通道。LiteLLM 不直接连模型而是把请求转发到 TaoToken 的 API 地址由它完成鉴权和模型调度。你需要准备三样东西。第一是 API Key。到控制台的 API Keys 页面创建形如sk-开头的一串字符。这个 Key 同时会作为 LiteLLM 的 master_key客户端拿它来鉴权。第二是 API 地址。TaoToken 的 API 根地址是https://taotoken.net/apiOpenAI 兼容端点在它后面加/v1也就是https://taotoken.net/api/v1。Anthropic 风格请求也走同一个根LiteLLM 会自动处理路径差异。第三是模型名。在模型对话页面能看到当前可用的模型标识比如claude-sonnet-4-5这类。你在 config.yaml 里把它写成openai/模型名前缀告诉 LiteLLM 用 OpenAI 兼容方式去请求。提示Key 不要写死在配置文件里用os.environ/从环境变量读避免提交到仓库泄露。控制台里可以随时轮换 Key。如果你还没建 Key先去 API Keys 页面生成一个想先确认模型能不能通可以在模型对话页面直接发一条消息试试。这两步做完再往下配 LiteLLM能省掉一半排障时间。3. 可复制配置config.yaml 骨架与三种协议路由先装 LiteLLM。建议用独立虚拟环境避免污染系统 Python。python3 -m venv ~/litellm-venv ~/litellm-venv/bin/pip install -i https://pypi.tuna.tsinghua.edu.cn/simple \ litellm[proxy] fastapi0.115.12 sse-starlette2.2.1这里锁了两个版本原因在排障章节展开。装完写配置文件~/litellm_config.yamlmodel_list: - model_name: claude-sonnet-4-5 litellm_params: model: openai/claude-sonnet-4-5 api_base: https://taotoken.net/api/v1 api_key: os.environ/TAOTOKEN_API_KEY - model_name: gpt-4o-mini litellm_params: model: openai/gpt-4o-mini api_base: https://taotoken.net/api/v1 api_key: os.environ/TAOTOKEN_API_KEY general_settings: master_key: os.environ/TAOTOKEN_API_KEY litellm_settings: drop_params: truemodel_name是对外暴露的名字客户端请求里写它litellm_params.model里的openai/前缀表示用 OpenAI 兼容协议转发api_base指向 TaoToken。drop_params: true让 LiteLLM 丢弃后端不认识的参数而不是直接报错接不同客户端时很关键。启动代理export TAOTOKEN_API_KEYsk-你的key ~/litellm-venv/bin/litellm --config ~/litellm_config.yaml \ --host 0.0.0.0 --port 8090启动后 LiteLLM 默认在 8090 端口同时提供三套路由/v1/chat/completionsOpenAI Chat、/v1/responsesResponses、/v1/messagesAnthropic Messages。Anthropic 客户端习惯把路径写成/anthropic/v1/messages如果你前面挂了 nginx可以用前缀剥离把/anthropic/去掉再转发到 8090LiteLLM 本身只认/v1/messages。三种协议的路由对照如下协议客户端请求路径LiteLLM 内部路径返回结构OpenAI Chat/v1/chat/completions同左choices[].messageOpenAI Responses/v1/responses同左output[]事件流Anthropic Messages/v1/messages同左content[]块4. 验证请求三条 curl 与返回结构配置完别急着接客户端先用 curl 把三条路径各打一遍确认返回结构正确。OpenAI Chat Completionscurl https://你的域名/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-sonnet-4-5, messages: [{role: user, content: 用一句话说明什么是协议翻译}] }返回里应该有choices[0].message.content这是标准 OpenAI 结构。OpenAI Responsescurl https://你的域名/v1/responses \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-sonnet-4-5, input: 用一句话说明什么是协议翻译 }注意 Responses 协议用的是input而不是messages。返回是output数组流式时能看到response.created、response.output_text.delta这类事件。Anthropic Messagescurl https://你的域名/v1/messages \ -H x-api-key: $TAOTOKEN_API_KEY \ -H anthropic-version: 2023-06-01 \ -H Content-Type: application/json \ -d { model: claude-sonnet-4-5, max_tokens: 1024, messages: [{role: user, content: 用一句话说明什么是协议翻译}] }Anthropic 用x-api-key头而不是 Bearer返回是content[]块数组每块有type字段。max_tokens是必填项别漏。三条都返回 200 且结构对得上说明多协议适配层通了。实测下来同一把 Key、同一个模型名三种方言都能正常出结果。5. 本篇常见错排查启动即 ImportError提示找不到get_flat_dependant。这是 LiteLLM 与新版 fastapi 不兼容。新版 fastapi 移除了这个内部函数而 LiteLLM 还在引用。锁fastapi0.115.12即可。锁了 fastapi 后 SSE 流式异常。旧 fastapi 会把 starlette 拉到较低版本而新版 sse-starlette 要求更高版本 starlette两者冲突。再锁sse-starlette2.2.1对齐流式就正常了。Anthropic 请求返回 500 而不是 401。无 Key 或 Key 错误时LiteLLM 在 Anthropic 路由上可能返回 500 而非标准的 401。这是它的行为特点不代表配置错。检查 Key 是否正确即可。Anthropic 返回 content 为空数组。多半是max_tokens给太小。模型把预算全花在思考内容上可见输出被挤没了。客户端给到 1024 以上通常正常。Responses 请求报参数错误。检查是不是把messages写成了input的反面——Responses 用inputChat 用messages两者不能混。客户端连不上但 curl 能通。大概率是路径前缀问题。Anthropic 客户端默认拼/v1/messages如果你在 nginx 上做了/anthropic/前缀要确认剥离规则生效否则请求打到错误路径。6. 客户端接入与后续Claude Code 走 Anthropic 协议ANTHROPIC_BASE_URLhttps://你的域名 \ ANTHROPIC_AUTH_TOKEN$TAOTOKEN_API_KEY \ ANTHROPIC_MODELclaude-sonnet-4-5 \ claudeCodex CLI 走 Responses 协议OPENAI_BASE_URLhttps://你的域名/v1 \ OPENAI_API_KEY$TAOTOKEN_API_KEY \ codex -m claude-sonnet-4-5原生 Anthropic SDKimport anthropic client anthropic.Anthropic( base_urlhttps://你的域名, api_keysk-你的key, ) resp client.messages.create( modelclaude-sonnet-4-5, max_tokens1024, messages[{role: user, content: hi}], ) print(resp.content)一个实用建议如果客户端本身支持多种协议优先走原生 Chat Completions少一层翻译思考内容无损。Anthropic 和 Responses 入口是留给那些只认单一协议的客户端的。长期跑编码任务或 Agent 的话可以了解下 Coding Plan它针对高频调用场景做了额度优化。接入过程中遇到鉴权或路由问题接入文档里有更细的路径说明想先验证模型效果模型对话页面可以直接试。Key 管理和轮换在控制台的 API Keys 页面完成。配置本身不复杂坑主要集中在依赖版本和路径前缀两处。把这两点处理掉一个模型讲三种方言就是一份 config.yaml 的事。

相关新闻

LibreChat：多模型统一自托管AI聊天平台部署指南

LibreChat：多模型统一自托管AI聊天平台部署指南

我是在整理自托管服务清单时注意到 LibreChat 的，一开始没当回事，后来发现身边好几个搞技术朋友都在用，才认真研究了一下。这个项目本质上是一个开源的 AI 聊天客户端，但它解决了一个挺麻烦的问题：不同 AI 模型散落在各…

2026/9/25 8:22:38 阅读更多 →
vinext 兼容性压力测试实战：用 pages-router-complex 演练大型 Pages Router 企业应用迁移

vinext 兼容性压力测试实战：用 pages-router-complex 演练大型 Pages Router 企业应用迁移

后端Web框架SSR 【免费下载链接】vinext Vite plugin that reimplements the Next.js API surface — deploy anywhere 项目地址： https://gitcode.com/gh_mirrors/vi/vinext 点击查看 免费下载 导读：pages-router-complex 是 vinext（基于 V…

2026/9/25 8:22:38 阅读更多 →
BentoML 流式响应实战：LLM 文本流、音频字节流与服务端流式实现解析

BentoML 流式响应实战：LLM 文本流、音频字节流与服务端流式实现解析

模型推理服务人工智能后端大模型MLOpsLLMOps 【免费下载链接】BentoML The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more! 项目地址： https://gitcode.com/gh_mirrors/be/BentoM…

2026/9/25 8:22:38 阅读更多 →

最新新闻

macOS Tahoe启动台消失真相与三大替代方案

macOS Tahoe启动台消失真相与三大替代方案

1. 启动台消失不是Bug，而是macOS一次静默的架构清洗“启动台真的回不来了”——这句话最近在Mac用户群、技术论坛和小红书高赞帖里反复出现，不是情绪宣泄，而是大量 macOS 26（Sequoia）和 macOS 27（Tahoe&…

2026/9/26 15:53:23 阅读更多 →
无障碍声音指示器（Sound Cues）：多模态听觉交互工程标准

无障碍声音指示器（Sound Cues）：多模态听觉交互工程标准

无障碍声音指示器（Sound Cues）：多模态听觉交互工程标准在传统的无障碍（A11y）实践中，绝大多数团队的认知仅仅停留在“屏幕朗读器（Screen Reader）文字朗读”这一单一模态上。 然而&…

2026/9/26 15:53:23 阅读更多 →
OpenCV+LBPH人脸识别期末项目：从环境配置到演示答辩全攻略

OpenCV+LBPH人脸识别期末项目：从环境配置到演示答辩全攻略

简介：一套面向高校课程设计与期末大作业场景的PythonOpenCV人脸识别系统源码，适合计算机相关专业学生及人脸识别入门开发者，用于快速搭建具备人脸检测、特征提取与识别判断的完整Demo。资源包为zip格式，大小22.62MB，共…

2026/9/26 15:53:23 阅读更多 →
Substrate本质：区块链操作系统内核与Runtime确定性设计

Substrate本质：区块链操作系统内核与Runtime确定性设计

1. Substrate不是框架，是区块链的“操作系统内核”很多人第一次听说Substrate，是在Polkadot生态里——它被宣传成“构建区块链的框架”，甚至有人直接叫它“区块链开发框架”。这种说法不算错，但严重低估了它的设计深度和工程定位。…

2026/9/26 15:53:23 阅读更多 →
旧系统AI接入实战：MCP轻量适配层实现带电升级

旧系统AI接入实战：MCP轻量适配层实现带电升级

1. 项目概述：为什么老系统必须“带电升级”，而不是推倒重来在银行核心账务系统里跑着二十年前写的 COBOL 模块，在制造业 ERP 中维护着十年前部署的 SQL Server 2008 R2 实例，在政务平台中支撑着基于 Windows Server 2012 的老旧 W…

2026/9/26 15:53:23 阅读更多 →
Interpretable Robot Control via Structured Behavior Trees and Large Language Models

Interpretable Robot Control via Structured Behavior Trees and Large Language Models

论文核心内容与创新点总结及关键部分翻译 一、论文主要内容总结 该论文聚焦智能机器人在人类环境中的应用痛点，即传统机器人控制方法需用户适应特定界面或记忆预设指令，在动态非结构化环境中可用性受限，由此提出一种将大型语言模型（LLMs）与行为树（BTs）相结合的新型框架…

2026/9/26 15:52:22 阅读更多 →

日新闻

数据库课后习题答案别硬背：当测试用例集刷，效率翻倍

数据库课后习题答案别硬背：当测试用例集刷，效率翻倍

简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、…

2026/9/26 0:00:25 阅读更多 →
学校官网模拟全流程实践：从页面布局到后端接口与部署

学校官网模拟全流程实践：从页面布局到后端接口与部署

如果你正在找一门 Web 大作业的题目，或者刚开始接触 Web 前端开发想做点能拿来展示的东西，“学校官网模拟”几乎是最稳的选择。题目看着简单，但要把导航、新闻列表、轮播 Banner、二级页面、后台数据都串起来，其实已经把前端布局、…

2026/9/26 0:00:25 阅读更多 →
超级玛丽游戏源码C++：从零搭建横版跳跃游戏工程

超级玛丽游戏源码C++：从零搭建横版跳跃游戏工程

简介：这是一份面向游戏开发初学者与C进阶学习者的超级玛丽（超级马里奥）游戏源码，基于C面向对象编程实现，适合想通过经典项目理解游戏主循环、角色类设计、地图关卡加载与物理碰撞检测的读者参考。压缩包共49个文件&…

2026/9/26 0:00:25 阅读更多 →

周新闻

Flutter for OpenHarmony游戏卡片渐变背景实战：从原理到性能优化

Flutter for OpenHarmony游戏卡片渐变背景实战：从原理到性能优化

直接铺开项目本身吧。这几个月我一直在折腾一件事：用Flutter给OpenHarmony做一款游戏集合类的App，说白了就是把若干小游戏塞进一个壳里，用统一入口分发。这个方向本身不算新鲜，真正让我花了不少心思的，是首页那堆游戏卡…

2026/9/25 19:27:14 阅读更多 →
Word表格编号全攻略：从列表编号到题注交叉引用

Word表格编号全攻略：从列表编号到题注交叉引用

写Word文档，最让人头疼的往往是那些“看起来不起眼”的小问题。比如表格编号这事：今天在表后面多加了两个空白行，明天给客户交稿前发现整个章节的编号全部错位，光是挨个改序号就能耗掉大半个下午。我前阵子帮人整理一份上百页的技…

2026/9/25 11:15:26 阅读更多 →
从第一个站到第二个站：独立开发者的静态网站选型与落地实践

从第一个站到第二个站：独立开发者的静态网站选型与落地实践

1. 项目概述1.1 核心需求解析做独立开发者这几年，说实话，第一个网站上线的那天晚上我兴奋得没睡着。但等它跑了半年，流量惨淡、功能臃肿、代码自己都懒得看第二遍之后，我才慢慢琢磨明白一个道理：第一个网站是练手&…

2026/9/25 20:29:09 阅读更多 →

月新闻

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践：原型怎样变成可用功能分类：[AI/大模型]细分主题：AI 增强型 CI/CD 流水线自动化与 GitOps 实践：Agent 工作流、工具调用与任务拆解：从原型到生产的验收清单很多团队在尝试用大…

2026/9/25 20:29:43 阅读更多 →
容器编排 生产环境运维与排障实战：复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战：复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战：复盘记录怎样真正派上用场分类：[工程技术]细分主题：Kubernetes 生产环境运维与排障实战：可复制的项目复盘模板与决策记录大部分团队的事故复盘报告，最后都变成了躺在 Confluence 或钉…

2026/9/25 20:29:31 阅读更多 →
容器 容器化技术与镜像安全管理：核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理：核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理：核心链路应该先拆哪一步分类：[工程技术]细分主题：Docker 容器化技术与镜像安全管理：核心链路的逐步实现与关键代码取舍面对一个积累了五六年历史包袱的单体架构应用（包含 Web 接口、后台…

2026/9/25 19:27:26 阅读更多 →