10 分钟跑通 FreeLLMAPI：把 34 家免费 LLM 聚合成一个 OpenAI 兼容 API 的新手实战指南

10 分钟跑通 FreeLLMAPI把 34 家免费 LLM 聚合成一个 OpenAI 兼容 API 的新手实战指南【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapiFreeLLMAPI 把 34 家 LLM 提供商的免费额度聚合成一个 OpenAI 兼容的/v1接口635 个免费模型端点、每月约 74 亿免费 token某家限流了它自动切下一家。这篇是新手指南跟着走10 分钟后你会有一个跑起来的部署、一条免费回复以及接进自己代码的最小改法。74 亿免费 token 的池子FreeLLMAPI 替你省了什么先说痛点。每家 AI 厂商都送免费额度每月几百万 token、每天几千次请求。单看一家都不够打——密钥分散在 34 个控制台限流规则各不相同SDK 各写各的。手工串起来等于维护 34 套接口外加 34 个会挂的地方。FreeLLMAPI 的思路是把这些免费层拼成一个池子474 个模型家族、635 个免费端点584 个聊天、41 个 embedding、7 个语音转写、3 个视频折合每月约74 亿 token。你的请求只打本地这一个/v1接口路由器替你挑模型、挑密钥、避开限流。三种部署方式一行命令、Compose、桌面版三条路都能到 3001 端口选你顺手的那条。一行命令Docker 干完所有脏活这条命令替你建好~/freellmapi目录、生成加密密钥、拉镜像、启动容器curl -fsSL https://freellmapi.co/install.sh | bash命令可以重复执行.env和加密密钥会被保留重跑只会把容器升级到最新版。✅ 部署成功后浏览器打开http://localhost:3001进仪表盘。去密钥页做三件事把你手里的提供商密钥填进去Google AI Studio、Groq、Mistral或任意 OpenAI 兼容端点在Fallback Chain回退链里调整顺序排靠前的优先被选中复制页头的统一密钥freellmapi-开头——之后你的所有应用只认这一把先别写代码直接去Playground页发一句话。回复气泡上会标出这次实际是哪家提供商、哪个模型应答的延迟多少——路由确实在转一眼可见。 第一条免费回复到手。Docker Compose想看清每一步不放心把管道直接喂给 bash自己走一遍生成 64 位十六进制加密密钥、写进.env、启动 composegit clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY$(openssl rand -hex 32) printf ENCRYPTION_KEY%s\nPORT3001\n $ENCRYPTION_KEY .env docker compose up -dSQLite 数据会落进具名卷freellmapi-data。升级时保持ENCRYPTION_KEY和这个卷不变加密存的密钥就永远解得开。局域网访问、备份、桌面构建等细节都在安装与部署文档里。零命令行桌面版桌面版把整个路由器加仪表盘装进系统托盘不用设账号密码仪表盘自动登录托盘弹窗里能看到实时请求统计。macOS 装.dmgApple Silicon 选 arm64Windows 装.exe从 Releases 下载即可。大白话机制拆解FreeLLMAPI 怎么派单大白话版它不做推理只做派单。一个请求进来调度台给池子里所有已启用模型打分分最高的接单那家挂了或限流单子自动挪给下一家。技术上是这样流转的请求打进来路由器按可靠性、速度、智能三个轴给模型打分。评分基于近 7 天的实测成功率、吞吐和首字节时间带 2 天半衰期——昨天的失败比 6 天前的失败影响更大默认balanced策略按 0.5 / 0.25 / 0.25 加权合成总分分数最高的模型接单。每个响应都带X-Routed-Via: 提供商/模型头你可以核对是谁答的命中 429 或 5xx 时这个密钥进入冷却升级阶梯是 2 分钟 → 10 分钟 → 1 小时 → 24 小时请求自动落到链上下一个整个回退循环最多重试 20 次、总挂钟预算默认 45 秒每次调用都计入按密钥的额度统计让你始终停在各家免费上限之内选模逻辑在server/src/services/router.ts429/5xx 触发冷却重试的循环在server/src/lib/fallback-loop.ts。想深挖 Thompson 采样和护栏因子路由与评分架构文档把每个公式都摊开了。接进你的代码把 OpenAI SDK 指向免费池只要你的代码走 OpenAI 协议改两个参数base_url指向本地 3001 端口的/v1api_key换成统一密钥。from openai import OpenAI client OpenAI(base_urlhttp://localhost:3001/v1, api_keyfreellmapi-你的统一密钥) resp client.chat.completions.create( modelauto, messages[{role: user, content: 一句话介绍你自己}], ) print(resp.choices[0].message.content)model填auto让路由器自己挑写auto:fast偏重速度、auto:smart偏重智能、auto:reliable偏重近期成功率也可以直接指定具体模型名。顺手一件划算的事把 Ollama、vLLM、LM Studio 这类本地模型按 OpenAI 兼容端点挂进密钥页的自定义端点它们就和免费池一起参与路由。流式、工具调用、Embedding、图像/语音生成、Anthropic 协议面/v1/messagesClaude Code 直接可用的完整写法都在REST API 参考里。日常管理密钥、路由、账本三个页面说清日常管理就三个页面密钥页管提供商密钥、回退链顺序和统一密钥每个密钥带状态点和最近健康检查时间Models页是路由透视每个模型带可靠性、速度、智能三个实时评分列表顺序就是此刻真实的路由顺序整池的月度 token 预算也在这里看Analytics页管账请求量、成功率、token 进出、按提供商拆分都有延迟给到 p50/p95 和首 token 时间分析数据默认保留 90 天或 10 万条记录先到为准⚠️ 几个高频问题忘记密码点登录页Forgot password?。没有邮箱可发重置码直接打印在服务器日志里15 分钟内有效局域网别的设备想访问默认只绑127.0.0.1用HOST_BIND0.0.0.0启动即可暴露——这是单用户服务只限可信网络日志在哪Docker 用docker compose logs -f freellmapi桌面版在托盘菜单选Open Logs Folder密钥安全吗提供方密钥用 AES-256-GCM 加密存在本地 SQLite只在每次请求时在内存中解密边界与下一步先说边界这套免费池定位是个人实验与学习。没有前沿模型、延迟有波动、没有 SLA而且每天的免费额度到后期会吃紧头部模型撞到每日上限UTC 午夜重置。真要在乎稳定性的产品发布前把密钥池换成付费 API。接下来可以顺手做的三件事把 Claude Code、Codex CLI 这类编程智能体指过来npx freellmapi setup-claude --url http://localhost:3001 --api-key 统一密钥一条命令配好现成配方在客户端与编程智能体文档请求虚拟模型fusion多个免费模型并行起草再由裁判模型合成一份答案参与模型组在仪表盘Fusion页配置请求写法在REST API 参考里想读源码从server/src/services/router.ts入手对照路由与评分架构文档看每个分数轴怎么算【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考