FastAPI 性能扩展 Redis 缓存、Celery 异步任务与容器部署
任务详情接口被频繁刷新时数据库其实在重复回答同一个问题。把所有耗时工作都塞进 FastAPI 请求里也会出事用户点一次导出浏览器就一直转圈。这一篇给任务 API 加两条分流Redis 负责短暂记忆Celery 负责把耗时工作交给 worker。配套代码已经放在 fastapi-task-api文章中的完整实现以main分支为准。Redis 不是越早接越好缓存会带来失效问题所以项目只缓存一个最容易定义边界的对象任务详情。列表带分页和筛选条件缓存键会迅速膨胀先不碰它。defcache_key(owner_id:uuid.UUID,task_id:uuid.UUID)-str:returnftask:{owner_id}:{task_id}router.get(/{task_id},response_modelTaskRead)asyncdefread_task(task_id:uuid.UUID,sessionDepends(get_db_session),redisDepends(get_redis)):keycache_key(current_user.id,task_id)cachedawaitredis.get(key)ifcached:returnTaskRead.model_validate_json(cached)taskawaitowned_task(session,task_id,current_user.id)resultTaskRead.model_validate(task)awaitredis.set(key,result.model_dump_json(),ex300)# 缓存五分钟returnresult键里必须有用户 ID。即使任务 UUID 已经很难猜隔离条件也不能依赖运气。更新和删除任务后立刻删键下一次读取自动回源数据库。创建接口没有对应缓存因此不需要做任何操作。awaitsession.commit()awaitredis.delete(cache_key(current_user.id,task_id))缓存的正确性来自失效策略不来自缓存命中率。这就是为什么这里只放详情不拿 Redis 去替代数据库。BackgroundTasks 和 Celery 各干什么FastAPI 的BackgroundTasks适合短小、允许跟 Web 进程同生共死的事情例如记录一条审计日志。它不需要单独部署 worker。Celery 则把任务投给 broker由独立 worker 消费。导出 CSV、批量发邮件、调用慢速第三方接口都更适合这个路径。worker 可独立扩容也能配置重试。任务 API 用 Redis 同时充当 broker 和结果后端。场景选择写一条轻量审计日志BackgroundTasks导出任务 CSVCelery批量处理、失败重试Celery需要立即返回计算结果普通async接口把导出变成异步工作提交导出时接口立即返回202和task_id。客户端再用这个 ID 查询状态。为了避免任何登录用户猜到 ID 后读取结果项目把任务所有者短暂记录在 Redis 里。router.post(/exports/tasks,status_code202)asyncdefqueue_export(redisDepends(get_redis),current_userDepends(get_current_user)):resultexport_user_tasks.delay(str(current_user.id))awaitredis.set(fexport-owner:{result.id},str(current_user.id),ex3600)return{task_id:result.id,status:PENDING}worker 内部重新开数据库会话读取该用户的任务再生成 UTF-8 CSV 字符串。不要把 HTTP 请求里的 SQLAlchemy session 传给 Celery它无法跨进程序列化。celery_app.task(bindTrue,autoretry_for(Exception,),retry_backoffTrue,max_retries3)defexport_user_tasks(self,user_id:str)-str:returnasyncio.run(build_csv(uuid.UUID(user_id)))autoretry_for只适合可重试的临时失败例如数据库短暂不可用。CSV 格式错误或无效用户这类确定性错误重试三次也不会变好。大文件也不该塞进结果后端真实项目应该上传对象存储结果只返回下载地址。Celery WorkerRedisFastAPIClientCelery WorkerRedisFastAPIClientPOST 导出投递任务和保存所有者202 task_idworker 消费任务写入结果状态GET 导出状态PENDING 或 SUCCESS用 Docker Compose 把四个服务放到一起本地起 API 还不难真正容易遗漏的是 worker、PostgreSQL 和 Redis 的连接配置。docker-compose.yml定义四个服务PostgreSQL 和 Redis 有健康检查API 等数据库健康后先执行alembic upgrade head再启动。Copy-Item.env.example.env docker compose up--build.env中的DATABASE_URL主机名是postgresREDIS_URL主机名是redis它们来自 Compose 服务名。启动成功后打开/docs先注册、登录复制 Bearer 令牌再创建任务和提交导出。这一套配置不是高可用方案。生产环境还要接日志、指标、备份、密钥管理和外部对象存储。但 API、数据库、缓存和 worker 已经各自有了明确位置后续扩展不会全挤在 Web 进程里。本篇收口Redis 只缓存任务详情更新和删除时精确失效Celery 处理可延迟的 CSV 导出并返回可查询的任务 ID导出任务的所有者映射阻止其他用户读取结果Docker Compose 统一启动 API、PostgreSQL、Redis 与 worker

相关新闻

手把手教你用Ollama本地部署Qwen3.5-9B大模型:从GGUF量化到WebUI实战

手把手教你用Ollama本地部署Qwen3.5-9B大模型:从GGUF量化到WebUI实战

最近在本地部署大模型时,发现了一个“宝藏”模型——Qwen3.5-9B。它不仅在推理、代码、数学等多项基准测试中表现出色,更关键的是,通过特定的量化格式(如GGUF)和工具(如Ollama)部署后&#xff0…

2026/11/16 21:43:16 阅读更多 →
终极Windows驱动管理神器:DriverStore Explorer完整指南,轻松释放数GB磁盘空间

终极Windows驱动管理神器:DriverStore Explorer完整指南,轻松释放数GB磁盘空间

终极Windows驱动管理神器:DriverStore Explorer完整指南,轻松释放数GB磁盘空间 【免费下载链接】DriverStoreExplorer Driver Store Explorer 项目地址: https://gitcode.com/gh_mirrors/dr/DriverStoreExplorer 你是否发现Windows系统盘空间日益…

2026/11/14 21:54:47 阅读更多 →
如何用OpenCascade.js在浏览器中实现专业级3D CAD建模:完整指南

如何用OpenCascade.js在浏览器中实现专业级3D CAD建模:完整指南

如何用OpenCascade.js在浏览器中实现专业级3D CAD建模:完整指南 【免费下载链接】opencascade.js Port of the OpenCascade CAD library to JavaScript and WebAssembly via Emscripten. 项目地址: https://gitcode.com/gh_mirrors/op/opencascade.js 想要在…

2026/11/16 13:10:53 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/17 8:22:52 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/17 12:46:04 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/17 12:46:04 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/17 11:26:33 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/17 12:46:05 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/17 12:46:05 阅读更多 →

日新闻

周新闻

月新闻