现代 C++ 异步编程:从零实现一个高性能 ThreadPool (C++20 深度实践)
在高性能 C 开发中线程池是绕不开的核心基础设施。随着 C20 标准的普及我们能够以更简洁、更安全的方式实现一个生产级的线程池。本文将带你深度剖析一个基于std::jthread的线程池实现并探讨其背后的架构思考与内存管理机制。1. 核心代码实现 (C20 版)这个线程池利用了 C20 的 RAII 线程管理特性彻底告别了手动join的时代。#pragmaonce#includecondition_variable#includefunctional#includefuture#includememory#includemutex#includequeue#includestdexcept#includethread#includetype_traits#includeutility#includevectorclassThreadPool{public:explicitThreadPool(std::size_t threads){if(threads0){throwstd::invalid_argument(ThreadPool requires at least one worker);}workers.reserve(threads);for(std::size_t i0;ithreads;i){// std::jthread 会自动管理线程生命周期。//// jthread 析构时会// 1. request_stop()// 2. join()//// stop_token 是 worker 获取停止请求的方式。workers.emplace_back([this](std::stop_token st){// 不要写//// while (!st.stop_requested())//// 因为我们的策略是//// 收到 stop// ↓// 不再等待新任务// ↓// 把已经在队列中的任务执行完// ↓// worker 退出//// 所以这里使用无限循环由下面的逻辑决定什么时候退出。for(;;){std::functionvoid()task;{std::unique_lockstd::mutexlock(queue_mutex);// 等待两个条件之一//// 1. tasks 非空// 2. stop_token 收到 stop 请求//// condition_variable_any 支持 stop_token// 因此 request_stop() 可以唤醒这里的 worker。//// wait() 返回//// true - predicate 满足即 tasks 非空// false - stop_token 收到了 stop 请求boolokcondition.wait(lock,st,[this]{return!tasks.empty();});// stop 请求并且任务队列已经为空//// stop true// tasks.empty() true//// 说明没有任何任务需要继续处理可以退出。if(!oktasks.empty()){return;}// 到这里有两种可能//// 1. 正常收到任务// 2. 收到 stop但队列里还有任务//// 两种情况都需要取出任务执行。taskstd::move(tasks.front());tasks.pop();}// 非常重要//// 不要持有 queue_mutex 执行任务。//// 如果任务执行时间很长而 mutex 一直被占用// 其他 worker 就无法从任务队列取任务。//// 所以//// 加锁// ↓// 取任务// ↓// 解锁// ↓// 执行任务task();}});}}~ThreadPool()default;templateclassF,class...Argsautoenqueue(Ff,Args...args)-std::futurestd::invoke_result_tF,Args...{// 获取任务函数的返回类型。//// 例如//// int foo(int);//// enqueue(foo, 10)//// return_type intusingreturn_typestd::invoke_result_tF,Args...;// packaged_task 用于//// worker 执行任务// ↓// 保存返回值// ↓// future 获取返回值//// packaged_task 本身是 move-only。//// 所以这里使用 shared_ptr 管理它的生命周期。autotaskstd::make_sharedstd::packaged_taskreturn_type()(std::bind(std::forwardF(f),std::forwardArgs(args)...));// future 是调用者获取任务执行结果的方式。std::futurereturn_typeresulttask-get_future();{std::unique_lockstd::mutexlock(queue_mutex);// tasks 的统一类型是//// std::functionvoid()//// 不管用户提交的是//// int foo()// void bar()// std::string baz()//// 最终都包装成//// void()//// worker 不需要知道任务的真实类型。tasks.emplace([task]{(*task)();});}// mutex 已经释放之后再通知 worker。//// notify_one() 唤醒一个正在等待任务的 worker。condition.notify_one();returnresult;}private:/* * 成员变量的声明顺序非常重要。 * * C 对成员变量的析构顺序是 * * 声明顺序的逆序 * * 所以这里实际上会按照 * * workers * ↓ * tasks * ↓ * condition * ↓ * queue_mutex * * 的顺序析构。 * * workers 必须最后声明。 * * 原因 * * worker 线程里面会访问 * * queue_mutex * condition * tasks * * 因此必须保证 worker 全部结束之后 * 这些对象才开始析构。 */// 保护 tasks。std::mutex queue_mutex;// condition_variable_any 支持 stop_token。std::condition_variable_any condition;// 等待执行的任务。std::queuestd::functionvoid()tasks;// 必须最后声明。//// 析构时 workers 最先被析构//// ~jthread()// ↓// request_stop()// ↓// worker 被唤醒// ↓// worker 退出// ↓// join()//// 等所有 worker 结束以后// tasks / condition / queue_mutex 才会析构。std::vectorstd::jthreadworkers;};2. 深度剖析为什么不直接存packaged_task这是初学者常有的疑问既然std::packaged_task已经封装了任务为什么队列里存的是std::functionvoid()类型擦除 (Type Erasure)std::packaged_taskR(Args...)是一个强类型模板它的类型包含了返回值R。如果任务 A 返回int任务 B 返回string它们的类型是不同的。std::queue只能存储相同类型的对象。解决方案我们利用std::functionvoid()作为“通用信封”。在enqueue内部我们写了一个 Lambda 表达式[task](){ (*task)(); }。无论原始任务返回什么这个 Lambda 永远是void()类型。这在设计模式中被称为类型擦除它抹平了不同任务之间的差异。3. 内存管理智能指针的“接力”在异步环境下最怕的是“任务还没跑对象先没了”。本实现通过std::shared_ptr和 Lambda 捕获完美解决了生存周期问题。诞生在enqueue里通过make_shared创建任务。此时计数为 1。接力Lambda 表达式通过按值捕获[task]。这意味着shared_ptr被拷贝了一份存进了 Lambda 闭包中。此时计数为 2。入队Lambda 被存入std::function并进入队列。即使enqueue函数返回闭包依然拉着shared_ptr。销毁工作线程取出并执行完任务后std::function被销毁引用计数降为 0任务对象内存自动释放。这种“引用计数闭包捕获”的机制保证了任务只要在队列中内存就绝对安全。4. C20 的技术红利std::jthread 与 RAII传统的std::thread在析构时如果不join或detach会导致进程异常退出。std::jthread引入了 RAII资源获取即初始化机制它在析构时会自动发出停止请求并等待线程结束使得线程池的析构函数极其简洁。协作式中断 (stop_token)通过std::stop_token我们不再需要手动维护一个bool stop标志。condition.wait(lock, st, pred)更是神来之笔当jthread准备停止时它会自动唤醒所有阻塞在条件变量上的线程。这比以前手动notify_all()要健壮得多。5. 如何使用intmain(){ThreadPoolpool(4);// 提交带返回值的异步任务autofuturepool.enqueue([](intx){returnx*x;},10);// 获取结果 (会阻塞直到任务完成)std::coutResult: future.get()std::endl;return0;}6. 总结实现一个线程池不难但实现一个既类型安全又内存无忧的线程池需要对 C 的底层机制有深刻理解。std::functionvoid()解决了异质任务的存储问题。std::shared_ptr解决了异步任务的生命周期问题。std::jthread解决了线程资源的回收问题。这个短小精悍的实现正是 C 现代化的魅力所在。版权声明本文采用 CC BY-SA 4.0 协议转载请注明出处。

相关新闻

开发者技术搜索安全指南:从官方文档到代码验证的全流程实践

开发者技术搜索安全指南:从官方文档到代码验证的全流程实践

最近在技术社区看到不少关于“最可怕的搜索引擎”的讨论,很多开发者,尤其是刚入门的新手,在寻找技术解决方案时,可能会误入一些存在安全风险、隐私泄露或提供恶意代码的网站。本文并非要讨论某个具体的搜索引擎,而是想…

2026/8/13 22:10:02 阅读更多 →
营销智脑V3 产品迭代更新全景图:从V6.0到V6.2,AI营销平台的成长之路

营销智脑V3 产品迭代更新全景图:从V6.0到V6.2,AI营销平台的成长之路

3个月 13个版本 95条更新记录 —— 一个AI营销平台从"能用"到"好用"再到"专业"的完整进化史。前言 营销智脑V3框架打造花了3年多时间,近期3个月爆发式更新。 从最初的多智能体协作,到全域矩阵分发,再到今天的…

2026/8/14 22:59:33 阅读更多 →
从利利博士固态智能警告看AI安全:目标对齐与约束编码的工程实践

从利利博士固态智能警告看AI安全:目标对齐与约束编码的工程实践

在探索人工智能与人类未来的交叉领域时,我们常常会回溯历史,从那些富有远见的思考中汲取灵感。约翰C利利(John C. Lilly)博士在1978年提出的关于“固态智能”与人类命运的论述,便是这样一个跨越时代的深刻洞见。对于从…

2026/8/13 22:10:02 阅读更多 →

最新新闻

从25分钟开始逆袭:TomatoBar 菜单栏番茄钟让macOS变成专注力发动机

从25分钟开始逆袭:TomatoBar 菜单栏番茄钟让macOS变成专注力发动机

从25分钟开始逆袭:TomatoBar 菜单栏番茄钟让macOS变成专注力发动机 【免费下载链接】TomatoBar 🍅 Worlds neatest Pomodoro timer for macOS menu bar 项目地址: https://gitcode.com/gh_mirrors/to/TomatoBar 你有没有过这样的上午:…

2026/8/15 15:56:43 阅读更多 →
10分钟掌握gh_mirrors/tr/trading关键组件:Forecasts引擎与TradeProcessor工作原理

10分钟掌握gh_mirrors/tr/trading关键组件:Forecasts引擎与TradeProcessor工作原理

10分钟掌握gh_mirrors/tr/trading关键组件:Forecasts引擎与TradeProcessor工作原理 【免费下载链接】trading 💱 Trading application written in Scala 3 that showcases an Event-Driven Architecture (EDA) and Functional Programming (FP) 项目地…

2026/8/15 15:56:43 阅读更多 →
ComfyTextures高级技巧:自定义ComfyUI工作流提升纹理生成质量

ComfyTextures高级技巧:自定义ComfyUI工作流提升纹理生成质量

ComfyTextures高级技巧:自定义ComfyUI工作流提升纹理生成质量 【免费下载链接】ComfyTextures Unreal Engine ⚔️ ComfyUI - Automatic texturing using generative diffusion models 项目地址: https://gitcode.com/gh_mirrors/co/ComfyTextures ComfyTex…

2026/8/15 15:56:43 阅读更多 →
ROCm GPU 识别失败怎么办?ComfyUI 报 No HIP GPUs 的 5 步排查与修复指南

ROCm GPU 识别失败怎么办?ComfyUI 报 No HIP GPUs 的 5 步排查与修复指南

ROCm GPU 识别失败怎么办?ComfyUI 报 No HIP GPUs 的 5 步排查与修复指南 【免费下载链接】ROCm AMD ROCm™ Software - GitHub Home 项目地址: https://gitcode.com/GitHub_Trending/ro/ROCm 晚上十点,你终于把 ROCm 装完,rocminfo 里…

2026/8/15 15:56:43 阅读更多 →
JX3Toy 完整上手指南:让剑网3技能自动释放脚本帮你告别手酸

JX3Toy 完整上手指南:让剑网3技能自动释放脚本帮你告别手酸

JX3Toy 完整上手指南:让剑网3技能自动释放脚本帮你告别手酸 【免费下载链接】JX3Toy 全功能减负工具 项目地址: https://gitcode.com/GitHub_Trending/jx/JX3Toy 凌晨一点,你的25人团还在"荻花圣殿"磨最后一个首领。眼睛盯着冷却栏&…

2026/8/15 15:56:43 阅读更多 →
保护隐私从URL开始:Neat URL拦截Google Analytics追踪实战

保护隐私从URL开始:Neat URL拦截Google Analytics追踪实战

保护隐私从URL开始:Neat URL拦截Google Analytics追踪实战 【免费下载链接】Neat-URL Neat URL cleans URLs, removing parameters such as Google Analytics utm parameters. 项目地址: https://gitcode.com/gh_mirrors/ne/Neat-URL 在当今数字时代&#x…

2026/8/15 15:55:43 阅读更多 →

日新闻

内景 空间站内部 中国空间站 太空 内仓

内景 空间站内部 中国空间站 太空 内仓

本项目为前几天收费帮学妹做的一个项目,在工作环境中基本使用不到,但是很多学校把这个当作编程入门的项目来做,故分享出本项目供初学者参考。 一、项目描述 空间站内部 中国空间站 太空 内仓 地址:本地PC端运行(或Web…

2026/8/15 0:00:30 阅读更多 →
重新定义数据接口:3个突破性场景让通达信数据读取更智能

重新定义数据接口:3个突破性场景让通达信数据读取更智能

重新定义数据接口:3个突破性场景让通达信数据读取更智能 【免费下载链接】mootdx 通达信数据读取的一个简便使用封装 项目地址: https://gitcode.com/GitHub_Trending/mo/mootdx 当我们面对海量金融数据时,传统的数据获取方式往往让我们陷入困境—…

2026/8/15 0:00:30 阅读更多 →
一文读懂快消WMS怎么选?2026年国内外10大主流WMS品牌盘点

一文读懂快消WMS怎么选?2026年国内外10大主流WMS品牌盘点

快消品(FMCG)是流通速度较快、竞争较为激烈的行业之一。一瓶饮料从出厂到消费者手中,往往只有几十天甚至几天的周转窗口。这决定了快消行业的仓储管理系统(WMS)与制造业、电商行业存在明显区别:它不仅需要管…

2026/8/15 0:02:30 阅读更多 →

周新闻

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁 【免费下载链接】baidupankey 在线查询网盘提取码(维护中 rm repo) 项目地址: https://gitcode.com/gh_mirrors/ba/baidupankey 你是否曾经在深夜寻找一份重要资料&#x…

2026/8/13 2:38:34 阅读更多 →
如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南 【免费下载链接】chinese_license_plate_generator 中国车牌生成器 项目地址: https://gitcode.com/gh_mirrors/ch/chinese_license_plate_generator 中国车牌生成器是一个基于Python的开源项目&#xff0c…

2026/8/15 12:59:14 阅读更多 →
收藏!小白程序员轻松入门大模型,从Harness工程开始实践

收藏!小白程序员轻松入门大模型,从Harness工程开始实践

文章强调学习大模型不应只关注模型本身,而应重视模型外的系统搭建,即Harness。提出AgentModelHarness的实用公式,详细介绍Harness的四个层次:持久化层、执行层、控制层和观察与验证层。文章还探讨了上下文工程、工具设计、AGENTS.…

2026/8/13 10:41:51 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/14 13:40:53 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/14 14:06:45 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/15 2:35:29 阅读更多 →