【免费下载链接】ai-infra-engineer-learningAI Infrastructure Engineer Learning Track - Production ML infrastructure curriculum (2-4 years experience)项目地址https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning点击查看免费下载正在寻找一套体系化的GPU计算与分布式训练教程ai-infra-engineer-learning 是面向 AI 基础设施工程师的生产级 ML 基础设施课程体系其中的 GPU 计算模块Module 07带你从CUDA 内核编写一路进阶到多机分布式训练覆盖 GPU 架构、PyTorch 加速、数据并行、显存管理与性能调优的完整知识链路。无需读源码也能跟上零基础也能建立全局视野。 为什么 GPU 计算是 AI 基础设施工程师的必修课大模型时代训练和推理几乎全部跑在 GPU 上。课程开篇就用一张对比表讲清了 CPU 与 GPU 的本质差异维度CPUGPU核心数量4-64 个强核心数千至上万个并行核心设计目标低延迟高吞吐擅长任务串行逻辑矩阵运算等并行任务这正是机器学习天然吃 GPU的原因神经网络的前向传播本质上是大规模矩阵乘法几千个核心同时计算矩阵元素速度远超逐行处理。完整架构讲解见 01-introduction-gpu-computing.md。️ GPU 计算完整学习路径8 节课 6 个实验整个模块按由浅入深设计约 30-35 小时可完成结构一览GPU 计算入门—— GPU 架构、CUDA 核心与张量核心、显存层级CUDA 编程基础—— 内核函数、线程组织、主机/设备内存管理PyTorch GPU 加速—— 张量上卡、混合精度训练、性能剖析分布式训练基础—— 数据并行 vs 模型并行、AllReduce 通信多 GPU 训练策略—— DataParallel vs DDP、单节点多卡调优模型与流水线并行—— 张量并行、混合并行方案GPU 显存管理与优化—— OOM 排查、梯度检查点高级 GPU 优化—— nsys 剖析、内核融合、生产级最佳实践课程总览与硬件要求建议 RTX 3060 / 8GB 显存起步见 README.md。 从 CUDA 内核起步你的第一个 GPU 程序很多同学以为学 GPU 必须先精通 C其实不必。第 2 课用HostCPU DeviceGPU双角色模型讲清一个 CUDA 程序的五个固定步骤分配 GPU 显存 → 拷贝数据上卡 → 启动内核Kernel→ 取回结果 → 释放显存并重点讲解了__global__、__device__等函数限定符和Grid / Block / Warp / Thread的线程组织方式——这是理解所有 GPU 性能优化的底层语言。动手写第一个内核函数的实验在 lab-01-cuda-hello-world.md理论细节参考 02-cuda-programming-fundamentals.md。⚡ PyTorch GPU 加速从单卡训练到性能剖析真正日常写训练代码用的是 PyTorch。第 3 课聚焦四件事如何把模型与张量高效搬上 GPU含pin_memory、non_blocking等细节PyTorch 的显存分配器机制混合精度训练FP16/BF16 提速 FP32 保稳定用torch.profiler定位 GPU 性能瓶颈配套实验把 CPU 模型改造成 GPU 版本lab-02-pytorch-gpu-inference.md。 分布式训练核心数据并行与模型并行怎么选单张 80GB 的 A100 也装不下 175B 参数的 GPT-3约 700GB 权重这就是多机分布式训练的由来。第 4 课用清晰的图示拆解了三大策略数据并行模型复制、数据切分每步做 AllReduce 同步梯度——实现最简单、适用最广但模型必须单卡放得下模型并行按层切分到不同 GPU可训超大模型但存在流水气泡流水线并行将模型切成多级 stagemini-batch 流水推进兼顾两者AllReduce、Ring AllReduce 等通信原语的原理也在这节课讲透详见 04-distributed-training-fundamentals.md。️ 多卡与多机训练实战DDP 与混合并行学完原理就上手。多 GPU 实战实验用torchrun启动 DDP 训练并用nvidia-smi dmon观察每张卡的利用率和 NCCL 通信流量验证接近线性加速这一核心指标lab-03-multi-gpu-training.md —— 单节点多卡 DDP 完整实验lab-04-gpu-cluster-on-k8s.md —— 在 Kubernetes 上搭建多机 GPU 训练集群05-multi-gpu-training-strategies.md —— DataParallel vs DDP 的取舍06-model-pipeline-parallelism.md —— 张量并行与混合并行进阶 常见坑位提前知道忘记DistributedSampler会导致每个进程读到全量数据NCCL 卡死时先用nvidia-smi topo -m检查卡间拓扑。 显存管理与性能优化搞定 OOM 和高利用率显存往往是大模型训练的瓶颈。课程给出了训练时显存占用的完整拆解参数 梯度 优化器状态 激活值 ≈ 4M 起步并教授一整套省钱技术梯度检查点Gradient Checkpointing用计算换显存混合精度训练7B 模型从约 120GBFP32降到约 60GBFP16ZeRO / 梯度累积压缩优化器状态、模拟更大 batchnsys / nvtop 剖析定位利用率低的真凶对应资料07-gpu-memory-management.md、08-advanced-gpu-optimization.md、显存剖析实验 lab-06-memory-profiling.md、混合精度实验 lab-05-mixed-precision.md。️ 11 个进阶练习把知识变成工程能力模块还准备了 11 个由浅入深的练习覆盖 GPU 集群管理、性能优化、推理加速、GPU 共享与成本控制等生产场景每个练习都有独立说明GPU 硬件探测exercise-01-gpu-introspection自定义 CUDA 内核exercise-02-cuda-kernel分布式 GPU 训练exercise-06-distributed-gpu-trainingGPU 成本优化exercise-11-gpu-cost-optimization练习总清单见 exercises/README.md。✅ 学完你应能做到的事模块给出了明确的验收清单可以对照自检能解释 GPU 架构并判断何时该用 GPU 而非 CPU能写出基础 CUDA 内核理解 GPU 内存模型能用 DDP 实现数据并行并搭建单节点多卡训练能实现大模型的模型并行训练能用剖析工具定位瓶颈、排查并解决 GPU OOM 错误更多延伸阅读CUDA 编程指南、NCCL 文档、ZeRO / FlashAttention 等经典论文已整理在 resources.md。 下一步把 GPU 能力接入生产体系GPU 只是起点。学完本模块后建议按课程体系继续推进Module 08 监控与可观测性把 GPU 指标接入生产监控Module 09 基础设施即代码用 Terraform 自动供给 GPU 集群Module 10 LLM 基础设施将 GPU 知识落地到 LLM 推理服务项目实战projects/README.md 中的 MLOps 流水线与 LLM 部署项目从 CUDA 内核到多机分布式训练这条进阶之路没有捷径但有了这份完整路线图你只需要一步一步把手弄脏。赞分享【免费下载链接】ai-infra-engineer-learningAI Infrastructure Engineer Learning Track - Production ML infrastructure curriculum (2-4 years experience)项目地址https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning点击查看免费下载相关推荐如何用TensorFlow实现分布式训练多GPU与多机并行计算完整指南如何用TensorFlow实现分布式训练多GPU与多机并行计算完整指南 TensorFlow分布式训练是提升模型训练效率的关键技术尤其适合处理大规模数据集和示例工程DGL分布式训练多GPU与多机并行计算DGL分布式训练多GPU与多机并行计算 DGLDeep Graph Library的分布式架构通过先进的图分区、RPC通信和并行计算技术为大规模图神经网人工智能机器学习深度学习图计算如何通过Pushd API实现用户订阅管理完整指南如何通过Pushd API实现用户订阅管理完整指南 Pushd是一款高性能的多协议移动和Web推送通知服务通过其强大的API可以轻松实现用户订阅管理功能。本创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考