深度学习人工智能机器学习分布式训练【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mx/mxnet点击查看免费下载Apache MXNet 的 Gluon 接口为开发者提供了与 PyTorch 同样简单、直观的命令式编程体验同时保留了通过hybridize()将命令式网络转换为符号图以获取性能优化的能力。本文以 PyTorch 为参照系从安装、数据操作、模型构建、训练循环到附录中数十项 API 对照表系统讲解如何将 PyTorch 代码迁移到 MXNet Gluon并结合仓库源码autograd.py、trainer.py、block.py、dataset.py剖析两者在设计上的本质差异。读完本文你将能熟练完成两个框架之间的代码互译并理解 Gluon 的梯度覆盖机制、自动求导作用域与惰性执行背后的原理。安装方式对比PyTorch 官方默认通过 conda 安装# !conda install pytorch-cpu -c pytorch, torchvisionMXNet 则使用 pip# !pip install mxnet如果需要 GPU 支持MXNet 按 CUDA 版本提供独立包。例如安装 CUDA 10.2 支持版本# !pip install mxnet-cu102即mxnet-cuXXX中的XXX对应目标 CUDA 版本选用与本地驱动、编译工具链匹配的版本即可。数据操作Tensor 与 NDArray两个框架都以多维矩阵为核心数据结构差异主要在命名与 API 风格上PyTorch 沿用 Torch 的命名称为 TensorMXNet 遵循 NumPy 惯例称为 NDArray。下面的例子创建一个 5×3 的全 1 矩阵并对每个元素加 1 后输出PyTorchimport torch x torch.ones(5, 3) y x 1 yMXNetfrom mxnet import np x np.ones((5, 3)) y x 1 y两者代码几乎相同唯一需要注意的是MXNet 的 shape 参数需要像 NumPy 一样以元组形式传入即np.ones((5, 3))而非np.ones(5, 3)。两个框架都提供了大量创建与操作 Tensor/NDArray 的函数完整清单可查阅 API 文档。用 MNIST MLP 走完一次完整训练下面以 MNIST 手写数字分类任务为例用单隐藏层多层感知机MLP在两种框架中分别实现整个过程分为 4 步。1. 读取数据PyTorchfrom torchvision import datasets, transforms trans transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.13,), (0.31,))]) pt_train_data torch.utils.data.DataLoader(datasets.MNIST( root., trainTrue, downloadTrue, transformtrans), batch_size128, shuffleTrue, num_workers4)MXNetfrom mxnet import gluon from mxnet.gluon.data.vision import datasets, transforms trans transforms.Compose([transforms.ToTensor(), transforms.Normalize(0.13, 0.31)]) mx_train_data gluon.data.DataLoader( datasets.MNIST(trainTrue).transform_first(trans), batch_size128, shuffleTrue, num_workers4)两个框架都支持从各自的数据源自动下载 MNIST并指定只取训练集。MNIST、CIFAR10、CIFAR100 等常用视觉数据集在 MXNet 中位于mx.gluon.data.vision包实现见 datasets.py。两者的主要区别是MXNet 通过transform_first方法指明变换只作用于数据批次中的第一个元素即图片而标签保持不变。从源码看transform_first本质上是transform的一个变体——它把变换函数包装成_TransformFirstClosure只对每个样本的第一个分量执行fn见 dataset.py。这与 PyTorch 中transform直接作用于样本的语义不同迁移代码时需要注意。此外两个框架对Normalize的均值/方差参数写法略有差异PyTorch 传元组MXNet 直接传两个标量。2. 构建模型下面定义一个带单隐藏层、输出层 10 个单元的 MLPPyTorchimport torch.nn as pt_nn pt_net pt_nn.Sequential( pt_nn.Linear(28 * 28, 256), pt_nn.ReLU(), pt_nn.Linear(256, 10))MXNetimport mxnet.gluon.nn as mx_nn mx_net mx_nn.Sequential() mx_net.add(mx_nn.Dense(256, activationrelu), mx_nn.Dense(10)) mx_net.initialize()两个框架都用Sequential容器逐层堆叠网络MXNet 与 PyTorch 有以下三点差异输入维度PyTorch 的Linear必须在构造时显式给出输入大小MXNet 的Dense允许只声明输出单元数输入维度会在第一次前向传播时自动推断网络结构更灵活。激活函数MXNet 可以直接在Dense、卷积层中通过activation参数内置激活函数无需单独添加 ReLU 层。显式初始化MXNet 在定义完网络结构后必须显式调用net.initialize()完成参数初始化PyTorch 则在首次使用时自动初始化。如果需要非顺序执行的自定义网络PyTorch 通过继承nn.Module重写forward()实现MXNet 对应继承gluon.BlockAPI 见 block.rst两者的写法几乎一一对应详见附录PyTorch Module 与 Gluon Block小节。3. 定义损失函数与优化算法本例选用交叉熵损失函数与随机梯度下降SGDPyTorchpt_loss_fn pt_nn.CrossEntropyLoss() pt_trainer torch.optim.SGD(pt_net.parameters(), lr0.1)MXNetmx_loss_fn gluon.loss.SoftmaxCrossEntropyLoss() mx_trainer gluon.Trainer(mx_net.collect_params(), sgd, {learning_rate: 0.1})两者的代码差异很小核心区别在于MXNet 使用Trainer类定义见 trainer.py优化算法以字符串参数传入如sgd超参通过字典指定如{learning_rate: 0.1}。MXNet 用net.collect_params()收集网络全部参数见 block.py等价于 PyTorch 的net.parameters()。4. 训练循环注意由于权重初始化随机、数据洗牌顺序随机每次运行的结果会略有差异。PyTorchimport time for epoch in range(5): total_loss .0 tic time.time() for X, y in pt_train_data: pt_trainer.zero_grad() loss pt_loss_fn(pt_net(X.view(-1, 28 * 28)), y) loss.backward() pt_trainer.step() total_loss loss.mean() print(epoch %d, avg loss %.4f, time %.2f % ( epoch, total_loss / len(pt_train_data), time.time() - tic))MXNetfrom mxnet import autograd for epoch in range(5): total_loss .0 tic time.time() for X, y in mx_train_data: with autograd.record(): loss mx_loss_fn(mx_net(X), y) loss.backward() mx_trainer.step(batch_size128) total_loss loss.mean().item() print(epoch %d, avg loss %.4f, time %.2f % ( epoch, total_loss / len(mx_train_data), time.time() - tic))训练循环是两者差异最集中的地方MXNet 侧需要注意以下几点无需手动展平MXNet 在把 4 维输入送入前向时不需要像 PyTorch 那样调用X.view(-1, 28 * 28)Dense会自动展平输入。自动求导作用域MXNet 必须把前向计算放在autograd.record()作用域内见 autograd.py该作用域内的运算才会被记录并用于反向传播PyTorch 则通过requires_grad标记张量即可。无需每次清梯度PyTorch 每次迭代前都要调用zero_grad()否则梯度会累加MXNet 默认grad_reqwrite新梯度直接写入覆盖旧梯度因此省去了清空步骤。step 需要批大小MXNet 的trainer.step(batch_size128)必须传入本次更新的样本数。从源码看trainer.pystep内部用1/batch_size归一化梯度rescale_grad self._scale / batch_size再依次执行梯度 allreduce 与参数更新如果损失已经手动按mean归一化则传 1 即可。标量提取MXNet 的loss.mean()返回 NDArray需要调用.item()才能得到 Python 标量用于打印对应 API 见 arrays.ndarray.rst。在本例中MXNet 的训练速度约为 PyTorch 的两倍。需要强调的是这类玩具级对比只能作为参考真实性能取决于算子、显存带宽与后端优化不能据此下结论。设计哲学命令式便利与符号图性能兼得PyTorch 是完全命令式imperative的框架API 直观但难以对整张计算图做全局优化MXNet 的 Gluon 在提供同样命令式体验的同时支持调用net.hybridize()将命令式网络编译为符号图并缓存从而获得算子融合、静态调度等性能优化。从源码看Block.hybridize()会把hybridize递归下发到所有子块见 block.py而HybridBlockblock.py支持同时接收 NDArray 与 Symbol 输入混化后创建并缓存代表前向计算的符号图。Dense、Conv2D、MaxPool2D、BatchNorm等大多数内置块都是HybridBlock因此可以零成本享受混化收益。混化后网络允许只声明输出维度、在首次输入时推断完整形状。相关实战教程见 hybridize.md自定义层的写法见 custom-layer.md。附录PyTorch 与 Gluon API 完整对照表以下对照表覆盖了从张量运算、自动微分、网络块定义到数据加载的常见 API是迁移代码时的速查手册。Tensor / NDArray 运算对照下表列出 PyTorch Tensor 与 MXNet NDArray 中函数名存在差异的部分Not available 表示 MXNet 暂无直接等价 API功能PyTorchMXNet Gluon逐元素反余弦x.acos()或torch.acos(x)nd.arccos(x)批量矩阵乘并累加torch.addbmm(M, batch1, batch2)nd.linalg_gemm(M, batch1, batch2)前 n-2 维被规约逐元素除、乘 v、加 ttorch.addcdiv(t, v, t1, t2)t v*(t1/t2)矩阵乘并累加torch.addmm(M, mat1, mat2)nd.linalg_gemm(M, mat1, mat2)两向量外积加矩阵m.addr(vec1, vec2)Not available逐元素应用函数x.apply_(callable)Not available可使用nd.custom(x, op)逐元素反正弦x.asin()或torch.asin(x)nd.arcsin(x)逐元素反正切x.atan()或torch.atan(x)nd.arctan(x)两张量反正切x.atan2(y)或torch.atan2(x, y)Not available批量矩阵乘x.bmm(y)或torch.bmm(x, y)nd.linalg_gemm2(x, y)伯努利分布采样x.bernoulli()Not available柯西分布填充x.cauchy_()Not available按维度切分x.chunk(num_of_chunk)nd.split(x, num_outputsnum_of_chunk)裁剪到 [min, max]x.clamp(min, max)nd.clip(x, min, max)复制张量x.clone()x.copy()叉积x.cross(y)Not available沿轴累乘x.cumprod(1)Not available沿轴累加x.cumsum(1)Not available首元素地址x.data_ptr()Not available生成对角张量x.diag()Not available计算张量范数x.dist()nd.norm(x)仅计算 L2 范数高斯误差函数x.erf()Not available广播/扩展到新形状x.expand(3, 4)x.broadcast_to([3, 4])指数分布填充x.exponential_()nd.random_exponential()逐元素取模x.fmod(3)nd.module(x, 3)取小数部分x.frac()x - nd.trunc(x)沿指定维收集值torch.gather(x, 1, torch.LongTensor([[0,0],[1,0]]))nd.gather_nd(x, nd.array([[[0,0],[1,1]],[[0,0],[1,0]]]))最小二乘/最小范数求解B.gels(A)Not available几何分布采样x.geometric_(p)Not available张量所在设备print(x)会打印设备信息x.context重复张量x.repeat(4, 2)x.tile(4, 2)张量数据类型x.type()x.dtype散射赋值torch.zeros(2, 4).scatter_(1, torch.LongTensor([[2], [3]]), 1.23)nd.scatter_nd(nd.array([1.23,1.23]), nd.array([[0,1],[2,3]]), (2,4))返回形状x.size()x.shape元素个数x.numel()x.size转为 NumPy ndarrayx.numpy()x.asnumpy()对称矩阵特征分解e, v a.symeig()v, e nd.linalg.syevd(a)转置x.t()x.T均匀分布采样torch.uniform_()nd.sample_uniform()插入新维度x.unsqueeze()nd.expand_dims(x)重塑x.view(16)x.reshape((16,))按指定张量形状重塑x.view_as(y)x.reshape_like(y)转换数据类型x.type(type)x.astype(dtype)拷贝值到另一张量dst.copy_(src)src.copyto(dst)创建全 0 张量x torch.zeros(2, 3)x nd.zeros((2, 3))创建全 1 张量x torch.ones(2, 3)x nd.ones((2, 3))创建与输入同形状的全 1 张量y torch.ones_like(x)y nd.ones_like(x)GPU 与跨设备操作MXNet NDArray 与 Tensor 一样可以通过指定context复制到 GPU 并在其上运算功能PyTorchMXNet Gluon拷贝到 GPUy torch.FloatTensor(1).cuda()y mx.nd.ones((1,), ctxmx.gpu(0))转成 numpy 数组x y.cpu().numpy()x y.asnumpy()设备作用域with torch.cuda.device(1):y torch.cuda.FloatTensor(1)with mx.gpu(1):y mx.nd.ones((3, 5))GPU 0 拷贝到 GPU 1x torch.cuda.FloatTensor(1)y x.cuda(1)x mx.nd.ones((1,), ctxmx.gpu(0))y x.as_in_context(mx.gpu(1))不同 GPU 间拷贝y.copy_(x)x.copyto(y)自动微分Variable 包装 vs autograd 作用域两个框架的 autograd 包都能对 Tensor/NDArray 自动求导但记录方式不同PyTorch 通过requires_gradTrue的 Variable 隐式记录MXNet 需要在record()作用域内显式记录。功能PyTorchMXNet Gluon记录计算过程x Variable(torch.FloatTensor(1), requires_gradTrue)y x * 2y.backward()x mx.nd.ones((1,))x.attach_grad()with mx.autograd.record():y x * 2y.backward()作用域覆盖train_mode、predict_mode 与 pauseDropout、BatchNorm 等算子在前向传播时训练与推理行为不同。MXNet 通过train_mode与predict_mode作用域控制pause作用于不需要计算梯度的代码段。三者均定义于 autograd.pyPyTorch 没有直接等价物功能PyTorchMXNet Gluon作用域覆盖Not availablex mx.nd.ones((1,))with autograd.train_mode():y mx.nd.Dropout(x)with autograd.predict_mode():z mx.nd.Dropout(y)w mx.nd.ones((1,))w.attach_grad()with autograd.record():y x * wy.backward()with autograd.pause():w w.grad批次结束需要显式同步MXNet 采用惰性求值lazy evaluation以获得高性能Python 线程只把算子推入后端引擎便立即返回因此训练时必须在每个批次结束时显式同步例如调用asnumpy()、wait_to_read()、metric.update(...)等功能PyTorchMXNet Gluon批次结束同步Not availablefor (data, label) in train_data:with autograd.record():output net(data)L loss(output, label)L.backward()trainer.step(data.shape[0])metric.update([label], [output])PyTorch Module 与 Gluon Block自定义块定义Gluon 与 PyTorch 高度相似都是继承基类并实现forward功能PyTorchMXNet Gluon新块定义class Net(torch.nn.Module):def __init__(self, D_in, D_out):super(Net, self).__init__()self.linear torch.nn.Linear(D_in, D_out)def forward(self, x):return self.linear(x)class Net(mx.gluon.Block):def __init__(self, D_in, D_out):super(Net, self).__init__()self.dense mx.gluon.nn.Dense(D_out, in_unitsD_in)def forward(self, x):return self.dense(x)参数与初始化器PyTorch 各层自带默认初始化器无需显式指定Gluon 允许为层指定初始化器或留空最终通过net.initialize(init method)统一完成——未显式指定初始化器的参数按传入的init method初始化已指定的层则使用各自初始化器功能PyTorchMXNet Gluon获取全部参数net.parameters()net.collect_params()初始化网络Not availablenet.initialize(mx.init.Xavier())指定层初始化器layer torch.nn.Linear(20, 10)torch.nn.init.normal(layer.weight, 0, 0.01)layer mx.gluon.nn.Dense(10, weight_initializermx.init.Normal(0.01))已有块的使用两者完全一致均为y net(x)。HybridBlock 混化与部分形状推断HybridBlock同时支持 Symbol 与 NDArray 前向混化后会创建并缓存代表前向计算的符号图。大多数内置块Dense、Conv2D、MaxPool2D、BatchNorm 等都是 HybridBlock。与 PyTorch 必须显式声明每层输入维度不同Gluon 只需声明输出维度形状在首次收到输入时自动推断功能PyTorchMXNet Gluon部分形状 / 混化Not availablenet mx.gluon.nn.HybridSequential()net.add(mx.gluon.nn.Dense(10))net.hybridize()SymbolBlock可从 Symbol 直接构造 Block非常适合把预训练模型用作特征提取器功能PyTorchMXNet GluonSymbolBlockNot availablealexnet mx.gluon.model_zoo.vision.alexnet(pretrainedTrue)out alexnet(inputs)internals out.get_internals()outputs [internals[model_dense0_relu_fwd_output]]feat_model gluon.SymbolBlock(outputs, inputs, paramsalexnet.collect_params())PyTorch 优化器 vs Gluon Trainer通常无需调用 zero_gradPyTorch 优化器或 Gluon 的 Trainer中的zero_grad用于清空所有参数的梯度。Gluon 在grad_reqwrite默认值下每个批次都会用新梯度覆盖旧梯度因此大多数情况下无需手动清空功能PyTorchMXNet Gluon清空梯度optm torch.optim.SGD(model.parameters(), lr0.1)optm.zero_grad()loss_fn(model(input), target).backward()optm.step()trainer gluon.Trainer(net.collect_params(), sgd, {learning_rate: 0.1})with autograd.record():loss loss_fn(net(data), label)loss.backward()trainer.step(batch_size)多 GPU 数据并行功能PyTorchMXNet Gluon数据并行net torch.nn.DataParallel(model, device_ids[0, 1, 2])output net(data)ctx [mx.gpu(i) for i in range(3)]data gluon.utils.split_and_load(data, ctx)label gluon.utils.split_and_load(label, ctx)with autograd.record():losses [loss(net(X), Y) for X, Y in zip(data, label)]for l in losses:l.backward()分布式训练功能PyTorchMXNet Gluon分布式数据并行torch.distributed.init_process_group(...)model torch.nn.parallel.DistributedDataParallel(model, ...)store kv.create(dist)trainer gluon.Trainer(net.collect_params(), ..., kvstorestore)训练监控Gluon 内置多种预定义指标可在线评估模型效果PyTorch 无直接等价物功能PyTorchMXNet Gluon指标Not availablemetric mx.metric.Accuracy()with autograd.record():output net(data)L loss(output, label)L.backward()trainer.step(batch_size)metric.update(label, output)数据可视化PyTorch 侧常用 TensorboardXMXNet 侧对应 MXBoard两者 API 结构几乎一致均可用于可视化网络结构与量化指标如梯度直方图PyTorchMXNetsw tensorboardX.SummaryWriter()sw mxboard.SummaryWriter()......for name, param in model.named_parameters():for name, param in net.collect_params():grad param.clone().cpu().data.numpy()grad param.grad.asnumpy().flatten()sw.add_histogram(name, grad, n_iter)sw.add_histogram(tagstr(param),...valuesgrad,sw.close()bins200,global_stepi)...sw.close()数据加载与模型序列化数据加载Dataset与DataLoader是两个框架共有的基础组件类PyTorchMXNet Gluon持有数组的数据集torch.utils.data.TensorDataset(data_tensor, label_tensor)gluon.data.ArrayDataset(data_array, label_array)数据加载器torch.utils.data.DataLoader(dataset, batch_size1, shuffleFalse, samplerNone, batch_samplerNone, num_workers0, collate_fnfunction default_collate, drop_lastFalse)gluon.data.DataLoader(dataset, batch_sizeNone, shuffleFalse, samplerNone, last_batchkeep, batch_samplerNone, batchify_fnNone, num_workers0)顺序采样器torch.utils.data.sampler.SequentialSampler(data_source)gluon.data.SequentialSampler(length)随机采样器torch.utils.data.sampler.RandomSampler(data_source)gluon.data.RandomSampler(length)注意两个DataLoader的差异MXNet 用last_batch参数控制末批次取舍默认keep保留不足一个 batch 的尾部数据用batchify_fn代替 PyTorch 的collate_fn。常用计算机视觉数据集位于mx.gluon.data.vision包实现见 datasets.py数据集PyTorchMXNet GluonMNIST 手写数字torchvision.datasets.MNISTmx.gluon.data.vision.MNISTCIFAR10torchvision.datasets.CIFAR10mx.gluon.data.vision.CIFAR10CIFAR100torchvision.datasets.CIFAR100mx.gluon.data.vision.CIFAR100文件夹图片通用加载器torchvision.datasets.ImageFolder(root, transformNone, target_transformNone, loaderfunction default_loader)mx.gluon.data.vision.ImageFolderDataset(root, flag, transformNone)模型序列化Gluon 通过save_parameters/load_parameters完成参数保存与加载功能PyTorchMXNet Gluon保存模型参数torch.save(the_model.state_dict(), filename)model.save_parameters(filename)加载参数the_model.load_state_dict(torch.load(PATH))model.load_parameters(filename, ctx, allow_missingFalse, ignore_extraFalse)总结从上面的完整对比可以看到Apache MXNet Gluon API 与 PyTorch 在绝大多数场景下高度相似迁移成本很低。两者的核心差异集中在两点一是术语Tensor vs NDArray与少量参数传递习惯如 shape 元组二是梯度行为——PyTorch 默认累加梯度、需手动zero_grad()而 MXNet 默认覆盖梯度、无需手动清空。除这两点外其余代码几乎可以直接互译。更进一步Gluon 还提供了 PyTorch 没有的两项能力hybridize()把命令式代码编译为符号图以换取性能以及SymbolBlock从预训练符号直接构造特征提取模型。建议进一步阅读 hybridize.md 学习命令式到符号式的转换以及 custom-layer.md 了解如何自定义层从而在保持 PyTorch 式开发体验的同时充分挖掘 MXNet 的性能潜力。赞分享深度学习人工智能机器学习分布式训练【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mx/mxnet点击查看免费下载相关推荐FluidVoice如何实现选中文本一键AI改写文本选择上下文集成完整原理FluidVoice如何实现选中文本一键AI改写文本选择上下文集成完整原理 FluidVoice 是一款 macOS 上的本地语音转写STT应用支持在设语音音频AI 应用桌面应用如何在15分钟内完成黑苹果配置OpCore-Simplify智能EFI构建指南如何在15分钟内完成黑苹果配置OpCore Simplify智能EFI构建指南 还在为复杂的黑苹果配置而头疼吗OpCore Simplify是你的终极解决方深度学习人工智能机器学习分布式训练Flax 迁移实战从 Haiku 到 flax.linen 的完整模型迁移指南含源码级对照Flax 迁移实战从 Haiku 到 flax.linen 的完整模型迁移指南含源码级对照 本文基于 Flax 官方迁移指南 haiku_migratio人工智能深度学习机器学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考