示例工程教程【免费下载链接】Cangjie-Examples本仓将收集和展示高质量的仓颉示例代码欢迎大家投稿让全世界看到您的妙趣设计也让更多人通过您的编码理解和喜爱仓颉语言。项目地址https://gitcode.com/Cangjie/Cangjie-Examples点击查看免费下载本文以仓库 MINIST 项目为主体完整剖析一个不依赖任何深度学习框架、纯仓颉Cangjie语言编写的 BP 神经网络手写数字识别系统从 MNIST 二进制数据集解析、网络结构与超参数设定到前向/反向传播、Adam 优化器与spawn {}协程并行矩阵运算的源码级实现并给出可复现的训练与评估流程。读完本文你将掌握如何在仓颉中从零搭建一个可收敛、可并行加速的神经网络训练管线并理解其约 4 倍训练提速与单 epoch 收敛背后的工程细节。项目定位纯仓颉的神经网络实践MINIST 是一个运行于仓颉语言之上的完整机器学习示例手写数字识别MNIST 分类全程使用仓颉实现无需 Python、TensorFlow、PyTorch 等任何外部深度学习框架。项目的核心目标并非追求超越主流框架的性能而是展示仓颉语言在数值计算、并发编程与面向对象设计上的综合能力。从 cjpm.toml 可以看到这是一个标准的仓颉可执行程序包[dependencies] [package] cjc-version 0.53.21 compile-option description nothing here link-option name MiniST output-type executable src-dir target-dir version 1.0.0 package-configuration {}包名MiniST输出类型为executable可执行程序编译目标为cjc-version 0.53.21即需要该版本或兼容版本的仓颉编译器环境无任何第三方依赖数据加载、网络训练、评估全部由src目录下的 7 个仓颉源文件完成。项目在 README.md 中自我描述的两大工程亮点是利用spawn {}协程并行化矩阵运算使训练耗时相比串行实现减少约 4 倍采用 Adam 优化器一个 epoch 即可基本收敛非常适合快速验证与实验。后续章节将逐一从源码层面验证这些结论。网络结构与超参数设定项目的神经网络是一个三层全连接 BP 网络结构与超参数在 main.cj 中集中定义层类型输入大小输出大小激活函数输入层784--隐藏层784500ReLU输出层50010Softmax对应的关键超参数参数值说明学习率LEARNING_RATE0.005Adam 优化器的全局步长正则化系数REGULARIZATION0.01L2 正则项强度Batch SizeBATCH_SIZE200每个批次处理的样本数EpochsEPOCHS1完整训练轮数输入层 784MNIST 每张图像为 28×28 灰度图展平后恰为 784 维特征向量隐藏层 500 ReLU作为特征变换层激活函数采用f(x) max(0, x)输出层 10 Softmax对应 0-9 十个数字类别Softmax 将网络输出归一化为概率分布概率最大的索引即预测类别。值得说明的是这些超参数并非硬编码在BPNetwork类内部而是由main函数以构造参数传入BPNetwork 构造函数因此可以很方便地调整隐藏层宽度、学习率、正则系数等来实验不同配置。数据集MNIST 二进制格式解析项目使用经典的MNIST 手写数字数据集仓库 MINIST/dataset 下已直接附带四个文件文件内容train-images-idx3-ubyte训练集图像60,000 张 28×28 灰度图train-labels-idx1-ubyte训练集标签t10k-images-idx3-ubyte测试集图像10,000 张 28×28 灰度图t10k-labels-idx1-ubyte测试集标签大端序头部解析MNIST 官方文件是 IDX 二进制格式头部为大端序Big-Endian整数。MiniSTLoader.cj 手工实现了 32 位大端整数的解包// 解析大端格式32位整数 public func unpackI32(buffer: ArrayUInt8, offset: Int32): Int32 { return (Int32(buffer[Int64(offset)])) 24 | (Int32(buffer[Int64(offset 1)])) 16 | (Int32(buffer[Int64(offset 2)])) 8 | (Int32(buffer[Int64(offset 3)])) }图像文件头部结构为magic(4字节) 图像数(4字节) 行数(4字节) 列数(4字节)随后是像素数据标签文件头部为magic(4字节) 标签数(4字节)随后每个字节一个标签。loadImages 从偏移 4/8/12 处读取图像数、宽、高并从偏移 16 开始按像素值 / 255.0将灰度归一化到 0-1 区间loadLabels 则将整数标签转换为one-hot 编码10 维向量对应位置为 1.0其余为 0.0直接匹配 Softmax 输出的形状方便计算交叉熵损失。加载时使用了预分配内存避免动态扩容的策略Array预先指定长度并一次性readToEnd()读取整个文件避免频繁 IO。整份数据集的加载入口是loadData()MiniSTLoader.cj返回(images, labels)二元组。前向传播从 784 维输入到 10 类概率权重初始化截断 Xavier网络权重采用XavierGlorot初始化实现在 MatrixUtils.randomInit标准差取sqrt(2 / (fan_in fan_out))再使用仓颉标准库的Random().nextGaussianFloat32(mean: 0.0, sigma: stddev)生成正态分布随机数并截断到[-2σ, 2σ]区间防止极端初始值导致梯度爆炸或消失。两个偏置向量则统一初始化为0.01BPNetwork.cj。批次前向传播训练采用批次batch模式BPNetwork.forwardBatch 完成如下计算链输入 batch (m×784) → 隐藏层线性变换: batch × W1 (784×500) → 加偏置 b1 → ReLU 激活 → 输出层线性变换: hidden × W2 (500×10) → 加偏置 b2 → 返回 (hiddenOut, outputAct)其中批次化的矩阵乘法、偏置广播、ReLU 与 Softmax 均由 MatrixUtils.cj 提供batchVecMatMul(batch, mat)批量向量×矩阵乘法外层按chunkSize切分列维度并用spawn并行内层在累加时跳过值为 0 的输入针对 MNIST 大量背景像素为 0 的稀疏优化见 MatrixUtils.cjbatchAddBias将偏置向量按行广播到批次矩阵batchRelux 0 ? x : 0的逐元素激活batchSoftmax数值稳定版MatrixUtils.cj——先求每行最大值maxVal再计算exp(x - maxVal)避免大数值指数溢出这是 README 中提到的修复数值稳定性问题之一。损失函数交叉熵 L2 正则computeBatchLoss 在批次上计算两类损失的加权和交叉熵损失-Σ y_j · log(p_j)其中p_j为 Softmax 概率为避免log(0)引入epsilon 1e-10下限保护L2 正则化对所有权重的平方和乘以0.5 * λ / mλ 即 REGULARIZATION0.01m 为批次样本数用于抑制过拟合。最终totalLoss / m regLoss作为批次平均损失。反向传播与参数更新backwardBatch 是训练的核心按六步完成误差计算与参数更新输出层误差softmaxOutput - labelsSoftmax 交叉熵的梯度恰为此形式隐藏层误差输出层误差 × W2ᵀ ⊙ ReLU其中 ReLU 导数为hiddenOut 0 ? 1 : 0BPNetwork.cj更新隐藏→输出权重 W2梯度 平均梯度 正则项gradient/batchSize λ·w更新输出层偏置 b2无正则项的平均梯度更新输入→隐藏权重 W1梯度 平均梯度 正则项更新隐藏层偏置 b1无正则项的平均梯度。源码注释明确标注了第五步更新输入→隐藏权重是全流程的计算瓶颈BPNetwork.cj因此对它施加了并发提升最明显的并行切分——这正是下一节协程加速的着力点。Adam 优化器自适应学习率的核心AdamAdaptive Moment Estimation出自论文 arXiv:1412.6980为每个参数维护一阶动量m均值与二阶动量v方差并对二者做偏差修正。AdamOptimizer.cj 的实现要点默认超参数AdamOptimizerConfig参数默认值含义adamBeta10.9一阶动量衰减系数adamBeta20.999二阶动量衰减系数adamEpsilon1e-8数值稳定项防除零动量更新m β1·m (1-β1)·gv β2·v (1-β2)·g²偏差修正m̂ m / (1 - β1^t)v̂ v / (1 - β2^t)其中t为adamIteration在每次反向传播时递增 1见 BPNetwork.cj参数更新以 W2 为例BPNetwork.cjweightHiddenToOutput[iIndex][jIndex] - (learningRate / (sqrt(vHat) optimizer.adamEpsilon)) * mHat即w ← w - lr · m̂ / (√v̂ ε)。由于 Adam 对每个参数自动缩放有效步长即使全局学习率仅 0.005也足以在一个 epoch 内基本收敛。类中为 W1/b1/W2/b2 四组参数分别维护了独立的m、v动量矩阵/数组初始化全为 0AdamOptimizer.cj。spawn 协程并行加速约 4 倍提速的实现原理项目最大的工程特色是使用仓颉spawn {}协程并行化矩阵运算。AsyncTask.cj 提供了一个极简的并行执行助手public func AsyncTask(n: Int64, lam: (Int64) - FutureUnit) { for (future in ArrayFutureUnit(n, lam)) { future.get() } }其语义是按块数n生成n个协程任务每个任务由闭包lam(chunkIndex)内嵌的spawn {}创建随后逐个get()等待全部完成。这一分块-并行-汇合的模式被大量复用于批次矩阵乘法按矩阵列数n / chunkSize切分各协程独立累加各自的输出列MatrixUtils.cj偏置广播、ReLU、Softmax按行数(m chunkSize - 1) / chunkSize切分行间互不依赖[MatrixUtils.cj](https://link.gitcode.com/i/246622b55f1d1da98e2e138ce23d6918#L52-L66, L75-L95, L103-L136)反向传播输出层误差、隐藏层误差的计算以及 W2、W1 两个权重矩阵的梯度与 Adam 更新均按chunkSize分块并行BPNetwork.cj准确率评估预测循环按块并行正确计数使用AtomicInt32的fetchAdd保证线程安全Trainer.cj。分块粒度由 BPNetwork.chunkSize 20 统一控制块太小则协程调度开销占比上升块太大则并行度不足20 是项目针对当前网络规模选取的折中值。项目在 README 中给出的实测结论是协程优化使训练耗时相比串行实现下降约 4 倍该数据为项目自述实际收益与 CPU 核数、硬件环境相关。训练器批次训练、数据打乱与验证集评估Trainer.cj 负责训练全流程的组织数据打乱Fisher-YatesshuffleArray 以引用方式原地打乱索引数组每个 epoch 开始前重新洗牌保证批次间样本分布的随机性训练/验证集拆分trainValSplit 按valRatio主程序中为0.1即 10%从 60,000 张训练图中划出验证集用于训练过程中的实时评估批次主循环train 按batchesPerEpoch (total batchSize - 1) / batchSize向上取整遍历批次每个批次依次执行forwardBatch → computeBatchLoss → backwardBatch并使用MonoTime统计每批耗时每 10 个批次打印平均损失与耗时每批的日志中还包含验证集准确率准确率计算accuracy 并行遍历数据集对每张图调用network.predict取 Softmax 最大概率索引与 one-hot 标签比对最终返回正确数 / 总数。单样本推理路径由 BPNetwork.predict 完成使用单样本版本的vecMatMul、vecAdd、relu、softmax辅助函数做前向传播然后扫描 10 维概率向量返回最大值的索引作为预测类别。主程序流程与运行方式main.cj 串起完整的训练评估流水线加载数据创建两个MiniSTLoader分别读取./dataset/train-images-idx3-ubyte与./dataset/t10k-images-idx3-ubyte路径相对于 MINIST 项目目录仓库已内置数据集文件拆分验证集Trainer.trainValSplit(..., 0.1)得到 54,000 训练样本与 6,000 验证样本初始化网络与训练器BPNetwork(784, 500, 10, 0.005, 0.01)Trainer(network, 200, 1)启动训练trainer.train(...)一个 epoch 内打印批次级损失/耗时与验证集准确率测试集评估trainer.accuracy(testImages, testLabels)输出最终测试集准确率。运行前提与方式需要仓颉编译器/包管理器环境cjpm.toml指定cjc-version 0.53.21在 MINIST 项目目录下执行cjpm build编译或cjpm run编译并运行数据集文件需位于dataset/目录下仓库 MINIST/dataset 已自带无需另行下载若要修改网络结构或超参数直接调整 main.cj 中对应的常量即可。关于最终效果README 给出的参考结论是一个 epoch 即可基本收敛测试集准确率约 90%-92%具体数值与权重随机初始化、运行环境相关项目将其定位为快速验证和实验用途而非追求 SOTA。文件结构与快速导航MINIST/ ├─ cjpm.toml # 包配置MiniSTexecutablecjc 0.53.21 ├─ README.md # 项目说明文档 ├─ dataset/ # MNIST 数据集训练 60,000 测试 10,000 └─ src/ ├─ main.cj # 主程序数据加载 → 训练 → 测试集评估 ├─ BPNetwork.cj # BP 神经网络前向/反向传播、损失计算、预测 ├─ Trainer.cj # 训练器批次循环、洗牌、验证集拆分、准确率 ├─ MatrixUtils.cj # 矩阵运算工具并行乘法、ReLU、Softmax、Xavier 初始化 ├─ AdamOptimizer.cj # Adam 优化器动量与偏差修正 ├─ MiniSTLoader.cj # MNIST 二进制数据集解析与 one-hot 编码 └─ AsyncTask.cj # spawn 协程并行执行助手若想进一步研究推荐按如下顺序阅读源码AsyncTask.cj并行原语→ MiniSTLoader.cj数据管线→ MatrixUtils.cj数值核心→ BPNetwork.cj网络主体→ AdamOptimizer.cj优化算法→ Trainer.cj训练流程→ main.cj整体编排。小结MINIST 用约 7 个仓颉源文件完整复现了数据加载 → 网络构建 → 训练 → 评估的神经网络标准流程其价值体现在三个层面一是纯仓颉实现不依赖任何深度学习框架展示了仓颉在数值计算与文件解析上的实用性二是工程优化扎实数值稳定的 Softmax、截断 Xavier 初始化、稀疏跳过、批次化向量运算与spawn {}协程并行层层叠加最终带来约 4 倍的训练提速三是算法选择合理Adam 优化器配合 0.005 学习率让单 epoch 训练即可达到 90% 以上的测试准确率适合作为仓颉语言机器学习实践与教学的良好起点。参考学习材料可关注 BP反向传播算法原理与 Adam 优化器原始论文arXiv:1412.6980。赞分享示例工程教程【免费下载链接】Cangjie-Examples本仓将收集和展示高质量的仓颉示例代码欢迎大家投稿让全世界看到您的妙趣设计也让更多人通过您的编码理解和喜爱仓颉语言。项目地址https://gitcode.com/Cangjie/Cangjie-Examples点击查看免费下载相关推荐MNIST手写数字识别PyTorch卷积神经网络实战MNIST手写数字识别PyTorch卷积神经网络实战 本文详细介绍了使用PyTorch框架实现MNIST手写数字识别的完整流程涵盖数据预处理、CNN网络架构示例工程人工智能深度学习从零实现神经网络MNIST手写数字识别实战解析从零实现神经网络MNIST手写数字识别实战解析 本文将深入解析如何从零开始构建一个三层神经网络并应用于经典的MNIST手写数字识别任务。通过这个项目我们将上一篇在 CMake 中禁用彩色输出NO_COLOR 环境变量完全指南下一篇Jasmine 2.8.0 发布解析nothing 匹配器、arrayWithExactContents 与相等性比较的全面增强创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考