catlass_cppgen 完整指南3 步生成 CATLASS 高性能算子代码【免费下载链接】YiA series of large language models trained from scratch by developers 01-ai项目地址: https://gitcode.com/GitHub_Trending/yi/Yi手写一个高性能 GEMM 核函数麻烦从来不止把乘法写完Tile 尺寸怎么选、调度策略用哪种每一处改动都要重新编译验证一次调优动辄一两天。catlass_cppgen 把这条链路压缩成几行 Python 配置——你描述输入张量与算子类型它就自动生成对应的 CATLASS C 核函数代码并可针对 AtlasA2/A3、Ascend950 等不同架构挑选优化策略。调优因此从改代码、重编译变成改参数、重新生成。它解决什么问题先理解两个概念catlass_cppgen 面向需要在 CANN/CATLASS 体系上构建、调优矩阵乘法类算子的开发者自研算子库、框架适配、性能优化场景都能用得上。核心机制是算子代码生成你在 Python 里用形状、步长、数据类型描述输入指定算子与硬件架构框架替你写出 C 核函数。有两个概念值得先混个脸熟Tile 调优核函数会把大矩阵切成小块Tile喂给计算核心块大小直接影响吞吐GemmShape就是描述这些块的参数调优本质上是换几组尺寸试跑。EVGEpilogue Visitor Graph矩阵乘之后还要做的事——加 bias、过激活、转类型——用一段简短表达式声明不用手写融合逻辑。工程按op算子规划、kernel核函数特化、common类型与张量抽象分层另配docs与tests扩展新算子时各层职责清晰。 3 步装好 catlass_cppgen跑通第一个 GEMM概念清楚了就用最短路径把它装起来。从源码构建最省事先装build工具打包装 whl在仓库根目录依次执行pip install build python -m build pip install dist/catlass_cppgen-*.whl走.tar.gz安装同样可以开发场景更直接——pip install -e .一条命令搞定。装好后创建基础 GEMM 并打印核函数模板只需要下面这一段张量只声明形状、步长与类型不绑定真实数据所以几行就够。from catlass_cppgen.op.gemm import Gemm from catlass_cppgen.common.op_tensor import OpTensor from catlass_cppgen.common.data_type import DataType from catlass_cppgen.catlass.layout.layout import RowMajor from catlass_cppgen.catlass.arch.arch import Arch a OpTensor.from_shape_stride((128, 256), (256, 1), DataType.FLOAT) b OpTensor.from_shape_stride((256, 384), (384, 1), DataType.FLOAT) gemm Gemm(atlas_archArch.Ascend950, elementDataType.FLOAT, layoutRowMajor, Aa, Bb) kernel gemm.get_kernels()[0] print(kernel.gen_kernel_template())流程是声明两个行主序浮点张量 →Gemm完成算子规划 →get_kernels()拿到 Kernel 列表 → 打印模板。想锁定特定特化如基础矩阵乘的BasicMatmulKernel用find_kernel_by_type按类型查找即可。 能力全景按场景选算子与切分策略跑通第一个 GEMM 之后你大概想知道它还支持哪些形态。不同输入对应不同 Kernel 特化基本能对号入座单矩阵乘BasicMatmulKernelA、B 均为二维alpha 1.0、beta 0.0可挂 Bias不做切分是最通用的 dense 场景。批处理矩阵乘BatchedMatmulKernelA 形状(batchCount, M, K)、B 形状(batchCount, K, N)要求各批次维度一致同样不切分。K 向切分加速切分轴均为 KMultiCoreSplitkMatmulKernel沿 K 做多核切分TailMultiCoreSplitkMatmulKernel是它的尾块优化变体StreamkMatmulKernel采用 Stream-K 调度策略。三者都支持可选 Bias适合 K 维较长、单核吃紧的情况。分组矩阵乘GroupedMatmulSliceMKernel按 M 轴切分一次算完多组 M 维度不同的矩阵乘分组信息由groupListINT64 向量给出。EVG 后处理在乘累加结果上叠加运算链对应 visitor 形态是BasicMatmulTlaVisitorKernel。EVG 能直接写出的后处理算子二元运算add/sub/mul/div激活relu/silu/sigmoid/leakyRelu/Prelu选择max/min类型转换cast常量constant。节点可串联成组合计算广播支持行广播——relu(accum bias)就是加 bias 再整流这样一条链。⚙️ GEMM 的 Tile 如何调优EVG 后处理怎么写生成模板只是起点性能调优才是重头戏。Kernel 的tune()让你显式指定两级 TileShape再搭配调度策略kernel.tune(GemmShape(128, 256, 64), GemmShape(128, 256, 64), dispatch_policyMmadPingpong(arch_tagArch.Ascend950))调优完成后代码生成入口是gen_kernel_template()核函数模板与gen_params_device()参数绑定换架构、换策略就能再生成一版。EVG 则靠evg_config声明fn_src写后处理函数体example_inputs给出运算链涉及的张量——框架借此按真实形状校验你的表达式evg_config { fn_src: def epilogue(accum, bias):\n return relu(accum bias), example_inputs: { accum: OpTensor.from_shape_stride((128, 256), (256, 1), DataType.FLOAT), bias: OpTensor.from_shape_stride((1, 256), (256, 1), DataType.FLOAT), }, } gemm Gemm(atlas_archArch.Ascend950, evg_configevg_config, Aa, Bb)把配置传进Gemm后对应 Kernel 的is_support_evg为 True之后照常tune()即可生成带后处理的核函数。延伸资源Kernel API 文档docs/kernel_api.mdEVG API 文档docs/evg_api.mdOpTensor API 文档docs/optensor_api.md【免费下载链接】YiA series of large language models trained from scratch by developers 01-ai项目地址: https://gitcode.com/GitHub_Trending/yi/Yi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考