SAE完全指南从安装到加载预训练模型的5分钟入门教程【免费下载链接】saeSparsify transformers with SAEs and transcoders项目地址: https://gitcode.com/gh_mirrors/sae/saeSAESparse Autoencoders稀疏自编码器是一种强大的工具用于稀疏化Transformer模型的激活值帮助研究人员和开发者更高效地理解和优化大型语言模型。本教程将带你快速掌握SAE的安装方法和预训练模型加载技巧让你在5分钟内开启稀疏化Transformer的探索之旅。快速安装一行命令搞定SAE环境 安装SAE库非常简单只需使用pip命令即可完成。打开你的终端输入以下命令pip install eai-sparsify如果你需要进行开发或贡献代码可以从源码安装git clone https://gitcode.com/gh_mirrors/sae/sae cd sae pip install -e .[dev]加载预训练SAE模型3行代码实现SAE库支持直接从HuggingFace Hub加载预训练模型让你无需从头训练即可使用强大的稀疏化功能。以下是加载单个SAE模型的示例from sparsify import Sae # 加载Llama 3 8B模型第10层的SAE sae Sae.load_from_hub(EleutherAI/sae-llama-3-8b-32x, hookpointlayers.10)如果你需要同时加载多个层的SAE模型可以使用load_many方法# 加载所有层的SAE模型 saes Sae.load_many(EleutherAI/sae-llama-3-8b-32x) # 获取第10层的SAE layer_10_sae saes[layers.10]提取模型激活值简单几步实现加载SAE模型后你可以轻松提取Transformer模型的激活值。以下是使用Llama 3模型和SAE提取激活值的完整示例from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 加载分词器和模型 tokenizer AutoTokenizer.from_pretrained(meta-llama/Meta-Llama-3-8B) inputs tokenizer(Hello, world!, return_tensorspt) with torch.inference_mode(): model AutoModelForCausalLM.from_pretrained(meta-llama/Meta-Llama-3-8B) outputs model(**inputs, output_hidden_statesTrue) # 提取各层的SAE激活值 latent_acts [] for sae, hidden_state in zip(saes.values(), outputs.hidden_states): # 展平输入形状以匹配SAE的预期输入 (N, D) hidden_state hidden_state.flatten(0, 1) latent_acts.append(sae.encode(hidden_state)) # 现在你可以使用latent_acts进行进一步分析或应用自定义钩子点灵活选择激活值来源SAE默认在模型的残差流residual stream激活值上进行训练但你也可以自定义钩子点选择模型的其他子模块作为SAE的输入。例如你可以选择注意力模块或MLP的输出作为钩子点python -m sparsify gpt2 --hookpoints h.*.attn h.*.mlp.act如果你只想在特定层上训练SAE可以使用通配符限制层范围# 仅在第0、1、2层训练SAE python -m sparsify gpt2 --hookpoints h.[012].attn h.[012].mlp.act分布式训练充分利用多GPU资源SAE库支持使用PyTorch的torchrun进行分布式训练让你可以充分利用多GPU资源加速训练过程。以下是一个分布式训练的示例命令torchrun --nproc_per_node gpu -m sparsify meta-llama/Meta-Llama-3-8B --batch_size 1 --layers 16 24 --k 192 --grad_acc_steps 8 --ctx_len 2048如果你需要训练多个层的SAE可以使用--distribute_modules标志将不同层的SAE分配到不同的GPU上提高内存使用效率torchrun --nproc_per_node gpu -m sparsify meta-llama/Meta-Llama-3-8B --distribute_modules --batch_size 1 --layer_stride 2 --grad_acc_steps 8 --ctx_len 2048 --k 192 --load_in_8bit --micro_acc_steps 2总结开启你的SAE探索之旅通过本教程你已经掌握了SAE的安装方法、预训练模型加载、激活值提取、自定义钩子点和分布式训练等核心功能。SAE库的设计简洁高效让你可以轻松地将稀疏化技术应用到各种Transformer模型中。无论是进行学术研究还是工业应用SAE都能帮助你更深入地理解模型内部的工作机制优化模型性能。现在就开始你的SAE探索之旅吧如果你想了解更多关于SAE的高级功能和最新进展可以查阅项目的CHANGELOG.md文件获取详细的版本更新信息。【免费下载链接】saeSparsify transformers with SAEs and transcoders项目地址: https://gitcode.com/gh_mirrors/sae/sae创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考