目录llama_cppLLaMA模型结构模型微调手册显存占用推理示例指定位置加载模型 测试ok模型下载llama-stack 下载modelscope 下载LLaMA优化技术RMSNormSwiGLU 激活函数旋转位置编码RoPEllama_cpppip install llama-cpp-python# simple_inference.py from llama_cpp import Llama # 加载模型 llm Llama( model_path/data/feature/lbg/models/Khurram123_Qwen-GeoGebra-Coder-7B/math_viz_Q4_K_M.gguf, n_gpu_layers-1, n_ctx2048 ) # 单次推理 prompt Draw a circle with center at (0,0) and radius 5 # 生成 output llm( f|im_start|user\n{prompt}|im_end|\n|im_start|assistant\n, max_tokens256, stop[|im_end|] ) print(output[choices][0][text])LLaMA模型结构llama3 结构详解-CSDN博客模型微调手册大模型微调 LLaMA详细指南准备环境、数据、配置微调参数微调过程_llama 微调-CSDN博客显存占用FP16/BF16≥A6000 / RTX 6000 Ada / 3090 / 409048G or 24G 才能完整加载INT8≥24GB 显存如 RTX 3090, 4090INT4≥10–14GB 显存如 RTX 3080 / 4070 Ti / A5000推理示例import transformers import torch model_id meta-llama/Meta-Llama-3-8B pipeline transformers.pipeline( pipeline(Hey how are you doing today?)指定位置加载模型 测试ok显存占用10G左右推理时长 2.56秒。from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline import torch # ① 本地模型文件夹 model_dir rE:\data\models\LLM-Research\Meta-Llama-3-8B-Instruct # 例如 ./models/llama3-8b # ② 加载 tokenizer AutoTokenizer.from_pretrained(model_dir, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained(model_dir, torch_dtypetorch.float16, # 视显存情况选择 fp16/bf16 load_in_4bitTrue, trust_remote_codeTrue, device_mapauto # 自动把权重分在可用 GPU/CPU ) # ③ 构建 pipeline pipe pipeline(text-generation, modelmodel, tokenizertokenizer) print(pipe(Hey, how are you doing today?, max_new_tokens50)[0][generated_text]) print(----) print(pipe(Whats the capital of France?, max_new_tokens20)[0][generated_text])load_in_8bit 显存占用12G推理速度5-7秒。load_in_8bitTrue, trust_remote_codeTrue,模型下载llama-stack 下载pip install llama-stack语法不对llama download --source meta --model-id meta-llama/Meta-Llama-3-8B-Instructmodelscope 下载pip install modelscope -Umodelscope download --model LLM-Research/Meta-Llama-3-8B-InstructLLaMALLaMALarge Language Model Meta AI的拼写误差这是 Meta原 Facebook公司开发的开源大语言模型系列。以下是关于 **LLaMA 架构** 的详细解析**1. LLaMA 简介**- **全称**Large Language Model Meta AI- **开发方**Meta AIFacebook- **特点**开源、高效、覆盖多种参数量级7B~70B专为研究社区设计性能对标 GPT-3 等商用模型。**2. LLaMA 核心架构**LLaMA 基于 **Transformer 解码器**类似 GPT但通过优化提升了效率和性能关键改进包括**1基础结构**- **自回归模型**仅使用 Transformer 解码器堆叠通过掩码注意力实现单向预测。- **预训练目标**基于大规模文本的生成任务预测下一个词。优化技术RMSNorm替换 Layer Normalization减少计算量。SwiGLU 激活函数替代 ReLU提升模型表达能力。旋转位置编码RoPE动态处理序列位置信息支持更长的上下文窗口。- **分组查询注意力GQA**在 LLaMA-2 中引入平衡计算效率与效果。**3模型规模**| 版本 | 参数量 | 上下文长度 | 亮点 ||------------|--------|------------|--------------------------|| LLaMA-1 | 7B~65B | 2