LLaMA 学习笔记
目录llama_cppLLaMA模型结构模型微调手册显存占用推理示例指定位置加载模型 测试ok模型下载llama-stack 下载modelscope 下载LLaMA优化技术RMSNormSwiGLU 激活函数旋转位置编码RoPEllama_cpppip install llama-cpp-python# simple_inference.py from llama_cpp import Llama # 加载模型 llm Llama( model_path/data/feature/lbg/models/Khurram123_Qwen-GeoGebra-Coder-7B/math_viz_Q4_K_M.gguf, n_gpu_layers-1, n_ctx2048 ) # 单次推理 prompt Draw a circle with center at (0,0) and radius 5 # 生成 output llm( f|im_start|user\n{prompt}|im_end|\n|im_start|assistant\n, max_tokens256, stop[|im_end|] ) print(output[choices][0][text])LLaMA模型结构llama3 结构详解-CSDN博客模型微调手册大模型微调 LLaMA详细指南准备环境、数据、配置微调参数微调过程_llama 微调-CSDN博客显存占用FP16/BF16≥A6000 / RTX 6000 Ada / 3090 / 409048G or 24G 才能完整加载INT8≥24GB 显存如 RTX 3090, 4090INT4≥10–14GB 显存如 RTX 3080 / 4070 Ti / A5000推理示例import transformers import torch model_id meta-llama/Meta-Llama-3-8B pipeline transformers.pipeline( pipeline(Hey how are you doing today?)指定位置加载模型 测试ok显存占用10G左右推理时长 2.56秒。from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline import torch # ① 本地模型文件夹 model_dir rE:\data\models\LLM-Research\Meta-Llama-3-8B-Instruct # 例如 ./models/llama3-8b # ② 加载 tokenizer AutoTokenizer.from_pretrained(model_dir, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained(model_dir, torch_dtypetorch.float16, # 视显存情况选择 fp16/bf16 load_in_4bitTrue, trust_remote_codeTrue, device_mapauto # 自动把权重分在可用 GPU/CPU ) # ③ 构建 pipeline pipe pipeline(text-generation, modelmodel, tokenizertokenizer) print(pipe(Hey, how are you doing today?, max_new_tokens50)[0][generated_text]) print(----) print(pipe(Whats the capital of France?, max_new_tokens20)[0][generated_text])load_in_8bit 显存占用12G推理速度5-7秒。load_in_8bitTrue, trust_remote_codeTrue,模型下载llama-stack 下载pip install llama-stack语法不对llama download --source meta --model-id meta-llama/Meta-Llama-3-8B-Instructmodelscope 下载pip install modelscope -Umodelscope download --model LLM-Research/Meta-Llama-3-8B-InstructLLaMALLaMALarge Language Model Meta AI的拼写误差这是 Meta原 Facebook公司开发的开源大语言模型系列。以下是关于 **LLaMA 架构** 的详细解析**1. LLaMA 简介**- **全称**Large Language Model Meta AI- **开发方**Meta AIFacebook- **特点**开源、高效、覆盖多种参数量级7B~70B专为研究社区设计性能对标 GPT-3 等商用模型。**2. LLaMA 核心架构**LLaMA 基于 **Transformer 解码器**类似 GPT但通过优化提升了效率和性能关键改进包括**1基础结构**- **自回归模型**仅使用 Transformer 解码器堆叠通过掩码注意力实现单向预测。- **预训练目标**基于大规模文本的生成任务预测下一个词。优化技术RMSNorm替换 Layer Normalization减少计算量。SwiGLU 激活函数替代 ReLU提升模型表达能力。旋转位置编码RoPE动态处理序列位置信息支持更长的上下文窗口。- **分组查询注意力GQA**在 LLaMA-2 中引入平衡计算效率与效果。**3模型规模**| 版本 | 参数量 | 上下文长度 | 亮点 ||------------|--------|------------|--------------------------|| LLaMA-1 | 7B~65B | 2

相关新闻

SSRF漏洞实战:从原理到CTFHub技能树内网渗透与端口扫描

SSRF漏洞实战:从原理到CTFHub技能树内网渗透与端口扫描

1. 项目概述:从CTFHub技能树看SSRF实战精要最近在带新人过CTFHub的技能树,发现SSRF(Server-Side Request Forgery,服务端请求伪造)这个点卡住了不少人。很多人知道概念,但一碰到具体题目,比如“…

2026/11/17 0:09:08 阅读更多 →
swin_tiny_patch4_window7_224.ms_in1k 避坑实战:28.3M 参数的轻量图像分类模型从加载到跑通全记录

swin_tiny_patch4_window7_224.ms_in1k 避坑实战:28.3M 参数的轻量图像分类模型从加载到跑通全记录

swin_tiny_patch4_window7_224.ms_in1k 避坑实战:28.3M 参数的轻量图像分类模型从加载到跑通全记录 【免费下载链接】swin_tiny_patch4_window7_224.ms_in1k 项目地址: https://ai.gitcode.com/hf_mirrors/timm/swin_tiny_patch4_window7_224.ms_in1k 上个月…

2026/10/26 15:02:23 阅读更多 →
如何在Django Admin中集成Django-ColorField:5分钟快速上手

如何在Django Admin中集成Django-ColorField:5分钟快速上手

如何在Django Admin中集成Django-ColorField:5分钟快速上手 【免费下载链接】django-colorfield :art: color field for django models with a nice color-picker in the admin. 项目地址: https://gitcode.com/gh_mirrors/dj/django-colorfield Django-Colo…

2026/11/10 0:31:42 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/17 8:22:52 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/17 12:46:04 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/17 12:46:04 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/17 11:26:33 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/17 12:46:05 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/17 12:46:05 阅读更多 →

日新闻

周新闻

月新闻