人工智能大模型基础模型模型量化本地部署媒体生成音频视频【免费下载链接】ltx-2.5-mlx-q8项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/ltx-2.5-mlx-q8点击查看免费下载ltx-2.5-mlx-q8是面向 Apple Silicon 的 LTX-2.5 音视频生成模型组件树它与 bf16 版本唯一的区别把 Gemma-4 12B 文本编码器 量化为int8整棵组件树从 23.8 GB 瘦身到 13.6 GB。这篇文章带你深潜这个文本编码器48 层混合注意力如何排布、connector 如何把 3840 维文本特征翻译成 4096 维的 DiT 条件、128 个可学习寄存器又扮演什么角色。一、为什么要把文本编码器量化成 int8在 LTX-2.5 推理中峰值显存并不由视频分辨率决定而是被 bf16 文本编码器兜底——无论生成 256×256×9 的短片还是 512×288×121 的片段峰值都在24.8 GB附近详见 README.md。这个数字直接压垮了 24 GB / 32 GB 内存的机器。换上 int8 文本编码器后全程峰值降到14.6 GB / 15.4 GB——24 GB 机型第一次能够完整跑通 LTX-2.5。这也是q8这个名字的由来。 注意本仓库不含量化版 DiTtransformer 主干。编码器量化与 DiT 量化是两条独立的轴可以任意组合int8 编码器 bf16 DiT、int8 编码器 int8 DiT 都可以。二、编码器本体gemma4-12b-ltx-v1 是什么gemma4-12b-ltx-v1/ 目录存放的就是被量化的文本编码器核心参数如下参数值说明num_hidden_layers48混合注意力层数hidden_size3840隐藏层宽度即 DiT 侧caption_channelsnum_attention_heads16 × head_dim 256Q 头 16 个每个 256 维num_key_value_heads8GQAKV 头减半省显存sliding_window1024滑窗注意力窗口大小max_position_embeddings262144最长支持 256K 上下文vocab_size262144词表规模参数量11,907,350,272约 11.9B见 model.safetensors.index.json 的 metadata权重分布在三个 safetensors 分片约 5.32 5.32 2.96 GBmodel-00001-of-00003.safetensorsmodel-00002-of-00003.safetensorsmodel-00003-of-00003.safetensors它是一个gemma4_unified统一架构Gemma4UnifiedForConditionalGeneration文本、视觉、音频三种模态的配置都写在同一份 config.json 里——但在 LTX-2.5 的生成管线中真正干活的只是它的文本分支读入提示词输出各层隐状态交给 connector 加工后喂给 DiT。三、48 层注意力排布40 层滑窗 8 层全局打开 gemma4-12b-ltx-v1/config.json 的layer_types字段可以看到 48 个层的类型列表。统计一下规律非常清晰full_attention 出现在 0-based 第 5、11、17、23、29、35、41、47 层 其余 40 层全部是 sliding_attention也就是说每 6 层里前 5 层用滑动窗口注意力只看最近 1024 个 token第 6 层用全局注意力看到全部上下文最后以全局层收尾。这种滑窗为主、全局点缀的混合结构是长上下文大模型的典型省算设计滑窗层注意力复杂度近似线性提示词越长越划算短促的词汇/句法信息在局部就消化掉了全局层负责跨长距离的信息汇总让开头的一句话能影响结尾的画面两层还用了不同的 RoPE 配置见 config.json全局层rope_theta 1,000,000且只旋转 25% 的维度partial_rotary_factor: 0.25滑窗层rope_theta 10,000——窗口内根本不需要那么高的位置分辨率。对普通用户来说结论很简单同样的提示词编码成本远低于48 层全注意力的朴素方案而全局语义基本不打折。四、int8 量化配方group 64但 embed_tokens 被刻意豁免量化配置写在 config.jsonquantization: { group_size: 64, bits: 8, mode: affine }即 8-bit 仿射带 scale/bias 的仿射分组量化每 64 个权重一组共享一个 scale。从权重索引model.safetensors.index.json能看到每个线性层都被拆成.weight.scales.biases三个张量正是 group-64 affine 量化的指纹。而整个配方里最关键的一个反直觉决策是词嵌入表embed_tokens被刻意排除在量化之外保留 bf16README.md。原因编码器的第 0 号隐状态就是embedTokens(ids) · embedScale——它既是 connector 直接消费的 49 个状态之一也是全部 48 层的输入起点量化词嵌入会单独污染这一号状态误差从源头放大到全链路验证方法也很讲究bf16 版第 0 号状态与词嵌入的余弦恰好是1.000000int8 版若出现这个精确值就证明词嵌入没被动过。五、connector3840 维到 4096 维的翻译官编码器输出的文本特征宽度是 3840hidden_size但 LTX-2.5 的音视频 DiT 交叉注意力要求条件向量是4096 维主 config.json 的cross_attention_dim: 4096。两者之间的桥梁就是 connector.safetensors约 6.34 GBbf16不量化。它的结构参数来自 embedded_config.json配置项值含义connector_num_layers8一个 8 层的小型 Transformerconnector_num_attention_heads32 × 12832 头 × 128 维 4096输出宽度由此而来connector_num_learnable_registers128128 个可学习寄存器 tokenconnector_positional_embedding_max_pos4096位置编码上限connector_rope_typeSPLITRoPE 分段模式见主 config.jsontext_encoder_norm_typePER_TOKEN_RMS对每个 token 单独做 RMS 归一化caption_proj_before_connectortrue先做投影再进 connector数据流可以概括为提示词 → Gemma-4 编码器 → 49 个隐状态0 号词嵌入态 48 层输出→ PER_TOKEN_RMS 归一化 → 线性投影 3840→4096 → 8 层 connector含 128 个寄存器→ 输出给 48 层 DiT 的交叉注意力。connector 同时启用 gated attentionembedded_config.json 的connector_apply_gated_attention与 DiT 主干的apply_gated_attention保持一致。六、128 个可学习寄存器占满序列的沉默 tokenconnector_num_learnable_registers: 128是最容易被忽略、却影响解读的字段。寄存器registers是 128 个不参与提示词、随权重一起学习的额外 token与提示词 token 一起进入 connector 的 8 层注意力。它们的作用类似视觉模型里的 register token为注意力提供泄洪区吸收那些不属于任何具体词的高频统计量让真正的文本 token 携带更干净、更判别性的表示。理解这一点后再来看 README.md 里的保真度指标就不会困惑在短提示词场景下connector 输出的 1024 个位置中大部分是寄存器位置寄存器在所有编码器版本bf16 或 int8中完全相同——它们不携带文本信息所以用整条数组的余弦相似度来评估量化质量会被寄存器稀释 3~30 倍一个故意污染的编码器臂整数组得分 0.994316真实 token 位置却只有 0.829329。因此官方给出的指标是只看有效 token 位置的余弦int8 编码器0.999820对比 bf16 自身基线0.999879——几乎贴近理论下限说明量化几乎无损。另外两点值得新手记住README.md⚠️ int8 输出不是bf16 的逐位复刻条件信号变了采样轨迹就不同最终视频是另一条同样有效的路径⚠️ 用 SSIM/PSNR 去逐像素对比两个分支的输出是类别错误官方结论来自盲评 A/B 感知测试。七、目录速览每个文件是干什么的文件 / 目录角色gemma4-12b-ltx-v1/int8 量化版 Gemma-4 文本编码器本文主角connector.safetensors8 层 connector3840→4096 维翻译 128 寄存器duration_head.safetensors时长预测头config.jsonDiT 主干配置48 层、cross_attention_dim 4096embedded_config.json完整嵌入管线配置connector 参数所在vae_encoder.safetensors / vae_decoder.safetensors视频 VAE 编解码vae_decoder_pruna.safetensorsPrunaAI 精简解码器解码约快 2 倍、峰值显存更低低档位默认spatial_upscaler_x2_v1_1.safetensors潜空间 2× 空间上采样temporal_upscaler_x2_v1_0.safetensors潜空间 2× 时间帧数上采样audio_vae.safetensors / vocoder.safetensors音频 VAE 与声码器LICENSE.mdLTX-2 社区许可协议含使用限制与收入门槛条款八、新手上手要点先算内存再跑模型int8 编码器的价值在 24 GB 级别内存上最明显峰值 14.6 GB搭配 DiT 流式加载才能真正发挥两者缺一不可组件可混搭本仓库只提供量化编码器DiT 可以选 bf16 或 int8后者是独立的ltx-2.5-mlx-ditq8仓库互不绑定别碰 embed_tokens 的量化如果你自己实验量化记住词嵌入表被保留 bf16 是刻意为之第 0 号隐状态是全链路的起点看指标要看对地方评估文本编码器量化只看有效 token 位置的余弦整数组余弦会被 128 个寄存器稀释到失去意义注意许可模型基于 LTX-2 社区许可LICENSE.md年收入超过 1000 万美元的商用实体需要单独获得商业授权并附快照版可接受使用政策 ltx-acceptable-use-policy-snapshot-2026-08-12.pdf。总结ltx-2.5-mlx-q8 用最克制的方式解决了最要命的问题一棵与 bf16 版逐字节相同的组件树只换一个 int8 的 Gemma-4 文本编码器就让 24 GB 的 Mac 也能完整跑 LTX-2.5。而编码器内部的设计同样值得品味——48 层里 40 层滑窗 8 层全局注意力的混合排布、group-64 量化中刻意豁免的词嵌入表、8 层 connector 里 128 个默默工作的可学习寄存器每一处细节都能在 gemma4-12b-ltx-v1/config.json 和 embedded_config.json 里找到实证。读懂这三个部件你就读懂了文本提示词如何变成 4096 维条件向量的完整旅程。赞分享人工智能大模型基础模型模型量化本地部署媒体生成音频视频【免费下载链接】ltx-2.5-mlx-q8项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/ltx-2.5-mlx-q8点击查看免费下载相关推荐gemma-4-E4B-it-singprobe架构深潜GQA分组注意力滑动窗口如何省出0.5%解码开销gemma 4 E4B it singprobe架构深潜GQA分组注意力滑动窗口如何省出0.5%解码开销 gemma 4 E4B it singprobeLTX-2文本编码器全解析Gemma 3 12B的bf16、fp8、fp4、fpmixed 4个版本怎么选LTX 2文本编码器全解析Gemma 3 12B的bf16、fp8、fp4、fpmixed 4个版本怎么选 LTX 2 是 Lightricks 开源的视频 Transformers 中 GraniteSWA 模型解析分层滑窗注意力与可学习注意力 Sink 的长上下文推理优化 Transformers 中 GraniteSWA 模型解析分层滑窗注意力与可学习注意力 Sink 的长上下文推理优化 GraniteSWA 是 IBM人工智能大模型深度学习NLP预训练微调模型推理服务上一篇终极Zotero中文文献管理指南3步安装Jasminum插件解决知网乱码难题下一篇终极NBT编辑器NBTExplorer我的世界数据编辑的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考