目录1. LlamaModel整体结构流程图2. LlamaRMSNorm3. LlamaMLP4. LlamaRotaryEmbedding参考资料：https://zhuanlan.zhihu.com/p/636784644https://spaces.ac.cn/archives/8265 ——《Transformer升级之路：2、博采众长的旋转式位置编码》前言：本次阅读代码位置，在transformers库底下的modeling_llama.py，具体位置在：transformers/models/llama/modeling_llama.py，如下图所示：1. LlamaModel整体结构流程图2. LlamaRMSNorm代码如下classLlamaRMSNorm(nn.Module):def__init__(self,hidden_size,eps=1e-6):""" LlamaRMSNorm is equivalent to T5LayerNorm """super().__init__()self.weight=nn.Parameter(torch.ones(hidden_size))self.variance_epsilon=epsdefforward(self,hidden_states):input_dtype=hidden_states.dtype variance=hidden_states.to(torch.float32).pow(2).mean(-1,keepdim=True)hidden_states=hidden_states*torch.rsqrt(variance+self.variance_epsilon)return(self.weight*hidden_states).to(input_dtype)RMSNorm的公式如下所示：x i 1 n ∑ i = 1 n x i 2 + e p s ∗ w e i g h t i \frac{x_i}{\sqrt{\frac{1}{n}\sum\limits_{i=1}^{n}{x_i}^2 + eps}} * weight_in1i=1∑