文章主要内容和创新点主要内容本文聚焦于资源受限场景下大型语言模型（LLMs）的微调问题，针对全量微调计算成本高、内存需求大的瓶颈，系统评估了现有参数高效微调（PEFT）技术（如LoRA、BOFT、LoRA-GA、uRNN），并提出了两种创新策略：混合微调框架：动态融合LoRA-GA的梯度对齐低秩更新与BOFT的正交变换，通过每层梯度范数计算自适应权重，实现快速收敛与稳定优化的平衡；酉循环神经网络（uRNN）适配Transformer：首次将uRNN的酉矩阵约束引入基于Transformer的LLMs，通过结构化酉矩阵增强深层微调时的梯度稳定性。实验在GLUE、GSM8K、MT-Bench、HumanEval四个基准数据集上，对7B到405B参数的LLMs进行测试，结果表明混合方法在逼近全量微调精度的同时，训练时间减少2.1倍，内存使用降低50%，验证了其在资源受限场景下的实用性。创新点混合微调算法：基于实时梯度范数为每层动态分配LoRA-GA（快速收敛）和BOFT（稳定优化）的更新权重，兼顾不同训练阶段的需求；uRNN与Transformer融合：首次将酉矩阵约束嵌入Transformer的注意力或前馈子层，通过结构化参数化（如傅里叶变换、置换矩阵）增强梯度稳定性，尤其适用于长程依赖任务；全面基准测试