文章主要内容总结本文针对大型语言模型（LLMs）因深层结构导致的高推理成本问题，提出了一种基于空间对齐解码的混合早期退出算法SPADE-EXIT。现有早期退出算法通过在中间层终止计算降低成本，但因中间层与输出层的表示空间不对齐，解码准确性较差。为解决这一问题，研究提出：SPADE（空间对齐解码）：通过传播仅包含起始token（s）和答案token（a）的最小序列，将中间层表示与输出层表示对齐，无需依赖线性变换，提升解码准确性；L-SPADE：SPADE的线性近似，通过训练线性映射来逼近SPADE的输出，高效计算基于熵的置信度指标，用于早期退出决策，且训练的线性变换可跨数据集泛化，降低训练成本；SPADE-EXIT：结合SPADE和L-SPADE的混合机制，通过L-SPADE监控中间层的置信度，当达到阈值时终止推理，再用SPADE生成高质量输出，在显著降低推理成本的同时保持准确性。创新点SPADE解码机制：无需线性变换，通过传播最小序列（起始token+答案token）自然对齐中间层与输出层的表示空间，解决了现有线性解码方法无法捕捉后期层非线形处理的缺陷；L-SPADE的高效性与泛化性：作为SPADE的线性近似，既能快速计算置信度以支持早期退出决策，又可跨数据