文章主要内容总结本文提出了一种名为MECo的框架，旨在利用大型语言模型（LLMs）实现基于运动示例控制的伴随语音手势生成。现有方法通常通过预定义类别标签或从运动示例中提取的隐含伪标签来控制手势生成，但其往往会丢失原始运动示例中的丰富细节。MECo框架通过三阶段微调机制，充分利用LLMs的理解能力，实现对语音音频和运动示例的同步解析。与传统伪标签方法不同，该框架将运动示例作为提示结构中的显式查询上下文，引导手势生成，从而在保证生成手势与语音内容一致的同时，保留运动示例的特定特征。实验结果表明，MECo在Fréchet手势距离（FGD）、运动多样性和示例-手势相似度三项指标上均达到当前最优水平。此外，该框架支持对人体各部位的精细控制，并能处理多种输入模态（如运动片段、静态姿势、人类视频序列和文本描述）。创新点直接基于运动示例的控制：无需依赖标签或伪标签，直接利用运动示例生成与输入示例高度相似的伴随语音手势。三阶段微调机制：通过分阶段微调，将音频和运动模态有效整合到LLM中，在提升手势生成性能的同时，对LLM原始文本理解能力的影响极小。多模态控制框架：支持运动片段、静态姿势、视频序列和文本描述等多种输入模态，实现更灵活的手势生成控制。翻译部分Abstract（摘要）可控伴随语音手势的自动生成近年来受到越来越多