chat_templates项目深度解析从文件结构到代码实现原理【免费下载链接】chat_templatesChat Templates for HuggingFace Large Language Models项目地址: https://gitcode.com/gh_mirrors/ch/chat_templateschat_templates项目是一个为HuggingFace大语言模型提供专业聊天模板的开源仓库旨在支持transformers库的chat_template功能帮助开发者轻松实现不同模型的对话格式处理。项目核心价值与应用场景为什么需要专用聊天模板不同的大语言模型如Llama、Mistral、Phi-3等采用截然不同的对话格式规范直接使用可能导致模型输出异常或性能下降。chat_templates项目通过统一的Jinja模板文件为各种主流模型提供经过验证的输入格式解决方案确保对话交互的准确性和高效性。项目适用人群自然语言处理开发者大模型应用构建者开源项目维护者AI研究人员项目结构详解目录组织与核心文件项目采用清晰的双层结构设计包含两个主要功能目录chat_templates目录包含所有模型的Jinja模板文件如llama-3-instruct.jinja、mistral-instruct.jinja等直接适配HuggingFace tokenizers的模板格式目前支持超过15种主流模型模板generation_configs目录存储模型生成配置的JSON文件包含stop_token_ids等关键生成参数与模板文件一一对应确保完整的模型支持典型文件示例Llama-3-Instruct模板文件chat_templates/llama-3-instruct.jinja{% if messages[0][role] system %} {% set offset 1 %} {% else %} {% set offset 0 %} {% endif %} {{ bos_token }} {% for message in messages %} {% if (message[role] user) ! (loop.index0 % 2 offset) %} {{ raise_exception(Conversation roles must alternate user/assistant/user/assistant/...) }} {% endif %} {{ |start_header_id| message[role] |end_header_id|\n\n message[content] | trim |eot_id| }} {% endfor %} {% if add_generation_prompt %} {{ |start_header_id| assistant |end_header_id|\n\n }} {% endif %}对应生成配置文件generation_configs/llama-3-instruct.json{ chat_template: chat_templates/llama-3-instruct.jinja, stop_str: null, stop_token_ids: [128001, 128009], system_prompt: null }代码实现原理模板工作机制角色交替验证模板首先检查对话消息的角色顺序是否符合user/assistant交替规则确保输入格式正确{% if (message[role] user) ! (loop.index0 % 2 offset) %} {{ raise_exception(Conversation roles must alternate user/assistant/user/assistant/...) }} {% endif %}特殊标记处理为不同角色添加特定的标记头和结束符如Llama-3使用的|start_header_id|和|eot_id|标记{{ |start_header_id| message[role] |end_header_id|\n\n message[content] | trim |eot_id| }}生成提示添加当需要模型生成回复时自动添加assistant角色标记{% if add_generation_prompt %} {{ |start_header_id| assistant |end_header_id|\n\n }} {% endif %}生成配置协同工作generation_configs目录中的JSON文件提供关键的生成控制参数特别是stop_token_ids用于指示模型何时停止生成stop_token_ids: [128001, 128009]这些参数需要直接传递给模型的generate方法确保生成过程的正确终止。快速使用指南基础使用步骤克隆仓库git clone https://gitcode.com/gh_mirrors/ch/chat_templates应用聊天模板from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(meta-llama/Meta-Llama-3-8B-Instruct) with open(chat_templates/llama-3-instruct.jinja, r) as f: chat_template f.read() tokenizer.chat_template chat_template准备对话消息messages [ {role: system, content: This is a system prompt.}, {role: user, content: This is the user input.} ]生成格式化输入input_text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue)不同模型的使用差异不同模型对系统提示的支持存在差异支持系统提示的模型Llama-3/3.1、Qwen2、Yi-1.5等不原生支持系统提示的模型Mistral-Instruct、Gemma-IT等需通过特殊方式处理例如Mistral-Instruct模型需要将系统提示前置到用户输入中messages [ {role: user, content: This is a system prompt.\n\nThis is the user input.}, {role: assistant, content: This is the assistant response.} ]支持的模型与更新日志主要支持模型chat_templates项目支持众多主流大语言模型包括但不限于Meta系列Llama-2-Chat、Llama-3-Instruct、Llama-3.1-Instruct微软系列Phi-3、Phi-3-small、Orca-2Google系列Gemma-IT、Gemma-2-IT开源热门模型Mistral-Instruct、Mixtral-Instruct、Vicuna其他厂商模型Qwen2-Instruct、Yi-Chat、SOLAR-Instruct项目更新亮点2024年7月添加对Meta Llama-3.1模型的支持2024年6月添加对Google Gemma-2模型的支持2024年4月添加对Microsoft Phi-3模型的支持2024年2月添加generation_configs使用说明持续更新不断增加新模型支持和优化现有模板项目贡献与引用如何贡献如果您希望为项目添加新的聊天模板欢迎通过以下步骤贡献Fork本仓库添加新的Jinja模板文件到chat_templates目录添加对应的生成配置文件到generation_configs目录提交Pull Request引用方式如果您在研究或项目中使用了本仓库请按以下方式引用misc{zheng-2024-chat-templates, author {Zheng, Chujie}, title {Chat Templates for HuggingFace Large Language Models}, year {2024}, howpublished {\url{https://github.com/chujiezheng/chat_templates}} }常见问题解决角色顺序错误问题出现Conversation roles must alternate user/assistant错误解决确保消息列表严格按照user/assistant/user/assistant顺序排列且至少包含一条用户消息系统提示不生效问题系统提示未被模型正确处理解决检查模型是否支持系统提示角色对于不支持的模型如Mistral-Instruct需将系统提示合并到第一条用户消息中生成不停止问题模型生成不停止或产生重复内容解决确保正确传递generation_configs中的stop_token_ids参数到generate方法通过本项目提供的标准化聊天模板开发者可以轻松处理不同大语言模型的对话格式要求显著降低模型集成难度提升应用开发效率。项目持续更新以支持最新模型是大语言模型应用开发的实用工具。【免费下载链接】chat_templatesChat Templates for HuggingFace Large Language Models项目地址: https://gitcode.com/gh_mirrors/ch/chat_templates创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考