transformer的训练和推理
一层transformer如下输入Token ↓ 多头注意力 ↓ 残差连接 归一化 ↓ 前馈神经网络(多个 liner激活函数)↓ 残差连接 归一化 ↓ 输出Token 这个输出不是模型输出是输出给下一个transformer整个模型只有一个token预测输出模型尾部全连接层 这是编码的transformer解码的多一个 Cross Attention 处理多头注意力注意力是收集资料每个token观察与其他token的关系。多头注意力是多个角度观察比如从时间空间任务等多个逻辑观察。残差连接 归一化残差是观察到的原始信息 加入原始信息是为了防止向下多层层transofrmer传递过程中真值不被丢弃。归一化是多层transformer每层都有大量信息为了防止信息爆炸。前馈神经网络FFN对注意力收集到的资料进行整理和理解这里是产生学习和智能的关键。transformer有编码和解码两种类型解码适合做接龙游戏因为它只能看到前面的不能看到后面的因此它不适合做图片工作。编码器既然能看到前面的也能看到后面的适合做图片和视频工作但它不适合做接龙工作。CNN学习“像素之间有什么关系”LSTM学习“时间序列前后有什么关系”Transformer学习“所有Token之间有什么关系”GPT利用这些关系预测下一个TokenGPT/transformer的训练推流过程训练自监督训练。比如喂入文本“中国的首都是北京”输入中国后执行整个100层transformer网络得到一个预测tokenlabel是“的”计算误差反向传播。然后继续向后面滚动训练。当把新token“的”加进来时只会计算新token的Attention“中国”并不会再走一边网络因为它的Attention已经存在KV Cache中可以直接用推理时也是这样。推理把前面自己的输出再作为输入然后预测下一个token然后继续滚动。称为自回归生成。GPT的网络输入Token ↓ Embedding ↓ Transformer Layer1↓ Transformer Layer2↓...↓ Transformer Layer100↓ Linear输出层 ↓ 预测下一个Token人工智能深度学习分类| | ---- CNN | | | ResNet | YOLO | | ---- RNN/LSTM 基本被Transformer取代 | | | 语音 | | ---- Transformer | | | Encoder 适合理解不适合生成 | | BERT | | ViT视觉Transformer和VideoMAE 都是把图片切成小块(Patch)转成token | | | Decoder | | GPT | | | Encoder-Decoder | T5 百度翻译 | | ---- Diffusion | | | Stable Diffusion | Sora (Diffusion transformer) | | ---- GAN 基本被Diffusion取代 | | ---- Reinforcement Learning | AlphaGo RLHF人工智能模型| | ---- 网络结构(Backbone) | | CNN | Transformer | RNN/LSTM | | ---- 范式 | Diffusion 扩散模型 transformerU-Net | GAN CNN | ---- 训练推流方法 Autoregressive自回归 (transformer)Diffusion通常由U-Net和Transformer实现Encoder类的TransformerU-Net负责降噪。 可以生成文字/语言/图片/视频它本质是学习如何从噪声恢复数据的方法。它在工业上一般用于图片生成 视频生成 图像编辑(给人换衣服) 医学影像。应用模型方向Stable Diffusion图片Sora视频Runway视频Pika视频

相关新闻

lu,AI人工智能小鼠旷场箱、AI人工智能大鼠旷场箱

lu,AI人工智能小鼠旷场箱、AI人工智能大鼠旷场箱

旷场模块用于观测动物进入陌生开阔环境后的自主活动与神经精神状态;洞板模块侧重检测动物探究行为与焦虑水平。动物面对陌生环境会产生本能避险心理,多偏好沿周边活动、回避中心区域,同时探索天性又会促使其中央活动,以此可评价焦…

2026/7/27 7:23:23 阅读更多 →
纯Rust构建轻量级深度学习推理引擎:CPU架构与TUI可视化实践

纯Rust构建轻量级深度学习推理引擎:CPU架构与TUI可视化实践

在深度学习模型部署领域,大型框架往往依赖复杂的硬件加速和外部库,这让很多开发者在小规模场景中面临环境配置复杂、依赖过多的困扰。本文介绍如何用纯Rust构建一个轻量级推理引擎,无需GPU支持,并集成TUI可视化界面,特…

2026/7/27 7:22:23 阅读更多 →
大模型评测:多轮对话数据集构建方法与优化策略

大模型评测:多轮对话数据集构建方法与优化策略

1. 多轮对话数据集的核心价值与挑战在大模型评测领域,多轮对话数据集的构造质量直接决定了模型评估的可靠性和全面性。与单轮问答不同,多轮对话需要模拟真实的人类交流场景,包含话题延续、指代消解、上下文理解等复杂语言现象。我在参与多个大…

2026/7/27 7:22:23 阅读更多 →

最新新闻

微信防撤回补丁失效?逆向工程实战:从内存修改到开源方案

微信防撤回补丁失效?逆向工程实战:从内存修改到开源方案

1. 项目概述:当微信更新遇上防撤回补丁最近,不少热衷于使用微信PC版防撤回功能的朋友,可能都遇到了一个头疼的问题:微信更新到4.0.3.36版本后,之前用得好好的补丁突然失效了。消息撤回的提示框一闪而过,该被…

2026/7/27 7:31:26 阅读更多 →
得物App sign签名逆向:MD5加密常见错误与排查方案详解

得物App sign签名逆向:MD5加密常见错误与排查方案详解

1. 项目概述:为什么“得物sign签名”是逆向路上的第一道坎? 如果你正在尝试爬取得物App的商品、价格或评论数据,或者想研究其接口调用逻辑,那么“sign签名”这个参数绝对是你绕不开的第一座大山。它就像一道加密的门禁&#xff0c…

2026/7/27 7:31:26 阅读更多 →
AI视觉在超声波缺陷检测中的应用与优化

AI视觉在超声波缺陷检测中的应用与优化

1. 项目概述:超声波缺陷检测的AI视觉革命在工业无损检测领域,超声波检测一直是发现材料内部缺陷的黄金标准。但传统方法高度依赖操作人员的经验,就像医生看X光片一样,需要多年训练才能准确判断图像中的异常。我们团队开发的这套AI…

2026/7/27 7:31:26 阅读更多 →
分布式训练通信优化:Horovod与BytePS核心技术解析

分布式训练通信优化:Horovod与BytePS核心技术解析

1. 分布式训练通信优化概述在大规模机器学习训练场景中,单机单卡的训练模式已经无法满足日益增长的模型规模和数据集大小的需求。分布式训练通过将计算任务分配到多个计算节点上并行执行,显著提升了训练效率。然而,分布式训练中的通信开销往往…

2026/7/27 7:31:26 阅读更多 →
为什么你的提示词总在中性情绪上翻车?揭秘BERT+Prompt联合调优的6大隐性参数

为什么你的提示词总在中性情绪上翻车?揭秘BERT+Prompt联合调优的6大隐性参数

更多请点击: https://intelliparadigm.com 第一章:中性情绪翻车现象的本质归因 在现代软件工程实践中,“中性情绪翻车”并非心理学术语,而是开发者社区对一类隐蔽性技术失效的戏称——指系统在无明显错误日志、无异常抛出、无监控…

2026/7/27 7:31:26 阅读更多 →
从感官艺术展到交互装置:TouchDesigner与Max/MSP实战开发指南

从感官艺术展到交互装置:TouchDesigner与Max/MSP实战开发指南

在当代艺术与科技融合的浪潮中,感官体验的边界被不断拓宽。近期,一场名为“即兴生活家Doris的环球感官艺术实验”的展览引发了业界与公众的广泛关注。这不仅仅是一场艺术展,更是一次关于数据、交互与感知的深度技术实践。对于开发者、创意技术…

2026/7/27 7:30:26 阅读更多 →

日新闻

【JAVA毕设源码分享】基于SpringBoot的社区智能垃圾管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

【JAVA毕设源码分享】基于SpringBoot的社区智能垃圾管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

2026/7/27 0:00:54 阅读更多 →
SPI实战指南:从时钟模式到寄存器配置,解决嵌入式通信难题

SPI实战指南:从时钟模式到寄存器配置,解决嵌入式通信难题

1. 项目概述:从寄存器手册到实战指南 如果你手头有一份类似德州仪器(TI)TMS320x240xA系列DSP的SPI模块技术手册,看着里面密密麻麻的寄存器位定义、时序图和公式,是不是感觉头大?这份资料虽然权威&#xff0…

2026/7/27 0:00:54 阅读更多 →
【JAVA毕设源码分享】基于springboot的水果购物管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

【JAVA毕设源码分享】基于springboot的水果购物管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

2026/7/27 0:00:54 阅读更多 →

周新闻

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 数据集6000张 完整源码已标注数据集训练好的模型环境配置教程程序运行说明文档,可以直接使用!系统支持图片、视频、摄像头等多种方式检测裂缝,功能强大实用。 1数据集6000张 8各类别

2026/7/27 4:33:59 阅读更多 →
深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

pubg数据集 精选原图1.42万数据 1.49万标签 无任何重复、算法增强或冗余图像! pubg绝地求生目标检测数据集 1分类:e_body,14905个标签,txt格式 共计14244张图,99%为640*640尺寸图像 适合yolo目标检测、AI训练关键词&am…

2026/7/27 6:31:56 阅读更多 →
Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex检测数据集数据集详情检测类别: allies enemy tag图片总量:7247张训练集:5139张验证集:1425张测试集:683张标注状态:全部已标注,即拿即用数据格式:支持YOLO格式及其他格式&#…

2026/7/27 4:01:12 阅读更多 →

月新闻