第一卷：大模型基础篇第3章 模型能力认知第10节：多模态模型原理——为什么AI开始能看图、听音频、理解视频？《Agent开发工程师成长指南》系列教程引言过去我们理解的大模型，主要是一个“处理文字”的系统。你输入：帮我分析一下这份合同模型输出文字。你问：Transformer中的Attention是什么？模型输出文字。你让模型写代码，它还是通过文字理解你的需求，再通过文字生成代码。所以很长一段时间里，我们很容易产生一个误解：大模型本质上就是一个特别强的文字处理器。但今天的AI已经开始发生一个非常重要的变化。你可以给它一张照片：“这张图片里有什么？”它能够描述图片。你可以上传一张网页截图：“这个页面有什么UI问题？”它能够分析界面。你可以上传一张Excel截图：“帮我找出异常数据。”它能够读取表格。你甚至可以给它一段会议录音：“总结一下这次会议讨论了什么。”或者给它一段视频：“这个人在视频中做了什么？”模型开始能够：看、听、读、理解，并进一步采取行动。这意味着AI正在从：语言智能逐渐走向：多模态智能。而这对于Agent尤其重要。因为现实世界本身就不是由文字组成的。工厂里有摄像头。办公室里有会议录音。手机里有照片。企业系统里有PDF、Excel、图表。机器人面对的是摄像头和传感器。如果Agent只能理解文字，那么它实际上仍然生活在一个非常狭窄的“文本世界”里。真正能够进入现实世界的Agent，需要具备更丰富的感知能力：一、什么是多模态？所谓“模态”，可以简单理解成：信息存在和表达的一种形式。例如：文字 图片 音频 视频 代码 表格 传感器数据都可以看作不同的信息模态。最早的大模型主要处理：Text → Text也就是：文字输入 ↓ 语言模型 ↓ 文字输出而多模态模型希望解决的问题是：Text Image Audio Video Document ↓ Multimodal Model ↓ Text / Image / Audio / Action例如：场景一：图片输入：一张工厂设备照片模型可以回答：图片中有一台工业设备， 设备正面有一个控制面板， 面板上存在红色报警指示灯。场景二：音频输入：一段会议录音模型可以理解：A： 我们下周必须完成系统测试。 B： 但是目前还有两个严重Bug没有解决。 C： 那就先冻结新需求。模型进一步总结：会议结论： 1. 下周完成系统测试 2. 优先解决两个严重Bug 3. 暂停新增需求场景三：视频输入：一段生产线视频模型可能理解：00:01 工人进入生产区域 00:08 设备开始运行 00:15 设备出现异常停止 00:20 工作人员进行检查这时候，模型已经不再只是“处理文字”。它开始处理：现实世界中的复杂信息。二、但是图片不是Token，模型到底怎么看图片？这是理解多模态模型最关键的问题之一。我们知道，大语言模型通常处理的是Token。例如：今天天气很好可能会被转换成类似：Token1 Token2 Token3 Token4然后进入Transformer。但是图片是什么？例如一张：1024 × 1024的图片。它本质上是一大堆像素。如果直接把每一个像素都当成一个Token：1024 × 1024 ≈ 100万个像素计算量会非常大。所以多模态模型通常需要增加一个重要的过程：把非文本信息转换成模型可以理解的表示。以图片为例，可以简化理解成：图片 ↓ 视觉编码器 ↓ 视觉特征 ↓ 视觉Token / Embedding ↓ 语言模型也就是说：模型并不是像人类一样“直接看图片”，而是先把图片转换成模型可以处理的内部表示。三、Vision Encoder到底做了什么？这里需要引入一个重要角色：Vision Encoder，视觉编码器。它的作用可以简单理解成：把图片转换成模型能够理解的特征表示。例如一张图片：一只狗坐在草地上人类看到的是：狗 草地 天空 树但模型最开始看到的是：像素矩阵视觉编码器需要把这些像素逐渐转换成更加抽象的信息。可以粗略理解为：像素 ↓ 边缘 ↓ 纹理 ↓ 局部形状 ↓ 物体 ↓ 空间关系 ↓ 语义特征最终形成：Visual Representation例如：[Dog] [Grass] [Person] [Outdoor] [Position] [Relationship]当然，真实模型内部并不会简单地生成这样的文字标签。这是为了帮助我们理解：视觉编码器负责把“像素世界”转换成“语义表示”。四、图片为什么能够和文字放在一起理解？真正困难的问题来了。假设我们输入：图片： 一只狗站在草地上然后问：这只狗在哪里？模型必须把：图片信息和：文字问题联系起来。也就是说：Image ↓ Visual Representation ↓ ┌──────────┐ Text ───────→│ │ │ Model │ │ │ └──────────┘ ↓ Answer这里真正重要的是：不同模态的信息必须进入一个能够共同推理的表示空间。这就是多模态模型的核心问题之一：跨模态对齐。五、什么叫“跨模态对齐”？假设模型看到：一张苹果的图片同时看到：“苹果”模型需要逐渐学习：Image：🍎 ↕ Text：“苹果”它们虽然表现形式完全不同：图片 ≠ 文字但表达的是：同一个概念所以训练过程需要让不同模态之间建立联系。可以简单理解成：图片表示 ↓ ─────→ “苹果” ↑ 文字表示再复杂一点：Image ↓ Vision Encoder ↓ Visual Representation ↘ Shared Representation ↗ Text Encoder / LLM ↑ Text最终：图片中的“苹果”和：文字中的“苹果”能够在模型内部建立联系。这就是：Multimodal Alignment，多模态对齐。六、多模态模型并不是简单地“加一个看图功能”这是一个非常重要的认识。很多人第一次接触多模态模型时，会觉得：“以前的大模型只会文字，现在给它加一个图片解析器，不就可以了吗？”实际上远没有这么简单。因为模型需要解决至少三个问题：第一步： 如何理解不同模态？ 第二步： 如何把不同模态的信息联系起来？ 第三步： 如何让模型对这些信息进行统一推理？因此，多模态模型可以粗略理解成：Multimodal Model │ ┌──────────────┼──────────────┐ ↓ ↓ ↓ Vision Audio Text Encoder Encoder Tokens │ │ │ └──────────────┼──────────────┘ ↓ Multimodal Fusion ↓ Transformer ↓ Reasoning / Output七、音频为什么也能被模型理解？图片需要视觉编码器。那么音频呢？音频本质上是：随时间变化的声波信号模型不能直接像人类耳朵一样“听”。因此通常需要经过音频处理和编码过程。可以简化理解为：声音 ↓ Waveform ↓ Audio Processing ↓ Audio Features ↓ Audio Encoder ↓ Audio Representation ↓ LLM / Multimodal Model例如：“明天下午三点开会”音频首先需要被转换成模型可以理解的信息。一种典型路线是：语音 ↓ Speech Encoder ↓ 语音特征 ↓ ASR / Speech Representation ↓ 文字或语义表示 ↓ LLM于是：声音最终能够进入：语言理解体系。这也是为什么今天的AI可以完成：语音转文字会议总结语音问答说话人识别情绪或语气相关分析语音驱动Agent八、为什么视频比图片复杂得多？图片只有一个空间维度：Width × Height而视频增加了：Time也就是：Width × Height × Time例如：视频 │ ├── Frame 1 ├── Frame 2 ├── Frame 3 ├── Frame 4 ├── ... └── Frame N所以最简单的理解方式是：视频可以看成“连续变化的图片”。但如果只是简单地把每一帧都送给模型：Frame 1 → Model Frame 2 → Model Frame 3 → Model ... Frame 10000 → Model计算量会非常大。所以视频模型通常需要考虑：空间信息 + 时间信息也就是：不仅要知道“画面里有什么”，还要知道“事情是怎么发生的”。九、视频理解真正难在哪里？举一个简单例子。视频：一个人拿起杯子 ↓ 走到饮水机 ↓ 接水 ↓ 喝水 ↓ 放下杯子如果只看某一帧：人 + 杯子我们无法知道完整过程。但视频理解需要得到：拿起 → 移动 → 接水 → 喝水 → 放下也就是说：视频理解不仅需要空间理解，还需要时间理解。因此可以简单表示：空间理解 “What is happening here?” + 时间理解 “What happened before and after?” ↓ Video Understanding十、从“看懂图片”到“理解世界”多模态真正重要的地方，并不是：“AI现在可以识别一张图片了。”而是：AI开始拥有了更加接近现实世界的感知入口。过去：现实世界 ↓ 人类 ↓ 文字描述 ↓ LLM现在：现实世界 ↓ ┌───────────────┐ │ Camera │ │ Microphone │ │ Document │ │ Screen │ │ Sensor │ └───────────────┘ ↓ Multimodal Model ↓ 理解 ↓ 推理 ↓ Agent ↓ Action这产生了一个非常重要的变化：Agent不再必须依赖人类把现实世界翻译成文字之后才能理解。例如以前你告诉AI：“机器旁边有一个红色报警灯。”AI才能处理。未来Agent可以直接：Camera ↓ 看到红色报警灯 ↓ 理解异常 ↓ 查询设备状态 ↓ 调用MES / ERP / IoT API ↓ 创建维修工单 ↓ 通知工程师这已经非常接近真正的：感知 → 理解 → 推理 → 行动闭环。十一、多模态与传统计算机视觉有什么区别？这里还需要区分一个非常容易混淆的问题：多模态模型是不是就是计算机视觉？不是。传统计算机视觉通常针对非常明确的任务：图片 ↓ 模型 ↓ 分类例如：这是不是猫？或者：检测图片中的车辆输出：Car Bounding Box Confidence这是非常典型的视觉任务。而多模态大模型更加关注：把视觉信息和语言、知识、推理结合起来。例如：图片 + 问题： “为什么这个设备可能存在安全风险？”这已经不是简单的：Object Detection而是：Visual Understanding + Knowledge + Reasoning因此两者并不是互相替代的关系。更准确地说：传统CV ↓ 视觉感知能力 多模态大模型 ↓ 视觉 + 语言 + 知识 + 推理在很多企业系统中，两者甚至会共同存在。十二、多模态模型为什么特别适合Agent？到这里，我们可以把前面第3章的内容串起来。前面我们已经讨论了：Context ↓ Memory ↓ Evaluation ↓ Tool Calling ↓ Planning ↓ Reasoning而多模态解决的是另外一个非常重要的问题：Agent如何获得现实世界的信息？于是Agent开始形成更加完整的结构：┌──────────────┐ │ Multimodal │ │ Perception │ └──────┬───────┘ ↓ Agent State ↓ Reasoning ↓ Planning ↓ Tools ↓ Action ↓ Observation ↓ Multimodal Input │ └──────→ Agent Loop这意味着Agent不再只是：Text → Text而逐渐变成：Perception ↓ Reasoning ↓ Planning ↓ Action ↓ Observation ↓ Perception ↓ ...这就是我们之前所讲的：Agent Loop。而多模态能力，让这个Loop拥有了更丰富的“感知入口”。十三、一个真实的多模态Agent案例假设我们正在建设一个：制造业设备巡检Agent。现场有摄像头。Agent首先接收到：Camera Image模型识别：设备控制面板发现：红色报警灯亮起然后Agent进行下一步：调用设备状态API得到：设备状态： ALARM Error Code： E1024Agent再调用：企业知识库找到：E1024 → 冷却系统异常然后调用：维修系统创建：维修工单最后：通知设备工程师整个过程：Camera ↓ Multimodal Model ↓ Visual Understanding ↓ Agent ↓ Tool Calling ↓ 设备API ↓ RAG ↓ Knowledge ↓ Planning ↓ 维修系统 ↓ Notification注意，这里真正有价值的并不是单独的：“看图能力”。而是：多模态感知 + 大模型推理 + RAG + Tool Calling + Agent。这才是多模态进入企业AI系统后的真正价值。十四、多模态并不意味着“模型什么都能直接理解”这一点非常重要。今天我们经常听到：“这个模型支持图片。”但“支持图片”并不等于：它对图片中的所有信息都具有同等可靠的理解能力。例如：简单图片描述可能非常容易。但：复杂工程图纸可能困难得多。再比如：读取一张表格和：理解表格中多个字段之间复杂的业务关系也不是同一个难度。视频更是如此：识别视频中有什么与：理解一个持续30分钟的复杂业务过程之间存在巨大差异。所以在工程实践中必须区分：感知能力 理解能力 推理能力 任务能力它们不是一回事。十五、多模态模型的核心能力可以怎么理解？可以把多模态模型的能力分成四层。第一层：感知看见什么？ 听见什么？ 读取什么？例如：检测人物 识别文字 识别物体 识别语音第二层：理解这些信息意味着什么？例如：这是一个设备控制面板。 红灯代表报警。第三层：推理为什么会这样？ 接下来应该怎么办？例如：设备报警可能与冷却系统异常有关。第四层：行动应该执行什么操作？例如：查询设备状态 → 查询知识库 → 创建维修工单因此：感知 ↓ 理解 ↓ 推理 ↓ 行动恰好与Agent的核心闭环形成了连接。十六、多模态会不会改变未来的软件交互方式？很可能会改变。传统软件交互主要是：按钮 菜单 表单 输入框用户需要学习：“系统应该怎么操作。”而AI Agent逐渐允许用户直接表达：“帮我处理这个异常。”甚至：拍一张照片或者：把会议录音交给AIAgent自己完成：理解 → 查询 → 分析 → 执行于是软件交互方式正在发生变化：传统软件 人 ↓ 学习UI ↓ 点击 ↓ 填写 ↓ 提交 ↓ 系统执行逐渐走向：Agent软件 人 ↓ 表达目标 ↓ Agent理解 ↓ Agent规划 ↓ Agent调用工具 ↓ 完成任务而多模态进一步把输入从：文字扩展到了：文字 图片 声音 视频 屏幕 文档 传感器所以未来的Agent入口可能不再只是一个Chat输入框。十七、这对Agent开发工程师意味着什么？这是本节最重要的工程结论。如果你是一名Agent开发工程师，不需要一开始就去研究：“如何从零训练一个视觉大模型。”你的第一任务是理解：多模态能力如何成为Agent的一种输入能力。例如：用户 ↓ 图片 ↓ Multimodal LLM ↓ 结构化理解 ↓ Agent ↓ Tool ↓ 业务系统你需要关注的是：1. 输入Image Audio Video Document2. 模型Multimodal LLM3. 上下文如何把多模态信息加入Context？4. 推理模型如何根据视觉/音频信息做判断？5. Tool模型判断之后调用什么工具？6. Evaluation模型看错了怎么办？7. Security图片和音频中是否包含敏感信息？这才是Agent工程师真正需要掌握的多模态能力。十八、从这一章看懂Agent的完整能力体系现在回头看第3章，我们实际上已经完成了一条非常重要的知识链。Context ↓ Agent能看到什么？ Memory ↓ Agent能记住什么？ Hallucination ↓ Agent可能犯什么错误？ Randomness ↓ 为什么Agent每次结果可能不同？ Evaluation ↓ 如何判断Agent做得好不好？ Tool Calling ↓ Agent如何操作外部系统？ Planning ↓ Agent如何完成复杂任务？ Reasoning Model ↓ Agent如何处理复杂推理？ Multimodal ↓ Agent如何感知现实世界？最终汇聚成：Agent │ ┌───────────┼───────────┐ ↓ ↓ ↓ Perception Reasoning Memory │ │ │ │ ↓ │ │ Planning │ │ │ │ └───────────┼───────────┘ ↓ Tool ↓ Action ↓ External World ↓ Observation ↓ Agent这也是为什么：多模态并不是一个孤立的“大模型新功能”，而是Agent感知现实世界的重要基础能力。十九、从大模型到Agent，我们到底走了多远？第一章，我们讨论了：Agent为什么可能成为下一代软件形态？第二章，我们拆解了：GPT Transformer Attention Token Embedding Position Encoding Scaling Law Emergence我们开始理解：大模型为什么能够处理语言。第三章，我们进一步理解：Context Memory Hallucination Randomness Evaluation Tool Calling Planning Reasoning Multimodal我们开始理解：一个模型为什么能够逐渐成为Agent的大脑。所以到这里，整个第一卷真正完成的是一次认知升级：传统软件工程师 ↓ 理解大模型 ↓ 理解模型能力边界 ↓ 理解Agent基本机制 ↓ 理解Agent为什么能够感知、思考、记忆、调用工具 ↓ 准备进入AI应用开发下一步，就要解决一个非常实际的问题：既然模型能力这么强，我们到底应该如何稳定地控制它？答案就是：Prompt。面试题1. 什么是多模态模型？答：多模态模型是能够处理两种或以上不同信息模态，并建立这些模态之间语义关联的模型，例如同时理解文字、图片、音频、视频等信息。2. 图片是如何进入大语言模型的？答：通常需要通过视觉编码器将图片从像素空间转换成视觉特征或视觉Token，再与文本等信息进行融合，使后续模型能够对不同模态的信息进行统一理解和推理。3. 什么是跨模态对齐？答：跨模态对齐是让不同模态表达的信息建立语义对应关系，例如让一张“苹果”的图片与文字“苹果”在模型内部形成关联。4. 为什么视频理解比图片理解复杂？答：因为视频除了包含空间信息，还包含时间维度。模型不仅需要理解某一帧中有什么，还需要理解不同时间帧之间发生了什么变化以及事件之间的关系。5. 多模态模型和传统计算机视觉有什么区别？答：传统计算机视觉通常针对分类、检测、分割等特定视觉任务，而多模态大模型进一步把视觉信息与语言、知识和推理能力结合起来，可以处理更加开放的理解和推理任务。6. 多模态为什么对Agent重要？答：因为Agent需要感知现实世界。多模态能力可以让Agent从图片、音频、视频、文档、屏幕和其他信息源获得输入，从而形成更加完整的“感知 → 理解 → 推理 → 行动”闭环。7. 多模态模型是不是意味着Agent已经真正理解了现实世界？不应该简单这样理解。多模态模型提供了更加丰富的感知和理解能力，但：感知 ≠ 完全理解 理解 ≠ 正确推理 正确推理 ≠ 可靠执行因此真正的企业级Agent仍然需要：Multimodal + Context + Memory + Reasoning + Planning + Tool + Evaluation + Security本节小结这一节我们回答了一个核心问题：为什么AI开始能看图、听音频、理解视频？核心可以归纳为：图片 ↓ Vision Encoder ↓ Visual Representation ↓ Multimodal Fusion ↓ Transformer音频：Audio ↓ Audio Encoder ↓ Audio Representation ↓ Multimodal Model视频：Frames ↓ Visual Information + Temporal Information ↓ Video Understanding而多模态模型真正重要的地方，并不是简单增加了：“AI看图片”的功能。而是它正在帮助Agent获得：感知现实世界的能力。最终：多模态感知 ↓ 理解 ↓ 推理 ↓ 规划 ↓ 工具调用 ↓ 执行 ↓ 观察结果 ↓ 再次感知这才是多模态能力与Agent结合之后真正的意义。第一卷到这里，完成了什么？到第3章结束，我们已经从：AI是什么？走到了：大模型是什么？再走到了：模型能够做什么？最终理解：Agent为什么可能完成复杂任务？这意味着：第一卷“大模型基础与Agent认知篇”完成了基础认知阶段。接下来，我们正式进入第二卷。下一篇预告第二卷：Prompt工程篇第4章 第1节Prompt是什么？——为什么Prompt是控制大模型行为的第一入口？前面我们已经知道：大模型 ↓ 具有强大的理解、推理、生成能力但一个新的问题出现了：如果同一个模型面对不同指令会产生完全不同的行为，那么开发工程师究竟应该如何控制它？这就进入了Agent开发中最基础、也是最容易被低估的一项能力：Prompt Engineering下一章，我们将从最基本的问题开始：Prompt到底是什么？并逐步回答：为什么Prompt能够影响模型行为？ System Prompt和User Prompt有什么区别？ Prompt到底应该包含哪些内容？ 为什么好的Prompt越来越像程序？ Prompt为什么最终会成为Agent的“行为控制层”？
第一卷：大模型基础篇第3章 模型能力认知第10节：多模态模型原理——为什么AI开始能看图、听音频、理解视频？《Agent开发工程师成长指南》系列教程引言过去我们理解的大模型，主要是一个“处理文字”的系统。你输入：帮我分析一下这份合同模型输出文字。你问：Transformer中的Attention是什么？模型输出文字。你让模型写代码，它还是通过文字理解你的需求，再通过文字生成代码。所以很长一段时间里，我们很容易产生一个误解：大模型本质上就是一个特别强的文字处理器。但今天的AI已经开始发生一个非常重要的变化。你可以给它一张照片：“这张图片里有什么？”它能够描述图片。你可以上传一张网页截图：“这个页面有什么UI问题？”它能够分析界面。你可以上传一张Excel截图：“帮我找出异常数据。”它能够读取表格。你甚至可以给它一段会议录音：“总结一下这次会议讨论了什么。”或者给它一段视频：“这个人在视频中做了什么？”模型开始能够：看、听、读、理解，并进一步采取行动。这意味着AI正在从：语言智能逐渐走向：多模态智能。而这对于Agent尤其重要。因为现实世界本身就不是由文字组成的。工厂里有摄像头。办公室里有会议录音。手机里有照片。企业系统里有PDF、Excel、图表。机器人面对的是摄像头和传感器。如果Agent只能理解文字，那么它实际上仍然生活在一个非常狭窄的“文本世界”里。真正能够进入现实世界的Agent，需要具备更丰富的感知能力：一、什么是多模态？所谓“模态”，可以简单理解成：信息存在和表达的一种形式。例如：文字 图片 音频 视频 代码 表格 传感器数据都可以看作不同的信息模态。最早的大模型主要处理：Text → Text也就是：文字输入 ↓ 语言模型 ↓ 文字输出而多模态模型希望解决的问题是：Text Image Audio Video Document ↓ Multimodal Model ↓ Text / Image / Audio / Action例如：场景一：图片输入：一张工厂设备照片模型可以回答：图片中有一台工业设备， 设备正面有一个控制面板， 面板上存在红色报警指示灯。场景二：音频输入：一段会议录音模型可以理解：A： 我们下周必须完成系统测试。 B： 但是目前还有两个严重Bug没有解决。 C： 那就先冻结新需求。模型进一步总结：会议结论： 1. 下周完成系统测试 2. 优先解决两个严重Bug 3. 暂停新增需求场景三：视频输入：一段生产线视频模型可能理解：00:01 工人进入生产区域 00:08 设备开始运行 00:15 设备出现异常停止 00:20 工作人员进行检查这时候，模型已经不再只是“处理文字”。它开始处理：现实世界中的复杂信息。二、但是图片不是Token，模型到底怎么看图片？这是理解多模态模型最关键的问题之一。我们知道，大语言模型通常处理的是Token。例如：今天天气很好可能会被转换成类似：Token1 Token2 Token3 Token4然后进入Transformer。但是图片是什么？例如一张：1024 × 1024的图片。它本质上是一大堆像素。如果直接把每一个像素都当成一个Token：1024 × 1024 ≈ 100万个像素计算量会非常大。所以多模态模型通常需要增加一个重要的过程：把非文本信息转换成模型可以理解的表示。以图片为例，可以简化理解成：图片 ↓ 视觉编码器 ↓ 视觉特征 ↓ 视觉Token / Embedding ↓ 语言模型也就是说：模型并不是像人类一样“直接看图片”，而是先把图片转换成模型可以处理的内部表示。三、Vision Encoder到底做了什么？这里需要引入一个重要角色：Vision Encoder，视觉编码器。它的作用可以简单理解成：把图片转换成模型能够理解的特征表示。例如一张图片：一只狗坐在草地上人类看到的是：狗 草地 天空 树但模型最开始看到的是：像素矩阵视觉编码器需要把这些像素逐渐转换成更加抽象的信息。可以粗略理解为：像素 ↓ 边缘 ↓ 纹理 ↓ 局部形状 ↓ 物体 ↓ 空间关系 ↓ 语义特征最终形成：Visual Representation例如：[Dog] [Grass] [Person] [Outdoor] [Position] [Relationship]当然，真实模型内部并不会简单地生成这样的文字标签。这是为了帮助我们理解：视觉编码器负责把“像素世界”转换成“语义表示”。四、图片为什么能够和文字放在一起理解？真正困难的问题来了。假设我们输入：图片： 一只狗站在草地上然后问：这只狗在哪里？模型必须把：图片信息和：文字问题联系起来。也就是说：Image ↓ Visual Representation ↓ ┌──────────┐ Text ───────→│ │ │ Model │ │ │ └──────────┘ ↓ Answer这里真正重要的是：不同模态的信息必须进入一个能够共同推理的表示空间。这就是多模态模型的核心问题之一：跨模态对齐。五、什么叫“跨模态对齐”？假设模型看到：一张苹果的图片同时看到：“苹果”模型需要逐渐学习：Image：🍎 ↕ Text：“苹果”它们虽然表现形式完全不同：图片 ≠ 文字但表达的是：同一个概念所以训练过程需要让不同模态之间建立联系。可以简单理解成：图片表示 ↓ ─────→ “苹果” ↑ 文字表示再复杂一点：Image ↓ Vision Encoder ↓ Visual Representation ↘ Shared Representation ↗ Text Encoder / LLM ↑ Text最终：图片中的“苹果”和：文字中的“苹果”能够在模型内部建立联系。这就是：Multimodal Alignment，多模态对齐。六、多模态模型并不是简单地“加一个看图功能”这是一个非常重要的认识。很多人第一次接触多模态模型时，会觉得：“以前的大模型只会文字，现在给它加一个图片解析器，不就可以了吗？”实际上远没有这么简单。因为模型需要解决至少三个问题：第一步： 如何理解不同模态？ 第二步： 如何把不同模态的信息联系起来？ 第三步： 如何让模型对这些信息进行统一推理？因此，多模态模型可以粗略理解成：Multimodal Model │ ┌──────────────┼──────────────┐ ↓ ↓ ↓ Vision Audio Text Encoder Encoder Tokens │ │ │ └──────────────┼──────────────┘ ↓ Multimodal Fusion ↓ Transformer ↓ Reasoning / Output七、音频为什么也能被模型理解？图片需要视觉编码器。那么音频呢？音频本质上是：随时间变化的声波信号模型不能直接像人类耳朵一样“听”。因此通常需要经过音频处理和编码过程。可以简化理解为：声音 ↓ Waveform ↓ Audio Processing ↓ Audio Features ↓ Audio Encoder ↓ Audio Representation ↓ LLM / Multimodal Model例如：“明天下午三点开会”音频首先需要被转换成模型可以理解的信息。一种典型路线是：语音 ↓ Speech Encoder ↓ 语音特征 ↓ ASR / Speech Representation ↓ 文字或语义表示 ↓ LLM于是：声音最终能够进入：语言理解体系。这也是为什么今天的AI可以完成：语音转文字会议总结语音问答说话人识别情绪或语气相关分析语音驱动Agent八、为什么视频比图片复杂得多？图片只有一个空间维度：Width × Height而视频增加了：Time也就是：Width × Height × Time例如：视频 │ ├── Frame 1 ├── Frame 2 ├── Frame 3 ├── Frame 4 ├── ... └── Frame N所以最简单的理解方式是：视频可以看成“连续变化的图片”。但如果只是简单地把每一帧都送给模型：Frame 1 → Model Frame 2 → Model Frame 3 → Model ... Frame 10000 → Model计算量会非常大。所以视频模型通常需要考虑：空间信息 + 时间信息也就是：不仅要知道“画面里有什么”，还要知道“事情是怎么发生的”。九、视频理解真正难在哪里？举一个简单例子。视频：一个人拿起杯子 ↓ 走到饮水机 ↓ 接水 ↓ 喝水 ↓ 放下杯子如果只看某一帧：人 + 杯子我们无法知道完整过程。但视频理解需要得到：拿起 → 移动 → 接水 → 喝水 → 放下也就是说：视频理解不仅需要空间理解，还需要时间理解。因此可以简单表示：空间理解 “What is happening here?” + 时间理解 “What happened before and after?” ↓ Video Understanding十、从“看懂图片”到“理解世界”多模态真正重要的地方，并不是：“AI现在可以识别一张图片了。”而是：AI开始拥有了更加接近现实世界的感知入口。过去：现实世界 ↓ 人类 ↓ 文字描述 ↓ LLM现在：现实世界 ↓ ┌───────────────┐ │ Camera │ │ Microphone │ │ Document │ │ Screen │ │ Sensor │ └───────────────┘ ↓ Multimodal Model ↓ 理解 ↓ 推理 ↓ Agent ↓ Action这产生了一个非常重要的变化：Agent不再必须依赖人类把现实世界翻译成文字之后才能理解。例如以前你告诉AI：“机器旁边有一个红色报警灯。”AI才能处理。未来Agent可以直接：Camera ↓ 看到红色报警灯 ↓ 理解异常 ↓ 查询设备状态 ↓ 调用MES / ERP / IoT API ↓ 创建维修工单 ↓ 通知工程师这已经非常接近真正的：感知 → 理解 → 推理 → 行动闭环。十一、多模态与传统计算机视觉有什么区别？这里还需要区分一个非常容易混淆的问题：多模态模型是不是就是计算机视觉？不是。传统计算机视觉通常针对非常明确的任务：图片 ↓ 模型 ↓ 分类例如：这是不是猫？或者：检测图片中的车辆输出：Car Bounding Box Confidence这是非常典型的视觉任务。而多模态大模型更加关注：把视觉信息和语言、知识、推理结合起来。例如：图片 + 问题： “为什么这个设备可能存在安全风险？”这已经不是简单的：Object Detection而是：Visual Understanding + Knowledge + Reasoning因此两者并不是互相替代的关系。更准确地说：传统CV ↓ 视觉感知能力 多模态大模型 ↓ 视觉 + 语言 + 知识 + 推理在很多企业系统中，两者甚至会共同存在。十二、多模态模型为什么特别适合Agent？到这里，我们可以把前面第3章的内容串起来。前面我们已经讨论了：Context ↓ Memory ↓ Evaluation ↓ Tool Calling ↓ Planning ↓ Reasoning而多模态解决的是另外一个非常重要的问题：Agent如何获得现实世界的信息？于是Agent开始形成更加完整的结构：┌──────────────┐ │ Multimodal │ │ Perception │ └──────┬───────┘ ↓ Agent State ↓ Reasoning ↓ Planning ↓ Tools ↓ Action ↓ Observation ↓ Multimodal Input │ └──────→ Agent Loop这意味着Agent不再只是：Text → Text而逐渐变成：Perception ↓ Reasoning ↓ Planning ↓ Action ↓ Observation ↓ Perception ↓ ...这就是我们之前所讲的：Agent Loop。而多模态能力，让这个Loop拥有了更丰富的“感知入口”。十三、一个真实的多模态Agent案例假设我们正在建设一个：制造业设备巡检Agent。现场有摄像头。Agent首先接收到：Camera Image模型识别：设备控制面板发现：红色报警灯亮起然后Agent进行下一步：调用设备状态API得到：设备状态： ALARM Error Code： E1024Agent再调用：企业知识库找到：E1024 → 冷却系统异常然后调用：维修系统创建：维修工单最后：通知设备工程师整个过程：Camera ↓ Multimodal Model ↓ Visual Understanding ↓ Agent ↓ Tool Calling ↓ 设备API ↓ RAG ↓ Knowledge ↓ Planning ↓ 维修系统 ↓ Notification注意，这里真正有价值的并不是单独的：“看图能力”。而是：多模态感知 + 大模型推理 + RAG + Tool Calling + Agent。这才是多模态进入企业AI系统后的真正价值。十四、多模态并不意味着“模型什么都能直接理解”这一点非常重要。今天我们经常听到：“这个模型支持图片。”但“支持图片”并不等于：它对图片中的所有信息都具有同等可靠的理解能力。例如：简单图片描述可能非常容易。但：复杂工程图纸可能困难得多。再比如：读取一张表格和：理解表格中多个字段之间复杂的业务关系也不是同一个难度。视频更是如此：识别视频中有什么与：理解一个持续30分钟的复杂业务过程之间存在巨大差异。所以在工程实践中必须区分：感知能力 理解能力 推理能力 任务能力它们不是一回事。十五、多模态模型的核心能力可以怎么理解？可以把多模态模型的能力分成四层。第一层：感知看见什么？ 听见什么？ 读取什么？例如：检测人物 识别文字 识别物体 识别语音第二层：理解这些信息意味着什么？例如：这是一个设备控制面板。 红灯代表报警。第三层：推理为什么会这样？ 接下来应该怎么办？例如：设备报警可能与冷却系统异常有关。第四层：行动应该执行什么操作？例如：查询设备状态 → 查询知识库 → 创建维修工单因此：感知 ↓ 理解 ↓ 推理 ↓ 行动恰好与Agent的核心闭环形成了连接。十六、多模态会不会改变未来的软件交互方式？很可能会改变。传统软件交互主要是：按钮 菜单 表单 输入框用户需要学习：“系统应该怎么操作。”而AI Agent逐渐允许用户直接表达：“帮我处理这个异常。”甚至：拍一张照片或者：把会议录音交给AIAgent自己完成：理解 → 查询 → 分析 → 执行于是软件交互方式正在发生变化：传统软件 人 ↓ 学习UI ↓ 点击 ↓ 填写 ↓ 提交 ↓ 系统执行逐渐走向：Agent软件 人 ↓ 表达目标 ↓ Agent理解 ↓ Agent规划 ↓ Agent调用工具 ↓ 完成任务而多模态进一步把输入从：文字扩展到了：文字 图片 声音 视频 屏幕 文档 传感器所以未来的Agent入口可能不再只是一个Chat输入框。十七、这对Agent开发工程师意味着什么？这是本节最重要的工程结论。如果你是一名Agent开发工程师，不需要一开始就去研究：“如何从零训练一个视觉大模型。”你的第一任务是理解：多模态能力如何成为Agent的一种输入能力。例如：用户 ↓ 图片 ↓ Multimodal LLM ↓ 结构化理解 ↓ Agent ↓ Tool ↓ 业务系统你需要关注的是：1. 输入Image Audio Video Document2. 模型Multimodal LLM3. 上下文如何把多模态信息加入Context？4. 推理模型如何根据视觉/音频信息做判断？5. Tool模型判断之后调用什么工具？6. Evaluation模型看错了怎么办？7. Security图片和音频中是否包含敏感信息？这才是Agent工程师真正需要掌握的多模态能力。十八、从这一章看懂Agent的完整能力体系现在回头看第3章，我们实际上已经完成了一条非常重要的知识链。Context ↓ Agent能看到什么？ Memory ↓ Agent能记住什么？ Hallucination ↓ Agent可能犯什么错误？ Randomness ↓ 为什么Agent每次结果可能不同？ Evaluation ↓ 如何判断Agent做得好不好？ Tool Calling ↓ Agent如何操作外部系统？ Planning ↓ Agent如何完成复杂任务？ Reasoning Model ↓ Agent如何处理复杂推理？ Multimodal ↓ Agent如何感知现实世界？最终汇聚成：Agent │ ┌───────────┼───────────┐ ↓ ↓ ↓ Perception Reasoning Memory │ │ │ │ ↓ │ │ Planning │ │ │ │ └───────────┼───────────┘ ↓ Tool ↓ Action ↓ External World ↓ Observation ↓ Agent这也是为什么：多模态并不是一个孤立的“大模型新功能”，而是Agent感知现实世界的重要基础能力。十九、从大模型到Agent，我们到底走了多远？第一章，我们讨论了：Agent为什么可能成为下一代软件形态？第二章，我们拆解了：GPT Transformer Attention Token Embedding Position Encoding Scaling Law Emergence我们开始理解：大模型为什么能够处理语言。第三章，我们进一步理解：Context Memory Hallucination Randomness Evaluation Tool Calling Planning Reasoning Multimodal我们开始理解：一个模型为什么能够逐渐成为Agent的大脑。所以到这里，整个第一卷真正完成的是一次认知升级：传统软件工程师 ↓ 理解大模型 ↓ 理解模型能力边界 ↓ 理解Agent基本机制 ↓ 理解Agent为什么能够感知、思考、记忆、调用工具 ↓ 准备进入AI应用开发下一步，就要解决一个非常实际的问题：既然模型能力这么强，我们到底应该如何稳定地控制它？答案就是：Prompt。面试题1. 什么是多模态模型？答：多模态模型是能够处理两种或以上不同信息模态，并建立这些模态之间语义关联的模型，例如同时理解文字、图片、音频、视频等信息。2. 图片是如何进入大语言模型的？答：通常需要通过视觉编码器将图片从像素空间转换成视觉特征或视觉Token，再与文本等信息进行融合，使后续模型能够对不同模态的信息进行统一理解和推理。3. 什么是跨模态对齐？答：跨模态对齐是让不同模态表达的信息建立语义对应关系，例如让一张“苹果”的图片与文字“苹果”在模型内部形成关联。4. 为什么视频理解比图片理解复杂？答：因为视频除了包含空间信息，还包含时间维度。模型不仅需要理解某一帧中有什么，还需要理解不同时间帧之间发生了什么变化以及事件之间的关系。5. 多模态模型和传统计算机视觉有什么区别？答：传统计算机视觉通常针对分类、检测、分割等特定视觉任务，而多模态大模型进一步把视觉信息与语言、知识和推理能力结合起来，可以处理更加开放的理解和推理任务。6. 多模态为什么对Agent重要？答：因为Agent需要感知现实世界。多模态能力可以让Agent从图片、音频、视频、文档、屏幕和其他信息源获得输入，从而形成更加完整的“感知 → 理解 → 推理 → 行动”闭环。7. 多模态模型是不是意味着Agent已经真正理解了现实世界？不应该简单这样理解。多模态模型提供了更加丰富的感知和理解能力，但：感知 ≠ 完全理解 理解 ≠ 正确推理 正确推理 ≠ 可靠执行因此真正的企业级Agent仍然需要：Multimodal + Context + Memory + Reasoning + Planning + Tool + Evaluation + Security本节小结这一节我们回答了一个核心问题：为什么AI开始能看图、听音频、理解视频？核心可以归纳为：图片 ↓ Vision Encoder ↓ Visual Representation ↓ Multimodal Fusion ↓ Transformer音频：Audio ↓ Audio Encoder ↓ Audio Representation ↓ Multimodal Model视频：Frames ↓ Visual Information + Temporal Information ↓ Video Understanding而多模态模型真正重要的地方，并不是简单增加了：“AI看图片”的功能。而是它正在帮助Agent获得：感知现实世界的能力。最终：多模态感知 ↓ 理解 ↓ 推理 ↓ 规划 ↓ 工具调用 ↓ 执行 ↓ 观察结果 ↓ 再次感知这才是多模态能力与Agent结合之后真正的意义。第一卷到这里，完成了什么？到第3章结束，我们已经从：AI是什么？走到了：大模型是什么？再走到了：模型能够做什么？最终理解：Agent为什么可能完成复杂任务？这意味着：第一卷“大模型基础与Agent认知篇”完成了基础认知阶段。接下来，我们正式进入第二卷。下一篇预告第二卷：Prompt工程篇第4章 第1节Prompt是什么？——为什么Prompt是控制大模型行为的第一入口？前面我们已经知道：大模型 ↓ 具有强大的理解、推理、生成能力但一个新的问题出现了：如果同一个模型面对不同指令会产生完全不同的行为，那么开发工程师究竟应该如何控制它？这就进入了Agent开发中最基础、也是最容易被低估的一项能力：Prompt Engineering下一章，我们将从最基本的问题开始：Prompt到底是什么？并逐步回答：为什么Prompt能够影响模型行为？ System Prompt和User Prompt有什么区别？ Prompt到底应该包含哪些内容？ 为什么好的Prompt越来越像程序？ Prompt为什么最终会成为Agent的“行为控制层”？