单模态表示前言本文面向对机器学习、多模态感知或智能感知系统感兴趣的读者旨在帮助大家建立对单模态表示的系统认识。我们将从数据表示与特征表示的区别出发逐步理解为什么需要特征表示、特征是如何被提取出来的以及不同模态为何需要各自不同的表示方法。通过无人机识别、反无人机感知等贴近实际应用的例子读者可以直观地把握这些抽象概念背后的直觉为后续学习多模态表示打下基础。1.1 什么是单模态表示单模态表示指在机器学习或人工智能任务中仅仅基于单一类型的数据模态如文本、视频、音频等进行特征提取和语义建模的过程。单模态表示实际上需要区分两个重要概念数据表示数据表示主要关注的是如何用数学结构组织观测数据如把一张无人机图片表示成二维像素矩阵。这个过程只是让计算机能够存储和处理图像并不意味着已经识别出无人机。特征表示特征表示关注的是如何从数据中提取有助于完成特定任务的信息如从无人机图片中提取外形、边缘和局部结构等信息让计算机能够区分无人机与鸟类。1.2 为什么需要特征表示为了理解为什么需要特征表示我们先不考虑复杂的无人机图片而是考虑两幅只有 4×4 个像素的简单图像。第一幅图像是一条横线第二幅图像是一条竖线。假设蓝色区域的像素值为 1白色区域的像素值为 0。那么这两幅图像的数学表达分别为其中矩阵A表示第一幅横线图像的数学表达矩阵B表示第二幅竖线图像的数学表达现在我们尝试提取一个最简单的特征即图像中所有像素的平均值。两幅图像各有 4 个值为 1 的像素另外 12 个像素为 0因此它们的平均像素值都是。问题随之而来虽然两幅图像的形状截然不同但仅凭平均像素值这一特征我们无法将它们区分开。原因在于平均值只反映整体亮度并未保留像素之间的空间排列关系。若想区分横线与竖线就需要提取能够体现方向、边缘或空间结构的特征。同样地对于无人机识别而言原始像素值本身并不会直接告诉计算机哪里是旋翼、哪里是机身更不会自动说明图像中的目标属于哪一类别。因此特征提取的核心目的并非简单地压缩数据量而是让与任务相关的信息更容易被利用。不过需要说明的是原始数据并非完全不能直接输入模型。事实上许多深度学习模型正是从原始像素、波形等输入开始学习的。这里所说的“不能直接使用”更准确的理解是不能指望未经适当处理或学习的原始数值自动具备我们所需的语义信息。1.3 特征怎么提取出来的在传统图像处理领域我们可通过人工设计算法提取边缘、角点、颜色直方图等图像特征。比如对于雷达信号我们能够借助信号处理方法解算出目标距离、径向速度、角度等物理参数。对于无线电信号同样可以利用傅里叶变换得到频谱特征。但人工设计特征高度依赖领域先验知识泛化能力有限难以应对场景中复杂多变的情况。为此深度学习提供了全新思路模型可以基于数据与任务目标自主学习适配任务的特征。通常可以写成表示输入数据表示一个特征提取模型也叫做编码器表示编码器里面可以通过训练更新的参数表示编码器得到的特征从上面的公式可以看出特征提取的过程本质上是一个函数映射输入数据经过编码器的处理得到特征。这里的编码器可以是卷积神经网络、循环神经网络或 Transformer 等结构具体选择取决于数据的类型和任务的需求。以无人机识别为例深度学习模型并不会像人工设计那样去显式地定义“旋翼”“机身”等规则而是通过大量标注数据自动学习到能够区分无人机与鸟类的特征组合。这些特征往往分布在网络的多个层级中。浅层网络倾向于提取边缘、纹理等低级特征深层网络则能够组合出轮廓、部件等更抽象的高级特征。值得注意的是特征提取的效果与训练数据的质量、数量以及任务目标密切相关。如果训练数据中无人机与鸟类的样本分布不均衡或者场景差异过大模型学到的特征就可能出现偏差。因此在实际应用中我们不仅要关注模型结构的设计还要重视数据采集、标注和增强等环节才能让特征提取真正服务于最终的任务。1.4 不同模态为什么需要不同的表示方法现实世界中的模态远不止图像。想象一个反无人机的场景我们同时使用可见光相机、红外相机、毫米波雷达和电子侦察接收无人机。这些设备虽然面对同一个目标但是来自不同的传感器采集的数据完全不同。不同模态的数据在物理来源、数据结构、信息密度和语义粒度上存在本质差异因此需要设计不同的表示方法来适配各自的特性。下面我们逐一分析几种常见模态及其对应的表示方式。可见光图像相机记录光学图像通过像素矩阵表示。编码器主要学习视觉外观、纹理和空间结构等特征。可见光图像具有天然的规则网格结构像素之间存在强烈的空间相关性因此适合用二维矩阵或张量表示并采用卷积神经网络等具有平移等变性的结构进行编码。红外图像红外相机记录特定波段的辐射响应单通道设备可用二维矩阵表示通常可以使用图像类网络编码。与可见光图像相比红外图像只有单个通道反映的是目标的温度分布和辐射特性。虽然同样可以用二维矩阵表示但其语义内容与可见光图像差异很大例如红外图像对热源敏感而对颜色不敏感因此需要编码器学习不同的特征模式。毫米波雷达雷达通过电磁波回波获得目标信息。它可以使用原始复数采样、距离—多普勒谱、距离—角度谱或检测点集等形式表示。这里仅展示一种经过处理的距离—多普勒图表示。雷达数据既可以组织成类似图像的二维谱图也可以组织成稀疏的点集。不同的表示方式对应不同的信息侧重谱图保留了目标的距离和速度分布适合用图像类网络处理点集则更稀疏适合用点云网络处理。这种灵活性说明同一模态也可以有多种合理的表示方法选择哪种取决于后续任务的需求。激光雷达 LiDARLiDAR 测量空间点的位置。常见表示是一组三维点及其附加属性适合采用点云网络或稀疏卷积网络学习几何特征。点云数据没有规则的网格结构点的数量和排列顺序随场景变化而变化属于典型的非结构化数据。因此不能直接套用图像领域的卷积操作而需要设计专门处理无序点集的网络结构例如 PointNet 系列或稀疏卷积网络。电子侦察 RF接收机采集无线电信号。常用复数 I/Q 表示既保留幅度信息也保留相位信息。无线电信号本质上是随时间变化的一维序列且包含幅度和相位两个正交分量因此常用复数 I/Q 形式表示。处理这类数据时通常采用一维卷积网络或循环神经网络等序列模型以捕捉信号在时间维度上的变化规律。综上所述不同模态的数据在结构、维度和语义特性上差异显著统一的表示方法难以同时兼顾所有模态的特点。只有针对每种模态设计合适的表示方式才能让后续的编码器高效地提取有意义的特征这也是多模态学习中表示设计需要单独考虑的原因。1.5 小结本章围绕单模态表示展开核心可以概括为三个要点。第一数据表示与特征表示是两个不同的概念。数据表示解决的是如何用数学结构组织观测数据而特征表示关注的是如何提取有助于完成特定任务的信息。第二特征提取的本质是一个函数映射即输入数据经过编码器的处理得到特征而编码器可以通过训练自动学习适配任务的特征这比人工设计特征更具泛化能力。第三不同模态的数据在物理来源、数据结构、信息密度和语义粒度上存在本质差异因此需要设计不同的表示方法来适配各自的特性例如图像适合用二维矩阵或张量表示点云适合用无序点集表示无线电信号则适合用复数 I/Q 序列表示。值得注意的是本章讨论的每一种模态都对应着一种独立的表示方式和编码器。然而在真实世界中一个智能系统往往需要同时处理多种模态的信息例如反无人机系统需要融合可见光、红外、毫米波雷达和电子侦察等多种传感器的数据。当多种模态的数据需要被联合使用时仅仅为每种模态设计独立的表示方法是不够的我们还需要考虑如何将这些异构的表示对齐、融合并建立跨模态的语义关联。这正是多模态表示要解决的核心问题也是我们下一章将要深入探讨的内容。