媒体采样在多媒体中连续的信号画面或声音信息经过一个采样过程来转换数字信息。在采样过程中音频/图像相对于时间/距离轴具有不连续的特性。此外由于通过特定数据类型表示表示声音/光强度的数字因此该数字被量化。音频采样声音是空气中可听频率范围20 - 20000 Hz的波。波相对于时间轴是连续的其幅度也是连续的。然而为了在数字设备中处理这一点必须将其转换为不连续和量化的数据。图片。图 0显示了连续信号S(t ) 在时间 t 上的采样。如果S(t) 除以某个周期T它在每个点都有一个瞬时代表值。这些值包含在特定的数据类型中成为数字数据这些数据中的每一个都称为样本。从模拟信号中提取样本的过程称为采样。样本之间的规则间隔T称为采样周期T的倒数称为采样频率。为了观察特定频带f 采样频率必须至少是f的两倍奈奎斯特采样定理图片。0信号采样[0]音频样本格式每个音频样本代表音频信号的瞬时幅度。该值主要用整数或浮点运算来表示。表示样本的数据类型范围越大表示的信号幅度就越细分从而可以实现更好的音质。每个数据类型范围都显示在图片中。总结在1。图片。1每种数据类型的范围一般来说采样的音频数据不会对每个样本单独进行操作而是形成一个缓冲区以便一次操作几个样本。如果将一次处理的音频采样缓冲区的单位称为音频帧则每个音频帧根据用途分为交错型和平面型非交错型。图片。图2以立体方式描绘了每种类型。图片。2音频帧类型(a)交错型(b)平面型(a)在交错型中每个通道的样本交替存储在一个缓冲区中交错。一般的音频驱动器交换交错式数据是一种用于数模转换或模数转换的数据格式。(b)在平面类型中每个通道都包含在一个独立的缓冲区中。在 Codec 中使用频率特性进行与 DCT 相同的操作并用于计算每个通道的信息。也就是说它是一种用于音频编解码器的输入/输出的类型。视频采样在视频中每幅图像都被连续观看每幅图像都被采样并转换成数字信息。与音频一样模拟数据必须转换为连续和量化的数据才能处理数字设备中的图像。图片。图3是表示如何在照相机传感器上形成图像的图。被物体/背景反射的光通过相机镜头折射并在网格传感器上形成。传感器的每个网格都会测量入射光的强度以产生数字信号。每个这样的网格都被划分为红/绿/蓝 (RGB) 传感器就像人类视锥细胞一样并且使用该 RGB 数据表示一次颜色。一次表示颜色的单位称为像素一组像素组成一个图像。如果将这样采样的一个图像称为视频帧则视频通过视频帧的连续变化显示出运动图像。视频像素格式多媒体中的视频数据有RGB格式用于输入/输出并分为YUV格式进行压缩。RGB 是设备中输入/输出和渲染的一种形式颜色是使用由 Red/Green/Blue 组成的色彩空间来表达的。YUV 使用作为亮度值的 Y 和作为色差信息的 U/V 来表示颜色。BT.709中规定了RGB与YUV之间的转换公式RGB 像素格式RGB 像素格式以 RGB 格式表示颜色的视频帧几乎在所有情况下都可以处理打包数据。打包是一种形式其中每个颜色元素交替包含在一个平面中就像音频样本格式中的交错一样。表示RGB时根据表示红/绿/蓝各元素的位数以及排列顺序是多少来表示。例如RGB565RGB16数据按照红/绿/蓝的顺序排列各有5/6/5位深度BGR888BGR24数据按照蓝/绿/红的顺序排列各有8/8/8位深度在 RGB 像素格式中添加一个作为透明度信息的 Aalpha元素用于混合或者添加一个表示填充位的 X 元素用于八位字节对齐。如果包含 Alpha 值则按照上述规则以与 RGBA8888RGBA32相同的格式表示。而如果包含空位则表示为XRGB1555XRGB15表示为15但实际占用16位。如果您对更多的 RGB 像素格式感到好奇linux 的 v4l2 中使用的各种 RGB 像素格式的符号、fourcc 代码和对齐排列在参考文献 [2]中。YUV 像素格式由于人眼区分明暗的视杆比区分颜色的视锥多因此它对亮度的变化比对颜色的变化更敏感。利用这一事实通过与亮度信息 (Y) 相比减少色度信息 (Cr/Cb, U/V) 来对图像进行编码这称为色度二次采样。色度子采样 YUV 数据 Y 值表示所有样本像素但 U/V 值仅表示子样本的一个值它是周围样本的单位。此时YUV 格式是根据它所经过的二次采样来命名的。图片。5色差二次采样原理[3]代表子样本过程的图片。查看 5对于 4 x 2 个样本J每行 Y 样本数a第一行的色度样本数b第一行和第二行色度样本的变化次数J、a、b的值确定为 经过4:2:0二次采样的YUV格式表示为YUV420。虽然 RGB 格式在大多数情况下以打包的形式存储但 YUV 格式以打包/半平面/平面的形式存储。以YUV422为例YUV422格式为Pic。6、可以用三种形式表示。图片。6不同类型的YUV422格式a打包b半平面c平面(a) YUYV在打包形式中Y/U/V 都交错在一个平面上。(b) NV16半平面格式其中 Y 存储在独立平面中U/V 交错在一起。(c) I422在平面形式中Y/U/V 在一个独立的平面上。参考[0] https://en.wikipedia.org/wiki/Sampling_(signal_processing)[1]. https://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.709-6-201506-I!!PDF-E.pdf[2] 2.9.1. Packed RGB formats — The Linux Kernel documentation[3] https://en.wikipedia.org/wiki/Chroma_subsampling