一、RKMedia框架介绍上图中的MPP组件就是瑞芯微根据自家芯片中的硬件编解码器开发的一个应用程序也就是一个视频编解码以及视频处理库在SDK目录下可以找到MPP目录。上图RKMedia对MPP进行封装功能集是MPP的子集。MPP支持H.263/H.264/H.265/VP8/VP9/MPEG等RKMedia仅支持H.264/H.265/JPEG/MJPEG 4种RGA组件在SDK目录下可以找到 RGA组件目录独立2D硬件加速器用于加速点和线的绘制对图像进行拷贝、旋转、翻转、缩放、裁剪、合成格式转换等一些二维图像操作上图中的RGA模块是RKMedia对RGA组件封装功能是RGA组件的部分。RGA组件库搜索方式如下完整功能需直接调用librga.so动态库图中的ISP、ISPP是RV1126的ISP20中的模块ISP20主要是用于对摄像头的sensor采集到的RAW图像进行优化。图中DRM是LINUX下的主流显示框架。二、视频处理流程原始数据获取摄像头传感器将光线信号转化为电信号记录接收到的各种光的光照强度。拜耳格式定义原始数据称为拜耳格式的原始图像Bayer raw是传感器捕捉到的最原始的数字信号数据。数据处理必要性由于屏幕不能直接显示拜耳格式图像需要经过ISP处理才能正常显示。ISP20对拜耳格式原始图像进行算法处理输出NV12/YUV等色彩空间域图像。RKAIq将优化图像的算法参数传递给ISP20硬件ISP20硬件根据传递的算法参数来优化图像质量RKAI也会获取iq文件iq文件包含优化图像所需的算法参数iq文件参数质量直接影响ISP20硬件优化图像效果IQ文件参数调试需要专业工程师完成。ISP20优化好RAW数据后就可以从video节点输出初步优化好的图像或者说输出数据流在视频领域称为码流。码流从video节点输出有4条路径。RKMedia的VI模块可以从四路输出获取码流。后面RKMedia对图像进行二次处理RKMdeia常见处理图像旋转通过RGA模块实现180度旋转分辨率调整如1080p→720p缩放格式转换如YUV→RGB格式转换与ISP区别ISP20进行基础优化处理RKMedia根据需求进行应用级处理。VI模块通过ISPP的四路视频输出节点获取数据流----------直接显示获取数据后可直接传输给VO模块进行屏幕显示。VI模块获取数据流码流通过RGA模块在经过RKNPU进行AI模型的推理RKNPU中RockX组件可以跑很多AI算法。VI模块获取数据流码流通过RGA模块可以再通过MPP中的VENC模块进行压缩编码。VI模块获取数据流码流不通过RGA模块直接经过MPP中的VENC模块进行压缩编码。OSD功能在视频上叠加文字/图形如时间戳显示如果要对视频进行处理完全可以使用MPP、ISP、RGA等组件来完成为什么AI历程用的是瑞芯微提供的RKMedia来做的因为学习音视频的采集和处理避免直接学习MPP、ISP、RGA、DRM等复杂底层组件通过调用RKMedia的封装好的接口可以快速实现视频采集、处理和显示。使用RKMedia降低了开发难度。学习RKMedia方法查看文档SDK中rkmedia中的examples开发历程。SDK下文档位置可执行文件路径SDK下的buildroot/output/alientek_rv1126/oem/usr/bin/开发板路径/oem/usr/bin/三、编译和测试SDK中自带RKMedia例程编译流程若是修改SDK下的源代码例程测试特定例程时可在开发板终端命令后添加--help参数查看使用说明例如rkmedia_vi_vo_test --help。工作原理摄像头传感器输出原始RAW数据RAW数据图像质量欠佳无法满足视觉效果需要经过ISP处理RKAIQ是ISP的一部分RKAIQ模块使用IQ文件(xml文件)中的参数进行图像质量调整经过ISP处理后输出满足视觉效果的图像最后通过RGA模块进行旋转/缩放等操作后显示重要说明在RV1126上使用IMX335和IX415摄像头需要通过RKMedia来调用不能使用ffmpeg因为摄像头输出的是最原始的RAW数据IQ文件由专业调试工具生成需要IQ tuning工程师进行调试摄像头应用会占用摄像头也会占用ISPmediaserver是一个多媒体服务主要用于ipc应用开发就是一个摄像头应用在抓取图片之前要关闭这个应用其实RV1126硬件的出厂系统是已经默认关闭了这个摄像头应用的。四、RKMedia视频处理模块精讲RKMedia的RGA模块基于RGA组件封装但功能更少opencv也可以对图像进行处理一般使用RKMedia或者RGA组件实现因为RKMedia或者RGA组件是RV1126平台适配的组件内部是基于MPP实现RV1126支持硬件编解码加速软解CPU处理 vs 硬解加速MPP封装基本图像处理色彩空间转换、旋转缩放等一般不用opencv。4.1 RKMedia初始化摄像头的接口/摄像头ID0表示MPI CSI01表示MIPI CSI1。由底层驱动决定单摄像头默认为0双摄像头需区分0和1。4.3 RGA组件4.3.1 认识RGA组件RGA模块是RKMedia对RGA组件封装我们先了解RGA组件后在了解RGA模块查询RGA组件动态库位置和版本号最小图像尺寸2×2像素最大源图像尺寸8192×8192像素最大目标图像尺寸4096×4096像素实际应用建议在rk media的rga模块中NV12格式的width stride配置为能被2整除即可工作但为保障稳定性建议严格遵循4对齐的要求对齐原理硬件为快速访问内存首地址或跨行访问数据为了保证硬件利用率要求内存地址或跨度为对齐系数的倍数4.3.2 RGA组件的demo编译如果已经编译过整个SDK或buildroot文件系统demo会自动编译到output的build目录下4.3.3 RGA组件的功能测试