HarmonyOS技术精讲-Camera Kit（相机服务）第17篇：结合AVCodec进行视频编解码

HarmonyOS技术精讲-Camera Kit相机服务第17篇结合AVCodec进行视频编解码从实际问题说起用Camera Kit直接录制的视频默认编码参数是按最高质量配置的。一个1080p、30fps、H.264的视频每分钟大概占100-150MB。这个体积对本地存储来说还能接受但如果要做上传、分享、或者作为素材二次处理就太大了。很多团队的实际做法是先录再转码压缩。Camera Kit负责采集AVCodec负责加工两者通过视频文件或SurfaceBuffer接力。但这里有一个容易被忽略的问题——AVRecorder输出的视频格式和AVCodec的输入格式之间存在参数不匹配的风险。直接丢进去转码经常会遇到配置失败、编码器报错、或者转出来花屏的情况。这篇文章会从录像开始走完一个完整的录制→转码压缩→提取封面帧的流程。重点放在AVRecorder和AVCodec的对接细节上代码全部可运行不省略关键逻辑。这个方案解决什么问题Camera AVCodec的组合主要解决三个场景场景传统做法推荐方案视频文件太大录完再手动用工具压缩代码自动转码设置目标码率格式不统一依赖系统录制格式统一转码为H.264AAC需要视频封面用第三方库提取帧AVCodec解码PixelMap转换不适合的场景实时滤镜、实时美颜、低延迟直播。这些需要走Camera的preview输出Surface给AVCodec做实时处理不是本文讨论的范围。环境说明DevEco Studio 版本6.1.0 及以上 HarmonyOS SDK 版本6.1.0(23) 及以上 目标设备手机真机 权限相机权限 麦克风权限 媒体读写权限核心实现从录制到转码的完整链路整个流程分三步Camera Kit AVRecorder 录制视频AVCodec 解码原始视频AVCodec 编码输出压缩后的视频最后单独加一个提取视频帧的环节用于生成封面图。1. 相机预览与录像先初始化相机创建AVRecorder实例配置录制参数后开始录制。这里的关键是AVRecorder的配置参数要和后续转码的解码器输入参数对齐。import{camera}fromkit.CameraKit;import{media}fromkit.MediaKit;import{common}fromkit.AbilityKit;asyncfunctionstartRecording(context:common.Context,surfaceId:string):Promisestring{// 创建AVRecorder实例constavRecorder:media.AVRecorderawaitmedia.createAVRecorder();// 配置录制参数constrecorderProfile:media.AVRecorderProfile{audioBitrate:96000,audioChannels:2,audioCodec:media.CodecMimeType.AUDIO_AAC,audioSampleRate:48000,fileFormat:media.ContainerFormatType.CFT_MPEG_4,videoBitrate:2000000,videoCodec:media.CodecMimeType.VIDEO_AVC,videoFrameWidth:1920,videoFrameHeight:1080,videoFrameRate:30};constrecorderConfig:media.AVRecorderConfig{audioSourceType:media.AudioSourceType.AUDIO_SOURCE_TYPE_MIC,videoSourceType:media.VideoSourceType.VIDEO_SOURCE_TYPE_SURFACE_YUV,context:context,profile:recorderProfile,url:file:///data/storage/el2/base/haps/entry/files/raw_video.mp4,rotation:0};awaitavRecorder.prepare(recorderConfig);// 获取录制Surface用于相机输出constvideoSurfaceId:stringawaitavRecorder.getInputSurface();// 将SurfaceId传给Camera启动预览和录制awaitstartCameraPreview(surfaceId,videoSurfaceId);awaitavRecorder.start();returnrecorderConfig.url;}为什么这样写videoBitrate设置为2Mbps这是一个折中值。后续转码时我们会降到1Mbps压缩50%。videoCodec用VIDEO_AVCH.264兼容性最好。fileFormat用CFT_MPEG_4AVCodec对MP4容器支持最完善。2. 视频转码压缩原始视频录制完成后用AVCodec做转码。核心逻辑是解码器读取原始视频编码器按新的参数重新编码。import{media}fromkit.MediaKit;import{image}fromkit.ImageKit;asyncfunctiontranscodeVideo(inputPath:string,outputPath:string):Promisevoid{// 创建AVSource读取视频源constavSource:media.AVSourceawaitmedia.createAVSource(inputPath);constsourceInfo:media.AVSourceInfoavSource.getSourceInfo();// 获取视频轨道信息consttrackInfoList:media.AVTrackInfo[]avSource.getTrackInfo();letvideoTrackIndex:number-1;for(leti0;itrackInfoList.length;i){if(trackInfoList[i].trackTypemedia.MediaType.VIDEO_TRACK_TYPE){videoTrackIndexi;break;}}if(videoTrackIndex-1){console.error(No video track found);return;}// 创建解码器和编码器constvideoDecoder:media.VideoDecoderawaitmedia.createVideoDecoder();constvideoEncoder:media.VideoEncoderawaitmedia.createVideoEncoder();// 配置解码器读取原始视频参数constdecodeFormat:media.Format{codecMime:media.CodecMimeType.VIDEO_AVC,width:1920,height:1080,pixelFormat:media.PixelFormat.YUV_420_SP,frameRate:30};// 配置编码器输出压缩参数constencodeFormat:media.Format{codecMime:media.CodecMimeType.VIDEO_AVC,width:1280,// 分辨率降级height:720,bitRate:1000000,// 码率降到1MbpspixelFormat:media.PixelFormat.YUV_420_SP,frameRate:24,// 帧率降为24fpsiFrameInterval:30};// 配置并启动解码器awaitvideoDecoder.configure(decodeFormat,avSource.getNativeBuffer(videoTrackIndex));awaitvideoDecoder.prepare();awaitvideoDecoder.start();// 配置并启动编码器constoutputFd:numberfs.openSync(outputPath,fs.OpenMode.CREATE|fs.OpenMode.WRITE_ONLY);constoutputSurface:media.OutputSurfaceawaitvideoEncoder.getInputSurface();awaitvideoEncoder.configure(encodeFormat,outputSurface);awaitvideoEncoder.prepare();awaitvideoEncoder.start();// 编解码循环逐帧处理letframeCount:number0;constmaxFrames:number30*60;// 最多处理60秒视频while(frameCountmaxFrames){constinputBuffer:media.BufferawaitvideoDecoder.getInputBuffer();if(!inputBuffer){break;}// 填充解码器输入从AVSource读取constsample:media.AVSampleavSource.readSample(videoTrackIndex);if(!sample||sample.flagsmedia.BufferFlag.END_OF_STREAM){awaitvideoDecoder.pushInputBuffer(inputBuffer.index,media.BufferFlag.END_OF_STREAM);break;}inputBuffer.write(sample.data);awaitvideoDecoder.pushInputBuffer(inputBuffer.index,media.BufferFlag.NONE);// 获取解码输出constoutputBuffer:media.BufferawaitvideoDecoder.getOutputBuffer();if(outputBuffer){// 将解码后的数据送入编码器constencodeInput:media.BufferawaitvideoEncoder.getInputBuffer();if(encodeInput){encodeInput.write(outputBuffer.read());awaitvideoEncoder.pushInputBuffer(encodeInput.index,media.BufferFlag.NONE);}awaitvideoDecoder.releaseOutputBuffer(outputBuffer.index);}frameCount;}// 结束编码awaitvideoEncoder.pushInputBuffer(-1,media.BufferFlag.END_OF_STREAM);// 等待编码器完成while(true){constencodeOutput:media.BufferawaitvideoEncoder.getOutputBuffer();if(!encodeOutput||encodeOutput.flagsmedia.BufferFlag.END_OF_STREAM){break;}// 写入输出文件fs.writeSync(outputFd,encodeOutput.read());awaitvideoEncoder.releaseOutputBuffer(encodeOutput.index);}// 清理awaitvideoEncoder.stop();awaitvideoEncoder.release();awaitvideoDecoder.stop();awaitvideoDecoder.release();avSource.release();fs.closeSync(outputFd);}这段代码的关键点decodeFormat必须和录制时的参数匹配否则解码器初始化失败。encodeFormat中的width、height、bitRate是压缩效果的核心参数。1280x720 1Mbps压缩率大约50%-60%。iFrameInterval设置为30意味着每30帧一个关键帧适合后续做帧提取。实际项目中这个循环需要做性能优化。上面的写法是同步风格的示例真实场景建议用双缓冲异步回调避免编解码互相等待。3. 提取视频帧作为封面转码完成后从视频中提取第一帧作为封面图。这里复用上一步的解码逻辑只解码一个关键帧。asyncfunctionextractVideoFrame(videoPath:string,outputImagePath:string):Promisevoid{constavSource:media.AVSourceawaitmedia.createAVSource(videoPath);consttrackInfoList:media.AVTrackInfo[]avSource.getTrackInfo();letvideoTrackIndex:number-1;for(leti0;itrackInfoList.length;i){if(trackInfoList[i].trackTypemedia.MediaType.VIDEO_TRACK_TYPE){videoTrackIndexi;break;}}if(videoTrackIndex-1){console.error(No video track);return;}// 只解码第一帧constvideoDecoder:media.VideoDecoderawaitmedia.createVideoDecoder();constdecodeFormat:media.Format{codecMime:media.CodecMimeType.VIDEO_AVC,width:1280,height:720,pixelFormat:media.PixelFormat.YUV_420_SP,frameRate:24};awaitvideoDecoder.configure(decodeFormat,avSource.getNativeBuffer(videoTrackIndex));awaitvideoDecoder.prepare();awaitvideoDecoder.start();// 读取第一个关键帧letframeExtracted:booleanfalse;while(!frameExtracted){constsample:media.AVSampleavSource.readSample(videoTrackIndex);if(!sample||sample.flagsmedia.BufferFlag.END_OF_STREAM){break;}// 只处理关键帧if(sample.flagsmedia.BufferFlag.KEY_FRAME){constinputBuffer:media.BufferawaitvideoDecoder.getInputBuffer();if(inputBuffer){inputBuffer.write(sample.data);awaitvideoDecoder.pushInputBuffer(inputBuffer.index,media.BufferFlag.NONE);constoutputBuffer:media.BufferawaitvideoDecoder.getOutputBuffer();if(outputBuffer){// 将YUV数据转换为PixelMapconstpixelMap:image.PixelMapawaitimage.createPixelMap(outputBuffer.read(),{width:1280,height:720,pixelFormat:image.PixelMapFormat.RGBA_8888});// 保存为JPEGconstpacker:image.ImagePackerimage.createImagePacker();constencodeOptions:image.PackingOption{format:image/jpeg,quality:90};constpackedData:ArrayBufferawaitpacker.packing(pixelMap,encodeOptions);constfd:numberfs.openSync(outputImagePath,fs.OpenMode.CREATE|fs.OpenMode.WRITE_ONLY);fs.writeSync(fd,packedData);fs.closeSync(fd);packer.release();pixelMap.release();frameExtractedtrue;}}}}awaitvideoDecoder.stop();awaitvideoDecoder.release();avSource.release();}提取帧的要点只解码关键帧KEY_FRAME避免解码整个视频。iFrameInterval设为30所以最多解码30帧就能找到关键帧。YUV转RGBA再编码为JPEG这个转换在API 23上由createPixelMap自动完成。常见问题为什么转码后视频反而变大了现象设置了更低的码率转码后文件体积不降反升。原因iFrameInterval设得太小比如1导致每一帧都是关键帧。关键帧数据量远大于非关键帧体积会膨胀。解法把iFrameInterval设为30-60。如果视频是短视频10秒设为10就够了。// 正确设置constencodeFormat:media.Format{// ... 其他参数iFrameInterval:30// 每30帧一个关键帧};常见问题编码器配置失败-1现象videoEncoder.configure()返回-1或者抛出异常。原因最常见的是视频宽高不符合编码器的对齐要求。H.264编码器要求宽高都是16的倍数。解法配置前做对齐处理。functionalignTo16(value:number):number{returnMath.floor(value/16)*16;}// 配置前对齐encodeFormat.widthalignTo16(1280);// 1280encodeFormat.heightalignTo16(720);// 720如果原始视频是1920x10801080p对齐后还是1920x1080。但如果是自定义分辨率比如1500x900对齐后变成1488x896这个差异在编码器层面是安全的。常见问题解码器输出Buffer为空现象videoDecoder.getOutputBuffer()返回null或者undefined。原因解码器的输出Buffer是有限资源如果没有及时释放后续帧就无法输出。这在循环处理中特别容易出现。解法每获取一个输出Buffer处理后立即释放。// 错误写法先收集所有Buffer再释放constbuffers[];while(bufferawaitdecoder.getOutputBuffer()){buffers.push(buffer);// 持有所有Buffer引用}// 最后才释放 - 内存占用飙升编解码卡死// 正确写法处理一帧释放一帧constoutputBufferawaitdecoder.getOutputBuffer();if(outputBuffer){// 处理数据processFrame(outputBuffer);// 立即释放awaitdecoder.releaseOutputBuffer(outputBuffer.index);}最佳实践1. 录制参数和转码参数用同一个常量定义避免两边手动写两套参数写错一个就对接不上。constVIDEO_CONFIG{width:1920,height:1080,bitrate:2000000,fps:30}asconst;录制和转码都引用这个常量转码时只在需要调整的参数上做覆盖。2. 编解码循环用异步生成器模式上面的示例里用了while循环 await实际项目中建议用AsyncGenerator代码更清晰且便于增加超时控制。asyncfunction*frameGenerator(decoder:media.VideoDecoder):AsyncGeneratormedia.Buffer{while(true){constbufferawaitdecoder.getOutputBuffer();if(!buffer||buffer.flagsmedia.BufferFlag.END_OF_STREAM){break;}yieldbuffer;awaitdecoder.releaseOutputBuffer(buffer.index);}}// 使用forawait(constframeofframeGenerator(decoder)){// 处理帧}3. 提取帧时优先用关键帧而非时间戳用seekToTime()跳到指定时间再解码需要先找到最近的的关键帧实际解码的是关键帧而非目标帧。不如直接遍历前几个关键帧更可控。4. 转码完成后务必校验文件完整性调用fs.statSync()检查输出文件大小如果小于1KB大概率是失败文件。再尝试用AVSource打开验证。functionverifyVideoFile(path:string):boolean{try{conststatfs.statSync(path);if(stat.size1024){returnfalse;}constsourcemedia.createAVSource(path);source.release();returntrue;}catch{returnfalse;}}