【Android视频监控系统技术总结】
Android视频监控系统技术总结一、系统概述这是一款基于 Android 平台的实时视频监控应用采用C/S 架构由两个独立 APK 组成security_camera摄像机端部署在采集设备上负责视频采集、编码、本地存储与网络推流security_monitor监视器端部署在观看设备上负责视频流接收、解码与实时显示系统基于 Android 原生MediaCodec实现硬件编解码通过WebSocket进行实时视频流传输整体延迟低、资源占用少支持 H.264/H.265 两种编码格式自适应。二、整体架构2.1 架构分层系统采用清晰的分层设计从下到上依次为层级摄像机端监视器端职责采集/输出层CameraX ImageAnalysisSurfaceView原始帧采集 / 最终画面渲染编解码层VideoEncoderMediaCodecStreamDecoderMediaCodec视频硬编码 / 硬解码传输层StreamWebSocketServerWebSocket 服务端StreamClientWebSocket 客户端视频帧网络传输业务层StreamManager / MyCameraManagerStreamViewModel生命周期管理、状态协调表现层Jetpack ComposeMainSurface/SettingsSurfaceJetpack ComposeMainScreen用户交互界面2.2 数据流全景摄像机端 CameraX 预览 → ImageAnalysis(YUV_420_888) → 水印叠加WatermarkOverlay → VideoEncoder 硬编码H.264/H.265 ├→ MediaMuxer → MP4 文件本地录像 └→ OnEncodedDataListener → StreamManager → WebSocket Server → 网络 监视器端 网络 → WebSocket ClientOkHttp → StreamClient 协议解析 ├→ 配置消息JSON→ StreamDecoder.configure() └→ 帧数据二进制→ StreamDecoder.feedData() → MediaCodec 解码 → Surface 渲染三、摄像机端核心实现3.1 相机采集CameraX ImageAnalysis相机子系统以MyCameraManager为核心管理器基于 CameraX 库实现预览用例Preview绑定 PreviewView 实现实时取景支持 PERFORMANCE 模式图像分析用例ImageAnalysis以 YUV_420_888 格式输出每一帧供编码和水印处理使用分辨率策略支持 SD640×480、HD1280×720、FHD1920×1080三档通过 ResolutionSelector 配置背压策略采用STRATEGY_KEEP_ONLY_LATEST确保编码线程始终处理最新帧避免帧堆积帧率控制方面低帧率模式下通过时间戳对比主动跳帧确保编码帧率稳定在设定值。3.2 视频编码双输出解耦设计VideoEncoder是编码层的核心其最大特点是编码器核心与输出目标解耦MediaCodec编码器核心 ├→ 输出 1MediaMuxer → MP4 文件本地录像 └→ 输出 2OnEncodedDataListener → 网络流StreamManager关键设计点双路独立启停文件录制和网络流传输可分别启动/停止互不影响。编码器根据输出目标活跃度自动启停——只要有一路输出活跃编码器就保持运行全部停止时编码器自动释放。编码格式自适应初始化时检测设备 HEVC 支持能力优先使用 H.265 编码不支持则回退到 H.264Baseline Profile。动态 Muxer 初始化MediaMuxer 不在编码器创建时初始化而是在开始录制时才创建支持随时启停录像而不中断编码流。输出格式缓存编码器输出格式变化含 SPS/PPS时缓存格式信息后续启动文件输出或新客户端连接时可直接使用。3.3 水印叠加YUV 层面处理WatermarkOverlay在编码前的 YUV 数据上直接叠加时间戳水印工作在 YUV 色彩空间避免 YUV→RGB→YUV 的多次格式转换开销支持动态分辨率适配根据实际帧尺寸更新水印位置叠加操作在 ImageAnalysis 的分析线程中完成与编码流水线串行3.4 网络推流WebSocket 服务端传输层由StreamManager单例和StreamWebSocketServer组成协议设计文本帧JSON传输编码器配置信息包括 mime 类型、分辨率、csd-0/csd-1Base64 编码的 SPS/PPS二进制帧传输实际编码数据帧结构为[1字节帧类型][8字节时间戳(大端)][NAL数据]帧类型定义0x01Config帧、0x02关键帧、0x03P帧关键机制Config 帧缓存服务器缓存编码器的配置帧SPS/PPS新客户端连接时立即推送确保客户端无需等待下一个关键帧即可开始解码。多客户端广播支持多个监视器同时连接观看编码数据通过 WebSocket 广播给所有已连接客户端。前台服务保活VideoStreamService 以前台服务形式运行显示常驻通知防止系统在后台杀死推流进程。3.5 本地录像与存储管理分段录制视频按固定时长分段保存每段结束后自动启动下一段保证长时间连续录制循环覆盖存储空间不足时自动删除最旧的视频文件实现滚动存储文件命名SECURITY_ 时间戳 .mp4按文件名即可判断录制时间3.6 息屏模式系统支持息屏监控模式降低屏幕亮度至最低减少功耗保持 CameraX 和编码器正常运行通过 WakeLock 保持 CPU 唤醒启动前台服务防止进程被杀适用于长时间无人值守监控场景四、监视器端核心实现4.1 流客户端OkHttp WebSocketStreamClient基于 OkHttp 的 WebSocket 实现客户端连接自动心跳配置 pingInterval30秒保持长连接活跃消息分发区分文本消息和二进制消息分别走配置解析和帧数据处理路径连接状态回调通过 onConnectionChanged / onError 回调通知上层连接状态变化4.2 视频解码异步输出轮询StreamDecoder基于 MediaCodec 实现硬件解码采用独立线程轮询输出的模式解码流程收到配置消息 → 创建 MediaFormat设置 csd-0/csd-1→ configure start收到帧数据 → dequeueInputBuffer → 写入数据 → queueInputBuffer独立线程 drainOutputLoop → dequeueOutputBuffer → releaseOutputBuffer(rendertrue) → Surface 渲染关键设计点Surface 延迟就绪处理考虑到 SurfaceView 创建可能晚于配置消息到达解码器缓存所有配置参数mime、宽高、csd-0/1、旋转角度Surface 就绪后自动重新配置解码器。独立解码线程输出缓冲区的读取在独立线程中循环进行不阻塞网络接收线程避免帧延迟累积。旋转角度支持通过 MediaFormat.KEY_ROTATION 设置视频旋转角度适配摄像机端不同的安装方向。4.3 MVVM 架构监视器端采用 Jetpack Compose ViewModel 的 MVVM 架构StreamViewModel管理连接状态、视频参数、帧计数等 UI 状态MainScreenCompose 实现的主界面包含地址输入、连接按钮、视频显示区域状态驱动 UI数据流向清晰五、传输协议详解5.1 握手阶段客户端连接后服务端立即发送两条消息配置 JSON文本帧{type:config,mime:video/avc,width:640,height:480,csd0:J0K0HkCqQ...,// Base64 编码的 SPScsd1:A4A8sA// Base64 编码的 PPS}Codec Config 二进制帧携带完整的 csd-0/csd-1 二进制数据帧类型 0x015.2 数据阶段后续以二进制帧持续发送编码数据偏移长度字段说明01 字节frame_type0x02关键帧0x03P帧18 字节ptspresentationTimeUs大端序高位字节在前9N 字节nal_dataNAL 单元数据六、技术亮点纯硬件编解码全程使用 MediaCodec 硬编硬解CPU 占用低支持高清实时传输编码器双输出解耦一份编码数据同时供给本地录像和网络推流两路独立启停Config 帧缓存机制新客户端秒开无需等待下一个关键帧Surface 就绪适配优雅处理 Surface 晚于配置到达的时序问题低延迟设计ImageAnalysis 直连编码器WebSocket 二进制帧传输解码线程独立轮询后台保活方案前台服务 WakeLock 双重保障息屏模式下持续运行H.265 自适应根据设备能力自动选择最优编码格式七、模块依赖依赖库用途CameraX相机预览与帧采集Android MediaCodec硬件编解码Java-WebSocketorg.java-websocketWebSocket 服务端OkHttpWebSocket 客户端Jetpack ComposeUI 界面AndroidX Lifecycle / ViewModel生命周期与状态管理SharedPreferences配置持久化八、用户界面源码链接

相关新闻

用云手机做账号矩阵,平台合规风险到底怎么管?

用云手机做账号矩阵,平台合规风险到底怎么管?

越来越多企业用云手机跑账号矩阵,但随之而来的问题也越来越真实:账号被关联封禁、设备指纹被平台识别、批量操作触发风控、数据合规出现漏洞。这些风险不是云手机本身带来的,而是"用了云手机、但没有用对"的结果。本文从平台合规风…

2026/11/20 14:37:55 阅读更多 →
AI从黑客变成了保安——AI开始“分专业“了

AI从黑客变成了保安——AI开始“分专业“了

作者:梅雅达编程笔记 专栏:AI Agent 实战 关键词:AI Agent、网络安全、GPT-5.6-Cyber、Daybreak、垂直化 前几天聊了 Astra 触发关键安全阈值的事(没看的可以先去翻翻上一篇),今天 OpenAI 又扔了个重磅消息…

2026/11/20 16:10:41 阅读更多 →
内部办公Agent节省HR部门30%工时,从需求到上线的完整路径

内部办公Agent节省HR部门30%工时,从需求到上线的完整路径

摘要:本文基于奇点智能技术大会"大模型技术:从Agentic Scaling到自进化"主题,以HR部门落地内部办公Agent为实例,完整拆解从需求分析到上线的实践路径。重点呈现混合决策型Agent架构设计——BERT意图分类预判结合动态工具…

2026/11/15 8:29:01 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/19 21:38:27 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/19 21:38:49 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/19 21:39:09 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/19 21:36:50 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/19 21:37:45 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/19 21:36:20 阅读更多 →

日新闻

周新闻

月新闻