手机拍照里的AI到底是什么是营销话术还是真实跑在 NPU 上的神经网络本文以高通平台为背景把 AI 影像拆到管线节点级别它在链路的哪个位置、用什么模型、模型多大规模、跑多快、权重从哪来、会不会越用越聪明。一、全景AI 在影像链路的三个位置手机影像的 AI 应用不是单一环节而是贯穿整条链路的分层部署。按位置可以拆成三层每层的模型形态、算力载体、时延预算完全不同层级位置典型任务时延预算算力载体L1 拍摄管线内Camera HAL / ISP 后段multi-frame pipelineAI 降噪、夜景多帧融合、HDR 合成、AI-AWB/AF/AE、人像分割虚化、超分辨率变焦30–100ms取景实时性要求ISP 内嵌 NN 单元 NPUL2 成片后处理按下快门后的 shot-to-shot 处理AI 修图建议、人像美化、肤质重建、光影重调relighting1s用户无感知NPU/GPUL3 相册编辑相册 App 内交互式编辑消除路人inpainting、AI 消除反光、扩图outpainting、换天、语义搜索1–5s 可接受部分走云端NPU 云端混合L1 是嵌入式味最重的部分与高通 QCamera/CHI/CDK 架构直接挂钩L3 就是用户感知的AI 修图主体。本文重点在 L1——因为它最能体现端侧模型的工程本质。二、高通平台的 AI 运行底座在拆具体任务之前先建立 L1 模型的统一部署认知。后面每个任务都是这套骨架的变体。2.1 数据形态尽量在 RAW Bayer 域处理L1 模型优先处理RAW Bayer 域12bit 线性数据原因有三噪声可建模线性域噪声模型简单shot noise read noise模型不需要逆 ISP 的非线性操作gamma、tone mapping同等算力下画质收益最大算力红利Bayer unshuffle 可以把 RAW 变成 4 通道R/Gr/Gb/B等效空间分辨率降一半算力省 4 倍信息未损ISP 后段的非线性处理是有损的越靠前处理模型能利用的原始信息越多。2.2 管线挂载点CHI/CDK 里的 Feature Node高通平台上AI 算法是 CHICamera Hardware Interface/CDK 架构里的一个Feature/Node推理走 QNNSNPE 后继部署到 HTPHexagon Tensor Processor帧数据通过 dmabuf 做 DMA zero-copy 搬运不经过 CPU 拷贝。这与传统 ISP 节点的接入方式完全一致——对 pipeline 而言一个 NN 节点和一个硬件降噪节点在调度上没有本质区别。2.3 时延与资源约束预览流 33ms/帧是硬约束预览用小模型 低分辨率拍照帧用大模型 全分辨率 tile 切分推理如 12MP 切成重叠 tile逐块过 NPU 再拼接去边界伪影内存带宽是隐形瓶颈多帧 RAW 的 DMA 搬运量巨大zero-copy 和 buffer 复用是基本操作热设计联动持续 NPU 满载会触发热限频量产方案会拆 tile 推理、插帧让 NPU 间歇降载——与 SoC 的温升管理策略直接相关。三、L1 核心任务逐个拆解3.1 AI 降噪传统做法ISP 内的 2D NR空域滤波细节/噪声难分离 3DNR/TNR时域多帧运动区域拉丝。AI 做法单帧 RAW 域降噪轻量 UNet3–4 层下采样通道数压到 32–64输入 Bayer unshuffle 后的 4 通道 RAW外加噪声参数图——根据 ISO/增益查噪声模型生成 shot/read noise 方差图作为额外通道喂给网络。这个技巧让同一模型覆盖全 ISO 范围是学术界SIDLearning to See in the Dark到量产方案的标准操作多帧对齐降噪连拍 3–8 帧光流或块匹配对齐到参考帧网络同时输出融合权重图——对齐误差大/有运动的区域权重给参考帧静止区域多帧平均从根上解决 TNR 拉丝联合去马赛克降噪joint demosaic-denoise一个网络直接从 Bayer RAW 出干净 RGB省掉传统 demosaic 引入的伪彩色再让降噪网络返工。3.2 夜景多帧融合夜景是降噪的扩展版完整 pipeline连拍 burst8–15帧不同曝光/增益 ↓ ① 帧选择AI 评估每帧模糊度陀螺仪图像梯度丢弃废帧 ↓ ② 对齐分层光流/特征点对齐亚像素级输出运动矢量场 ↓ ③ 融合网络UNet 输入对齐后的多帧堆叠 → 输出每帧每像素的融合权重 鬼影检测 mask 运动物体区域只取单帧静止区域多帧叠加 ↓ ④ 增强网络融合结果过一个小型 enhancer 恢复暗部色彩、压高光、提升局部对比度 ↓ ⑤ 送 ISP 后段demosaic→CCM→tone mapping关键点在于 ③ 的融合权重是学习出来的替代传统的方差统计加权——传统方法在极暗场景 SNR 估计失效AI 模型能从数据里学到什么样的像素块该信。Google Night Sight 与各厂商夜景模式都是这个框架。3.3 HDR 合成分两种硬件路径AI 介入深度不同路径数据来源AI 角色Staggered/DOL HDR传感器帧内多曝光一帧内长短曝光行交织轻融合权重 去鬼影网络时延小预览可用多帧包围曝光拍照连拍 EV-2/0/2 三帧重对齐 去鬼影 融合 tone mapping 全链路AI 模型具体做三件事去鬼影长短曝光之间存在时间差运动物体会重影。网络输出 ghost mask该区域只用中曝帧用 SNR 换无鬼影融合权重过曝区域取短曝、欠曝取长曝——学习得到的权重比手工 sigmoid 曲线过渡自然高光细节云层、灯丝保留更好Tone mapping全局色调曲线 局部细节增强网络替代传统 local tone mapping 的光晕问题——这是各家 HDR 效果拉开差距的地方。3.4 AI-3AAWB / AF / AEL1 里模型最小但最智能的部分——输出不是图像是控制参数。AI-AWB传统灰世界/完美反射统计 色温查表混光场景暖钨丝灯 窗外蓝天必翻车。AI 方案用小 CNN几十 KB几 MB对低分辨率缩略图做光源分类 色温回归还能语义辅助——识别出人脸/绿植/天空用先验校正统计异常。输出就是 ISP 的 R/B gainAI-AE传统分区测光 直方图规则。AI 方案做场景语义感知测光——分割出人脸/主体曝光权重向主体倾斜逆光保脸天空可过曝进阶做法是决策网络输入历史帧统计 场景类别输出曝光三角曝光时间/增益/帧数策略直接优化成片评分AI-AFAI 介入最少PDAF 硬件已成熟主要在主体检测驱动对焦目标选择——人脸/人眼/宠物/车辆检测框 → 选对应 PDAF 区域视频追焦时检测跟踪网络预测主体运动方向提前拉动马达。3A 模型都跑在预览低分辨率流如 640×480上每帧 5ms可逐帧实时。3.5 人像分割 虚化两段式分割和渲染是分开的——很多人误解虚化本身也是神经网络其实不是① 分割预览流实时跑轻量分割MobileNetV3 LR-ASPP 类输入 256×256512×512INT8NPU 上 10ms/帧输出低分辨率 mask双线性上采样 guided filter以原图为引导精修边缘头发丝级别靠matting 细化网络——只对 mask 边缘 strip 区域跑不是全图省算力。② 虚化渲染深度获取双摄视差 / 双像素dual-pixel相位差 / 单目深度估计小模型渲染按深度图做深度相关的可变核散景卷积depth-dependent bokeh blur配合分割 mask 保证前景边缘不穿帮——这是 GPU/DSP 上的传统渲染神经网络只出现在深度估计环节夜景人像的光斑形态口径蚀、柠檬状光斑来自物理建模渲染参数取自镜头标定。3.6 超分辨率变焦数码变焦 2x–10x 区间的画质救星两种模式连拍多帧超分主力手抖天然带来亚像素位移连拍 5–8 帧对齐到亚像素网格融合网络在 2x 分辨率网格上重建——信息量足够时2x 数码变焦可接近光学效果单帧超分兜底Real-ESRGAN/SwinIR 的蒸馏版教师模型离线训练学生模型 INT8 后 5–15MBtile 推理。短板是幻觉纹理——文字、人脸易出伪影所以量产方案只在纹理区域采用超分结果人脸/文字区域回落到多帧融合或保守插值。工程设计上的关键是变焦倍率-模型分级2x 以下纯多帧融合2–5x 多帧 单帧超分混合5x 以上才重度依赖生成式超分。3.7 L1 任务总结表任务模型架构处理域输出模型规模INT8单帧时延HTP降噪轻量 UNet 噪声图通道RAW干净 RAW1–5MB50–150ms12MP tile夜景融合光流对齐 权重 UNetRAW 多帧融合 RAW3–8MB200–500msburstHDR 合成去鬼影 融合 TM 网络RAW/YUV 多曝光HDR 合成帧2–6MB100–300msAI-3A微型 CNN / 决策网络低分辨率统计控制参数gain/曝光/AF 位置1MB5ms逐帧实时人像分割MobileNetV3-ASPP预览 RGBmask2–5MB10ms逐帧实时虚化渲染非 NN散景卷积YUV 深度图虚化图—GPU/DSP 渲染超分变焦多帧融合网络 / 蒸馏 SRRAW/YUV高分辨率帧5–15MB100–300ms四、L2/L3相册编辑侧的端侧模型拍照之外的AI 修图同样以端侧为主按功能分四类分割类所有编辑的前置人像/天空/头发丝/物体分割轻量 U-Net 变体或 MobileViT 类INT8 后 2–10MBNPU 上 1080p 单帧 20ms。输出的 mask 驱动后续所有局部操作消除/修复类inpainting早期用 PatchMatch 小 GANLaMa 类蒸馏版10–30MB2024 年后演进为蒸馏 latent diffusion1–2 step consistency model / LCM3B 以内 UNet 量化到 INT8/INT4单次推理 1–3s。多数厂商是端云混合——简单消除端侧做复杂语义重建上传云端大模型美化/画质类人脸关键点 3DMM 拟合做几何级五官微调GAN 蒸馏小模型做保纹理磨皮Real-ESRGAN 蒸馏版做超分去糊端侧常驻语义理解类相册搜图用端侧 CLIP 蒸馏版MobileCLIP 级INT8 约 100MB全相册离线建 embedding 索引存本地向量库——隐私敏感必须纯端侧。端云分工的现实逻辑分割、美化、超分、相册索引全端侧生成式重编辑端侧小模型先试质量不够走云端——这就是AI 修图需联网开关的由来。端侧的优势是隐私、时延、离线可用和零边际成本云端唯一的优势是模型规模无上限。五、正本清源什么才算AI聊完技术细节值得回答一个概念问题如果只是传统算法或硬件处理凭什么叫 AI工程上的判别标准很清晰——参数是学出来的还是人定的层级本质例子算不算 AI纯硬件固定逻辑电路实现的固定运算ISP 的 FIR 滤波、去马赛克插值、gamma LUT不算人工规则算法人手设计的启发式规则双边滤波降噪、灰世界 AWB、直方图测光不算是传统算法传统机器学习简单模型离线训练SVM 场景分类、回归树边缘地带神经网络模型权重从数据中训练得到前文所有 UNet/CNN算这就是端侧模型“模型与大小无关——500KB 的 CNN 和 7B 的 LLM 本质相同参数化函数 从数据训练得到的权重只是输入输出从 token 换成了图像张量。以融合权重 UNet为例它输出每个像素该信哪一帧的权重图这个判断能力是拿几十万组成对训练数据在 GPU 集群上学出来的而不是工程师手写if 运动 then 取参考帧的规则——这就是与传统算法的分水岭。至于厂商把所有 ISP 模块都包装成AI 引擎”那是营销口径。六、端侧模型的生命周期权重从哪来会不会边用边学6.1 标准生命周期离线训练、出厂冻结① 数据采集影像实验室拍几十万组 标定场景 真实场景raw 人工标注/参考设备 GT ↓ ② 离线训练GPU 集群训练大模型教师 ↓ ③ 蒸馏 剪枝压缩成端侧可跑的小模型学生 ↓ ④ 量化FP32 → INT8QAT 量化感知训练 ↓ ⑤ 编译转成 NPU 计算图HTP graph / APU bin ↓ ⑥ 打包与 sensor tuning 参数一起进 /vendor 分区或相机 App ↓ ⑦ 设备端推理引擎加载纯前向推理权重只读设备端只有前向推理没有反向传播、没有权重更新原因很实际没有标签训练需要输入 正确答案手机上只有输入没有 GT无法算 loss算力功耗不对称反向传播内存需求是前向的 3–5 倍一次训练的功耗顶拍几百张照片热设计不可行质量可控性ISP 级模型要对画质负责厂商不可能让权重在用户手里漂移——tuning 团队无法验收。所谓后天更新走的是OTA——新固件/App 换掉整个权重文件机制和 OTA 升级 camera tuning 参数一样只是载体从参数表变成神经网络权重。6.2 冻结模型如何自适应条件输入权重冻结 ≠ 行为固定。工业界的标准解法是冻结权重 运行时条件输入适应性需求实现方式权重是否变化不同 ISO 噪声水平噪声方差图作为额外输入通道不变模型学会看噪声图调整行为sensor 个体差异出厂 OTP 校准参数作输入或每型号配一套权重变体换权重文件非学习场景切换场景分类网络实时输出标签调度不同推理配置不变是调度逻辑用户偏好美颜/色彩滑块值作为 condition 输入或后处理强度插值不变统计自适应每帧实时统计直方图、色温估计喂决策网络网络权重不变输入在变这与 LLM 是同一个道理权重冻结行为靠 prompt 调制——影像模型的prompt就是噪声图、ISO、场景标签。真正的端侧在线学习联邦学习、on-device fine-tuning在手机上只存在于输入法个性化、相册人脸聚类这类非安全关键场景影像 ISP 链路目前无量产案例。七、趋势端到端 Neural ISP 与模块化替换的现实一个值得关注的方向是端到端 neural ISP——一个网络直接从 RAW 出成片替代整条 ISP。学术上已相当成熟但量产卡在两点可调性传统 ISP 每个模块参数可独立调整neural ISP 是黑盒厂商 tuning 团队无法接手功耗全网络化处理整条链路的功耗高于硬件 ISP。因此现实路线是“ISP 模块化 AI 替换”NR、demosaic、tone mapping 逐个换成 NN 节点保留 pipeline 骨架与可调性。这也解释了行业现状——各旗舰的影像差距越来越取决于哪个模块敢换、换得多深。八、结语把 AI 影像拆到底层会发现它既不神秘也不是噱头它是一套**“离线训练 冻结部署 条件输入”**的确定性工程体系——小模型嵌入相机管线的具体节点在 RAW 域以毫秒级预算完成降噪、融合、测光、分割大模型在相册侧以端云混合方式完成生成式编辑。所谓AI 拍照本质上是几十颗分工明确的端侧模型在你按下快门的前后各几百毫秒里完成了一场协同推理。附关键概念速查HTPHexagon Tensor Processor高通 NPUINT8 卷积/Transformer 加速的主力QNNQualcomm Neural Network SDKSNPE 的后继端侧推理部署栈CHI/CDK高通相机 HAL 层可定制架构AI 算法以 Feature/Node 形式挂载Bayer unshuffle将 RAW 按 RGGB 相位拆成 4 通道空间分辨率减半等效算力降 4 倍蒸馏/量化教师大模型 → 学生小模型 → INT8/INT4端侧落地的标准压缩路径