Duix-Mobile 集成验证笔记离线实时 AI 数字人 SDK 怎么在手机上跑通【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-MobileDuix-Mobile 是一套实时交互式 AI 数字人移动端 SDK主打端侧部署模型跑在手机上唇形同步与渲染不经过云端。下文的结论和坑位都来自仓库里的文档与源码不是印象。仓库结构一个 Gradle 模块加一套 C 核心先给判断这个仓库交付的是 SDK不是装完就能用的 App。两条产品线共享同一套 C 核心你只需要关注自己平台那一侧的封装层。图仓库演示素材展示数字人实时交互画面Android 侧的入口是 duix-android/dh_aigc_android/核心是duix-sdk这个 Gradle 模块模型检查与下载在VirtualModelUtil初始化、推流、动作控制在DUIX见 duix-sdk/src/main/java/ai/guiji/duix/sdk/client/。渲染组件DUIXRenderer/DUIXTextureView支持透明背景也可以自己实现RenderSink接管渲染管线。真正的算法在 native 层 duix-sdk/src/main/cpp/按职责拆成三个静态库dhmfcc做音频前端FFT、MFCC 特征提取dhunet做唇形驱动网络dhcore管内存与队列依赖 ncnn、onnxruntime 和 OpenCV由 CMakeLists.txt 统一链接。Java 层只通过DuixNcnn的 native 方法pushpcm、filrst等与 C 核心通信。iOS 侧是 duix-ios/GJLocalDigitalSDK/同一套duixsdka/目录结构与 Android 的 cpp 一一对应dhmfcc、dhunet、dhcore对外封装为GJLDigitalManager。维护时改核心算法两端同步这也是双端行为差异的排查线索。跑通前的硬门槛硬件、内存与模型资源文档给出的集成要求很具体先核对再动手能省掉大半排查时间。项目AndroidiOS系统Android 10armeabi-v7a / arm64-v8aiOS 12.0Xcode 12硬件参考骁龙 8 Gen 2 级别、8GB 以上内存iPhone 8建议 A12、≥3GB 内存资源数字人至少占用 800MB 内存预留 1GB 以上存储—网络无完全本地运行无模型资源有两份都走下载基础配置包gj_dh_resSDK 内置下载地址见 Constant.java人物模型包官方提供 4 个公开数字人Leo、Oliver、Sofia、Lily下载入口在 README 的发布页链接里。图官方公开的 4 个数字人模型之一集成时按需替换如果模型下载慢文档明确允许把模型包缓存到自己的存储服务不强制走官方地址。最小集成路径从 clone 到第一帧渲染git clone https://gitcode.com/GitHub_Trending/du/Duix-MobileAndroid 端按 duix-android 文档 走三步把duix-sdk目录拷进项目根目录settings.gradle里include :duix-sdk模块build.gradle加api project(:duix-sdk)。用VirtualModelUtil检查并下载基础配置与模型。构造DUIX传入模型、渲染 sink、回调调init()初始化结果走init.ready/init.error回调渲染用DUIXRenderer挂到DUIXTextureView。iOS 端按 duix-ios 文档拖入GJLocalDigitalSDK.frameworkEmbed Sign、链接AVFoundation然后在 Info.plist 声明麦克风权限keyNSMicrophoneUsageDescription/key stringApp requires microphone access to drive digital human voice broadcast/string最小调用链是initBaseModel → toStart → toStartRuning渲染视图必须是已挂载的showView。仓库自带验证素材demo 工程的 assets 里有现成的 PCM 与 WAV 音频test/src/main/assets/res/ 目录有 270p / 540p 两档预渲染人物视频与背景图跑通前可以直接拿这些文件验证驱动链路不急着接自己的 TTS。验证清单可以按顺序做checkBaseConfig返回 true配置包已就位init回调为init.ready推一段 PCM听到声音且画面口型同步换一个人物模型目录init仍然成功。PCM 流驱动最容易踩的几个坑数字人靠音频驱动Android 的驱动协议是startPush → pushPcm → stopPush三段式文档里写了三条硬约束格式固定为 16kHz、单声道、16bit 的 PCM每段两次 push 之间音频至少 1 秒32000 字节否则唇形驱动不会触发可以用空白帧补齐音频不要一次推太长PCM 会缓存在内存里长音频可能撑爆内存应分段推流。初始化阶段的失败大多有明确原因Android FAQ 给了对照表现象可能原因处理init 回调失败模型路径错误或未下载用checkModel检查模型状态渲染黑屏EGL 配置或 TextureView 设置问题按文档示例配置PCM 推流无效果格式不对或未调startPush核对格式与调用顺序iOS 侧对应四张排查项初始化返回 -1 查 Info.plist 授权字段、无渲染输出查showView是否挂载、播放无响应查音频格式与路径、播放提前结束查continueSession用法。适用边界适合谁不适合谁这个 SDK 的卖点全离线要拆开看。它离线的是渲染与唇形驱动这条链路对话本身依赖的 LLM、ASR、TTS 并不在仓库内官方 FAQ 的答复是完全支持集成自定义或第三方服务——也就是说智能程度由你自己接的模型决定SDK 只负责把音频变成会动的数字人。几个事实供决策参考弱网或完全离线的播报、问答场景是它的主场这正是文档里反复强调不依赖服务器的原因定制私有形象走官方邮箱渠道官方说法是提供 15 秒到 2 分钟的视频即可完成流式音频边合成边播放、支持打断自 2025 年 7 月 17 日版本起提供官方给出的延迟数据是骁龙 8 Gen 2 上实测低于 120ms低端设备文档也承认特征提取速度可能跟不上播放速度可以用duix.setReporter()监控帧渲染信息是否达标建议在自己的目标机型上实测iOS 端有授权机制init返回 0 即未授权接入前先看文档第 8 节的回调定义。一句话收束Duix-Mobile 把数字人能不能离线跑从产品问题变成了工程问题——硬件档位、模型资源、PCM 格式三件事核对完剩下的就是按回调和 FAQ 排查仓库里的文档比宣传文案更有用。【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考