InsightFace gaze 模块视线估计完整指南一次 160×160 推理输出 3D 视线向量【免费下载链接】insightfaceState-of-the-art 2D and 3D Face Analysis Project项目地址: https://gitcode.com/GitHub_Trending/in/insightfaceInsightFace 是一个 2D/3D 人脸分析开源项目其reconstruction/gaze目录下的 gaze 模块对普通人脸图像做视线估计一次 160×160 裁剪推理即可输出 3D 视线向量适合驾驶员注意力监测等需要回答人在看哪里的场景。 效果速览一张 160×160 裁剪如何变成 3D 视线向量输入 → 输出只有一句话输入是一张原图无需手动裁剪眼部输出是左右眼各一个、带两个角度theta_x、theta_y的 3D 视线向量。脚本test_gaze.py会把结果画出来——从眼睛位置沿视线方向画一条线线的指向就是估计结果。下面这张仓库测试集里的单人脸样例图放进assets/images/后就可以直接作为 gaze 推理输入。 快速上手gaze 从 clone 到推理的完整步骤第一步克隆仓库git clone https://gitcode.com/GitHub_Trending/in/insightface第二步装依赖。版本按 README 的要求钉住pip install timm pytorch-lightning1.8.1 albumentations1.3.0第三步权重与非代码资源放置README 的 Preparation 清单这步最容易漏eyes3d.pkl481 点眼部模板放入assets/预训练 ckptREADME 示例名latest_a.ckpt放入assets/若干单人脸样例图放入assets/images/test_gaze.py的主流程就是遍历这个目录第四步单条命令跑通输出会写到outputs/每张图生成原图 结果图左右并排文件cd reconstruction/gaze python test_gaze.py assets/latest_a.ckpt 原理链路962 个眼部关键点如何回归出视线向量先跑通再讲原理。整条链路只有三步对齐 → 一次推理 → 后处理没有任何分割或跟踪环节。第一步眼睛如何被对齐到固定的 160×160 裁剪这像自动证件照亭不管你转头转得多离谱机器会先把摄像头位置调正让照片里的人始终待在同一个位置。GazeHandler先用FaceAnalysis检测器det_size(320, 320)拿到人脸框和 5 个关键点再以双眼中点为中心做仿射变换裁出 160×160self.input_size 160 # 网络输入分辨率 aimg, M face_align.transform(img, center, self.input_size, _scale, rotate)矩阵 M 不是用完就扔预测出的关键点之后要用它的逆矩阵映射回原图坐标保证画线不偏移。见 test_gaze.py。中间步timm 骨干直接输出 962 个 3D 坐标它像牙模打印机不先把牙齿、牙龈一个个拼起来而是把整副模型一次性打印出来。网络不区分虹膜、瞳孔、眼睑而是把 timm 骨干的分类头直接换成 962×3 的回归头——左右眼各 481 个点self.backbone timm.create_model(backbone, num_classes481*2*3) # 默认 resnet101d loss torch.mean(loss) * 20.0 # L1 损失z 轴权重减半默认骨干resnet101d在 trainer_gaze.py 里指定。训练侧还挂了一串模拟车载环境的增强ColorJitter(brightness0.3)、ISONoise(p0.1)、MotionBlur(5-13)、ImageCompression(10-90)出处见 models.py 和 dataset_gaze.py。最后一步虹膜质心偏移换算成视线向量这像读表盘指针看针离表盘中心偏多远、朝哪个方向偏就能读出角度。这里的针是虹膜关键点组表盘中心是前 32 个眼部轮廓点的质心。预测点先解码x、y 加 1 再乘input_size // 2z 乘 10.0然后每只眼做一次质心偏移并归一化vec (eye[iris_lms_idx] - eye[:32].mean(axis0)).mean(axis0) vec / np.linalg.norm(vec, axis0) # 归一化为单位视线向量向量再经arctan2转成 theta_x、theta_y 两个角度cv2.line从虹膜中心沿该方向画出线段。同样在 test_gaze.py 的angles_from_vec中实现。 已公布与未公布检测基准 vs 视线指标gaze 模块本身没有公布任何基准数字仓库里唯一的性能数据来自 cpp-package 的人脸检测基准可作为链路前半段检测 对齐的时延参考指标环境/设备数值Face Detect 160Mac mini 2023M2CoreML FP320.53 msFace Detect 320iPhone 13A15CoreML FP321.32 msFace Detect 320RTX 3060TensorRT FP162.37 msgaze 160×160 单图推理耗时GPU未公布视线估计角度精度—未公布README 仅展示定性结果图数据取自 Benchmark-Remark(Updating).md.md)。另外160 是代码里的默认输入分辨率调大输入可提升远距离人脸的视线精度但推理成本随分辨率上升建议先用默认值验证端到端时延。⚠️ gaze 的依赖、资源文件与数据格式三个部署问题问题一timm 版本漂移依赖版本。现象加载assets/latest_a.ckpt时出现形状不匹配或找不到resnet101d。原因README 只钉住了pytorch-lightning1.8.1和albumentations1.3.0timm 未固定版本而 timm 跨版本会调整模型命名与参数形状。建议先用能成功加载官方权重的版本组合验证再把 timm 版本锁死之后才动其他依赖。问题二assets/ 资源文件缺失资源文件。现象启动即报FileNotFoundError或脚本空扫assets/images/直接结束。原因eyes3d.pkl与预训练 ckpt 都是仓库之外的非代码文件需单独下载样例图也必须自备到assets/images/。建议对照 README 的 Preparation 清单逐项打勾。问题三训练数据不是普通图片目录数据格式。现象GazeDataset初始化直接报错。原因训练集是 MXNet recordio 格式train.rec/train.idx每个样本的 label 是 962 个 3D 眼部关键点直接喂图片目录会失败。建议想自行重训时先按同格式构建 recordio 数据包。收束gaze 模块未公布精度与推理基准默认骨干 resnet101d 较重适合能接受单次前向时延的场景。后续更新建议持续关注reconstruction/gaze目录。【免费下载链接】insightfaceState-of-the-art 2D and 3D Face Analysis Project项目地址: https://gitcode.com/GitHub_Trending/in/insightface创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考