简介这份双目视觉FPGA代码资源面向图像处理、计算机视觉与硬件描述语言的学习者及工程开发者帮助其在FPGA平台上实现从图像采集到深度计算的全流程。内容围绕双目立体视觉原理展开涵盖图像采集接口、相机标定参数查询、特征匹配、半全局匹配SGM立体匹配、视差转深度及后处理、控制与接口等核心模块适合机器人导航、自动驾驶、无人机避障等实时性要求高的场景。资源包共151个文件约5.77MB以Verilog与VHDL源码vho、vhd为主体辅以C与头文件、ISE工程文件prj、xst、ise、综合与布局布线产物ncd、ngd、bit以及PDF说明文档完整呈现硬件工程的目录结构。目前已有634人学习下载。读者可借此理解双目视觉算法在FPGA上的并行化与流水线设计思路掌握模块划分、接口时序与工程约束方法为课程设计、竞赛项目或科研原型提供可参考的代码框架与排错线索。1. 双目视觉 FPGA 代码从「跑不通」到「跑得稳」的落地拆解双目视觉这套东西软件端用 OpenCV 跑个 SGBM 或者 BM 算法几行代码就能出视差图很多人以为搬到 FPGA 上无非是「换个平台」。真上手才发现摄像头同步、极线校正、匹配代价计算、视差后处理每一步在硬件里都是独立的时序问题软件里一个函数调用的事在 FPGA 里可能要拆成十几个流水线阶段。这份双目视觉 FPGA 代码资源核心价值就在于把「从双目图像采集到视差图输出」这条链路完整地落到了可综合的 RTL 层面而不是停留在仿真波形好看的阶段。它适合已经懂 Verilog 基础、想切入立体视觉硬件加速的工程师也适合做嵌入式视觉产品、需要在低功耗端侧跑深度感知的团队。如果你只是想在 PC 上看看视差效果这份代码可能偏重但如果你要的是能上板、能接摄像头、能出真实视差数据的工程底子它值得花时间拆一遍。2. 双目视觉 FPGA 链路的模块拆解从像素到视差的五个阶段2.1 为什么不能直接把 OpenCV 的 SGBM 搬到 FPGA软件端的半全局匹配SGBM依赖多方向动态规划每个像素要沿 8 个或 16 个方向做代价聚合中间需要缓存整行甚至整幅图的代价数据。放到 FPGA 里这意味着巨量的 BRAM 消耗和复杂的跨行依赖时序收敛会非常痛苦。常见做法是退一步用局部立体匹配算法比如 Census 变换加绝对差之和SAD或者 Census 加汉明距离。这类算法只依赖局部窗口天然适合流水线化资源可控延迟确定。这份代码走的就是 Census SAD 的路线匹配窗口通常取 5×5 或 7×7视差搜索范围在 64 到 128 之间可配。选型逻辑很直接先保证能跑起来、时序能收敛再谈精度优化。如果你一上来就追求 SGBM 级别的精度大概率会在布局布线阶段卡死。2.2 五个核心模块的职责与数据流整条链路可以拆成五个阶段。第一阶段是摄像头采集与同步通常用两个同型号的 CMOS 传感器通过 I2C 配置寄存器输出并行或 LVDS 数据。关键点是两路摄像头的曝光同步否则左右图亮度不一致Census 变换后噪声会明显增大。第二阶段是极线校正把左右图的行对齐让同名点在同一行上这样视差搜索只需在水平方向进行。校正通常用查找表实现预先算好映射关系运行时查表取像素。第三阶段是 Census 变换把每个像素的灰度值转成比特串增强对光照变化的鲁棒性。第四阶段是匹配代价计算与聚合在视差范围内逐像素计算汉明距离再做窗口求和。第五阶段是视差后处理包括唯一性约束、左右一致性检查、亚像素插值和中值滤波最后输出视差图。模块主要资源关键参数常见坑采集同步I2C 控制器、LVDS 接收曝光时间、帧率两路时钟域不一致极线校正BRAM 查找表映射表精度校正后边缘像素越界Census 变换移位寄存器窗口大小 5×5/7×7比特串位序写反代价计算DSP、BRAM视差范围 64/128视差搜索方向搞反后处理BRAM、比较器唯一性阈值中值滤波窗口过大2.3 一个可复现的 Census 变换代码片段下面这段代码是 Census 变换的核心逻辑把 3×3 窗口内除中心像素外的 8 个邻域像素与中心像素比较生成 8 位比特串。实际工程中窗口会扩到 5×5 或 7×7但原理一致。// Census 变换3x3 窗口生成 8 位特征串 // 输入pixel_window[8:0]中心为 pixel_window[4] // 输出census_code[7:0] module census_transform ( input wire clk, input wire rst_n, input wire [8:0] pixel_window, // 3x3 窗口行优先排列 output reg [7:0] census_code ); wire [7:0] center pixel_window[4]; always (posedge clk or negedge rst_n) begin if (!rst_n) census_code 8b0; else begin census_code[0] (pixel_window[0] center) ? 1b1 : 1b0; census_code[1] (pixel_window[1] center) ? 1b1 : 1b0; census_code[2] (pixel_window[2] center) ? 1b1 : 1b0; census_code[3] (pixel_window[3] center) ? 1b1 : 1b0; census_code[4] (pixel_window[5] center) ? 1b1 : 1b0; census_code[5] (pixel_window[6] center) ? 1b1 : 1b0; census_code[6] (pixel_window[7] center) ? 1b1 : 1b0; census_code[7] (pixel_window[8] center) ? 1b1 : 1b0; end end endmodule这段代码的逻辑说明pixel_window是 3×3 窗口的展平表示索引 4 是中心像素。每个邻域像素与中心比较大于等于则置 1否则置 0。参数说明比较阈值这里直接用中心像素值实际工程中有时会加一个小的偏置量来抑制噪声比如center 2。位序方面不同论文的排列顺序可能不同但左右图必须用同一套顺序否则汉明距离计算会出错。常见翻车点是窗口展平顺序和摄像头数据流顺序不一致导致特征串完全错位视差图出来是一片噪声。3. 匹配代价计算与视差后处理参数怎么设、资源怎么省3.1 汉明距离计算与窗口聚合的硬件实现Census 变换输出的是比特串左右图对应像素的匹配代价就是两个比特串的汉明距离也就是异或后数 1 的个数。在 FPGA 里异或操作几乎不耗资源但「数 1」需要用到加法树或查找表。对于 8 位比特串直接用一个 256 深度的查找表最省事一个 BRAM 就能存下。如果窗口扩到 5×5 或 7×7比特串变成 24 位或 48 位查找表就不现实了得用加法树逐级累加。// 汉明距离计算8 位比特串查找表实现 // 综合工具会自动推断为分布式 RAM 或 BRAM module hamming_dist ( input wire [7:0] a, input wire [7:0] b, output reg [3:0] dist ); wire [7:0] xor_result a ^ b; always (*) begin case (xor_result) 8b00000000: dist 4d0; 8b00000001, 8b00000010, 8b00000100, 8b00001000, 8b00010000, 8b00100000, 8b01000000, 8b10000000: dist 4d1; // ... 中间省略实际工程中写全 256 种情况或用 for 循环 default: dist 4d0; endcase end endmodule实际工程中不会手写 256 个 case常见做法是用for循环加移位累加或者直接调用综合工具支持的$countones系统函数如果工具链支持。参数说明dist的位宽取决于比特串长度8 位比特串最大汉明距离是 8需要 4 位24 位比特串最大是 24需要 5 位。窗口聚合阶段把窗口内所有像素的汉明距离加起来得到一个聚合代价。聚合窗口越大视差图越平滑但边缘细节丢失也越严重。我一般会从 5×5 开始试如果噪声明显再扩到 7×7但要注意 BRAM 消耗会成倍增加。3.2 视差搜索范围与资源消耗的权衡视差搜索范围决定了系统能感知的深度范围。范围越大近处物体的视差越大能测的更近但代价是每个像素要计算更多次匹配代价BRAM 要缓存更多行的代价数据。以 1280×720 分辨率、视差范围 128 为例每行需要缓存 128 个代价值每个代价值假设 8 位一行就是 1KB缓存 5 行就是 5KB BRAM。如果视差范围翻倍到 256BRAM 消耗直接翻倍。常见做法是先用 64 的视差范围跑通确认时序和功能没问题再逐步加大。另外视差搜索方向要和极线校正后的图像对齐左右图哪个作为参考图也要统一否则视差符号会反。3.3 后处理中的唯一性约束与左右一致性检查原始匹配代价算完后每个像素会得到一个「最佳视差」但这个结果里有很多误匹配。唯一性约束的做法是最佳代价必须比次佳代价小一个阈值否则认为该像素不可靠视差置为无效。左右一致性检查则是把左右图互换再算一遍如果左图算出的视差和右图对应点的视差差异超过 1也置为无效。这两个步骤能去掉大部分噪声但也会在遮挡区域留下空洞。常见做法是后续加一个中值滤波或空洞填充但中值滤波窗口不能太大3×3 足够5×5 会把细小结构抹掉。提示唯一性约束的阈值和左右一致性检查的容差需要根据实际场景调室内近距离场景可以严一些室外远距离场景要放宽否则有效视差太少。4. 双目视觉 FPGA 调试避坑五条血泪经验4.1 左右摄像头曝光不同步Census 特征全乱现象视差图整体噪声极大几乎看不出物体轮廓。原因两路摄像头虽然同型号但 I2C 配置时序有先后导致曝光起始时间差了几十毫秒左右图亮度不一致。Census 变换对亮度差异敏感亮度差超过一定范围后特征串完全对不上。解决用同一个触发信号同时启动两路摄像头的曝光或者在 I2C 配置完成后加一个软同步信号确保两路同时开始输出有效帧。调试时可以先把左右图分别存到 BRAM 里通过串口读出来对比亮度直方图。4.2 极线校正查找表越界边缘出现黑边现象校正后的图像边缘有一圈黑边视差图对应区域全是无效值。原因极线校正的映射关系在图像边缘处可能超出原始图像坐标范围查找表没有做边界处理取到了无效地址。解决在查找表中对越界坐标做钳位或者把校正后的有效区域裁掉几个像素。常见做法是校正时预留 8 到 16 像素的边界后续视差计算只处理有效区域。这个坑在仿真阶段不容易发现因为仿真用的测试图往往没有边缘问题上板接真实摄像头才暴露。4.3 视差搜索方向搞反深度图远近颠倒现象视差图能出来但近处物体视差小、远处物体视差大和物理规律相反。原因左右图在匹配时的参考关系搞反了或者视差搜索的起始方向设错。双目视觉中左图作为参考图时同名点在右图中应该向左偏移视差值为正如果代码里把右图当参考图视差符号就反了。解决确认代码中哪个图是参考图检查视差搜索的循环方向。调试时可以用一个已知距离的标定板看视差值和距离是否成反比。4.4 BRAM 消耗超预期布局布线失败现象综合能过但布局布线阶段报 BRAM 不足或者时序无法收敛。原因视差范围设得太大或者窗口聚合阶段缓存了过多行数据。很多人低估了 BRAM 的消耗速度以为 1280×720 分辨率下缓存几行没问题实际上视差范围 128 时每行代价缓存就要 128×8 位多行叠加后很容易吃满。解决先降低视差范围到 64 跑通确认资源余量后再逐步加大或者用分布式 RAM 替代部分 BRAM但分布式 RAM 会消耗 LUT需要权衡。另一个技巧是把代价数据位宽从 8 位压缩到 6 位精度损失可接受BRAM 消耗直接降 25%。4.5 时序约束漏写上板后视差图间歇性错乱现象仿真完全正确上板后视差图大部分时间正常但偶尔出现整帧错乱。原因跨时钟域信号没有做同步处理比如摄像头像素时钟和系统时钟之间的数据传递缺少双触发器同步或异步 FIFO。这种问题在仿真中很难复现因为仿真时时钟关系理想上板后时钟抖动和相位差才会暴露。解决所有跨时钟域信号必须加同步器数据量大的用异步 FIFO。时序约束文件里要把摄像头输入时钟、系统时钟、输出时钟都约束清楚不要漏掉任何一条。注意上板调试时先用一个简单的测试图案比如棋盘格验证整条链路不要一上来就接真实场景。棋盘格的视差图规律性强容易判断哪一级出了问题。5. 进阶技巧用在线仿真验证视差精度与资源余量代码跑通只是第一步真正要落地还得验证视差精度和资源余量。我一般会在综合前先做一次行为级仿真用 MATLAB 或 Python 生成一对标准立体图像比如 Middlebury 数据集里的场景把像素值写入文本文件再用 Verilog 的$readmemh读入作为激励。仿真输出视差图后和软件端算出的参考视差图做对比统计有效像素比例和平均误差。这一步能提前发现算法层面的问题避免上板后反复烧录。# 用 Python 生成仿真激励文件 # 假设 left.png 和 right.png 是校正后的立体图像 python3 -c import cv2 import numpy as np left cv2.imread(left.png, 0) right cv2.imread(right.png, 0) np.savetxt(left_pixels.txt, left.flatten(), fmt%02x) np.savetxt(right_pixels.txt, right.flatten(), fmt%02x) print(像素数:, left.size) 这段脚本把图像像素转成十六进制文本Verilog 测试平台用$readmemh读入。参数说明fmt%02x保证每个像素两位十六进制对应 8 位灰度。如果图像是 10 位或 12 位格式要相应调整。仿真时注意测试平台的时钟周期要和实际约束一致否则时序验证没有意义。资源余量的验证则依赖综合报告。我习惯在综合后重点看三项BRAM 使用率、DSP 使用率、LUT 使用率。BRAM 超过 80% 就要警惕布局布线阶段可能因为拥塞导致时序恶化。DSP 一般不会成为瓶颈因为 Census 和汉明距离计算主要是逻辑运算。LUT 使用率超过 70% 时要考虑是否把部分逻辑改成查找表实现。如果资源实在紧张可以降低分辨率或视差范围这两个参数对资源的影响最直接。验证项工具合格标准不达标时的调整视差精度MATLAB/Python 对比有效像素70%平均误差2调整 Census 窗口或聚合窗口BRAM 余量综合报告使用率80%降低视差范围或压缩位宽时序收敛布局布线报告无负 slack加流水线或降低时钟频率上板稳定性实际运行连续运行 1 小时无错帧检查跨时钟域同步从那以后我每次拿到一份新的 FPGA 视觉代码都强制走一遍「仿真激励生成 → 行为级仿真 → 综合报告检查 → 上板测试图案」这个流程不跳过任何一步。很多坑在仿真阶段就能暴露比上板后拿示波器一根根查信号线省事得多。希望帮到你。本文还有配套的精品资源点击获取