如果你做过跨境电商大概率碰到过这么一种让人抓狂的情况商品详情图、主图海报、包装示意图上面全是外文但原文件早已不知道扔到哪里。想把它“汉化”一下让目标市场的用户一眼看懂结果从翻译工具里把文字抄下来直接盖上去怎么看怎么违和。之前我给某跨境团队盯过一阵子视觉本地化从纯手工擦字到上 OCR 和 Inpainting把整套流程跑成了半自动流水线。今天不聊那些虚的概念就说说图片汉化为什么这么难OCR 和 Inpainting 这两项技术各自扮演什么角色以及一条真正能落地的处理流程。文章偏实操不少经验是我反复踩坑试出来的希望能给正在做同类事情的人节约一点时间。1. 图片汉化这件事难在哪1.1 一张外文商品图要经过多少道关先看一张典型商品图一只白色包装瓶瓶身正中印着英文名称、一行功能说明底部还有品牌名。目标市场是中文用户你要把这几个英文全换成中文同时让人看不出来是改过的。这里面至少有四道工序。第一找到图上所有文字的位置并把内容读出来这就是 OCR。第二把原文字“抹掉”而且抹完之后背景要自然、不能留印子这是图像修复。第三把文案翻译成本地语言不能是机翻直译必须贴合商品营销语境。第四把新文字按照原图的布局、字体风格、透视关系放回去再整体校验。听起来不复杂但每一步都有一堆细节往下掉。因为文字不是独立图层它是被压在图里的像素你要先分离它再重构被它遮挡的像素最后把新内容“合成”进同一个视觉结构里。任何一步粗糙成品就会露出破绽。1.2 为什么不能只靠翻译软件直接 PS很多人第一反应是不就几个字吗我用 PS 橡皮擦掉再打一排字上去不就完了。如果你只处理一两张背景干净、文字又小的图那确实可以。但电商图的文字通常压在产品主体上或者落在渐变背景、纹路、高光区域手工擦除很容易留下模糊的色块。更麻烦的是包装类图片。瓶身表面是曲面文字会跟着透视弯折你直接复制粘贴一排中文进去横不平竖不直一眼就是“P 上去的”。另一个现实问题是批量。一个上架周期可能要改几十上百张图每张全靠手工根本接不住。表面上看是缺图片处理工具实际上缺的是一套流程——能把检测、修复、翻译、排版批量跑起来。这才是 OCR 和 Inpainting 进入这个场景的价值。OCR 负责“读”Inpainting 负责“擦”配合翻译和排版才能形成真正可复用的流水线。2. 技术地基OCR 和 Inpainting 分别解决什么2.1 OCR 的核心工作流程与选型思路OCR光学字符识别在电商图汉化里第一件事不是直接翻译而是把原图里的文字区域定位出来同时把字符序列识别出来。它的基础流程大概分几步图像预处理缩放、去噪、纠偏、文字检测找到文字行的边界框、文字识别把框内图像映射成字符序列、后处理把识别结果按行合并、还原段落结构。在工具选型上需要考虑的因素一般有五个多语言支持、不规则文字能力、推理速度、批量接入成本、是否可以离线部署。如果只是内部运营偶尔改几张图用在线 OCR 接口最省事如果要做自动化系统最好选择可以本地或私有化部署的开源 OCR 方案至少能减少把商品图传到外部服务的顾虑。这里我想强调一个容易踩的坑很多 OCR 接口返回的是“文字框 置信度 识别文本”但框通常是一个矩形。电商图中的文字经常倾斜、弯曲甚至绕着产品轮廓走矩形框会把背景也包进去后续做 Inpainting 时白色 mask 区域就会偏大。所以预处理里最好先做方向检测对倾斜角度大于某个阈值的图先旋转校正或者使用能输出多边形文字框的检测模型。实测下来把检测框调准后面所有环节都会省心很多。2.2 Inpainting不是简单涂掉而是合理“脑补”Inpainting图像修复的核心目标是把一块被文字遮挡的区域还原成“从未有过文字”的样子。它要做的不是把颜色涂满而是根据周围的纹理、结构、光照方向推测出被遮挡区域的合理内容。按技术路线分大致有两类。一类是传统扩散式修复。它基于边缘和等照线方向不断向外扩展把周围像素的信息“扩散”进空白区域。计算很快适合背景比较平缓、纹理不复杂的图比如纯色墙面、大面积色块包装。但对于有规律纹理、复杂结构的图比如木纹、布料褶皱、密集文字排布扩散式修复就容易糊成一片。另一类是深度学习修复模型。它通过学习大量真实图片能在缺失区域补出更合理的结构包括面对复杂背景时能“脑补”出合理的纹理延续效果比传统方法自然得多。代价是需要 GPU 推理批量处理时间也更长。实际项目里我不会只押一种方案。小面积、背景干净的 mask 用传统算法面积大或背景复杂的区域用深度学习模型两者组合起来速度和效果都能兼顾。这个判断逻辑在第三节的流水线里会反复出现。3. 一条可落地的汉化处理流水线3.1 步骤一检字抠字把文字区域“圈”出来第一步是生成 mask。你在原图上把每个文字区域标出来后续 Inpainting 只处理这块区域其他位置保持原样。这个环节的关键不是“识别得准不准”而是“框得干不干净”。拿到原始商品图后先统一处理成适合 OCR 输入的尺寸。一般我会把最长边缩放到 2000 像素左右既保证检测精度又不会让模型跑太慢。如果图上文字很小可以分段放大局部区域单独识别避免全局缩放把细节抹掉。OCR 检测返回的结果通常是文字行的四个角点或一个矩形框。你需要把这些坐标转换成一张二值 mask文字区域设为白色其余为黑色。这里有个比较容易忽略的细节识别模型给出的框通常是贴住字体的但 Inpainting 需要覆盖完整的笔画尤其是带投影、描边、发光效果的文字。我习惯把检测框向外扩展一点低分辨率图统一定为 2 到 4 个像素高分辨率图按字号大小的 3% 到 5% 扩展。扩展后对 mask 做一次轻微羽化边缘不要太硬后续修复过渡会更自然。如果图上文字有倾斜或者旋转不要直接在原图上做 mask。先按检测到的倾角旋转校正等修复完成后再把新文字放到旋转后的坐标里最后恢复原角度。这样做能减少很多“文字变形”问题。3.2 步骤二用 Inpainting 干净地抹除原文字mask 画好了接下来就是真正的“擦字”环节。我会先把手上的文字区域按面积和背景复杂度分成两类。面积很小、背景又是纯色或渐变色的直接走传统扩散式修复秒出结果。比如包装盒上一个小小的“净含量300ml”瓶身背景是白色传统算法一两秒就能处理干净。面积大、背景带木纹、大理石纹、多色渐变或密集细节的就交给深度学习模型。这类区域用传统算法往往会把纹理抹平出现类似“磨砂玻璃”的糊感成品一眼假。在正式修复前可以先把需要修复的局部区域裁剪出来单独送入模型再把修复完的补丁贴回原图。这么做的好处是避免整张大图送入模型导致显存压力大、推理慢。贴回时的边缘融合一定要做用盖亚模糊或拉普拉斯融合都可以不然原图与修复区域之间会有明显的接缝。还有一个被很多人忽略的操作修复顺序。如果一张图上有多个文字区域而且某些区域离得很近我建议把所有区域合并到同一张 mask 里一次修复而不是一个框一个框分别修。分开修的话模型会分别做判断两个修复区域之间容易出现不一致的光影。合并修复则能让模型把周围背景当作一个整体来生成前后关系更统一。修复完成后必须放大到 100% 到 200% 检查残留。很多时候你以为擦干净了但文字笔画边缘还会留一圈淡淡的“阴影”这就是 mask 没有完全覆盖描边效果导致的。解决办法很简单扩大 mask 再跑一次一般第二次就能干净。这个阶段不要怕多试几次Inpainting 的结果好坏一半靠模型另一半靠 mask 质量。3.3 步骤三本地化文案翻译与排版渲染文字擦干净了接下来要做的不是直接把翻译结果扔上去而是先想清楚目标市场的表达习惯。直译和本地化之间的差距在电商图里特别明显。举个例子原图上写着“Glow Care”如果直译成“发光与护理”既生硬又不像商品文案。当地店铺通常会写成“焕亮养护”“光感呵护”这类更贴近消费场景的说法。翻译完成之后是排版。排版的第一个约束是空间位置新文字只能放在原文字所在的矩形区域内不能随意溢出。中文字符和英文字符的宽度不一样同样一句话中文往往比英文更紧凑但也可能因为语义不同而变长。你需要根据原文的视觉层级决定新文字的字号、字重、行距。这里有一个比较实用的顺序先确定新文案在区域内是否放得下。如果放不下先精简文案把修饰性词语砍掉保留核心卖点。如果还是放不下再考虑缩小字号。但尽量不要把字号缩到原文字的一半以下视觉权重会明显变轻。字体选择也很关键。电商包装图上的原文字通常有明确的品牌气质有的偏极简无衬线有的偏手写风格。中文没有完全一一对应的字库时至少要找到风格接近的字体。默认的宋体、黑体不是不能用但容易显得“官方”“模板”用在美妆、零食、家居这类品类里会有点出戏。字体文件加载如果是在线场景记得做子集化只提取用到的字符不然一个字体文件几十兆会让页面很吃力。如果原文字位于包装的曲面表面新文字也要做同样的透视或变形处理。把文字栅格化成图层后做一个轻微的仿射变换甚至液化让字体贴合瓶身弧线。这一步做得好图片的真实感会大幅度提升。3.4 步骤四质量检查和细节修正所有步骤都走完成品不是直接就能用。我会强制自己过一轮“双层检查”。第一层是文字层检查目标语言有没有错别字术语是否正确数字、计量单位有没有换算对排版有没有被产品边缘遮挡换行有没有产生奇怪的断词。有些小语种如德语、法语单词很长自动换行后经常出现单词中间断开的丑态需要手动干预。第二层是视觉层检查把成品图与原图交替叠放对比重点看修复过的区域与周围环境是否在颜色、亮度、纹理细节上保持一致。我会把图片缩到 50% 看整体协调性再放大到 150% 看局部瑕疵。修复区域如果颜色偏灰、偏亮或出现规律性条纹就要倒回去调整 mask 或换一种修复模型。如果图片数量多建议建一个小型评估集把高频出现的背景类型和文字样式各抽几张先跑一遍流程确认质量稳定后再批量处理。这个评估集会成为后面所有参数调整的基准能避免每次上线前临时发现“这一批图全都修糊了”的悲剧。4. 实战中躲不开的坑与排查技巧4.1 常见问题速查表问题可能原因解决方法OCR 漏检文字文字与背景对比度低艺术字体变形大预处理增强对比度、锐化分块放大后再次识别检测框包裹背景太多使用矩形框检测倾斜/弯曲文字先旋转校正或改用多边形文字检测模型Inpainting 后出现明显模糊mask 太小原文字边缘未被覆盖扩大 mask 范围并做轻微羽化修复区域有重复纹理背景是规律纹样传统算法产生伪影换深度学习修复模型或裁出局部区域单独修复新文字溢出原区域译文太长原空间放不下精简文案缩短核心卖点再缩小字号避免牺牲可读性新文字与背景不融合缺少投影、外发光等环境效果根据原图光线给文字加投影或叠加透明度批量处理时某几张图特别慢图片尺寸过大或修复模型单张推理超时预处理统一到合理分辨率超时任务降级到传统算法重试4.2 几条值得记住的避坑策略先说 mask 这个问题。很多人觉得 Inpainting 拼的是模型但实际项目里最终效果受 mask 准确度的影响非常大。mask 太紧原文字笔画会残留mask 太松修复区域会包含过多无关背景导致模型“发挥”过度生成的纹理和周围不匹配。我的经验是宁可稍微紧一点加一轮检查也不要一次性给一个大得离谱的蒙版。第二点不要把翻译、排版和修复割裂开。最常见的工作流是“左边做修复右边做翻译最后再拼版”结果等拼版时发现翻译文本太长把修复区域撑爆了只能重新缩字重做。更合理的顺序是先完成翻译得到最终文案长度再据此评估原文字区域是否能容纳新内容。如果放不下在修复之前就该决定是精简文案还是调整原图构图。第三点批量处理时一定要保留元数据不要只输出一张成品图。每个文字框的坐标、识别出的原文、翻译结果、使用字体和字号都应该存成结构化数据。这样做的好处有两个一是后续你发现翻译错误不需要重新跑整张图片直接改文字层重新渲染二是可以沉淀出一套“该品类图片的文案规范”后面新图进来直接套用。第四点低分辨率图片不要强求完美。很多网红商品在国外平台只有 400 像素宽的小图你放大到 2000 像素后原文字边缘早就虚了修复模型很难凭空造出清晰纹理。遇到这种图我通常会优先保证“整体干净”而不是追求“细节完美”。宁可把文字区域做简单处理也不能让修复痕迹变成用户注意力焦点。5. 自动化方向与工具选型心得5.1 从单张处理到批处理 Pipeline单张图片的手工流程一旦跑顺你自然就会想把它自动化。一个典型的批处理 Pipeline 大致是这样的读取图片队列逐张执行预处理和 OCR将识别结果连同图片路径、外文内容、检测框坐标写入任务记录接着调用翻译接口把原文批量翻译成目标语言翻译完成后按照预设的排版规则把译文渲染成文字图层随后生成 mask执行 Inpainting最后把文字图层与修复后的背景图合成输出成品同时把质量检查标注也一并落盘。步骤之间最好解耦。OCR 结果和 Inpainting 结果不要混在一个服务里因为项目初期你会不停调其中某一个环节的模型或参数。把每一步做成独立函数输出统一为“图片 元数据”结构后面换组件时就不会牵一发动全身。异步任务调度也要提前想好。电商图片处理通常不是实时的用消息队列把任务转成异步批次最合适。某一张图 OCR 识别失败不需要终止整个队列把它标记为待重试让另一条线程把失败原因单独记下来。实测下来一万张图里大概会有 3% 到 5% 因为艺术字体、复杂背景等原因需要人工介入这部分做好降级策略能省掉大量人工盯盘时间。5.2 我的选型建议与成本权衡先说结论没有一套方案能同时满足所有场景大概率需要混搭。如果只是运营团队内部少量修图我建议用在线 OCR 接口加传统 Inpainting 算法再配合人工排版成本最低也不需要 GPU。单张处理时间基本在一分钟内图片量不大时完全够用。如果是每月几千张图的规模化需求就值得搭建一套带深度学习修复模型的 Pipeline。OCR 部分可以继续使用在线接口也可以考虑自建开源模型Inpainting 部分一定要上能处理复杂背景的深度学习模型。虽然推理需要 GPU但分摊到单张图上的成本比人工修图低一个数量级。而且模型推理的稳定性很高不会像人工一样受到情绪、疲劳影响。还有一类场景是平台方需要提供批量视觉本地化能力那就不只是处理技术的问题了。还要考虑权限控制、素材版权合规、动态模板管理以及如何让非技术运营也能操作。这种项目我一般会分三步走第一阶段把“OCR Inpainting 翻译”的工具链打通第二阶段做模板化和批量调度第三阶段再开放给运营自助使用。一次性铺得太大很容易因为各方需求混乱导致项目烂尾。成本上有一个容易低估的点Inpainting 的 GPU 资源消耗和 mask 面积直接相关。如果整张图一次送入模型即使只有一小块文字也会消耗大量算力。把图像裁剪成局部 patch 再推理可以显著降低单图成本。另外开源模型和在线服务并不是非此即彼的关系可以先小流量测试开源模型让稳定性和效果跑一段时间再决定是否全面切换。最后说点个人体会图片汉化做到后期我最大的感受是瓶颈往往不在技术本身而在质量把控和审美判断。同样的 OCR 和 Inpainting 工具有人只能做出“能看懂”有人可以做出“像原图一样自然”差距就在对细节的敏感度上。我建议每个团队在正式开始批量前先攒一个覆盖面比较广的测试集把纯色背景、复杂纹理、曲面包装、多语言混合这些典型情况都放进去。跑通之后再回头调整流程你会发现后面每一次迭代都有清晰的目标。如果你正在被这类问题折磨不妨先从小批量样品开始把单张流程跑顺再谈自动化。这条路最大的价值不是省了几个人力而是把图片本地化从“碰运气”变成了“可预计”。