《文渊慧典》开发手记之四开发目的——小菜“大胖老师咱们做的系统有没有可能复杂到只有咱俩会用”——大胖老师“那不叫系统那叫学术遗产专门留给下一届学生猜谜用的。”一、一场发生在阅览室的真实对话在经历了商业软件的血泪史和国际调研的眼界大开之后大胖老师和小菜终于坐下来开始认真琢磨“文渊慧典”到底要做成什么样。为了找灵感大胖老师决定深入基层去自家学校图书馆的古籍阅览室实地考察。小菜抱着笔记本跟在后面准备记录需求。两人刚进门就听见管理员王大姐在接电话“喂什么你要查清代地契……对我们有但只能看扫描图没文字的。……你问怎么搜没法搜啊得一页一页翻图。……对跟翻相册似的一本八百多页呢。……什么你问我有没有别的办法孩子我要有那神仙办法我早就发Nature了。”挂了电话王大姐看见大胖老师像见了救星“胖教授你可算来了你们那个什么OCR能不能快点搞出来我这儿天天接这种电话读者问我要文字版我说没有问我能复制吗我说不能问我能全文搜索吗我指指头顶的老吊扇说它比我还沉默。”大胖老师笑着安慰“别急就是为了这个来的。王姐我问你如果我们给你一套系统你希望它是什么样”王大姐脱口而出“最好是那种我把图片拖进去它就自动把字吐出来什么都不用我调。别让我输什么命令我连拼音输入法都二指禅。也别让我上传到什么云上馆长说了古籍图片不能出馆。还有别让我再配什么显卡我用的这台电脑还是2015年的联想开机得三分钟只能办公打不了游戏。”小菜在一旁飞速记录逐渐意识到他们面对的最终用户不是985的博士不是硅谷的极客而是千千万万个“王大姐”——全国图书馆、文献馆的普通馆员。这些人中很多人一辈子没敲过一行命令没装过一次Python环境甚至不知道什么是终端。但她们手里握着最珍贵的文献也最清楚读者的需求。大胖老师把王大姐的话浓缩成一句扎心的真相“如果一套系统需要使用者先去B站学三天Python那它的命运就是躺在硬盘里吃灰跟那些古籍一起变老。”二、那些被“高冷技术”伤害过的图书馆为了坚定自己的信念大胖老师又讲了几个他亲眼所见的“数字化惨案”。惨案一某市图书馆的“黑屏事件”2019年某市图书馆花三万元买了一套古籍OCR软件据说是某高校实验室的成果。安装那天来了两个研究生噼里啪啦敲了一通命令终于跑起来了。馆员们还没来得及高兴研究生毕业了。后来系统出了个小bug馆员打电话求助对方说“这个项目已经结题了你们自己看文档吧。”文档是英文的术语一大堆。馆员试着在百度上搜解决方案结果越搜越怕——差点把系统整崩溃了。最后那台电脑成了“禁地”谁也不许碰上面的系统至今没再跑过屏幕永远是黑的。小菜听着心疼“这不是买软件是买了个定时炸弹。”惨案二某县馆的“云端惊魂”2021年某县图书馆用上了一家商业云OCR服务上传扫描件自动识别确实方便。直到有一天县里搞保密检查发现他们把一批未公开的民国档案传到了公有云。馆长吓出一身冷汗连夜联系客服删除数据客服回复“已为您提交工单预计7个工作日内处理。”那7天馆长瘦了5斤。从此之后该县馆定下铁律所有数字化数据一概不许出本馆局域网。大胖老师总结“技术先进不代表适用。图书馆的需求不是求新求快而是求稳、求安全、求无人值守也能跑。说白了他们要的是一台‘傻瓜相机’按一下就出片别让我调光圈快门ISO。”三、大胖老师的“三不原则”在充分调研了“王大姐们”的真实处境后大胖老师在项目组内部宣布了著名的“三不原则”。小菜当时听了觉得这老爷子倔得可爱后来系统落地时才发现每一条都救了大命。原则一不让用户碰命令行大胖老师说“你们记住任何一个面向普通馆员的工具只要出现黑底白字的命令行界面就输了。输的不是技术是人心。馆员们会下意识觉得‘这东西不是我该用的’然后产生恐惧。我们要让系统像微波炉一样——按‘开始’就转别让我选火力。”为此他们决定用Gradio搭建Web界面所有操作都在浏览器里完成上传文件、点击识别、下载结果。界面设计得像老年手机一样按钮大、文字清楚、逻辑一目了然。小菜提出疑问“可是有些高级参数比如置信度阈值万一专家想调呢”大胖老师答“那就藏在一个‘高级设置’的小箭头里默认折叠。让小白看不见让高手找得到。这叫‘上下兼容’。”原则二不让数据出局域网“很多商业OCR要求联网把图传上去云端识别再传回来。这事在王大姐那儿就过不了在保密单位更是一票否决。”大胖老师敲着桌子“我们的系统必须全部离线运行。OCR引擎跑在本地CPU上模型文件下载一次永久使用识别结果存本地硬盘。就算断网也得能正常干活。”小菜有点担忧“全部本地的话怎么自动更新模型呢”大胖老师早有对策“我们可以做一个离线更新包馆员从官网下载U盘一插点‘导入更新’就完了。像早些年给电脑装系统补丁一样不联网也能升级。”原则三不挑硬件不吃“显卡饭”“2016年之后AI圈有个坏风气——动不动就说‘需要一块英伟达显卡’。可你去县图书馆看看他们用的电脑大多是政府采购的办公机集成显卡内存4G硬盘还是机械的。”大胖老师掰着手指算“如果我们的系统要求GPU就等于把90%的潜在用户拒之门外。古籍又不等着显卡降价咱们不能成为数字鸿沟的帮凶。”于是他们定下硬指标在5000元以下的普通办公电脑上处理一页A4古籍的时间不超过10秒。CPU推理利用PaddlePaddle的MKLDNN加速库把效率优化到极致。小菜测试时用自己那台二手笔记本跑一页7秒大胖老师满意地点了点头“这速度比王大姐泡杯茶还快。”四、“傻”到极致是一种慈悲听完“三不原则”小菜内心有点复杂“大胖老师我们做这个系统技术上好像没什么惊天动地的创新感觉有点‘土’。”大胖老师笑了“我给你讲个故事。2018年拼多多上市很多人嘲笑它low界面土东西便宜。但它做对了一件事让农村老太太也能用手机购物。这就是‘普惠技术’的力量。我们现在做的就是古籍界的拼多多——不让一块钱的价格门槛挡住一百万本古籍的数字化。土怎么了接地气的东西命最长。”他还举了一个更近的例子“2020年疫情健康码横空出世一开始很多老年人没有智能手机出门寸步难行。后来国家要求必须出‘适老版’大字、语音播报、离线码。你发现没技术发展到最后拼的不是谁更高深而是谁更懂得照顾那些被落下的人。我们要做的就是古籍数字化的‘适老版’。”小菜被说服了。他想起王大姐接电话时无助的语气想起那些放在库房无人问津的孤本想起暴雨中泡烂的纸浆。一个系统真正的价值不在于它用了多少层神经网络而在于有多少本发黄的老书因为它的存在而被一个人读到、检索到、复制粘贴进论文里。那天晚上小菜在项目文档里写了一句话后来被大胖老师印在了墙上“让技术的门槛低到泥土里文化的根系才能扎到云霄上。”五、开发目的最终陈述经过这番讨论他们终于把“文渊慧典”的开发目的凝练成正式的文字写进了项目章程攻克中文古籍竖排繁体OCR的核心痛点实现高精度文字识别准确率≥90%覆盖常用古籍版式。完全本地化部署数据不出馆满足安全与版权要求消除图书馆的后顾之忧。极低使用门槛Web图形化操作无需命令行无需GPU普通办公电脑一键安装馆员经10分钟培训即可独立操作。完全开源免费采用Apache 2.0协议开放源代码避免厂商锁定社区共建持续进化。标准化输出生成符合国际通用格式的双层PDF、ALTO XML等便于后续对接其他数字图书馆系统。小菜看着这份目的挠挠头“我们这么实在会不会显得不够‘高大上’”大胖老师把保温杯往桌上一墩“高大上高大上的东西都在PPT里。我们要的是明天早上王大姐双击桌面图标就能把自己馆的镇馆之宝变成可检索的电子书。那一刻她不会想起什么神经网络、CTC解码她只会‘嘿’一声然后打电话告诉读者‘孩子你要的那份地契我搜到了。’这才是我们做这件事的全部意义。”六、下一站技术架构的血肉填充目标已定原则已明。接下来大胖老师和小菜将进入最硬核的部分——设计“文渊慧典”的技术架构。他们要面对的问题包括PDF怎么无损转图版面分析如何对付双行夹注CPU上怎么让识别速度飞起来双层PDF的隐藏文字层怎么压得又准又不影响阅读小菜摩拳擦掌大胖老师拧开第三杯枸杞水准备开讲。窗外天色已暗实验室的灯光下一块白板即将被画满密密麻麻的流程图。而千里之外某县图书馆的王大姐正随手翻着一本康熙县志她不知道一群愿意为她“把技术做土”的人正准备打响一场没有硝烟的“古籍解放战争”。本文为注水技术版您看看即可不必当真写此文字就是图一乐-