后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载本文聚焦 xberg 项目 C FFI 层中的验证器Validator枚举接口xberg_list_validators一个从 C 语言侧列出全部已注册验证器插件名称的最小调用示例以及它在 Rust 核心插件注册表中的真实调用链、线程本地返回长度伴生函数、内存释放约定和错误处理机制。读完本文你将能够独立编写并调试 C 侧验证器查询代码并理解 xberg 验证器插件的优先级注册与执行模型以便为文档抽取流水线搭建质量门禁。一、验证器在 xberg 插件体系中的定位xberg 是一个以 Rust 为核心的多语言文档智能库除了提取器、OCR 后端、嵌入模型等插件类别外还内置了验证器插件系统。验证器用于在文档抽取完成后对结果做质量、完整性或合规性检查。与后处理器post-processor不同验证器的错误是致命的fail fast——只要某个验证器返回错误整个抽取流程立即失败并向调用方抛出异常。源码注释中给出的典型使用场景包括Quality Gates确保抽取内容满足最低质量标准Compliance校验内容是否符合监管要求Content Filtering拒绝包含非期望内容的文档Format Validation验证抽取内容的结构Security Checks扫描恶意内容。上述定义来自 Validator trait 的文档注释其中也明确提示“对于非致命检查请使用后处理器代替验证器”。xberg_list_validators正是验证器插件管理的四个 C FFI 操作注册、注销、列出、清空之一用于在运行时自省当前进程中已有哪些验证器。二、C 侧最小调用示例文档给出的完整可编译 C 示例如下#include assert.h #include stdint.h #include stdio.h #include stdlib.h #include string.h #include xberg.h int main(void) { char* result xberg_list_validators(); xberg_free_string(result); return EXIT_SUCCESS; }该示例展示了 xberg C FFI 的标准调用模式调用xberg_list_validators()获得一个 NUL 结尾的 C 字符串指针释放该字符串必须通过配套函数xberg_free_string完成而不是free()因为内存由 Rust 侧通过CString::into_raw分配跨边界的堆必须由分配方回收注意失败语义当调用失败时函数返回NULL见下文实现分析严谨的 C 代码应先判断result ! NULL再读取内容。xberg_list_validators的声明位于自动生成的 C 头文件 xberg.hchar *xberg_list_validators(void);三、Rust 侧实现从 FFI 入口到全局注册表xberg_list_validators的 Rust 实现位于 xberg-ffi/src/lib.rs。其调用链为先调用clear_last_error()清除上一轮的线程本地错误状态通过std::panic::catch_unwind包裹整个调用体防止 Rust panic 越过 FFI 边界导致未定义行为委托给 Rust 核心的xberg::list_validators()将返回的VecString用serde_json::to_string序列化为 JSON 字符串例如[quality-gate,security-scan]再转换为CString交给 C 侧成功路径上通过set_last_return_len(xberg_list_validators, cs.as_bytes().len())记录本次返回串的字节长度不含 NUL 终止符随后cs.into_raw()交出所有权失败路径上XbergError或字符串含非法 NUL返回NULL并通过set_last_error记录错误码与消息C 侧可通过 xberg 的错误查询接口读取。其中list_validators()本体非常简洁位于 plugins/validator/mod.rs/// List names of all registered validators. pub fn list_validators() - crate::ResultVecString { use crate::plugins::registry::get_validator_registry; let registry get_validator_registry(); let registry registry.read(); Ok(registry.list()) }它获取全局验证器注册表的读锁ArcRwLock模式调用registry.list()汇总各优先级分组下的验证器名称。也就是说C 侧拿到的 JSON 数组内容完全取决于进程运行期间通过注册接口挂载了哪些验证器插件。四、注册表结构优先级分组与名称规范ValidatorRegistry 的内部存储为pub struct ValidatorRegistry { validators: BTreeMapi32, IndexMapString, Arcdyn Validator, }外层BTreeMapi32, _按优先级分组内层IndexMap保持同一优先级内注册顺序list()方法遍历所有分组收集名称因此枚举结果覆盖全部已注册验证器但不按优先级排序而执行时使用的get_all()按iter().rev()倒序遍历BTreeMap实现高优先级先执行优先级数值越大越先跑默认值为 50这正是 trait 文档中“先跑廉价检查、再跑昂贵检查”建议的实现基础注册时register会先校验插件名名称必须非空且只包含字母、数字、连字符和下划线随后调用validator.initialize()初始化失败则该验证器不会被执行并返回错误。同一模块还暴露了与list对称的管理函数均在 plugins/validator/mod.rsregister_validator、unregister_validator按名称移除并触发shutdown()、clear_validators逐一关停并清空。C FFI 层为这些操作提供了同名的xberg_*入口构成完整的验证器生命周期管理。五、伴生长度函数xberg_list_validators_len除了主函数外头文件还声明了伴生 ABIxberg.huintptr_t xberg_list_validators_len(void);其 Rust 实现见 lib.rs返回本线程上一次xberg_list_validators调用所产生字符串的字节长度主调用返回NULL或尚未产出字符串时返回 0。源码注释说明了它的动机——让 Zig 和 Java FFM Panama 等绑定无需扫描 NUL 即可安全构造字节切片。对 C 用户而言若已持有result指针也可以用它做长度敏感的缓冲区复制避免依赖strlen的重复扫描。该函数通过catch_ffi_panic_preserving_error包裹panic 时回退为 0 且不覆盖已记录的更具体错误。六、验证器 Trait 契约validate / should_validate / priority理解“列出的验证器名称”背后代表的行为需要看 Validator trait 的三个方法方法必需性默认行为说明validate(ExtractedDocument, ExtractionConfig) - Result()必需无校验抽取结果返回Err即使命中XbergError::Validation整个抽取失败should_validate(...) - bool可选返回true总是执行允许按 MIME 类型、元数据或内容做条件跳过例如仅校验application/pdfpriority() - i32可选返回50数值越大越先执行用于在注册表内排序验证器同时需要实现通用的Plugintrait提供name()、version()、initialize()、shutdown()且必须线程安全Send Syncwasm 目标下为?Send异步实现。trait.rs 的文档注释 给出了一个最小可复制的 Rust 验证器实现例如MinimumLengthValidator在result.content.len()低于阈值时返回XbergError::validation(...)同文件还附带质量分校验读取metadata.additional[quality_score]和安全模式扫描两个示例。测试用例印证了这套契约validator/mod.rs 的单元测试 覆盖了成功/失败路径断言XbergError::Validation及消息内容、should_validate的条件跳过PdfOnlyValidator只对 PDF 生效、优先级区间100 vs 10、多 MIME 类型与长文本等边界场景可作为实现自定义验证器时的行为基线。七、端到端验证validators_list 契约测试该 C 片段并非孤例而是 xberg 统一 E2E 契约体系的一部分。fixtures/plugin_api/validators_list.json 定义了对应的跨语言测试用例{ id: validators_list, category: validator_management, call: list_validators, assertions: [ { type: not_error } ] }其含义是对 C、Go、Java、Python 等全部绑定执行同一“列出验证器”操作断言调用不产生错误即可通过注册表可以为空空列表同样合法。同目录下还有validators_clear.json等用例共同构成验证器管理 API 的跨语言一致性门禁而 fixtures/registry/list_validators.json 则覆盖注册表自省视角的同类场景。文档片段文件头部的side_effect: safe标记也与该测试语义一致——本接口只读全局状态可安全并发调用。八、实践要点与使用建议综合以上实现细节在 C 工程中集成该接口时建议遵循以下模式判空 释放成对出现char* result xberg_list_validators(); if (result NULL) { // 通过 xberg 错误查询接口读取失败原因后处理 return EXIT_FAILURE; } // 可选size_t n xberg_list_validators_len(); // 不含 NUL 的字节长度 // 解析 JSON 数组形如 [validator-a,validator-b] xberg_free_string(result);输出是 JSON 而非裸列表返回串由serde_json序列化C 侧需按 JSON 字符串数组解析不要假设纯文本格式长度函数与主函数必须同线程配对xberg_list_validators_len读取的是线程本地状态跨线程调用会读到错误长度枚举结果的用途典型场景包括启动时打印可用验证器清单、在调用抽取前确认质量门禁插件是否就位、以及在调试阶段核对register_validator/unregister_validator的效果——与 plugins/validator/mod.rs 中的注册、注销、清空函数配合即可在 C 宿主进程中完成验证器插件的全生命周期观测。小结xberg_list_validators是 xberg C FFI 插件自省能力的一个代表样本C 侧一行调用即可拿到 JSON 数组形式的验证器名称列表底层由 Rust 全局注册表提供线程安全的数据源配套线程本地长度函数、错误通道和xberg_free_string释放约定构成完整的跨语言 ABI。对于需要以 C 为核心宿主的系统而言这一接口是接入 xberg 验证器插件体系的第一步而要真正发挥其价值关键在于理解验证器“致命错误、优先级排序、条件执行”的契约语义据此在抽取流水线中设计合适的质量门禁。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐xberg C 插件 APIxberg_list_post_processors 列出已注册后处理器全解析xberg C 插件 APIxberg_list_post_processors 列出已注册后处理器全解析 xberg 为 C 语言提供了一套基于 FFI 的后端AI 应用NLPxberg C FFI 插件 API 实战xberg_list_embedding_backends 枚举已注册嵌入后端xberg C FFI 插件 API 实战xberg_list_embedding_backends 枚举已注册嵌入后端 本文以 xberg 的 C FFI后端AI 应用NLPxberg C FFI 后处理器注册表管理xberg_clear_post_processor 与 post_processors_clear 实战解析xberg C FFI 后处理器注册表管理xberg_clear_post_processor 与 post_processors_clear 实战解析 本文后端AI 应用NLP上一篇Palworld存档修复终极指南五分钟解决跨服务器数据迁移难题下一篇3分钟快速上手免费开源的LiteDB数据库GUI管理工具完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考