数据分析数据工程机器学习【免费下载链接】cudfcuDF - GPU DataFrame Library项目地址https://gitcode.com/gh_mirrors/cu/cudf点击查看免费下载导读RegexFlags 是 pylibcudf 字符串子系统中用于控制正则表达式解析行为的标志枚举是 pylibcudf 字符串正则 API 的基石几乎所有的正则类操作contains_re、replace_re、extract、findall、split都要求先通过RegexFlags与RegexProgram.create()构造一个可复用的正则程序再交由底层 libcudf 在 GPU 上批量执行。阅读本文后你将掌握RegexFlags四个公开成员DEFAULT、IGNORECASE、MULTILINE、DOTALL的语义与数值、如何用位或组合它们、如何在真实代码中搭配RegexProgram使用以及这些标志在 C 层的对应定义与 cudf 高级 API 中的映射关系。RegexFlags 是什么API 定位与导入方式regex_flags模块由 Sphinx 文档指令 regex_flags.rst 通过automodule:: pylibcudf.strings.regex_flags自动生成 API 参考。它是一个极简模块——Cython 封装层 regex_flags.pyx 的全部职责只有三件事从底层 Cython 绑定导入regex_flags枚举将其重命名为RegexFlags作为公开名称设置RegexFlags.__str__ RegexFlags.__repr__使枚举的字符串化输出与repr保持一致。该模块通过 pylibcudf.strings 的__init__.py注册进pylibcudf.strings包命名空间因此有两种等价导入方式import pylibcudf as plc # 方式一通过包命名空间访问pylibcudf 测试代码的惯用写法 flags plc.strings.regex_flags.RegexFlags.DEFAULT # 方式二直接导入 from pylibcudf.strings.regex_flags import RegexFlags from pylibcudf.strings.regex_program import RegexProgram从源码结构看RegexFlags是对 libcudf C 枚举cudf::strings::regex_flags的逐值映射见 regex_flags.pxd而不是另行设计的一层抽象——理解这一点有助于把握它值与 C 一致、可位运算组合的特性。枚举成员与语义DEFAULT、IGNORECASE、MULTILINE、DOTALLRegexFlags当前在 Python 侧暴露四个成员其语义与 Pythonre模块中对应的标志一一对应成员数值语义Python re 对应RegexFlags.DEFAULT0默认行为不启用任何特殊标志—RegexFlags.IGNORECASE2匹配所有字面字符时忽略大小写re.IGNORECASEre.I值为 2RegexFlags.MULTILINE8^与$锚点尊重换行字符即按行匹配re.MULTILINEre.M值为 8RegexFlags.DOTALL16.的匹配范围扩展到包含换行字符re.DOTALLre.S值为 16上述数值与语义来源于 flags.hpp 中的 C 枚举定义enum regex_flags : uint32_t { DEFAULT 0, /// default IGNORECASE 2, /// ignore case on matching all literal characters MULTILINE 8, /// the ^ and $ honor new-line characters DOTALL 16, /// the . matching includes new-line characters ASCII 256, /// use only ASCII when matching built-in character classes EXT_NEWLINE 512 /// new-line matches extended characters };三个注意点值得展开数值刻意与 Python 对齐。头文件注释明确写道The values are chosen to leave room for future flags and to match the Python flag values. 也就是说2 / 8 / 16分别就是 Pythonre中re.I / re.M / re.S的值这让 pylibcudf 与 Python 生态的正则语义可以低成本互相换算。C 层还有两个 Python 侧未暴露的成员ASCII 256内置字符类仅按 ASCII 匹配与EXT_NEWLINE 512换行匹配扩展到扩展字符。从 regex_flags.pxd 的cpdef enum定义看pylibcudf 目前只向 Python 暴露了前四个成员ASCII/EXT_NEWLINE仅可在 C 层使用。DEFAULT不是无标志的语义特例它就是一个值为0的普通成员表示不做任何额外处理也是绝大多数 API 的默认参数取值。为什么可以按位或组合位掩码设计的根源IGNORECASE、MULTILINE、DOTALL的值2、8、16都是 2 的幂这意味着它们天然可以组合。这在底层是有明确设计支撑的——regex_flags.pxd 中有这样一条关键注释Note that unlike most libcudf enums, this one is an enum and not an enum class. That allows it to be used as a bitmask with bitwise operators.也就是说这个枚举刻意没有使用 C 的enum class正是为了让调用方可以用按位或|叠加多个标志并让底层实现通过按位与来逐项检测。例如同时启用忽略大小写和点号匹配换行flags RegexFlags.IGNORECASE | RegexFlags.DOTALL对应地C 头文件在 flags.hpp 中提供了五个constexpr判定函数供 regex 编译与执行阶段检查标志是否被设置constexpr bool is_ignorecase(regex_flags const f); constexpr bool is_multiline(regex_flags const f); constexpr bool is_dotall(regex_flags const f); constexpr bool is_ascii(regex_flags const f); constexpr bool is_ext_newline(regex_flags const f);每个函数的实现模式都是(f regex_flags::XXX) regex_flags::XXX例如is_ignorecase即(f IGNORECASE) IGNORECASE。这印证了标志位 位掩码检测是整个 regex 子系统贯穿 Python 与 C 的统一约定。与 RegexProgram 搭配创建可复用的正则程序RegexFlags单独存在没有意义它的唯一消费方是 RegexProgram.create()。Cython 封装层中create是一个staticmethod签名如下staticmethod def create(str pattern, regex_flags flags) - RegexProgram: Create a program from a pattern. ... pattern : str Regex pattern flags : RegexFlags Regex flags for interpreting special characters in the pattern 它接收两个参数正则模式字符串pattern与RegexFlags标志。注意两点使用约束不能直接实例化。RegexProgram.__init__会直接抛出ValueError(Do not instantiate RegexProgram directly, use create)必须经由create工厂方法构造。程序可复用。底层 C 类cudf::strings::regex_program见 regex_program.hpp负责把模式与标志编译为一组正则指令instruction之后可以在多个字符串列上反复使用避免对同一模式重复编译。C 侧create的完整签名还展示了第三个可选参数static std::unique_ptrregex_program create(std::string_view pattern, regex_flags flags regex_flags::DEFAULT, capture_groups capture capture_groups::EXTRACT);其中capture_groups控制捕获组是正常提取EXTRACT还是全部转换为非捕获组以优化指令NON_CAPTURE见 flags.hpp。这一参数目前在 pylibcudf 的create中未向 Python 暴露属于底层默认行为。regex_program对象还暴露了pattern()、flags()、instructions_count()、groups_count()、compute_working_memory_size(num_strings)等访问器见 regex_program.hpp其中compute_working_memory_size用于预计算在给定字符串数量下执行正则所需的工作内存字节数可推断其服务于 GPU 侧的内存规划。在字符串 API 中的实战用法构造好RegexProgram后把程序对象传入各类字符串正则 API 即可。这里给出一个与 test_string_contains.py 中_make_prog写法一致的完整可运行示例import pyarrow as pa import pylibcudf as plc from pylibcudf.strings.regex_flags import RegexFlags from pylibcudf.strings.regex_program import RegexProgram def make_prog(pattern, flagsRegexFlags.DEFAULT): 构造正则程序pylibcudf 测试的惯用封装。 return RegexProgram.create(pattern, flags) # 1) contains_re子串正则匹配IGNORECASE 让 a 同时命中 A arr pa.array([abc, AbC, a\nbc, None]) col plc.Column.from_arrow(arr) prog make_prog(a, RegexFlags.IGNORECASE) print(plc.strings.contains.contains_re(col, prog)) # 2) matches_re从字符串开头匹配等价于 ^ pattern prog make_prog(r[1-9][a-z]) print(plc.strings.contains.matches_re(plc.Column.from_arrow(pa.array([1a2b, b1a2])), prog)) # 3) count_re统计每个字符串中的匹配次数 prog make_prog(r[1-9][a-z]) print(plc.strings.contains.count_re(plc.Column.from_arrow(pa.array([A1a2A3a4])), prog)) # 4) replace_re / replace_with_backrefs正则替换支持反向引用 prog make_prog(r(\d)(\d)) replaced plc.strings.replace_re.replace_re( plc.Column.from_arrow(pa.array([foo, fuz])), make_prog(f.), plc.Scalar.from_arrow(pa.scalar(ba)) ) backref plc.strings.replace_re.replace_with_backrefs( plc.Column.from_arrow(pa.array([Z756])), prog, V\\2\\1 # 反向引用交换两位数字 )上面第 4 组中的replace_with_backrefs用法V\\2\\1交换捕获组 2 和 1将Z756变为ZV576直接取自 test_string_replace_re.py可作为验证预期结果的参照。除了contains与replace_re之外RegexFlags/RegexProgram的构造模式同样贯穿其他字符串模块的测试test_string_extract.pyplc.strings.extract使用RegexFlags.DEFAULT构造程序test_string_findall.pyplc.strings.findall同样以RegexFlags.DEFAULT起步test_string_split_split.pyplc.strings.split系列接口按正则分隔符拆分时同样需要RegexProgram.create(re_delimiter, RegexFlags.DEFAULT)test_regex_program.py直接验证RegexProgram.create的基础行为。这意味着一条通用规律在 pylibcudf 中凡是基于正则的模式匹配、提取、查找、替换与拆分操作第一步都是选定RegexFlags第二步调用RegexProgram.create(pattern, flags)第三步把程序对象传给具体的字符串 API。DEFAULT是最常见的取值但当需要忽略大小写、按行锚定或多行点号匹配时则按上文所述进行位或组合。与 cudf 高级 APIstr accessor的 flags 关系pylibcudf 是 cudfpandas 兼容的高级 API的底层依赖两者在 flags 上存在清晰的映射关系。在 python/cudf/cudf/core/accessors/string.py 中cudf 的Series.str访问器定义了一个标志校验函数def _is_supported_regex_flags(flags: int) - bool: all_flags re.MULTILINE | re.DOTALL | re.IGNORECASE并在此基础上对str.contains、str.replace、str.extract等方法的flags参数做白名单校验源码中多处注释明确Theflagsparameter currently only supports re.DOTALL, re.IGNORECASE, re.MULTILINE。也就是说高级 APIcudfSeries.str.contains(pat, flags...)接受的是 Pythonre模块标志如re.IGNORECASE而不是RegexFlags枚举低级 APIpylibcudfRegexProgram.create接受RegexFlags枚举成员。两者在语义上严格对应且数值一致IGNORECASE2、MULTILINE8、DOTALL16这正是前面提到的数值刻意匹配 Python flag 值设计的直接收益——高级 API 在校验通过后可以无歧义地把 Python 标志翻译为底层枚举语义。从源码结构还可以推断cudf 支持的DOTALL / IGNORECASE / MULTILINE恰好就是 pylibcudfRegexFlags暴露的非默认成员两边的能力边界是自洽的。注意事项与边界DEFAULT不改变锚点与点号的语义默认模式下^/$只锚定整个字符串的首尾.不匹配换行需要对应行为时显式组合MULTILINE/DOTALL。ASCII、EXT_NEWLINE是 C 层成员pylibcudf 当前未暴露Python 侧组合它们会得到未定义/不受支持的标志值应避免使用。字符类语义差异cuDF 的\W等预定义字符类采用 ASCII 语义即非单词字符仅指[^a-zA-Z0-9_]与 pyarrow / RE2 的 Unicode 感知行为不同——这一点在 test_string_contains.py 中有专门的test_contains_re_nonword用例以硬编码期望值固化行为。在涉及非 ASCII 文本时要留意该差异。flags 作用于模式解析而非运行期标志在RegexProgram.create时一次性决定如何解释模式中的特殊字符见 regex_program.pyx 的参数注释随后程序被复用因此同一程序的所有调用共享同一套标志语义。模式非法会抛错C 侧create明确约定模式无效或包含不支持的语法时抛出cudf::logic_error见 regex_program.hppPython 侧经由 exception_handler 转换为对应的 Python 异常。延伸阅读完整 API 参考regex_flags.rst、regex_program.rstPython 封装实现regex_flags.pyx、regex_program.pyxC 底层定义flags.hpp、regex_program.hpp测试用例test_string_contains.py、test_string_replace_re.py、test_regex_program.py高级 API 的 flags 约束python/cudf/cudf/core/accessors/string.py赞分享数据分析数据工程机器学习【免费下载链接】cudfcuDF - GPU DataFrame Library项目地址https://gitcode.com/gh_mirrors/cu/cudf点击查看免费下载相关推荐cuDF pylibcudf 字符串切片 API 全解析slice_strings 的标量/列式用法与 GPU 底层实现cuDF pylibcudf 字符串切片 API 全解析slice_strings 的标量/列式用法与 GPU 底层实现 本文围绕 docs/cudf/sou数据分析数据工程机器学习TypeScript 枚举完全指南数字枚举、标志位、字符串枚举与 const 枚举实战解析TypeScript 枚举完全指南数字枚举、标志位、字符串枚举与 const 枚举实战解析 TypeScript 为 JavaScript 引入了 enum教程coreos-vagrant 配置完全指南config.rb 中 10 个必须掌握的虚拟机配置选项coreos vagrant 配置完全指南config.rb 中 10 个必须掌握的虚拟机配置选项 想用 Vagrant 在本地快速跑一个 Container数据分析数据工程机器学习上一篇2025年8月计算机视觉领域突破性进展从自监督模型到多模态应用下一篇KitsuneMagisk最新特性解析MagiskBoot工具的高级用法创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考