数据分析数据工程机器学习【免费下载链接】cudfcuDF - GPU DataFrame Library项目地址https://gitcode.com/gh_mirrors/cu/cudf点击查看免费下载导读cudf.Series是 cuDFRAPIDS GPU DataFrame 库中与 pandasSeries一一对应的一维 GPU 数组结构也是cudf.DataFrame的列基础单元。本文以 docs/cudf/source/cudf/api_docs/series.rst 的官方 API 索引为骨架系统梳理Series的构造函数、属性Attributes、转换Conversion、索引与迭代Indexing/iteration、二元运算、统计计算、缺失值处理、重排排序、时间序列以及dt/str/cat/list/struct五大类型专属 Accessor并结合 python/cudf/cudf/core/series.py 与 python/cudf/cudf/core/accessors/ 的源码实现说明底层原理。读完本文你将能按类别定位cudf.Series的全部公开方法理解其与 pandas 的兼容策略、GPU 内核调用路径以及如何针对日期、字符串、类别、列表和结构体数据写出正确的加速代码。Series 是什么一维 GPU 数组在 cuDF 中Series被定义为一个一维 GPU 数组包括时间序列见 series.py 中类文档字符串标签index不必唯一但必须是可哈希hashable类型同时支持基于整数位置iloc和基于标签loc的索引来自ndarray的统计方法被重写为自动排除缺失数据缺失值当前以 null/NaN 表示两个Series之间的算术运算、-、/、*、**会按索引值自动对齐两者长度不必相同结果索引为两个索引的排序并集Series对象天然作为DataFrame的列存在。Series的继承关系为Series(SingleColumnFrame, IndexedFrame)其构造参数与 pandas 高度一致dataarray-like、Iterable、dict 或标量、index1 维 array-like 或 Index缺省为RangeIndex、dtypestr、numpy.dtype或 ExtensionDtype、name、copy默认 False仅对 Series 或 1 维 ndarray 输入生效以及 cuDF 特有参数nan_as_null默认 True将np.nan转为 null设为 False 时保留np.nan。核心属性AttributesAxes 与元数据Series的Axes属性组与 pandas 语义对齐是日常最常用的一组 API属性说明index/axes轴标签axes返回轴列表values/dtype/dtypes底层数据视图与数据类型shape/ndim/size形状(n,)、维数恒为 1、元素个数nameSeries 名称T转置一维 Series 转置即自身empty是否为空null_count/valid_count/has_nullsnull 数量、有效值数量、是否含 nullhasnans是否存在 NaNmemory_usage内存占用字节其中memory_usage(indexTrue, deepFalse)在 series.py#L1158 实现与 pandas 保持一致的签名默认统计索引与数据的总内存deepTrue时深入统计对象类型元素的实际内存。Series.at、Series.iat是标量访问入口分别按标签/位置取单个值Series.loc、Series.iloc则是切片与花式索引入口。从源码结构看series.py#L181 与 series.py#L281iloc内部经由indexing_utils.parse_row_iloc_indexer解析索引规格后调用统一的_getitem_preprocessed执行loc在布尔 Series 作为索引器时会先做索引对齐arg.reindex(self._frame.index)标签不存在时会抛出KeyError并列出缺失标签这与 pandas 行为一致。转换Conversion生态互操作Series提供两条主线转换能力类型转换astype(dtype)按需转换列类型convert_dtypes推断并转换为最佳类型copy复制对象。跨生态转换to_pandas、to_numpy、to_list/tolist、to_arrow、to_cupyCuPy 数组、to_dlpackDLPack 协议、to_dict、to_frame转为单列 DataFrame、to_string以及to_hdf/to_json等输出反向有类方法from_arrow。__array__协议使cudf.Series可被numpy.asarray等直接消费。scale用于十进制定点类型。序列化族包括serialize/deserialize、host_serialize/host_deserialize、device_serialize/device_deserialize以及与 pylibcudf 的双向转换to_pylibcudf/from_pylibcudf。以to_pandas(indexTrue, nullableFalse, arrow_typeFalse)为例series.py#L2078indexFalse时结果使用默认索引nullableTrue时尽可能产出 pandas 可空扩展类型arrow_typeTrue时返回pandas.ArrowDtype二者不能同时为True。这类方法让 cuDF 与 pandas、NumPy、PyArrow、CuPy 生态可以无缝互转。索引与迭代Indexing Iteration该组提供loc/iloc之外的高层操作__iter__按行迭代items/iteritems产出 (index, value) 对keys返回索引视图squeeze若维度可压缩则压缩为标量。二元运算符Binary Operators与 pandas 对齐的运算族Series完整实现了 pandas 风格的算术与比较运算符包含正向与反向r 前缀版本算术add/radd、sub/subtract/rsub、mul/multiply/rmul、truediv/div/divide/rtruediv/rdiv、floordiv/rfloordiv、mod/rmod、pow/rpow以及round比较lt、gt、le、ge、ne、eq聚合product、dot向量点积。这些方法在 cuDF 中最终由 C/CUDA 层的 libcudf binary operation 内核在 GPU 上并行执行对Series间的运算cuDF 会先按索引对齐再做元素级计算。反向版本r前缀支持标量在左、Series 在右的运算写法例如10 - series。函数应用、GroupBy 与窗口apply逐元素应用 Python 函数配合 Numba/CUDA UDF 可获得 GPU 加速map按映射关系转换元素等价 pandasSeries.mapgroupby返回SeriesGroupBy对象源码中通过_groupby SeriesGroupBy绑定见 series.py#L491支持聚合、变换与多级分组rolling滚动窗口计算pipe函数管道串联便于链式调用。计算与描述性统计Computations / descriptive stats这是Series使用频率最高的一组覆盖基础聚合count、sum/prod、mean、median、min、max、mode、var、std、skew、kurt/kurtosis、quantile、describe逻辑/归约all、any累积运算cumsum、cumprod、cummin、cummax差分/变化率diff、pct_change、autocorr、corr、cov排序/唯一性rank、nlargest、nsmallest、unique、nunique、is_unique、is_monotonic_increasing、is_monotonic_decreasing、value_counts其他abs、clip、between、digitize、factorize、ewm指数加权窗口。其中describeseries.py#L3532与 pandas 一样按 dtype 分支输出不同统计摘要统计方法默认排除 null/NaN与类文档所述统计方法自动排除缺失数据一致。value_counts、unique等在底层调用 libcudf 的哈希/排序内核完成 GPU 并行去重与计数。重索引、选择与标签操作add_prefix/add_suffix为索引批量添加前后缀drop按标签删除drop_duplicates/duplicated去重与重复标记equals元素级全等比较head/tail取首/尾 n 个元素isin成员判断reindex按新索引重排自动对齐rename重命名 Series或索引reset_index将索引重置为 RangeIndexsample随机抽样take按位置数组取值tile沿轴平铺重复truncate按标签范围截断where/mask条件保留/遮蔽where保留满足条件者mask相反。缺失数据处理Missing data handlingcuDF 的缺失值用 null对应 pandas NaN表示该组 API 提供完整的缺失值治理isna/isnull等价与notna/notnull缺失检测返回布尔 Seriesdropna删除含缺失的行fillna填充缺失值标量或前向/后向填充ffill/bfill前向/后向填充interpolate插值replace值替换nans_to_nullscuDF 特有方法将np.nan显式转换为 null。cuDF 的列在 GPU 上通过独立的有效性掩码validity mask / null mask表示缺失因此 null 检测与填充在内核层面高效并行。重塑与排序Reshaping, sortingargsort返回排序索引sort_values按值排序sort_index按索引排序explode将列表/结构体元素展开为多行searchsorted有序序列中查找插入位置repeat重复元素transpose转置。合并与时间序列Combining / Time Series合并组仅有一个方法update用另一序列就地更新重叠位置时间序列组包含shift移位与resample重采样绑定SeriesResampler见 series.py#L492。元数据attrs / flagsattrs自定义元数据字典flags/set_flags行为标志如是否允许链式赋值。五大类型专属 Accessorpandas 风格地把 dtype 专属方法放入独立命名空间Series通过注册机制挂载五个 Accessor对应文档中的对照表数据类型AccessorDatetime / TimedeltaSeries.dtStringSeries.strCategoricalSeries.catListSeries.listStructSeries.struct在源码中这些 Accessor 均继承自 base_accessor.py 的BaseAccessor内部持有父对象self._parent与底层列self._column并通过_return_or_inplace统一处理返回新对象与就地修改两种语义——就地模式调用_mimic_inplace更新父对象列。Series.dt日期时间与时间差属性文档明确指出Series.dt用于以 datetimelike 方式访问 Series 值并返回多个属性调用形式为Series.dt.property。其实现类为 series.py#L4114 的DatetimeProperties与 series.py#L5238 的TimedeltaProperties两者均继承BaseDatelikeProperties。Datetime 属性year、month、day、hour、minute、second、microsecond、nanosecond、dayofweek/weekday、dayofyear/day_of_year、quarter、is_month_start、is_month_end、is_quarter_start、is_quarter_end、is_year_start、is_year_end、is_leap_year、days_in_month。Datetime 方法isocalendar、strftime、round、floor、ceil、tz_localize。Timedelta 属性days、seconds、microseconds、nanoseconds、components。从源码看属性实现遵循统一模式——例如dt.year返回self._return_result_like_self(self.series._column.year)series.py#L4187即调用底层列的 GPU 内核方法后包装回 Seriesdt.weekday的结果 dtype 为int16而 timedelta 系列的days/seconds/microseconds结果为int64。components会返回一个多列 DataFramedays/hours/minutes/seconds/milliseconds/microseconds/nanoseconds。文档自带的示例展示了pd.date_range构造后提取second、hour、weekday以及 timedelta 系列上components/days/seconds/microseconds的典型用法。Series.strGPU 向量化字符串处理StringMethodsaccessors/string.py#L74模仿 pandas 的df.str接口文档注明nulls stay null除非特定方法另行处理并借鉴 Python 字符串方法与 R 的 stringr 包。该 Accessor 方法极其丰富按功能可划分为大小写/排版capitalize、lower、upper、swapcase、title、center、ljust、rjust、pad、wrap、zfill查找/匹配contains、match、find、rfind、findall、find_multiple、index、rindex、count、endswith、startswith、like、extract、get_json_object切分/合并split、rsplit、split_part、partition、rpartition、cat、join、slice、slice_from、slice_replace、insert、repeat、get替换/清理replace、replace_tokens、replace_with_backrefs、translate、strip、lstrip、rstrip、removeprefix、removesuffix、normalize_spaces类型判断isalnum、isalpha、isdecimal、isdigit、isfloat、ishex、isinteger、isipv4、isspace、islower、isnumeric、isupper、istimestamp、istitle、isempty、is_consonant、is_vowel编码/转换byte_count、code_points、hex_to_int/htoi、ip2int/ip_to_int、url_decode、url_encodeNLP 与文本挖掘character_ngrams、character_tokenize、detokenize、edit_distance、jaccard_index、minhash、ngrams、ngrams_tokenize、token_count、tokenize、filter_alphanum、filter_characters、filter_tokens、porter_stemmer_measure其他len。实现层面见 string.py 头部字符串参数会被规范化为pylibcudfScalar 或StringColumn正则相关方法仅支持re.MULTILINE | re.DOTALL | re.IGNORECASE组合标志_is_supported_regex_flags其余标志会被拒绝这是与 pandas 正则行为的一个重要差异。这些方法最终映射到 libcudf 的 C 字符串内核源码位于 cpp/src/strings/在 GPU 上并行处理全部字符串。Series.cat类别数据操作CategoricalAccessoraccessors/categorical.py#L17提供类别专属操作属性categories返回Index见 categorical.py#L81、ordered是否有序、codes整数编码 Series见 categorical.py#L88方法reorder_categories、add_categories、remove_categories、set_categories、as_ordered、as_unordered。类别数据在底层以类别字典 整数编码列存储因此codes与categories的读写非常轻量。Series.list列表类型操作ListMethodsaccessors/lists.py#L25面向 list 嵌套类型astype列表内元素类型转换、concat拼接、contains成员判断、index查找元素首次出现位置、get按位置取子元素、leaves展平为叶元素列、len每行长度、sort_values行内排序、take按位置取子集、unique行内去重。Series.struct结构体类型操作StructMethodsaccessors/struct.py#L18仅两个方法field按字段名提取子列与explode展开结构体为多列。序列化 / IO / 转换Serialization / IO / conversion该组与转换组互补聚焦序列化与 IO 输出to_arrow、to_cupy、to_dict、to_dlpack、to_frame、to_hdf、to_json、to_numpy、to_pandas、to_string以及hash_valuesGPU 哈希与 pylibcudf 互转to_pylibcudf/from_pylibcudf类方法from_arrow。其中to_pylibcudf暴露底层 pylibcudf 对象适合需要细粒度控制的场景。实战快速上手示例以下示例串起本文的核心 API构造、dt访问器、统计、缺失值、字符串与互操作import cudf import pandas as pd # 1) 构造索引对齐 自动 null s cudf.Series([1, 2, None, 4], namecol) print(s.null_count) # 1 print(s.isna().sum()) # 1 # 2) 描述性统计自动跳过 null print(s.describe()) # 3) 二元运算按索引对齐 a cudf.Series([1, 2, 3], index[0, 1, 2]) b cudf.Series([10, 20], index[1, 2]) print((a b)) # 索引 0 处为 NaN/NA # 4) 日期时间 Accessor dates cudf.Series(pd.date_range(2024-01-01, periods3, freqD)) print(dates.dt.year) # int16 print(dates.dt.dayofweek) # 周一0 # 5) 字符串向量化 text cudf.Series([Hello World, cuDF GPU, None]) print(text.str.lower()) # 含 null 时保持 null print(text.str.contains(GPU)) # 6) 互操作 print(type(s.to_pandas())) print(type(cudf.Series.from_arrow(pd.array([1, 2, 3]).__array__())))总结如何用好这份 API 索引series.rst是一份按功能分区的 API 导航构造器、属性、转换、索引、二元运算、函数应用、统计、重索引、缺失值、重塑排序、合并、时间序列、元数据、五大 Accessor 与序列化 IO。当你需要定位某个能力时先按数据 dtype 判断是否可用 Accessordt/str/cat/list/struct通用能力统计、缺失值、排序、索引直接查Series本体方法需要跨界互操作pandas/NumPy/PyArrow/CuPy/DLPack/pylibcudf时从转换与序列化/IO两组中选择对应方法涉及正则时留意 cuDF 仅支持re.MULTILINE | re.DOTALL | re.IGNORECASE三种标志。所有方法在 python/cudf/cudf/core/series.py 与 python/cudf/cudf/core/accessors/ 中均有可直接阅读的 docstring 与实现libcudf 内核层可进一步在 cpp/src/strings/ 等目录深入研读。赞分享数据分析数据工程机器学习【免费下载链接】cudfcuDF - GPU DataFrame Library项目地址https://gitcode.com/gh_mirrors/cu/cudf点击查看免费下载相关推荐cuDF Index 对象 API 全解析从 Index 基类到 MultiIndex 与 DatetimeIndex 的 GPU 加速索引体系cuDF Index 对象 API 全解析从 Index 基类到 MultiIndex 与 DatetimeIndex 的 GPU 加速索引体系 导读 本文基数据分析数据工程机器学习ioredis 命令支持实现指南从元数据到生成器、测试与验证的完整工作流ioredis 命令支持实现指南从元数据到生成器、测试与验证的完整工作流 导读 本文以 ioredis 仓库内的 implement command 技能文数据分析数据工程机器学习coreos-vagrant 配置完全指南config.rb 中 10 个必须掌握的虚拟机配置选项coreos vagrant 配置完全指南config.rb 中 10 个必须掌握的虚拟机配置选项 想用 Vagrant 在本地快速跑一个 Container数据分析数据工程机器学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考