后端数据库【免费下载链接】calciteApache Calcite项目地址https://gitcode.com/gh_mirrors/ca/calcite点击查看免费下载2015 年 9 月 2 日Apache CalciteIncubating发布 1.4.0-incubating 版本这一版本在大量 bug 修复与小型增强的基础上带来三项关键改进Lattice物化视图晶格框架增强、物化视图预填充pre-populated materializations能力以及全新引入的RelBuilder 构建器 API让开发者可以用简洁的链式调用直接构造关系代数表达式RelNode而无需再掌握复杂的工厂式 API。读完后你将理解 RelBuilder 的核心用法与栈式工作机制、Lattice 框架的源码组织方式以及该版本在 Calcite 版本谱系中的位置。版本背景官方发布说明见 1.4.0-incubating 发布公告作者 jhyde对应 tagv1-4-0提交前缀 sha0c0c203d。从发布节奏看上一版本 1.3.0-incubating2015-05-30以 bug 修复为主新增了可修改视图与带过滤的聚合函数1.4.0-incubating 则把 RelBuilder 正式落地——该 API 早在 2015-06-05 的 “Algebra builder” 博客 中就已预告原文明确写道“计划随 Calcite 1.4 发布CALCITE-748”下一版本 1.5.02015-11-10则是 Calcite 成为 Apache 顶级项目TLP后的第一个版本并在此基础上继续“对 Avatica、planner rules 和 RelBuilder 做重大改进”。版本历史 中对 1.4.0-incubating 的总结与发布公告一致In addition to a large number of bug-fixes and minor enhancements, this release includes improvements to lattices and materialized views, and adds a builder API so that you can easily create relational algebra expressions.核心特性RelBuilder 构建器 APICALCITE-748解决什么问题关系代数是 Calcite 的核心每一条查询最终都表示为关系运算符的树规划器规则基于保持语义的数学恒等式对树做变换再由代价模型引导选出更优的等价表达式详见关系代数文档。但在 1.4.0 之前手工构造一棵代数树需要直接调用各算子的复杂工厂方法。Calcite 为此引入 RelBuilder——“一个包含你构造任何关系表达式所需全部方法的单一类”见 Algebra builder 博客。基本用法下面的示例取自 algebra.md 的 “Algebra builder” 章节构造一棵“按部门统计人数与工资、并过滤人数大于 10”的表达式final FrameworkConfig config; final RelBuilder builder RelBuilder.create(config); final RelNode node builder .scan(EMP) .aggregate(builder.groupKey(DEPTNO), builder.count(false, C), builder.sum(false, S, builder.field(SAL))) .filter( builder.call(SqlStdOperatorTable.GREATER_THAN, builder.field(C), builder.literal(10))) .build(); System.out.println(RelOptUtil.toString(node));打印结果为LogicalFilter(condition[($1, 10)]) LogicalAggregate(group[{7}], C[COUNT()], S[SUM($5)]) LogicalTableScan(table[[scott, EMP]])等价于 SQLSELECT deptno, count(*) AS c, sum(sal) AS s FROM emp GROUP BY deptno HAVING count(*) 10注意字段名如何被解析为序号引用DEPTNO变成$7、SAL变成$5。完整的可运行示例含 values、scan、project、bushy join 等五个用例位于 RelBuilderExample.java其example3与上述博客示例完全一致main方法可直接运行观察每一步的输出树。栈式工作机制push / popBuilder 内部使用一个栈存放“上一步产生的关系表达式”再把它作为下一步的输入这使得每个产生关系表达式的方法都能返回 builder 本身、支持链式调用。algebra.md 的 “Push and pop” 一节用 bushy join 说明栈的价值join / \ join join / \ / \ CUSTOMERS ORDERS LINE_ITEMS PRODUCTS分三阶段构造先各自build()出左右两棵子树存到变量中再push()回栈创建顶层 Joinfinal RelNode left builder .scan(CUSTOMERS) .scan(ORDERS) .join(JoinRelType.INNER, ORDER_ID) .build(); final RelNode right builder .scan(LINE_ITEMS) .scan(PRODUCTS) .join(JoinRelType.INNER, PRODUCT_ID) .build(); final RelNode result builder .push(left) .push(right) .join(JoinRelType.INNER, ORDER_ID) .build();这一机制在源码中可以直接印证RelBuilder.java 的类注释说明其“使用工厂创建关系表达式默认创建逻辑表达式LogicalFilter、LogicalProject 等可覆写工厂以创建如 HiveFilter 之类的物理实现且不是线程安全的”字段private final FrameStack stack即上述表达式栈。切换到物理 Convention默认 builder 创建不带 convention 的逻辑 RelNode通过adoptConvention()可切换为指定物理约定final RelNode result builder .push(input) .adoptConvention(EnumerableConvention.INSTANCE) .sort(toCollation) .build();此时会在输入 RelNode 之上生成一个EnumerableSort。该方法定义于 RelBuilder.java。多输入下的字段引用构造多输入算子最常见的是 Join 条件时字段引用必须指明“哪个输入的哪个字段”。algebra.md “Field names and ordinals” 一节给出规则builder.field(2, 0, SAL)表示“两个输入中第 0 个输入的 SAL 字段”——之所以要告诉 builder 共有几个输入是因为输入按序存放在栈上input #1 在栈顶、input #0 在其下不指明输入个数 builder 无法定位。文档同时指出当表达式经过若干重写规则RelOptRule后字段名可能与原始命名差异很大此时按序号引用字段更可靠。API 分类概览algebra.md “API summary” 一节给出了完整方法表可按五类归纳1.4.0 版本时方法集较小表中为后续持续扩充的结果供了解当前 API 形态参考分类代表方法说明关系算子scan、project、filter、aggregate、join、semiJoin、antiJoin、union、intersect、minus、sort、sortLimit、limit、distinct、repeatUnion、sample、match创建对应 RelNode压栈并返回 builder栈方法build()、push(rel)、pushAll(collection)、peek()用户代码一般只用到build()弹出根节点标量表达式literal、field多种重载、call、and/or/not、cast、isNull、alias、desc、nullsFirst/nullsLast返回 RexNode子查询exists、in、scalarQuery、arrayQuery、mapQuery、multisetQuery、all、some、unique以 lambdarelFn形式接收子查询构建逻辑Group key / AggCallgroupKey支持 grouping sets、count、sum、min、max、aggregateCallAggCall 还可链式over()、filter、sort、unique等分别返回 GroupKey 与 AggCall此外还有若干注释方法as、variable与模式匹配方法patternConcat、patternQuantify等供match使用。文档还特别说明了 builder 内建的三个自动优化project若被要求按序投影全部列则直接返回其输入filter会展开flatten条件并对布尔表达式做化简如x 1 AND TRUE简化为x 1先sort后limit的组合等价于一次sortLimit调用。测试与示例入口RelBuilderTest.java 是 RelBuilder 的系统性单元测试其config()方法还充当了RelBuilderExample的 schema 来源SCOTT 数据库含 EMP、DEPT 表示例代码RelBuilderExample.java。Lattice 改进CALCITE-758同一查询使用多个晶格Lattice 文档 定义了该框架的定位“A lattice is a framework for creating and populating materialized views, and for recognizing that a materialized view can be used to solve a particular query.”一套用于创建和填充物化视图、并识别某物化视图可用于求解特定查询的框架。其要点包括Lattice 表示星型或雪花型模式而非任意模式所有关系必须是从中心事实表出发的多对一关系命名来源于数学数据立方体data cube的可能物化集合构成一个格latticeCalcite 的推荐recommendation算法即基于此观察推导而来Lattice 定义用一条 SQL 语句表示“星”其中 FROM 子句中表的出现顺序具有语义若把 A 放在 B 前并对二者做 join即声明存在从 A 到 B 的多对一外键关系。1.4.0 版本中对应的新特性版本历史为CALCITE-758Rajat Venkatesh 贡献支持在同一查询中使用多个 lattice。此前一个查询只能引用一个晶格该改进让跨多个星型模型的联合查询也能命中物化视图CALCITE-761Maryann Xue 贡献支持预填充的物化pre-populated materializations即物化数据可以预先由外部产生而无需框架自己执行填充CALCITE-786Amogh Margoor 贡献在非平凡场景下检测物化视图是否可用于查询重写即匹配逻辑不再局限于简单的投影/聚合/过滤情形。从源码结构看这些能力落在 materialize 包 中Lattice、LatticeRootNode、LatticeNode、LatticeChildNode、LatticeSpace、LatticeTable构成晶格的图结构LatticeSuggester负责给出“应物化哪些组合”的建议Lattices是管理多个晶格的门面统计信息侧则通过SqlLatticeStatisticProvider、CachingLatticeStatisticProvider、ProfilerLatticeStatisticProvider等LatticeStatisticProvider实现向优化器提供代价数据MaterializationService负责物化任务的异步执行。Lattice.java 中的导入MaterializedViewTable、DirectedGraph、TopologicalOrderIterator等也可以印证其以有向图 拓扑序为骨架的实现思路。修复与次要增强节选版本历史 列出了 1.4.0-incubating 的完整修复清单与优化器行为相关的代表性条目CALCITE-850将下推表达式的逻辑从FilterJoinRule中移除另建独立规则职责更清晰CALCITE-834修复从元数据 provider 获取谓词时的StackOverflowErrorCALCITE-833修复RelOptUtil.splitJoinCondition对 join 条件的错误拆分Hsuan-Yi Chu 贡献CALCITE-811JoinProjectTransposeRule增加对外连接的支持CALCITE-714去相关化时把 join 条件推入子查询CALCITE-751支持聚合含聚合函数穿过 join 下推CALCITE-732用GROUPING SETS实现多个 distinct-COUNTCALCITE-803新增MYSQL_ANSI词法Lexing策略CALCITE-717BINARY/VARBINARY按无符号字节值比较新增若干BitSet/ImmutableBitSet工具方法。此外还有网站更新CALCITE-810 等与构建类修复CALCITE-741、CALCITE-743保证源发布包 DEPENDENCIES 完整且只执行一次 source assembly。后续演进与验证方式RelBuilder 在 1.4.0 引入后一直是 Calcite 的对外核心 API 之一1.5.0 发布公告 明确把它与 Avatica、planner rules 并列为改进重点从当前仓库源码结构看RelBuilder.java 已扩展至 5700 余行方法覆盖了子查询、窗口聚合OverCall、模式匹配match、递归查询repeatUniontransientScan等博客时代尚未具备的能力当前主线版本号为 1.43.0见 gradle.properties 中calcite.version。若想在本地验证本版本特性可以直接阅读或运行 RelBuilderExample.java提供main入口观察每个示例打印的代数树运行 RelBuilder 的单元测试例如./gradlew :core:test --tests org.apache.calcite.test.RelBuilderTest对照 algebra.md 与 lattice.md 两篇文档分别深入 RelBuilder 全量 API 与 Lattice 的定义、建议suggestion机制。小结Calcite 1.4.0-incubating 的价值在于“降门槛”与“自动化”两条主线RelBuilder 让手工构造关系代数从“必须精通复杂 API”变成一段可读的链式调用为编写 planner 规则、直接在 Calcite 上构建应用、实现非 SQL 查询语言铺平了道路而 Lattice 多晶格、预填充物化与非平凡场景的物化视图检测则让查询重写引擎在更复杂的模式与数据组织下仍能命中物化视图。三项特性均在该版本落地并在后续 1.5.0TLP 首个版本中继续演进。赞分享后端数据库【免费下载链接】calciteApache Calcite项目地址https://gitcode.com/gh_mirrors/ca/calcite点击查看免费下载相关推荐Apache Calcite RelBuilder 关系代数构建器用单个类直接构建任意 RelNode 表达式Apache Calcite RelBuilder 关系代数构建器用单个类直接构建任意 RelNode 表达式 Calcite 的基础是一套完整的关系代数实现后端数据库Apache Calcite 1.0.0-incubating 里程碑解析命名空间统一、GROUPING SETS 与解释器及远程 JDBC 驱动的诞生Apache Calcite 1.0.0 incubating 里程碑解析命名空间统一、GROUPING SETS 与解释器及远程 JDBC 驱动的诞生 本文后端数据库Apache Calcite关系代数操作符详解构建高效数据处理管道的终极指南Apache Calcite关系代数操作符详解构建高效数据处理管道的终极指南 Apache Calcite作为开源的数据管理框架其核心正是基于 关系代数操作后端数据库上一篇游戏翻译工具终极攻略用 LunaTranslator 把日语 Galgame 实时翻译成中文下一篇免费游戏汉化工具实测不会外语也能轻松玩通全世界的游戏创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考