导读茶理宜世 CHARLIES TEA 创立于 2015 年是新式江南鲜茶品牌将传统茶文化与现代潮流相结合。作为国内领先的生活服务茶饮品牌茶理宜世在多业务协同与实时洞察场景下对数据分析性能和系统稳定性提出了更高要求。通过引入云器Lakehouse构建一站式大数据平台茶理宜世成功实现了维护成本降低 60%一键式部署和运维不再需要单独维护多个组件性能提升单引擎覆盖多种业务场景离线 ETL 性能提升 2 倍BI 查询性能平均提升 20%-30%开发效率提升一站式平台完成数据分析和报表开发弹性扩展按需弹性扩缩容支撑业务快速增长客户证言云器 Lakehouse 帮助我们在尽量控制迁移风险和成本的前提下完成了数据平台的整体升级与架构优化。平台在稳定性和性能层面均有明显提升运维成本下降约 60%同时也显著降低了日常运维和故障处理的复杂度。更重要的是数据团队得以从大量基础设施维护和性能调优工作中解放出来将更多精力投入到业务数据建模、分析能力建设以及对经营决策的支持上。随着查询性能的持续提升BI 报表的响应速度和交互体验得到明显改善数据分析逐步从可用走向好用。—— 茶理宜世 大数据负责人现状与痛点1.1 架构背景随着门店数量持续增长数据规模同步扩大。为了分析用户行为、优化运营策略、提升服务质量茶理宜世早期自建了一套大数据平台。原有架构数据源MySQL 生产数据库数据同步源库小时级同步到茶理宜世自建 MySQL数据处理层DataX 天级同步至 StarRocks 集群数据加工StarRocks 中按 ODS→DWD→ADS 分层加工天级离线数据消费帆软 BI 通过 JDBC 连接读取数据生成可视化报表1.2 核心问题业务规模扩大后数据平台暴露出以下核心痛点问题一自建运维负担重MySQL、DataX、StarRocks 等组件需要专人维护缺乏自动化运维能力人力占用大StarRocks 集群资源固定高峰期性能不足、低谷期资源闲置数据同步和任务调度开发成本高问题二数据源分散缺乏统一集成方案和数仓模型数据源散落在不同系统缺乏统一的企业级数据仓库模型链路复杂导致数据模型管理困难影响决策准确性升级选型为什么选云器Lakehouse2.1 关键选型因素经过内部评估茶理宜世明确了以下核心诉求关键能力分类NO.关键项说明已有能力保持及优化1多数据源接入能力需要支持MySQL、Kafka、Oracle、API 等多种数据源的接入方式并将各服务统一的数据进行实时或批量摄入Lakehouse中2高效的数据存储与计算需要对大量数据进行高效存储和管理、计算等操作3统一的企业级数据仓库模型使用Lakehouse建立统一的企业级数据仓库模型4BI报表开发工具集成集成BI工具快速搭建各类数据分析报告和仪表板为决策提供有力支持新一代湖仓平台能力建设5Serverless弹性能力业务波动大需要资源能够灵活弹缩按需计费6兼容Spark/Mysql SQL现有 大部分数据开发基于Starrocks SQL新引擎需要兼容主流SQL方言7存算分离架构降低存储成本计算资源可独立扩展运维负担8全托管、零运维将工程师从集群管理、参数调优等事务中解放出来专注于业务价值创造9高可用保障平台需要具备自动故障转移、数据备份等高可用能力2.2 方案选择在评估继续使用自建 StarRocks、迁移到其他开源方案等选项后团队最终选择引入云器 Lakehouse作为新一代一体化湖仓平台的核心。云器 Lakehouse 方案的核心优势需求维度云器Lakehouse解决方案数据接入1. 通过云器提供的多种数据源连接方式如Kafka、MySQL、Oracle等将各服务统一的数据进行实时或批量摄入Lakehouse中2. 支持多表实时、多表合并分库分表合并的场景、整库离线等多种同步方式3. 可视化点点点快速配置完成开发数据存储与计算1. 统一流批交互真Kappa架构以增量计算新模式支持的Single Engine高效开发完整SQL语法/UDF支持与离线SQL开发基本一致大规模低成本湖仓存储状态支持大规模扩展自动增量优化显著降低资源成本。灵活申明式开发范式一次开发、流批可调2. 原生存算分离架构统一数仓模型1. 使用Lakehouse建立统一的企业级数据仓库模型2.1N 引擎消除冗余计算减少数据口径误差BI集成1. 提供Python SDK/JDBC集成简单1个人一周内就可以完成2. 兼容多种BI工具帆软、Tableau、观远 BI等弹性能力1. 纯Serverless按需弹性而且实现秒级弹缩弹性性能更极致收费可以精确到1分钟2. 用资源才收费不用不收费成本大幅降低SQL兼容性1. 兼容Spark SQL2. 兼容Presto 、Mysql、PostgreSQL等 sql 方言湖仓能力1. 天然湖仓一体架构一个引擎同时支持离线加工、基于增量计算的实时加工、实时分析等多场景2. 有很好的开放性兼容Iceberg、Parquet、HMS等可被外部引擎消费运维负担全托管零运维无需关心底层基础设施云器 Lakehouse 方案介绍3.1 新架构设计基于云器 Lakehouse茶理宜世重构了数据平台架构。第一阶段架构快速迁移简化运维与原架构对比简化运维原来的 MySQL 同步 → DataX → StarRocks 三段全部需要自运维现简化为只运维数据接入端的自建 MySQL其余交给免运维的云器 Lakehouse统一平台、多源集成灵活接入MySQL、Oracle、API 等数据源均通过 Studio 数据集成统一接入。接入、推送、存储、计算、建模全部在一个平台完成工具链完善涵盖数据集成、开发、运维、调度、监控、质量、权限、数据资产、AI、DataGPT 等全套工具链弹性资源从固定资源3 台 16 core / 128 G改为按需弹性的 Serverless 模式数据质量与治理增强全链路监控Studio 提供完整的数据监控和质量管理及时发现异常权限管控细粒度权限管理保障数据安全合规资产化管理数据资产管理让数据价值可视化、可衡量统一查询引擎Single Engine单引擎统一处理 OLTP 和 OLAP 查询标准 SQL完全兼容 Spark SQL 及 Presto、Hive、MySQL 等方言支持 BI 工具 JDBC 连接应用迁移零改造智能优化自动索引、智能缓存等优化缩短复杂查询响应时间同时新增AI 能力降低数据分析门槛DataGPT / Copilot业务人员用自然语言提问即可获取数据洞察无需编写复杂 SQL智能 SQL 生成DataGPT 自动把业务问题翻译为优化后的 SQL分析效率提升 5 倍以上自动化洞察AI 自动识别数据趋势、异常和关联模式为运营决策提供建议降低门槛非技术人员也能快速完成数据查询和分析第二阶段架构基于 Lakehouse 的业务架构演进架构升级对比从分散到统一原架构痛点数据孤岛、处理滞后。外部数据源经 API 批量写入 MySQL再小时级同步到自建 MySQL最后同步到云器 Lakehouse。链路过长导致时效性差无法支撑实时业务决策。新架构价值实时性大幅提升业务决策更及时对比原架构小时级同步 → 实时同步。API、Oracle 等多源数据通过 Studio 数据集成直接接入消除中间环节数据延迟从小时级降到秒级 / 分钟级增量计算升级原离线天级批处理改造为实时集成 增量计算报表更新从 T1 提升到准实时3.2 关键能力实现3.2.1 数据接入两种方式灵活选择云器 Lakehouse 提供两种数据接入方式方式一SQL 方式以对象存储为例--创建volume, 用于映射对象存储目录 CREATE EXTERNAL VOLUME pipe_volume location oss://ossmy/autoloader/pipe/ using connection my_connection_exnet directory ( enabletrue, auto_refreshtrue ) recursivetrue; -- 创建实时同步任务 create pipe volume_pipe_list_purge VIRTUAL_CLUSTER default --执行获取最新文件使用扫描文件模式 INGEST_MODE LIST_PURGE as copy into pipe_purge_mode from volume pipe_volume(id int,col string) using csv OPTIONS( headerfalse ) --必须添加purge参数导入成功后删除数据 purgetrue ;方式二界面化配置在云器 Studio 可视化界面即可配置实时同步对象存储、Kafka 等和 30 数据源的批量导入导出支持全量 增量同步自动化字段映射无需手动维护类似 DataX 的配置3.2.2 BI集成支持多种连接方式无缝对接BI3.3 迁移实施迁移策略平滑过渡零业务中断1. 第一阶段验证测试2 周在云器 Lakehouse 构建测试任务同步部分历史数据做功能验证BI 报表对比测试2. 第二阶段并行运行1 周新老系统并行、双写数据逐步将 BI 报表切换到新平台监控性能和稳定性3. 第三阶段全量切换1 周完成所有业务迁移下线旧 StarRocks 集群释放运维资源总迁移周期4 周实际收益基于生产环境数据云器 Lakehouse 为茶理宜世带来了以下业务价值4.1 维护成本降低 60%成本对比成本项迁移前自建StarRocks迁移后云器Lakehouse节省基础设施成本3台服务器16core 128GServerless按需计费60%运维人力成本1名专职DBA 50%工作量零运维偶尔配置调整80%DataX、Starrocks维护成本脚本、组件维护无需维护100%综合成本降低 60% 以上4.2 性能提升查询响应提速 3-5 倍ETL 任务对比测试测试背景业务场景门店经营分析看板的核心查询按门店、商品品类、时段、营销活动等维度复盘销售与会员消费数据SQL 结构订单事实表 JOIN 门店、商品、会员、营销活动等多张维度表商品名使用 LIKE 模糊匹配门店 ID 使用大 IN 列表过滤输出 15 业务维度聚合数据规模亿级订单明细对照口径任务一、任务二为同一 SQL仅时间范围筛选不同1 年 vs 半年时间范围srlakehouse提升点规格16c/128G * 3 48C /384G32C/128G使用更少的资源(减少33%)实现更好的性能任务一1 年2min 左右1min 左右2 倍性能提升任务二半年1min 10s 左右35s 左右2 倍性能提升4.3 开发效率提升一个平台完成数据接入、存储、建模、计算、推送全流程任务链开发复杂度显著下降可视化数据接入和运维降低了开发难度缩短了接入时间4.4 弹性支撑业务发展高峰期自动扩容促销活动期间查询并发从 50 QPS 升至 200 QPS系统自动扩容业务稳定低谷期成本优化闲时自动缩容节省成本快速响应需求可视化操作缩短新增数据源接入时间总结与展望5.1 项目总结茶理宜世通过引入云器 Lakehouse完成了从自建 StarRocks 到云原生湖仓的升级✅ 一站式平台数据接入、存储、计算、BI 一体化告别多组件维护✅ 显著降本基础设施成本降低 60%运维人力成本降低 80%✅ 性能提升BI 查询响应提升 20%-30%用户体验明显改善✅ 弹性伸缩Serverless 架构按需计费灵活应对业务波动✅ 开发提效一站式开发环境效率显著提升5.2 未来展望基于云器 Lakehouse茶理宜世计划进一步拓展数据平台的应用场景实时数据分析引入流式计算实现秒级数据洞察数据科学平台构建机器学习平台落地用户画像、销量预测等 AI 场景数据治理体系完善数据质量、血缘、安全管理体系多云部署基于云器 Lakehouse 多云能力实现跨云数据协同云器科技官网 - 改变数据的使用方式更多内容欢迎关注「云器科技」官网云器科技-多云及一体化数据平台提供