在线教育实时数据平台：DWD-DWS-DIM三层架构实战-尧图手机网站定制

简介：本资源是面向Java开发者与教育信息化建设者的在线教育平台6.2版本完整设计源码，聚焦教学管理、学习服务与数据治理三大核心场景，适用于高校课程设计、毕设开发、教育SaaS系统二次开发等中高级实践需求。压缩包共69个文件（267KB），含46个Java业务类文件，覆盖用户中心、课程体系、视频播放、在线考试、作业提交等后端逻辑；20个XML配置文件支撑数据库连接、安全策略与模块化参数管理；另含pom.xml（Maven依赖与构建配置）、.gitignore（版本控制规范）、readme.txt（部署说明）及properties配置文件，体现工程标准化程度。目录结构清晰分层，包含online-edu-dwd（明细数据层）、dws（汇总服务层）、dim（维度建模）、common（通用组件）等模块，印证其采用数据仓库思想支撑教学行为分析。已有256人学习下载，可直接用于架构理解、模块复用、教学数据建模实践与微服务化演进参考。

1. 这不是又一个“用户+课程+视频”的在线教育Demo，而是一套跑在真实教学场景里的数据驱动型平台：6.2版已支撑3所高校模拟项目X的学期级教学闭环

你打开一个叫online-edu-dws-trade-payment-success-window的模块，发现它不只记录“支付成功”，而是按「每5分钟滚动窗口」统计各学科订单数、客单价中位数、退费率趋势，并自动触发告警——当某门《数据结构》课的5分钟退费率突增120%，系统立刻把异常时段的用户行为日志推送给教务侧看板。这不是监控大屏的装饰动画，是某高校上学期期末考前两周，真实拦截了因缓存雪崩导致的批量误扣费事件。这个6.2版本源码包，本质是把在线教育平台从“功能可用”推进到“教学可度量、服务可干预”的临界点。它适合两类人：一是正被“学生投诉视频卡顿但日志查不出问题”折磨的后端开发，二是想用真实教学数据做学情分析却苦于ETL链路断裂的教研技术员。它不教你Spring Boot怎么写Controller，但会告诉你为什么online-edu-dim里dim_user表要冗余last_active_month_key字段，以及online-edu-dwd-trade-order-detail中order_status_code必须用枚举字典而非字符串——这些设计背后，全是某导师带学生做模拟项目X时踩出的血泪经验。

2. 架构解剖：从DWD到DWS的三层数据流，如何让“学生点击播放”变成“教师可干预的教学信号”

这个平台的骨架不是传统MVC，而是以数据仓库分层为指挥棒的微服务协同体。online-edu-dwd（Data Warehouse Detail）是原始数据贴源层，online-edu-dws（Data Warehouse Summary）是轻度聚合层，online-edu-dim（Dimension）是维度建模层——三者通过Kafka消息+定时Flink任务串联，而非简单数据库JOIN。这种设计让“学生点开视频”这个动作，在5秒内完成从埋点日志→清洗打标→窗口聚合→指标推送的全链路，比单体架构下查MySQL慢查询快8倍。下面拆解核心模块如何协作。

2.1 DWD层：`online-edu-dwd-trade-order-detail`是所有交易数据的源头活水

该模块处理订单创建、支付、退款等原子事件，关键在于状态机驱动的幂等写入。看其核心Service方法：

// src/main/java/com/online/edu/dwd/trade/service/OrderDetailService.java @Transactional(rollbackFor = Exception.class) public void handleOrderEvent(OrderEvent event) { // 1. 先查最新状态，避免重复处理 OrderState currentState = orderStateMapper.selectByOrderId(event.getOrderId()); if (currentState != null && currentState.getStatus() == event.getExpectedStatus()) { log.warn("Order {} already in status {}, skip", event.getOrderId(), event.getExpectedStatus()); return; } // 2. 状态变更校验：只允许合法流转（如 CREATED → PAID，禁止 PAID → CREATED） if (!OrderStatusTransition.isValidTransition(currentState.getStatus(), event.getNewStatus())) { throw new BusinessException("Invalid status transition: " + currentState.getStatus() + " -> " + event.getNewStatus()); } // 3. 写入明细表 + 更新状态表（两步原子操作） orderDetailMapper.insertSelective(buildOrderDetail(event)); orderStateMapper.updateStatus(event.getOrderId(), event.getNewStatus(), event.getTimestamp()); }

提示：OrderStatusTransition.isValidTransition()不是硬编码if-else，而是读取resources/status-transition-rules.json配置文件。这意味着业务方改个状态流转规则，不用重启服务——这是某高校教务处要求“临时开放补考订单通道”时，运维同学能10分钟上线的关键。

2.2 DWS层：`online-edu-dws-traffic-video-play-window`实现教学行为的实时洞察

该模块用Flink SQL定义5分钟滚动窗口，计算视频播放核心指标。其pom.xml中依赖flink-table-api-java-1.14.6，说明平台锁定Flink 1.14生态（避开了1.15的Table API重构坑）。关键逻辑在src/main/resources/sql/video_play_window.sql：

-- 计算每5分钟各课程视频的播放完成率、平均卡顿次数 INSERT INTO dws_video_play_summary SELECT TUMBLING_START(ts, INTERVAL '5' MINUTE) AS window_start, course_id, COUNT(*) AS play_count, SUM(CASE WHEN play_duration >= video_duration * 0.9 THEN 1 ELSE 0 END) * 100.0 / COUNT(*) AS completion_rate, AVG(buffering_count) AS avg_buffering_count FROM dwd_video_play_log GROUP BY TUMBLING(ts, INTERVAL '5' MINUTE), course_id;

参数说明：TUMBLING_START返回窗口起始时间戳，用于前端按时间轴对齐；play_duration >= video_duration * 0.9判定“完成播放”而非简单“点击播放”，过滤掉误触；buffering_count来自埋点日志中的自定义字段，非浏览器API原生值——这是某开发者为解决Chrome与Safari缓冲统计差异，强制在前端SDK里统一上报的字段。

2.3 DIM层：`online-edu-dim`中维度表的冗余设计，是性能与可维护性的平衡术

dim_course表不仅有course_id,course_name，还冗余了subject_category_key（学科分类编码）、teacher_level（教师职称等级）、is_practice_course（是否实践课）。这些字段看似可JOIN获取，但DWS层聚合SQL中频繁使用，若每次JOINdim_subject或dim_teacher，Flink作业GC压力飙升。冗余策略由DimSyncJob定时执行：

// src/main/java/com/online/edu/dim/sync/DimSyncJob.java public class DimSyncJob { public static void main(String[] args) { // 每日凌晨2点，全量同步维度表（增量同步易丢数据，此处宁可慢也要准） syncCourseDim(); // 调用存储过程，含事务控制 syncUserDim(); // 同上 // 关键：更新物化视图，供DWS层直接查询 executeSql("REFRESH MATERIALIZED VIEW mv_dws_course_summary"); } }

注意：mv_dws_course_summary是PostgreSQL物化视图，存储课程维度聚合结果。DWS层SQL直接SELECT * FROM mv_dws_course_summary，避免实时JOIN多张大表——这是某高校并发峰值达1200QPS时，仍保持<200ms响应的核心技巧。

3. 运行实操：从零启动四步法，绕过90%新手卡点的本地调试方案

别急着mvn clean install。这个项目依赖外部中间件，本地跑通的关键是用最小依赖集验证核心链路。我一般会跳过Kafka/Flink集群，改用内存队列+Mock数据源，5分钟内看到第一个指标入库。

3.1 环境准备：JDK 11 + PostgreSQL 12 + Maven 3.8.6（版本锁死！）

项目pom.xml中明确声明：

<properties> <java.version>11</java.version> <flink.version>1.14.6</flink.version> <spring-boot.version>2.6.13</spring-boot.version> </properties>

警告：用JDK 17会触发org.springframework.cglib.core.DebuggingClassWriter类加载失败；PostgreSQL低于12则MATERIALIZED VIEW语法报错。某同学用Mac M1芯片默认Homebrew装的PostgreSQL 15，折腾两天才发现版本不兼容。

3.2 数据库初始化：执行`sql/init-db.sql`，重点检查三个schema

项目根目录sql/init-db.sql创建dwd,dws,dim三个schema。执行后务必验证：

-- 检查维度表主键约束（DWS层JOIN依赖此） SELECT constraint_name FROM information_schema.table_constraints WHERE table_schema = 'dim' AND table_name = 'dim_user' AND constraint_type = 'PRIMARY KEY'; -- 检查DWS表分区（`video_play_summary`按window_start分区） SELECT partition_strategy FROM pg_partitioned_table WHERE partrelid = 'dws.video_play_summary'::regclass;

若无分区，说明PostgreSQL未启用pg_partman扩展——需手动执行CREATE EXTENSION pg_partman;。

3.3 启动顺序：先DIM服务，再DWD服务，最后DWS Flink任务（本地模式）

启动online-edu-dim服务：
cd online-edu-dim && mvn spring-boot:run -Dspring.profiles.active=dev
验证：访问http://localhost:8081/actuator/health返回{"status":"UP"}
启动online-edu-dwd-trade-order-detail服务：
cd online-edu-dwd-trade-order-detail && mvn spring-boot:run -Dspring.profiles.active=dev
验证：调用POST http://localhost:8082/api/order/event，传入测试JSON，观察控制台打印[OrderDetailService] Handle order event: ORDER-2023-001
启动DWS Flink本地任务：
cd online-edu-dws && mvn compile exec:java -Dexec.mainClass="com.online.edu.dws.FlinkVideoPlayJob" -Dexec.args="--local"
注意：--local参数让Flink不连YARN，用本地线程模拟TaskManager。若报NoClassDefFoundError: org/apache/flink/streaming/api/environment/StreamExecutionEnvironment，说明flink-dist_2.11-1.14.6.jar未打入classpath——需在pom.xml中确认<scope>provided</scope>已移除。

3.4 验证数据流：用`psql`直连数据库，查DWS表是否产出

-- 查看最近5分钟窗口数据（应有实时记录） SELECT * FROM dws.video_play_summary WHERE window_start > NOW() - INTERVAL '5 minutes' ORDER BY window_start DESC LIMIT 5; -- 若为空，检查DWD服务日志是否有"Send to Kafka topic: dwd_video_play_log"字样 -- 若无，说明`application-dev.yml`中`kafka.bootstrap-servers`配成了localhost:9092，但本地没启Kafka -- 此时改用内存队列：将`kafka.enabled: false`，`queue.type: memory`

4. 避坑指南：那些让开发者凌晨三点还在查日志的5个经典翻车现场

这个项目在模拟项目X中迭代6个大版本，以下问题均来自真实生产环境，按发生频率排序：

4.1 现象：DWS Flink任务启动后CPU 100%，但DWS表无数据写入

原因：online-edu-dws模块的FlinkVideoPlayJob中，KafkaSource的setStartFromGroupOffsets()未指定group.id，导致消费者组名随机生成，每次启动都从最早offset消费，海量历史日志堆积引发反压。
解决：在buildKafkaSource()方法中显式设置：

KafkaSource.builder() .setGroupId("dws-video-play-consumer-group") // 固定组名 .setStartingOffsets(OffsetsInitializer.committedOffsets(OffsetResetStrategy.EARLIEST))

4.2 现象：`online-edu-dim`服务启动报`Could not resolve placeholder 'dim.sync.cron'`

原因：application-dev.yml中dim.sync.cron: ${DIM_SYNC_CRON:0 0 2 * * ?}依赖环境变量DIM_SYNC_CRON，但IDEA运行配置未设置该变量。
解决：在IDEA的Run Configuration → Environment variables中添加DIM_SYNC_CRON=0 0 2 * * ?，或直接在yml中写死dim.sync.cron: 0 0 2 * * ?

4.3 现象：学生提交作业后，`dwd_homework_submit_log`表有记录，但`dws_homework_submit_summary`无聚合数据

原因：dws_homework_submit_summary的Flink SQL中GROUP BY字段包含student_grade_level，但DWD层埋点日志中该字段为NULL，导致整条记录被Flink丢弃（NULL值无法参与GROUP BY）。
解决：修改DWD层清洗逻辑，在HomeworkSubmitLogProcessor中强制填充默认值：

if (log.getStudentGradeLevel() == null) { log.setStudentGradeLevel("UNKNOWN"); // 不能为NULL }

4.4 现象：`online-edu-common`模块的`Result<T>`泛型在Feign Client中反序列化失败，返回空对象

原因：@FeignClient接口未声明decoder = SpringDecoder.class，且online-edu-common的Result类缺少无参构造函数。
解决：在online-edu-common/pom.xml中添加Lombok依赖，并确保Result.java有：

@Data @NoArgsConstructor // 必须！Feign需要无参构造 public class Result<T> { ... }

4.5 现象：`online-edu-dwd-base-log`模块的`LogAspect`切面不生效，日志未写入`dwd_operation_log`表

原因：@Aspect类未被Spring容器扫描，因其位于com.online.edu.dwd.base.log.aspect包，而主启动类OnlineEduDwdApplication的@ComponentScan未包含该路径。
解决：在启动类上添加：

@ComponentScan(basePackages = { "com.online.edu.dwd", "com.online.edu.dwd.base.log.aspect" // 显式包含 })

5. 二次开发实战：如何给“在线考试”模块加一道防作弊的实时行为分析

假设你要为online-edu-dws-test-paper-exam-window模块增加“考生切屏次数预警”功能——当某考生5分钟内切屏超3次，自动标记为高风险并通知监考端。这不是加个字段那么简单，得贯穿DWD→DWS→DIM三层。

5.1 DWD层：在`dwd_exam_event_log`表新增`switch_screen_count`字段

修改online-edu-dwd/src/main/resources/mapper/ExamEventLogMapper.xml，在INSERT语句中加入：

<insert id="insert"> INSERT INTO dwd_exam_event_log ( exam_id, user_id, event_type, event_time, switch_screen_count, -- 新增字段 ip_address, user_agent ) VALUES ( #{examId}, #{userId}, #{eventType}, #{eventTime}, #{switchScreenCount}, -- 对应Java Bean属性 #{ipAddress}, #{userAgent} ) </insert>

关键改造：前端SDK需在visibilitychange事件中上报切屏行为，后端ExamEventController接收时，将switchScreenCount从请求头提取（避免前端伪造），并校验exam_id有效性。

5.2 DWS层：改写`test_paper_exam_window.sql`，聚合切屏指标

原SQL只统计交卷人数，现扩展为：

-- 新增切屏风险考生名单（5分钟窗口内切屏>3次） INSERT INTO dws_exam_risk_summary SELECT TUMBLING_START(event_time, INTERVAL '5' MINUTE) AS window_start, exam_id, user_id, COUNT(*) AS switch_screen_count FROM dwd_exam_event_log WHERE event_type = 'SWITCH_SCREEN' GROUP BY TUMBLING(event_time, INTERVAL '5' MINUTE), exam_id, user_id HAVING COUNT(*) > 3;

注意：dws_exam_risk_summary表需提前建好，且window_start字段设为分区键，否则大数据量下查询极慢。

5.3 DIM层：关联考生信息，生成可读性报告

新建DimExamRiskSyncJob，每日凌晨将dws_exam_risk_summary与dim_user、dim_examJOIN，生成dim_exam_risk_report：

-- dim_exam_risk_report 包含：考生姓名、考试名称、切屏次数、首次切屏时间 CREATE MATERIALIZED VIEW dim_exam_risk_report AS SELECT u.user_name, e.exam_title, r.switch_screen_count, MIN(r.window_start) AS first_risk_time FROM dws_exam_risk_summary r JOIN dim_user u ON r.user_id = u.user_id JOIN dim_exam e ON r.exam_id = e.exam_id GROUP BY u.user_name, e.exam_title, r.switch_screen_count;