1. 课程亮点
尚硅谷《线上问诊离线数仓》 是一门专为大数据开发者设计的实战课程,涵盖从数据采集到数仓建模的全流程。课程以
真实医疗问诊场景为案例,结合
Hadoop、Kafka、Flume、Hive等主流技术栈,提供
源码+课件,帮助学员快速掌握企业级数仓开发技能。
2. 内容体系
课程分为
数据采集、环境搭建、数仓建模、数据同步与优化四大模块:
-
数据采集:通过Maxwell、DataX等工具实现MySQL到HDFS的数据同步,详解增量与全量同步策略。
-
集群部署:手把手教学Hadoop、Zookeeper、Kafka等集群配置,提供
自动化脚本提升效率。
-
数仓设计:深入讲解
维度建模、事实表设计、拉链表应用等核心理论,结合医疗业务场景落地实践。
-
性能调优:覆盖HDFS存储优化、DataX参数调优等实战技巧,解决高并发数据处理难题。
3. 项目实战价值
课程以
线上问诊业务为背景,模拟真实数据流:
-
业务闭环:从需求分析、技术选型到指标统计,完整还原企业级开发流程。
-
复杂场景覆盖:处理JSON数据、多值维度、周期性快照等典型问题,培养结构化思维。
-
工具链整合:综合运用Flume日志采集、Hive on Spark计算引擎等,强化技术整合能力。
4. 适合人群
- 具备
Hadoop、SQL基础,希望深入数仓领域的开发者。
- 需要掌握
离线数仓全链路技术的大数据从业者。
- 对
医疗行业数据建模感兴趣的技术人员。
5. 学习收获
通过本课程,学员将:
- 独立完成
PB级数据仓库的架构设计与实现。
- 掌握
企业级数据同步与调度的最佳实践。
- 获得可复用的
脚本与源码,直接应用于工作场景。
尚硅谷一贯以
实战深度著称,本课程是提升大数据工程能力的优质选择!