课程名称：5G时代的大数据直播中台项目

应用场景：商业直播

应用领域：大数据准实时，实时应用程序的开发和讲解

项目描述：此项目主要实践于某商业ToB直播大型项目，整个项目负责作为整体项目的数据中台，不负责数据的上报和数据的使用。项目中直接使用企业中的真实日志数据作为数据的依托，为每一位学员打造真实的项目环境。项目是用java语言开发spark流程序，核心框架structed-spreaming，项目实时处理各个业务端上报的数据，并及时将结果数据推送给业务端使用。

主要模块：采集程序，数据解析程序，数据清洗程序，数据统计程序，mysql分析函数，数据推送程序。

应用技术栈

• Java Spark
• Flume
• Kafka
• Structured Streaming
• Flink SQL重构统计
• Mysql函数
• Redis
• quartz

课程内容：

一、项目概述（一堂课）

1、项目概述，业务规则梳理，数据清洗规则，技术架构讲解

2、项目中用到的组件讲解

Flume / spark-structed-spreaming

/ kafka / redis / mysql函数 / quartz

二、项目讲解和代码开发（每个小结一堂课）

1. nginx讲解 + flume采集nginx日志到kafka主题
2. 实时程序解析nginx日志，写入不同kafka主题的开发
3. 异步报警程序和监控程序开发（报警采用第三方付费短信接口）
4. 实时清洗程序清洗kafka数据--清洗程序1开发
5. 实时清洗程序清洗kafka数据--清洗程序2开发
6. 实时统计程序处理清洗结果数据开发
7. flink讲解 + 用flink重构数据统计程序
8. kafka数据实时入库程序开发
9. mysql函数的编写和调用执行
10. 数据推送程序开发
11. 基于Redis的信息预警、offset的信息存储
12. 代码功能测试和断点能力加强，上线部署流程

三、总结与展望（一堂课）

1、实时程序的 压测/部署/监控/报警服务/注意事项讲解

2、coding能力的快速提高/技术问答和展望

对此项目感兴趣的同学后台咨询【项目】即可