获取资料

JK-零基础入门Spark

JK-零基础入门Spark

1.开篇词

开篇词 _ 入门Spark,你需要学会“三步走”

2.基础知识

01Spark:从“大数据的Hello World”开始

02 _ RDD与编程模型:延迟计算是怎么回事?

03 _ RDD常用算子(一):RDD内部的数据转换

04 _ 进程模型与分布式部署:分布式计算是怎么回事?

05 _ 调度系统:如何把握分布式计算的精髓?

06 _ Shuffle管理:为什么Shuffle是性能瓶颈?

07 _ RDD常用算子(二):Spark如何实现数据聚合?

08 _ 内存管理:Spark如何使用内存?

09 _ RDD常用算子(三):数据的准备、重分布与持久化

10 _ 广播变量 & 累加器:共享变量是用来做什么的?

11 _ 存储系统:数据到底都存哪儿了?

12 _ 基础配置详解:哪些参数会影响应用程序稳定性?

3.Spark SQL

13 _ Spark SQL:让我们从“小汽车摇号分析”开始

14 _ 台前幕后:DataFrame与Spark SQL的由来

15 _ 数据源与数据格式:DataFrame从何而来?

16 _ 数据转换:如何在DataFrame之上做数据处理?

17 _ 数据关联:不同的关联形式与实现机制该怎么选?

18 _ 数据关联优化:都有哪些Join策略,开发者该如何取舍?

19 _ 配置项详解:哪些参数会影响应用程序执行性能?

20 _ Hive + Spark强强联合:分布式数仓的不二之选

21Spark UI(上):如何高效地定位性能问题?

22Spark UI(下):如何高效地定位性能问题?

3.SparkSQL

4.Spark MLlib

23 _ Spark MLlib:从“房价预测”开始

24 _ 特征工程(上):有哪些常用的特征处理函数?

25 _ 特征工程(下):有哪些常用的特征处理函数?

26 _ 模型训练(上):决策树系列算法详解

27 _ 模型训练(中):回归、分类和聚类算法详解

28 _ 模型训练(下):协同过滤与频繁项集算法详解

29 _ Spark MLlib Pipeline:高效开发机器学习应用

4.SparkMLlib

5.Structured Streaming

30Structured Streaming:从“流动的Word Count”开始

31新一代流处理框架:Batch mode和Continuous mode哪家强?

32Window操作&Watermark:流处理引擎提供了哪些优秀机制?

33流计算中的数据关联:流与流、流与批

34Spark + Kafka:流计算中的“万金油”

5.StructuredStreaming

6.用户故事

用户故事 _ 小王:保持空杯心态,不做井底之蛙

7.结束语

期末测试来赴一场100分之约!

结束语 _ 进入时间裂缝,持续学习

评论0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址