课程介绍
轻松入门大数据 玩转Flink,打造湖仓一体架构视频教程,由整理发布。随着数据规模持续的高速增长,大数据基础设施技术从数据库、数据仓库演化到如今的湖仓一体架构,更成为未来新的架构标准。而Flink因为其优良的性能与广泛的适用性,也成为大数据核心技术之一。本课程将从Flink零基础讲起,涵盖Kafka、ClickHouse、Hudi等热门技术栈,结合多种实时处理场景,构建当下最热门的数据湖、湖仓一体架构,助你轻松进阶大数据工程师!
相关推荐
轻松入门大数据 一站式完成核心能力构建
大数据工程师2022版
极客大学大数据训练营
适合人群
苦于没有优质选题做毕业设计的计算机专业大学生
想提升自己技能和薪资的大数据开发的同学
想转型大数据开发的同学
6大亮点设计,让你既能学懂,又能学精,轻松掌握热门框架,聚焦大数据核心框架Flink,变身为大厂争抢的大数据人才
构建电商行业数据湖——从通俗易懂的电商行业案例出发,基于Flink、ClickHouse和Hudi等技术框架,实现多场景、多业务的实时处理以及数据湖
课程目录
第1章 大厂技术首选高薪必备:揭开Flink的神秘面纱/
[ 64M] 1-1 高薪大数据工程师必备技能,你掌握了么?
[7.0M] 1-2 本章概览
[149M] 1-3 认识Flink
[103M] 1-4 部署应用到任意地方&运行任意规模应用
[ 94M] 1-5 Flink的起源及发展史
[251M] 1-6 Flink中的API
[ 94M] 1-7 Flink核心特性
[111M] 1-8 Flink对比Spark
第2章 批流一体丝滑开发体验:快速上手使用Flink进行编程 试看/
[8.7M] 2-1 本章概览
[ 69M] 2-10 Flink对接socket数据并进行统计分析
[229M] 2-2 基于Flink官方提供的命令构建Flink应用程序
[206M] 2-3 基于IDEA+Maven构建Flink应用程序的本地开发环境
[ 87M] 2-4 词频统计案例需求分析
[212M] 2-5 Flink以批处理的方式实现功能开发
[ 74M] 2-6 开发重构之自定义Function的方式
[195M] 2-7 开发重构之Lambda表达式写法
[137M] 2-8 Flink以流处理的方式实现功能开发
[ 66M] 2-9 通过参数控制Flink以何种模式运行作业
第3章 工欲善其事必先利其器:Flink部署及作业运行/
[8.6M] 3-1 本章概览
[ 94M] 3-10 取消作业的两种方式
[151M] 3-11 [重要]如何使用命令行的方式提交Flink应用程序
[381M] 3-12 初探Flink集群部署模式
[ 95M] 3-13 Flink Standalone之Application Mode方式运行
[250M] 3-14 Flink on YARN之Application Mode方式运行
[155M] 3-3 从宏观角度认识Flink架构
[175M] 3-4 再次认识JobManager和TaskManager
[168M] 3-5 Flink Standalone模式部署及Flink UI介绍
[ 72M] 3-6 flink run运行官方自带案例
[225M] 3-7 [补充]如何在本地运行环境中设定Flink WebUI
[ 82M] 3-8 动态传递参数给Flink应用程序改造
[ 53M] 3-9 使用Flink WebUI提交自己开发的Flink应用程序
第4章 快速便捷接入各种数据:Flink Data Source API编程 试看/
[ 10M] 4-1 本章概览
[282M] 4-10 自定义数据源实现MySQL数据的读取
[171M] 4-2 DataStream API编程规范以及DataStream是什么
[152M] 4-3 Flink多种执行环境的获取方式
[291M] 4-4 结合源码分析Data Source
[200M] 4-5 单并行度Source测试用例
[181M] 4-6 多并行度Source测试用例
[124M] 4-7 结合源码分析SourceFunction
[131M] 4-8 自定义实现单并行度数据源
[ 18M] 4-9 自定义实现多并行度数据源
第5章 高效简洁数据处理方式:Flink Transformation API编程/
[4.8M] 5-1 本章概览
[175M] 5-10 DataStream分流
[ 40M] 5-2 认识Flink中有哪些Transformation算子
[164M] 5-3 Tranformation算子实操之map算子
[ 79M] 5-4 Tranformation算子实操之filter算子
[103M] 5-5 Tranformation算子实操之flatMap算子
[141M] 5-6 Tranformation算子实操之keyBy算子
[ 72M] 5-7 Tranformation算子实操之union算子
[108M] 5-8 Tranformation算子实操之connect算子
[277M] 5-9 Tranformation算子实操之自定义分区器
第6章 处理结果吐出外部系统:Flink Sink API编程/
[6.1M] 6-1 本章概览
[101M] 6-2 认识Flink中的Sink
[140M] 6-3 Sink算子实操之print
[ 61M] 6-4 Sink算子实操之自定义Sink到终端
[231M] 6-5 Sink算子实操之自定义Sink到文件系统
[216M] 6-6 Flink处理结果输出到Redis中
[211M] 6-7 Flink处理结果输出到MySQL中
[143M] 6-8 Sink算子实操之输出到socket
第7章 玩转Flink项目实战之一:实时统计之商品分析/
[4.1M] 7-1 本章概览
[ 84M] 7-10 自定义RedisSink
[194M] 7-11 实现改造并进行统计结果的diff
[ 61M] 7-12 拓展
[ 55M] 7-2 企业中基于Flink实时处理的架构分析
[ 58M] 7-3 需求分析
[ 58M] 7-4 本地开发环境搭建
[147M] 7-5 项目日志字段说明及生产数据注意事项
[136M] 7-6 对接数据及清洗
[ 43M] 7-8 统计结果
[ 71M] 7-9 统计结果入Redis库
第8章 一起揭开Kafka神秘面纱:Kafka架构&核心术语/
[6.0M] 8-1 本章概览
[108M] 8-2 认识JMS
[144M] 8-3 通过官网的介绍知晓Kafka是什么
[ 53M] 8-4 自我语言总结Kafka是什么
[ 35M] 8-5 Kafka在大数据中的典型使用场景screenflow
[170M] 8-6 图解Kafka架构
第9章 工欲善其事必先利其器:Kafka部署及监控/
[8.1M] 9-1 本章概览
[ 35M] 9-2 动起我们的小手进行单节点单Kafka的部署(上)
[303M] 9-3 动起我们的小手进行单节点单Kafka的部署(下)
[148M] 9-4 kafka-topics命令行核心参数讲解
[182M] 9-5 Kafka Topic命令行操作
[124M] 9-6 Kafka生产者消费者命令行操作
[134M] 9-7 动起我们的小手进行单节点多Kafka的部署
[ 61M] 9-8 单节点多Kafka脚本命令测试
[135M] 9-9 Kafka监控部署及使用
第10章 深度剖析Kafka生产者:消息发送流程&API编程&调优/
[10.0M] 10-1 本章概览
[186M] 10-10 Kafka分区策略结合源码分析进行功能验证
[101M] 10-11 Kafka自定义分区器功能开发及测试
[185M] 10-12 Kafka性能调优参数在代码中的使用
[164M] 10-13 [经典面试题必掌握]谈谈你对Kafka中的副本以及同步副本的看法
[270M] 10-14 [经典面试题必掌握]谈谈你对Kafka中的acks的看法
[ 44M] 10-15 [经典面试题必掌握]谈谈你对Kafka中的消费语义的看法
[203M] 10-16 精准一次消费实现之幂等性
[103M] 10-17 精准一次消费实现之事务
[102M] 10-18 精准一次消费实现之事务功能开发及测试
[ 28M] 10-19 Kafka中Topic内的Partition中数据的有序性
[142M] 10-2 [经典面试题必掌握]生产者消息发送流程
[222M] 10-3 生产者消息发送流程核心参数详解
[253M] 10-4 生产者API开发之普通异步发送
[126M] 10-5 生产者API开发之普通异步发送代码重构
[103M] 10-6 生产者API开发之带回调的异步发送
[ 44M] 10-7 生产者API开发之同步发送
[ 81M] 10-8 Kafka的分区机制能为我们带来什么
[138M] 10-9 Kafka分区策略结合源码分析
第11章 深入剖析Kafka Broker:Kafka消息高效存储机制/
[4.1M] 11-1 本章概览
[249M] 11-2 Kafka相关信息在ZK上的存储机制
[ 60M] 11-3 Leader选择与ZK的关系
[122M] 11-4 Kafka副本机制
[141M] 11-5 Kafka数据存储机制
[441M] 11-6 Kafka数据存储机制更深入讲解
[124M] 11-7 Kafka核心参数讲解
第12章 深入剖析Kafka消费者:消息消费流程&API编程&调优/
[6.3M] 12-1 本章概览
[ 90M] 12-10 消费者API编程之多消费者消费各自分区数据
[238M] 12-11 Kafka分区策略之Range
[ 90M] 12-12 Kafka的Rebalance机制
[205M] 12-13 根据源码描述测试Range的分区策略及Rebalance
[ 87M] 12-14 统一思想完成其他策略的验证
[116M] 12-15 认识__consumer_offsets
[240M] 12-16 Kafka offset管理之自动提交
[ 58M] 12-17 Kafka offset管理之手动提交
[ 89M] 12-18 offset管理不当带来的隐患
[134M] 12-2 Kafka为什么使用的是pull的消费方式
[ 25M] 12-3 有了消费者之后为什么还需要消费者组
[ 73M] 12-4 消费者组和Topic的关系
[165M] 12-5 Kafka消费流程
[417M] 12-6 结合源码了解GroupCoordinator初始化过程
[264M] 12-7 消费者API编程之单消费者消费所有分区数据(上)
[206M] 12-8 消费者API编程之单消费者消费所有分区数据(下)
[132M] 12-9 消费者API编程之消费指定分区数据
第13章 经典Kafka CP整合使用:Kafka整合外部系统/
[3.3M] 13-1 本章概览
[ 72M] 13-2 认识Kafka在离线&实时处理处理架构中的位置
[203M] 13-3 Flume Sink到Kafka方案理解
[174M] 13-4 Flume Sink到Kafka功能开发及测试
[132M] 13-5 Flume KafkaSource对接到终端功能开发及测试
[190M] 13-6 Flink KafkaSource解读
[105M] 13-7 Flink KafkaSource功能开发及测试
[127M] 13-8 Flink KafkaSink功能开发及测试
第14章 玩转Flink项目实战之二:实时统计之商品分析(对接Kafka)/
[4.3M] 14-1 本章概览
[ 25M] 14-2 架构及内容介绍
[205M] 14-3 Flink接入Kafka数据
[ 97M] 14-4 重构代码
[253M] 14-5 Flink Stream关联MySQL数据操作
[196M] 14-6 Flink Asynchronous IO
[272M] 14-7 Flink异步IO读取MySQL的数据
第15章 时间对实时处理的影响:Flink时间语义及Window API篇/
[8.9M] 15-1 本章概览
[123M] 15-10 动手实操之CountWindow
[131M] 15-11 动手实操之TumblingWindow
[ 70M] 15-12 动手实操之SlidingWindow
[ 31M] 15-13 动手实操之SessionWindow
[146M] 15-14 Flink支持的WindowFunction
[121M] 15-15 WindowFunction动手实操之ReduceFunction
[182M] 15-16 WindowFunction动手实操之AggregateFunction
[158M] 15-17 WindowFunction动手实操之ProcessWindowFunction
[ 34M] 15-18 WindowFunction动手实操之AllWindowFunction
[307M] 15-19 WindowFunction动手实操之全量配合增量使用
[317M] 15-2 揭开Flink时间语义的面纱
[132M] 15-3 时间语义如何选择呢
[ 75M] 15-4 Window在实时计算中的地位
[117M] 15-5 Window的分类
[226M] 15-6 Window Assigners的职责及对应Window的分类
[ 78M] 15-7 Tumbling Window
[136M] 15-8 Sliding Windows
[ 96M] 15-9 Session Windows
第16章 延迟乱序数据解决方案:Watermark在Flink中的使用/
[3.8M] 16-1 本章概览
[ 84M] 16-2 引入WM
[ 72M] 16-3 WM策略
[288M] 16-4 WM策略代码演示
[194M] 16-5 测试数据的WM
[171M] 16-6 [重要]综合编程之滚动窗口
[ 99M] 16-7 [重要]综合编程之滑动窗口
[355M] 16-8 [重要]数据延迟&乱序解决方案
第17章 Flink容错核心状态管理:状态在Flink中的应用/
[7.6M] 17-1 本章概览
[159M] 17-10 process方法的用法三
[370M] 17-11 Checkpoint配置参数
[552M] 17-12 Flink Task重启策略
[422M] 17-13 [重要]Flink State Backend
[ 92M] 17-2 初识State
[214M] 17-3 自定义完成类似Flink状态管理的功能
[391M] 17-4 Flink KeyedState的使用
[283M] 17-5 [重要]Flink Operator State的使用并体会Flink State的强大特性
[341M] 17-6 Flink ValueState编程
[356M] 17-7 Flink State Ttl编程
[102M] 17-8 process方法的用法一
[ 91M] 17-9 process方法的用法二
第18章 玩转Flink项目实战之三:实时统计之数据大盘/
[4.9M] 18-1 本章概览
[142M] 18-10 Flink checkpoint vs savepoint
[179M] 18-2 多个Flink整合Kafka应用程序代码存在的问题
[ 83M] 18-3 读取配置文件中的参数
[130M] 18-4 Flink对接Kafka代码重构V1
[ 52M] 18-5 Flink对接Kafka代码重构V2
[ 71M] 18-6 [重要] Flink EOS
[131M] 18-7 [重要] Flink EOS再次剖析
[233M] 18-8 Flink EOS代码开发及本地测试并打包
[ 75M] 18-9 Flink EOS全流程在服务器上测试
第19章Flink更加精简的开发方式:FlinkTable/
[ 49M] 19-10获取到SQL中用到的表名或者视图名.mp4
[ 53M] 19-11临时表vs永久表.mp4
[ 34M] 19-12初始Connector.mp4
[ 93M] 19-13csv格式数据处理(上).mp4
[ 45M] 19-14csv格式数据处理(下).mp4
[133M] 19-15json格式数据处理.mp4
[ 97M] 19-16KafkaConnector的使用.mp4
[ 96M] 19-17时间语义在DDL中如何定义.mp4
[ 77M] 19-18UpsertKafkaConnector的使用.mp4
[ 70M] 19-19JDBCConnector的使用.mp4
[8.0M] 19-1本章概览.mp4
[ 25M] 19-20HBaseConnector的使用.mp4
[ 30M] 19-21拓展之开发实时处理平台.mp4
[115M] 19-22自定义UDF函数之ScalarFunction.mp4
[ 76M] 19-23自定义UDF函数之AggregateFunction.mp4
[ 65M] 19-24自定义UDF函数之TableFunction.mp4
[ 26M] 19-25SQL常用Query.mp4
[ 21M] 19-26sql-client的用法.mp4
[ 76M] 19-27WindowingTVF之TUMBLE.mp4
[ 40M] 19-28WindowingTVF之HOP.mp4
[ 65M] 19-29WindowTop-N.mp4
[ 59M] 19-2FlinkTableAPI&_SQL概述及依赖.mp4
[ 32K] 19-30[面试官来啦]面试讨论题.pdf
[ 82M] 19-3Concepts&_CommonAPI.mp4
[ 97M] 19-4DynamicTables.mp4
[105M] 19-5DataStream和Table之间的相互转换.mp4
[ 62M] 19-6TableAPI编程范式.mp4
[ 57M] 19-7TableAPI&_SQLQuery.mp4
[ 78M] 19-8创建Table对象.mp4
[ 78M] 19-9创建Table对象续.mp4
第20章数据采集神器FlinkCDC:基于FlinkCDC进行实/
[ 67M] 20-10自定义定制开发输出样式.mp4
[100M] 20-11FlinkCDC源码修改.mp4
[ 53M] 20-12FlinkCDC对接sql方式.mp4
[ 35K] 20-13[面试官来啦]面试讨论题.pdf
[2.2M] 20-1本章概览.mp4
[ 23M] 20-2实时数据采集场景介绍.mp4
[ 39M] 20-3Canal原理.mp4
[100M] 20-4Canal部署及使用.mp4
[ 76M] 20-5Canal编程.mp4
[ 40M] 20-6Canal编程测试.mp4
[ 45M] 20-7FlinkCDC概述.mp4
[ 66M] 20-8DataStreamAPI对接CDC.mp4
[ 34M] 20-9CDC从什么位置开始读取数据设置.mp4
第21章玩转Flink项目实战之四:实时统计之直播榜分析/
[1.8M] 21-1本章概览.mp4
[ 82M] 21-2背景及数据准备.mp4
[ 69M] 21-3功能实现之数据接入.mp4
[ 69M] 21-5可视化框架部署.mp4
[ 31M] 21-6可视化大屏制作.mp4
[9.8M] 21-7Flink处理过程简单化带来的好处.mp4
[ 34K] 21-8[面试官来啦]面试讨论题.pdf
第22章战斗民族开源神器ClickHouse:揭开CH的神秘面纱/
[2.5M] 22-1本章概览.mp4
[ 27M] 22-2产生背景.mp4
[ 65M] 22-3OLAP特性.mp4
[ 42M] 22-4列式存储特性.mp4
[ 73M] 22-5ClickHouse部署.mp4
[ 49M] 22-6ClickHouse核心目录.mp4
[ 45M] 22-7Clickhouse-client命令参数.mp4
[ 31M] 22-9ClickHouse跑分.mp4
第23章ClickHouse数据类型精讲:详解ClickHous/
[ 35M] 23-11Tuple类型.mp4
[ 23M] 23-12Map类型.mp4
[4.1M] 23-1本章概览.mp4
[ 24M] 23-2数据类型.mp4
[ 37M] 23-3数值类型之整型.mp4
[ 45M] 23-4数值类型之浮点型.mp4
[ 68M] 23-5[重要]数值类型之Decimal.mp4
[ 15M] 23-6布尔类型.mp4
[ 57M] 23-7[重要]String和FixedString类型.mp4
[ 20M] 23-8UUID类型.mp4
[ 78M] 23-9[重要]日期和时间类型.mp4
第24章ClickHouse内置函数精讲:详解ClickHous/
[ 57M] 24-10日期时间函数.mp4
[2.8M] 24-1本章概览.mp4
[ 55M] 24-2算数函数.mp4
[ 21M] 24-3比较函数.mp4
[ 18M] 24-4逻辑函数.mp4
[ 35M] 24-5取整函数.mp4
[ 53M] 24-6类型转换函数.mp4
[ 38M] 24-7条件函数.mp4
[ 38M] 24-8URL函数.mp4
[ 48M] 24-9字符串函数.mp4
第25章ClickHouse核心DDLDML:库/
[ 85M] 25-10分区表的创建及加载数据.mp4
[ 29M] 25-11分区表删除分区.mp4
[ 33M] 25-12分区表复制分区.mp4
[ 60M] 25-2DDL之创建数据库.mp4
[ 78M] 25-3DDL之创建表.mp4
[ 12M] 25-4DDL之删除表.mp4
[ 61M] 25-5DDL之修改表.mp4
[ 21M] 25-6DDL之重命名表.mp4
[ 18M] 25-7DDL之清空表数据.mp4
[ 80M] 25-8DML之插入数据.mp4
[ 36M] 25-9DML之修改和删除数据.mp4
第26章ClickHouse核心引擎分析:各家族核心引擎使用及选/
[ 50M] 26-10表引擎Integrations之MySQL引擎.mp4
[ 26M] 26-11数据库引擎之MySQL引擎.mp4
[ 35M] 26-13表引擎Special之Merge引擎.mp4
[ 24M] 26-14表引擎Special之Memory引擎.mp4
[ 29M] 26-15MergeTreeEngine概览.mp4
[ 51M] 26-16MergeTreeEngine核心语法详解.mp4
[ 40M] 26-17[重要]MergeTreeEngine非分区表功能测试.mp4
[ 42M] 26-18[重要]MergeTreeEngine日期类型分区表功.mp4
[103M] 26-19[重要]MergeTreeEngine执行流程分析.mp4
[4.3M] 26-1本章概览.mp4
[ 79M] 26-20ReplacingMergeTree引擎.mp4
[ 58M] 26-21ReplacingMergeTree引擎带ver的使用.mp4
[111M] 26-22SummingMergeTree引擎.mp4
[ 36M] 26-2表引擎概览.mp4
[ 24M] 26-3LogEngineFamily的共性.mp4
[ 58M] 26-4TinyLog引擎.mp4
[ 43M] 26-5Stripelog引擎[更多it资源 www.ukoou.com].mp4
[ 36M] 26-6Log引擎.mp4
[ 42M] 26-7[重要]LogEngineFamily总结.mp4
[ 25M] 26-8表引擎之Integrations概览.mp4
[117M] 26-9表引擎Integrations之HDFS引擎.mp4
第27章ClickHouse元数据中心:元数据管理/
[2.8M] 27-1本章概览.mp4
[ 70M] 27-2[重要]元数据在大数据中的作用.mp4
[ 92M] 27-3ClickHouse元数据之tables.mp4
[ 74M] 27-4ClickHouse元数据之columns.mp4
[ 32M] 27-5ClickHouse元数据之表相关元数据.mp4
[ 22M] 27-6ClickHouse元数据之执行相关元数据.mp4
[ 25M] 27-7ClickHouse元数据之内置不同种类的维度表元数据.mp4
[ 21M] 27-8ClickHouse元数据之用户&_角色&_.mp4
[ 17M] 27-9ClickHouse元数据之其他元数据.mp4
第28章经典ClickHouse整合Flink编程:整合Flin/
[5.4M] 28-1本章概览
[ 45M] 28-2ClickHouseJDBC编程概述
[ 71M] 28-4Flink整合ClickHouse写操作
[ 17M] 28-5Flink整合ClickHouse读操作
第29章玩转Flink项目实战之五:基于Flink和Click/
[ 11M] 29-1本章概览
[ 28M] 29-2实战功能改善
[ 43M] 29-3场景一之功能实现一
[ 80M] 29-4场景一之功能实现二
[ 83M] 29-5场景一之功能实现三
[ 23M] 29-6场景一之扩展
[ 38M] 29-7场景二需求分析
[ 69M] 29-8场景二之功能实现一
[ 58M] 29-9场景二之功能实现二
[ 65M] 29-10场景二之功能实现三
[ 16M] 29-11场景二之功能扩展
[ 26M] 29-12可视化
[ 18M] 29-13总结与扩展
第30章揭开数据湖的神秘面纱:数据湖开源产品Hudi的使用/
[4.8M] 30-1本章概览
[ 95M] 30-2引入数据湖
[ 46M] 30-3常用数据湖框架对比
[ 77M] 30-4初识Hudi
[ 47M] 30-5再次认识Hudi
[ 87M] 30-7核心概念之TimeLine
[ 84M] 30-8快速使用Spark写入数据到Hudi
[ 75M] 30-9核心概念之FileLayouts
[ 64M] 30-11核心概念之IndexType
[ 62M] 30-13核心概念之TableType(MOR)
[ 13M] 30-14核心概念之TableType(对比)
[ 50M] 30-15核心概念之QueryTypes
[ 26M] 30-16核心概念之其他
[ 48M] 30-17Hudi整合FlinkSQL快速入门
[ 34M] 30-18FlinkSQL对接Kafka数据
[161M] 30-19FlinkSQL对接Kafka数据落入Hudi
第31章玩转Flink项目实战之六:基于Flink和Hudi的数/
[2.3M] 31-1本章概览
[ 31M] 31-2回顾离线处理架构
[ 64M] 31-3引入Hudi后的架构
[ 37M] 31-4架构中重要环节的补充说明
[ 70M] 31-5Flink中Catalog使用
[ 70M] 31-6Flink对接catalog之读取Hive数据
[ 30M] 31-7Flink对接catalog之写入Hive数据
[ 38M] 31-8Hudi版本升级
[ 57M] 31-10表结构讲解
[ 53M] 31-11分层
[ 41M] 31-12CDC层建设
[ 44M] 31-13产生数据
[ 87M] 31-14订单表ODS层建设
[ 11M] 31-15商品表ODS层建设
[ 12M] 31-16订单详情表ODS层建设
[ 45M] 31-17DWD层建设思路
[ 33M] 31-18订单相关DWD层建设思路_1
[ 56M] 31-19ADS层建设
[ 25M] 31-20总结
资料代码/
资源目录截图
评论0