Flink 应用与实战
百林哲咨询(北京)有限公司专家团队成员
拥有8年大数据行业经验,目前任职于某一线互联网大数据平台,负责数据平台的底层海量分布式存储计算系统的搭建、研发和运维工作。精通Hadoop, Spark, Flink, Kafka, Elasticsearch等大数据技术。
浏览:3185次
详情 DETAILS

简介

本课程的大纲设置,注重的是Flink基础和核心技术的梳理和掌握,之后会对其中几个重要的技术点做深入分析。针对企业内训的需求,我们对大纲的设置,特别增加了学以致用的实战环节,让企业学员能够在学习完Flink技术知识后,具备将Flink应用到实际生产环境中的能力,通过短时间的技术学习,为公司创造价值和提高技术生产的效率。

此课程共两天,第一天为Flink的基础和进阶技术知识点,以及第一个实战项目。第二天为Flink的高级技术知识点,包含了第二个实战项目。

目标

学员通过实践本课程,能够熟悉大数据行业和分布式系统的技术核心知识点;通过Flink知识的学习,能够掌握大数据应用的开发和运维能力,并能够掌握海量数据处理的编码和性能调优经验。让学员能够从0到1独立完成Flink分布式系统的搭建y,以及Flink流式和批式计算的程序编写;熟悉中国Top5互联网企业(如阿里巴巴,腾讯)的大数据平台中Flink的技术的应用案例和最佳实践。

课程时长

2天(12H)

分享对象

本课程不仅适合大数据 Hadoop, Flink, Spark 相关从业人员,同时也适合热爱或者希望未来从事大数据相关工作的在校学生,软件开发工程师,运维工程师以及架构师学习。通过本课程,学员将能够快速熟悉和掌握大数据利器,在生产中解决实际问题。  

分享提纲

主题内容

基础和进阶(上午)

1. 流式处理架构

1.1 流式处理背景及架构介绍

1.2 流式处理行业案例以及Flink的适用场景及应用概述

 

2. Flink概述

2.1 什么是Flink

2.2 Flink架构

2.3 Flink 与 Spark的比较以及为什么选择Flink

2.4 Flink开发环境配置和搭建

 

3. Flink编程模型

3.1 数据集类型

3.2 Flink编程接口

3.3 Flink程序结构

3.4 Flink数据类型

 

4. DataStream API介绍与使用

4.1 DataStream编程模型

4.2 Flink Execution 参数

4.3 Transformation

4.4 时间概念与Watermark

4.5 Windows窗口计算

4.6 作业链和资源组

4.7 Asynchronous I/O异步API

4.8 Asynchronous I/O异步原理

 

5. Flink Connector数据源

5.1 FlinkKafkaSource序列化、消费模式

5.2 FlinkKafkaSource容错、动态分区及topic

5.3 FlinkKafkaSink序列化、配置、分区与容错

5.4 自定义Source和Sink

基础和进阶(下午)

1. DataSet API介绍与使用

1.1 DataSet API,Transformation

1.2 迭代计算

1.3 广播变量与分布式缓存

1.4 语义注解

1.5 DataSetUtils工具类

 

2. Table API & SQL介绍与使用

2.1 TableEnviroment概念

2.2 Flink Table API

2.3 Flink SQL使用

2.4 自定义函数

2.5 自定义数据源

 

3. 两个完整的Flink实现案例:

3.1 Kafka 数据流处理,写入HDFS

3.2 多源数据关联与聚合分析

 

4. Flink有状态的计算、状态管理和容错

4.1 什么是有状态计算

4.2 有状态计算中的数据一致性挑战

4.3 理解state状态

4.4 Operator State 的使用及Redistribute

4.5 Keyed State的使用与Redistribute

4.6 Broadcast State的妙用

4.7 Checkpoint核心原理剖析

4.8 Checkpoint使用条件及使用步骤

4.9 Checkpoint相关配置及重启策略

4.10 Savepoint的触发、Job恢复及删除

 

5. 实战项目1:用Flink实现一个通用、配置化的海量数据流、批处理产品。

5.1 实现配置管理

5.2 实现数据源加载

5.3 实现主流程控制

5.4 实现任务管理

高级(上午)

1. Flink部署与应用

1.1 Flink集群部署

1.2 Flink高可用配置

1.3 Flink安全管理

1.4 Flink集群升级

1.5 Flink on Yarn的原理和运行方式

1.6 Flink on Yarn 提交任务与停止任务

 

2. Flink监控与性能优化

2.1 监控指标

2.2 Backpressure监控与优化

2.3 Checkpointing监控与优化

2.4 Flink内存优化

 

3. Flink组件栈介绍与使用

3.1 Flink复杂事件处理

3.2 Flink Gelly图计算应用

3.3 FlinkML机器学习应用

3.4 Flink Metrics 与监控

 

4. Flink源码学习

4.1 Flink源码编译

4.2 如何阅读和学习Flink源码

4.3 Flink源码实现思路以及依赖管理

4.4 Flink核心模块源码带读与分析

高级(下午)

1. Flink在各大互联网公司的典型应用剖析

1.1 Flink在阿里的应用

1.2 Flink在字节跳动的应用

1.3 Flink在腾讯的应用

1.4 Flink在微博的应用

1.5 Flink在其他互联网公司的应用

1.6 Flink 最佳实践

 

2. 实战项目2:使用Flink实现电商用户支付行为分析和审计风控

2.1 电商支付数据模型(订单,流水,账户余额,发现表)

2.2 用户行为分析需求与维度指标设计

2.3 审计风控的需求与实现思路

2.4 Flink代码实现结构与业务逻辑细节拆解


企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1