简介
1. 详解kafka架构,包含数据持久化方式——Topic / Partition / Segment,及数据发布方案——Producer,数据路由策略——Partitioner,和消息订阅方案——Consumer
2. 分析Kafka实现高可用的原理,并将其推广到通用分布式系统,从而为分布式系统常见问题提供参考解决方案
3. 分析Kafka的Consumer Group Rebalance方案原理及其演进过程,并分析不同方案的优劣
4. 讲解Kafka Stream的适用场景,基于Partition的并发模型。同时分析流式处理系统的常见问题,以及Kafka Stream的对应解决方案。并给出Kafka Stream与其它流式处理系统的区别及各自适合的应用场景
目标
1. 掌握Kafka的使用方式,以及如何与现有业务系统集成
2. 理解Kafka实现高可用的原理,了解Consumer Group Rebalance的原理及方案演进以及对业务代码的影响。同时为分布式系统经典问题提供思路
3. 掌握Kafka Stream的原理及适用场景
4. 掌握Kafka运维的核心问题解决方案
受众人群
运维工程师、架构师、大数据工程师、技术经理等
课程时长
2天(12H)
分享提纲
标题 | 内容 |
Kafka架构介绍
| 1 为何使用消息系统 2 Kafka设计理念 |
Kafka高可用性方案演进
| 1 基于ISR的数据复制 2 Kafka领导选举 |
Kafka Consumer Rebalance演进
| 1 Consumer API 2 自治式Consumer Group Rebalance 3 集权式Rebalance |
Kafka实现Exactly Once
| 1 不同的Delivery Guarantee 2 基于幂等的的Exactly Once 3 基于事务的Exactly Once |
Kafka Stream
| 1 Kafka Stream特点 2 Kafka Stream示例 |
Kafka运维 | 1 分区重新分配 2 Preferred Replica Election |