kafka应用与最佳实践
Joy Guo 查看讲师
百林哲咨询(北京)有限公司专家团队成员
现就职于大型互联网企业从事大数据平台优化工作。多年Kafka和Spark/Hadoop/Storm研究、应用及调优经验,曾为诸多公司提供过培训咨询服务。
浏览:6543次
详情 DETAILS

简介

1. 详解kafka架构,包含数据持久化方式——Topic / Partition / Segment,及数据发布方案——Producer,数据路由策略——Partitioner,和消息订阅方案——Consumer

2. 分析Kafka实现高可用的原理,并将其推广到通用分布式系统,从而为分布式系统常见问题提供参考解决方案

3. 分析Kafka的Consumer Group Rebalance方案原理及其演进过程,并分析不同方案的优劣

4. 讲解Kafka Stream的适用场景,基于Partition的并发模型。同时分析流式处理系统的常见问题,以及Kafka Stream的对应解决方案。并给出Kafka Stream与其它流式处理系统的区别及各自适合的应用场景

目标

1. 掌握Kafka的使用方式,以及如何与现有业务系统集成

2. 理解Kafka实现高可用的原理,了解Consumer Group Rebalance的原理及方案演进以及对业务代码的影响。同时为分布式系统经典问题提供思路

3. 掌握Kafka Stream的原理及适用场景

4. 掌握Kafka运维的核心问题解决方案

受众人群

运维工程师、架构师、大数据工程师、技术经理等

课程时长

2天(12H)

分享提纲

标题

内容

Kafka架构介绍

 

1 为何使用消息系统

2 Kafka设计理念

Kafka高可用性方案演进

 

1 基于ISR的数据复制

2 Kafka领导选举

Kafka Consumer Rebalance演进

 

1 Consumer API

2 自治式Consumer Group Rebalance

3 集权式Rebalance

Kafka实现Exactly Once

 

1 不同的Delivery Guarantee

2 基于幂等的的Exactly Once

3 基于事务的Exactly Once

Kafka Stream

 

1 Kafka Stream特点

2 Kafka Stream示例

Kafka运维

1 分区重新分配

2 Preferred Replica Election

    


企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1