您当前的位置:首页>课程>kafka应用与最佳实践

kafka应用与最佳实践

浏览:4184
分享

Joy Guo Read more

百林哲咨询(北京)有限公司专家团队成员

现就职于大型互联网企业从事大数据平台优化工作。多年Kafka和Spark/Hadoop/Storm研究、应用及调优经验,曾为诸多公司提供过培训咨询服务。

简介

1. 详解kafka架构,包含数据持久化方式——Topic / Partition / Segment,及数据发布方案——Producer,数据路由策略——Partitioner,和消息订阅方案——Consumer

2. 分析Kafka实现高可用的原理,并将其推广到通用分布式系统,从而为分布式系统常见问题提供参考解决方案

3. 分析Kafka的Consumer Group Rebalance方案原理及其演进过程,并分析不同方案的优劣

4. 讲解Kafka Stream的适用场景,基于Partition的并发模型。同时分析流式处理系统的常见问题,以及Kafka Stream的对应解决方案。并给出Kafka Stream与其它流式处理系统的区别及各自适合的应用场景

目标

1. 掌握Kafka的使用方式,以及如何与现有业务系统集成

2. 理解Kafka实现高可用的原理,了解Consumer Group Rebalance的原理及方案演进以及对业务代码的影响。同时为分布式系统经典问题提供思路

3. 掌握Kafka Stream的原理及适用场景

4. 掌握Kafka运维的核心问题解决方案

受众人群

运维工程师、架构师、大数据工程师、技术经理等

课程时长

2天(12H)

分享提纲

标题

内容

Kafka架构介绍

 

1 为何使用消息系统

2 Kafka设计理念

Kafka高可用性方案演进

 

1 基于ISR的数据复制

2 Kafka领导选举

Kafka Consumer Rebalance演进

 

1 Consumer API

2 自治式Consumer Group Rebalance

3 集权式Rebalance

Kafka实现Exactly Once

 

1 不同的Delivery Guarantee

2 基于幂等的的Exactly Once

3 基于事务的Exactly Once

Kafka Stream

 

1 Kafka Stream特点

2 Kafka Stream示例

Kafka运维

1 分区重新分配

2 Preferred Replica Election

    


我要参加

可同时提交您的需求,我们会及时与您联系

预约内训

将课程带入到您的团队,为您的团队进行一对一辅导。

相关课程