百林哲课程

一线技术专家团队——提供关键岗位人才培养体系设计与开发等一系列研发管理培训咨询课程。用产品化、场景化、国际化的视角,分享卓越研发管理实践。具有以下鲜明特点:

1、课程研发专业迅速
2、国内顶尖一线技术专家
3、极致用户服务体验

全部课程

最新公开课

微服务架构设计与实践(二)

2019.01.12 - 2019.01.13 深圳.

课程日历

百林哲专家

携手全球知名一线技术专家团队分享软件研发技术管理实践,国内一线、一手研发管理实践,行业智库。

成为专家
用户登录
您当前的位置:首页>全部课程>深入理解Storm与大数据实战课程

深入理解Storm与大数据实战课程

浏览:320次

一、课程简介:

     在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-clickYahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为,LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等,而Storm是由Twitter开源的实时计算框架,适用于实时分析、在线机器学习、连续计算、分布式RPCETL等场景。

大数据技术的发展日新月异,不断涌现的技术代表着需求的旺盛。在本次课程中,用深入浅出的方法系统介绍了Storm自身的体系架构、技术以及大数据的一些应用。包括如何使用Storm在实时Dashboard统计、反作弊、用户画像与实时推荐等领域的应用。同时介绍整条实时数据处理链路,包括数据收集、传输和计算、以及存储等;实时和离线的整合等内容。

二、课程周期

2

三、培训大纲

1. 实时计算平台介绍

介绍实时系统主要解决的业务问题和面临的挑战;

简要介绍实时平台的主要组件和构成,实时数据的收集通道和数据交互方式

实时数据核心组件Flume、Kafka的介绍,以及Storm在整个平台中所处的位置

分享部分典型互联网公司实时平台的架构,如大众点评、美团、一号店等

2. Storm基本概念和组件介绍

Storm的基本组件:Nimbus、Supervisor、Worker、 Executor和Task的基本介绍;

集群组成:通常一个线上集群的如何构成;

Storm的可靠性:Storm如何保证可靠性以及数据的准确性;

Storm的数据分组和其他特性介绍;

3. Storm集群部署和配置

Storm的依赖组件介绍;

Storm的部署软硬件环境要求;

部署ZooKeeper

部署Storm到各个机器节点

配置Storm相关参数,以及核心参数介绍;

启动Storm相关进程;

Storm的守护进程;


Chad Wang

百林哲咨询(北京)有限公司专家团队成员

Chad Wang—百林哲咨询(北京)有限公司专家团队成员,曾任大众点评数据平台高级架构师,负责大众点评数据平台工具系统、实时计算平台和在线服务等,推动大数据相关的技术、工具和分析在点评的应用和发展。

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系
我要参加
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

相关课程

大数据

实时计算平台的演进之路

现在最多使用的流计算框架还是Storm,但是核心应用已经在逐步迁移到Flink上,实时/流计算在互联网公司的业务应用中越来越占用重要的地位,技术发展也在快速迭代,计算框架层出不穷。本次分享将展示唯品会在实时计算方向上的历程、心得和实时计算中遇到的各种挑战。在大规模使用Flink做计算引擎和使用Kubernates管理计算节点的探索经验。

浏览:158 收藏:0
大数据

深入理解Storm与大数据实战课程

在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-click)Yahoo启动了S4用于实时计算、预测用户

浏览:320 收藏:0
大数据

大数据平台架构实践

大数据基础概念和数据平台相关概念——数据平台案例分享——Hadoop分布式存储HDFS和MapReduce计算介绍——Hadoop集群建设参考架构——Hive和数据仓库——Spark数据分析——数据安全——实时流计算——数据分析实践(以用户行为分析为例)

浏览:946 收藏:0

推荐课程

微信小程序开发进阶
微信小程序开发进阶主要围绕小程序特性、框架基础、前端工程化、测试方案、性能优化、未来演进等方面进行讲解,本培训将围绕这十个领域展开,即有理论支撑部分,也会有实践方案,更会介绍一线互联网公司腾讯、、美团、滴滴等在小程序方面的实战经验,有助于开发人员快速上手小程序开发、有助于业务同学少趟坑,一次将决策作对,包括小程序框架选型和未来h5/app/小程序之间技术体系演进等,将大幅提升企业开发效率、降低交付成本,
U型产品创新实战训练营
U 首先代表用户(User),毕竟一切都要以用户为中心,要有“用户思维”而不是“客户思维”,这需要对典型用户建模、做画像(Persona),通过移情(Empathy)完成对用户的深度认知;此外,U 这个字母的形状暗喻了一个成功产品或服务的全生命探索周期。通常,人们一般解决问题的方法是:出现了问题,马上想以前的经验是什么,然后做决定,思维是从A到B的一条直线。“U”不是一条直线,而是先沉淀再上升,先沉静下来再观察,然后再去
大数据时代放贷机构的互联网金融创新应用
通过丰富的国内外成熟且稳定成功案例,深度分析解剖大数据、互联网+行业的现况和未来。帮助相关企业更好地应付变化多端的市场,并且为其运营和创新提供一个可实施、可落地的解决方案。
大数据时代&创新战略
通过丰富的国内外成熟且稳定成功案例,深度分析解剖大数据、互联网+行业的现况和未来。帮助相关企业更好地应付变化多端的市场,并且为其运营和创新提供一个可实施、可落地的解决方案。