百林哲课程

一线技术专家团队——提供关键岗位人才培养体系设计与开发等一系列研发管理培训咨询课程。用产品化、场景化、国际化的视角,分享卓越研发管理实践。具有以下鲜明特点:

1、课程研发专业迅速
2、国内顶尖一线技术专家
3、极致用户服务体验

全部课程

最新公开课

微服务架构设计与实践(二)

2019.01.12 - 2019.01.13 深圳.

课程日历

百林哲专家

携手全球知名一线技术专家团队分享软件研发技术管理实践,国内一线、一手研发管理实践,行业智库。

成为专家
用户登录
您当前的位置:首页>全部课程>深入理解Storm与大数据实战课程

深入理解Storm与大数据实战课程

浏览:236次

一、课程简介:

     在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-clickYahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为,LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等,而Storm是由Twitter开源的实时计算框架,适用于实时分析、在线机器学习、连续计算、分布式RPCETL等场景。

大数据技术的发展日新月异,不断涌现的技术代表着需求的旺盛。在本次课程中,用深入浅出的方法系统介绍了Storm自身的体系架构、技术以及大数据的一些应用。包括如何使用Storm在实时Dashboard统计、反作弊、用户画像与实时推荐等领域的应用。同时介绍整条实时数据处理链路,包括数据收集、传输和计算、以及存储等;实时和离线的整合等内容。

二、课程周期

2

三、培训大纲

1. 实时计算平台介绍

介绍实时系统主要解决的业务问题和面临的挑战;

简要介绍实时平台的主要组件和构成,实时数据的收集通道和数据交互方式

实时数据核心组件Flume、Kafka的介绍,以及Storm在整个平台中所处的位置

分享部分典型互联网公司实时平台的架构,如大众点评、美团、一号店等

2. Storm基本概念和组件介绍

Storm的基本组件:Nimbus、Supervisor、Worker、 Executor和Task的基本介绍;

集群组成:通常一个线上集群的如何构成;

Storm的可靠性:Storm如何保证可靠性以及数据的准确性;

Storm的数据分组和其他特性介绍;

3. Storm集群部署和配置

Storm的依赖组件介绍;

Storm的部署软硬件环境要求;

部署ZooKeeper

部署Storm到各个机器节点

配置Storm相关参数,以及核心参数介绍;

启动Storm相关进程;

Storm的守护进程;


Chad Wang

百林哲咨询(北京)有限公司专家团队成员

Chad Wang—百林哲咨询(北京)有限公司专家团队成员,曾任大众点评数据平台高级架构师,负责大众点评数据平台工具系统、实时计算平台和在线服务等,推动大数据相关的技术、工具和分析在点评的应用和发展。

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系
我要参加
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

相关课程

大数据

实时计算平台的演进之路

现在最多使用的流计算框架还是Storm,但是核心应用已经在逐步迁移到Flink上,实时/流计算在互联网公司的业务应用中越来越占用重要的地位,技术发展也在快速迭代,计算框架层出不穷。本次分享将展示唯品会在实时计算方向上的历程、心得和实时计算中遇到的各种挑战。在大规模使用Flink做计算引擎和使用Kubernates管理计算节点的探索经验。

浏览:48 收藏:0
大数据

深入理解Storm与大数据实战课程

在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-click)Yahoo启动了S4用于实时计算、预测用户

浏览:236 收藏:0
大数据

大数据平台架构实践

大数据基础概念和数据平台相关概念——数据平台案例分享——Hadoop分布式存储HDFS和MapReduce计算介绍——Hadoop集群建设参考架构——Hive和数据仓库——Spark数据分析——数据安全——实时流计算——数据分析实践(以用户行为分析为例)

浏览:810 收藏:0

推荐课程

大数据时代放贷机构的互联网金融创新应用
通过丰富的国内外成熟且稳定成功案例,深度分析解剖大数据、互联网+行业的现况和未来。帮助相关企业更好地应付变化多端的市场,并且为其运营和创新提供一个可实施、可落地的解决方案。
大数据时代&创新战略
通过丰富的国内外成熟且稳定成功案例,深度分析解剖大数据、互联网+行业的现况和未来。帮助相关企业更好地应付变化多端的市场,并且为其运营和创新提供一个可实施、可落地的解决方案。
Splunk开发实战
内容涵盖 1、Splunk核心功能与扩展支持:架构、Forwarder、Indexer、Search Head、SPL、仪表盘、Knowledge Object、Modular Input、Modular Viz、Modular Alert等。 2、Splunk开发实战:App、Add-on、Dashboard、ETL、Input、Alert、Command等。
大数据测试
大数据产品不同于以往传统软件的区别之一是数据的吞吐量巨大,必然采用分布式架构来解决海量数据处理请求以及并发的计算处理需求。往往在公司转型时期,我们有着丰富传统软件测试经验的工程师也会茫然不知所措,有种盲人摸象的感觉。本课程致力于系统梳理大数据测试的特殊需求以及实施推荐,课程独立于任何大数据产品和解决方案,确保学员在各自的公司大数据产品上均可借鉴并指导实施大数据测试。