百林哲课程

一线技术专家团队——提供关键岗位人才培养体系设计与开发等一系列研发管理培训咨询课程。用产品化、场景化、国际化的视角,分享卓越研发管理实践。具有以下鲜明特点:

1、课程研发专业迅速
2、国内顶尖一线技术专家
3、极致用户服务体验

全部课程

最新公开课

微服务架构设计与实践(二)

2019.01.12 - 2019.01.13 深圳.

课程日历

百林哲专家

携手全球知名一线技术专家团队分享软件研发技术管理实践,国内一线、一手研发管理实践,行业智库。

成为专家
用户登录
您当前的位置:首页>全部课程>Hadoop开发、运维和调优实战

Hadoop开发、运维和调优实战

浏览:1328次

一、课程简介

培训特色

课程内容:理解大数据和面临大数据带来的挑战,互联网网时代数据已经是公司的成败,对海量 数的存储、计算、分析和挖掘等目前是很多互联网公司的核心,例如广告的推荐、商品推荐等,还可 以挖掘数据来分析用户的潜在价值,面对数据快速的增长,存储和计算变得很重要,课程中我们使用 hadoop来解决海量数据所带来的一些问题,Hadoop目前已经备受互联网的亲耐,hadoop已经成为海 量数据处理必不可少的一个工具,也是最流行的一个海量数据存储和计算的框架,此外还有hive、Hbase、 sqoop等框架的培训。


目标收益

Hadoop这门课程从理论到实战再到公司的项目,还有hadoop集群的搭建和性能的调优,再到HDFS 性能的测试和MapReduce性能的测试再到网络的需求等全面的详解Hadoop的开发和维护,深刻理解 MapReduce的原理,能过使用mapreduce进行高级编程,使用Hive进行数据分析,使用Hbase进行线 上分析,关系型数据和HDFS、hive之间的相互迁移,理解Hadoop的使用场景,面对一个需求适不适 合使用hadoop。


培训对象

大数据爱好者、程序员、数据分析师,项目经理和对已经使用hadoop,想提高的用户。


学员基础

学员学习本课程应具备下列基础知识:

1) 了解Java或者pyhonshell语言;

2)了解Linux系统;


二、课程周期

2天

三、课程大纲

课程模块

课程主题

主要内容

案例和演示


模块一

Hadoop 的 来源和动 机

^传统大规模系统存在的问题 ^ Hadoop 概述 ^ Hadoop分布式文件系统 ^ MapReduce工作原理 ^ Hadoop集群剖析 ^ Hadoop生态系统对一种新的解决方案 的需求

^ Hadoop的行业应用案例分析

^ Hadoop在云计算和大数据的位置和关 系

々数据开放,数据云服务平台 (DAAS)时代

Hadoop平台在数据云平台 (DAAS)上的天然优势 今数据云平台(DAAS平台)组成部 分

今互联网公共数据大云(DAAS)案例 今 Hadoop构建构建游戏云(Web Game Daas)平台

模块二

Hadoop 集 群规划

^ Hadoop集群内存要求

> Namenode的机器配置

> Datanode的机器配置

> SNN的机器配置

今针对 NameNode Jobtracker DataNode TaskTracker Hiveserver等不同组件需求推荐

服务器配置

1



^ Hadoop集群磁盘分区

^ 集群和网络拓扑要求 ,集群软件的端口配置


模块三

Hadoop 简 介和生态 系统介绍

^传统大规模数据分析存在的问题 ^ Hadoop 概述 ^ Hadoop与分布式文件系统 ^ Hadoop生态系统 ^ Hadoop的行业应用案例分析 ^ Hadoop在云计算和大数据的位置和关 系

^ Hadoop版本介绍 ^ Hadoop Google FS 的关系 ^ Hadoop在国内的使用情况和未来

> Hadoop在推荐领域的使用案例介 绍


模块四

Hadoop 安 装和主要 配置文件 介绍

^ Hadoop安装所需软件介绍 ^ Hadoop单机安装 ^ Hadoop伪分布式安装 ^ Hadoop完全分布式安装 ,Hadoop三个节点安装的配置介绍 ^ Hahoop多节点ssh配置 ^ Hadoop格式化详解 ^ Hadoop核心配置文件介绍 ^ 核心配置文件core-site.xml ^ HDFS 配置文件 hdfs-site.xml ^ Mapreduce 配置文件 mapred-site.xml ^ master文件配置详解 ^ slave文件配置详解 ,Hadoop启动和停止方法一 —start-all.sh 详解 —stop-all.sh 详解 ,Hadoop的启动和停止方法二 —hadoop-deamon.sh 详角¥

Hadoop安装的常见错误介绍和解决方 案

^ 使用自带的wordcountpi测试集群

安装是否成功

^ 使用Streaming来测试集群安装是否成 功

> Hadoop单机演示

> Hadoop伪分布式演示

> Hadoop完全分布式演示

> Hadoop两种启动方式的演示

> Hadoop安装常见错误的介绍和演 示

> Hadoop 自带的 wordcount pi

> Hadoop Streaming 的案例演示

模块五

Hadoop 组 件介绍

^ Hadoop NameNode 介绍 Z Hadoop SecondaryNameNode 介绍



详情请咨询邮箱service@bailinzhe.com

Gavin

百林哲咨询(北京)有限公司专家团队成员

Gavin—— 百林哲咨询(北京)有限公司专家团队成员,现就职于Teradata任大数据架构师 先后服务于北京大学软件研究所、高德软件、阿里巴巴等企业,实施过基于Hadoop平台PageRank算法的实现、高德大数据中心的建

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系
我要参加
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

相关课程

大数据

大数据架构与技术培训实践

浏览:368 收藏:0
大数据

Python、Spark和TensorFlow人工智能

本课程围绕Python、Spark和TensorFlow人工智能进行深度分享。

浏览:1068 收藏:0
大数据

Hadoop开发、运维和调优实战

课程中我们使用 hadoop来解决海量数据所带来的一些问题,Hadoop目前已经备受互联网的亲耐,hadoop已经成为海 量数据处理必不可少的一个工具,也是最流行的一个海量数据存储和计算的框架,此外还有hive、Hbase、 sqoop等框架的培训。

浏览:1328 收藏:0
大数据

ELK最佳实战

ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载。

浏览:3130 收藏:2

推荐课程

Splunk大数据分析应用与实战
随着人工智能,5G等技术的飞速发展,以及智能终端、移动互联网以及物联网等信息技术的大规模应用,大数据时代已经到来,数据迅速渗透到我们生活、工作的各个领域。我们用传统的数据处理工具例如Excel来处理MB级别的业务,我们用各种数据库产品来处理结构化和半结构化数据,例如Oracle,MongoDB。但我们清醒地意识到,大数据时代不仅仅局限于MB的数据,大数据时代不是只有结构化数据,大数据时代不是只有一种数据源,大数据时代数
企业级产品规划探析及核心运营策略
ToB产品与ToC产品规划与运营的底层方法论基本相同,但由于ToB产品业务属性等原因,产品的整个决策链及价值传递较长。同时ToB的解决方案并不仅仅是某款产品或者某个工具,它需要背后强大的服务支持,有可能产品只是整个服务环节中的一部分。所以这需要产品经理具备B端产品的全盘规划及运营思维能力。
微信小程序开发进阶
微信小程序开发进阶主要围绕小程序特性、框架基础、前端工程化、测试方案、性能优化、未来演进等方面进行讲解,本培训将围绕这十个领域展开,即有理论支撑部分,也会有实践方案,更会介绍一线互联网公司腾讯、、美团、滴滴等在小程序方面的实战经验,有助于开发人员快速上手小程序开发、有助于业务同学少趟坑,一次将决策作对,包括小程序框架选型和未来h5/app/小程序之间技术体系演进等,将大幅提升企业开发效率、降低交付成本,
U型产品创新实战训练营
U 首先代表用户(User),毕竟一切都要以用户为中心,要有“用户思维”而不是“客户思维”,这需要对典型用户建模、做画像(Persona),通过移情(Empathy)完成对用户的深度认知;此外,U 这个字母的形状暗喻了一个成功产品或服务的全生命探索周期。通常,人们一般解决问题的方法是:出现了问题,马上想以前的经验是什么,然后做决定,思维是从A到B的一条直线。“U”不是一条直线,而是先沉淀再上升,先沉静下来再观察,然后再去