百林哲课程

一线技术专家团队——提供关键岗位人才培养体系设计与开发等一系列研发管理培训咨询课程。用产品化、场景化、国际化的视角,分享卓越研发管理实践。具有以下鲜明特点:

1、课程研发专业迅速
2、国内顶尖一线技术专家
3、极致用户服务体验

全部课程

最新公开课

微服务架构设计与实践(二)

2019.01.11 - 2019.01.13 深圳.

课程日历

百林哲专家

携手全球知名一线技术专家团队分享软件研发技术管理实践,国内一线、一手研发管理实践,行业智库。

成为专家
用户登录
您当前的位置:首页>全部课程>Hadoop开发、运维和调优实战

Hadoop开发、运维和调优实战

浏览:1542次

简介

理解大数据和面临大数据带来的挑战,互联网网时代数据已经是公司的成败,对海量 数的存储、计算、分析和挖掘等目前是很多互联网公司的核心,例如广告的推荐、商品推荐等,还可 以挖掘数据来分析用户的潜在价值,面对数据快速的增长,存储和计算变得很重要,课程中我们使用 hadoop来解决海量数据所带来的一些问题,Hadoop目前已经备受互联网的亲耐,hadoop已经成为海 量数据处理必不可少的一个工具,也是最流行的一个海量数据存储和计算的框架,此外还有hive、Hbase、 sqoop等框架的培训。

目标

Hadoop这门课程从理论到实战再到公司的项目,还有hadoop集群的搭建和性能的调优,再到HDFS 性能的测试和MapReduce性能的测试再到网络的需求等全面的详解Hadoop的开发和维护,深刻理解 MapReduce的原理,能过使用mapreduce进行高级编程,使用Hive进行数据分析,使用Hbase进行线 上分析,关系型数据和HDFS、hive之间的相互迁移,理解Hadoop的使用场景,面对一个需求适不适 合使用hadoop。

课程时长

2天(12H)

受众人群

大数据爱好者、程序员、数据分析师,项目经理和对已经使用hadoop,想提高的用户。

学员学习本课程应具备下列基础知识:

1) 了解Java或者pyhonshell语言;

2)了解Linux系统;

分享提纲

课程模块课程主题主要内容案例和演示
模块一Hadoop的来源和动机

传统大规模系统存在的问题 

^ Hadoop 概述 

^ Hadoop分布式文件系统 

^ MapReduce工作原理 

^ Hadoop集群剖析 

^ Hadoop生态系统对一种新的解决方案的需求

^ Hadoop的行业应用案例分析^ Hadoop在云计算和大数据的位置和关系

数据开放,数据云服务平台(DAAS)时代

今Hadoop平台在数据云平台(DAAS)上的天然优势 

今数据云平台(DAAS平台)组成部分

今互联网公共数据大云(DAAS)案例 

今Hadoop构建构建游戏云(Web Game Daas)平台

模块二Hadoop集群规划

Hadoop集群内存要求

> Namenode的机器配置

> Datanode的机器配置

> SNN的机器配置

^ Hadoop集群磁盘分区

^ 集群和网络拓扑要求 ,集群软件的端口配置



今针对NameNode Jobtracker DataNode TaskTracker Hiveserver等不同组件需求推荐

服务器配置

模块三Hadoop简介和生态系统介绍

^传统大规模数据分析存在的问题 ^ Hadoop 概述 

^ Hadoop与分布式文件系统 ^ Hadoop生态系统 

^ Hadoop的行业应用案例分析 ^ Hadoop在云计算和大数据的位置和关系

^ Hadoop版本介绍 

^ Hadoop 与 Google FS 的关系 

^ Hadoop在国内的使用情况和未来

Hadoop在推荐领域的使用案例介 绍
模块四Hadoop安装和主要配置文件介绍

^ Hadoop安装所需软件介绍 ^ Hadoop单机安装 

^ Hadoop伪分布式安装 

^ Hadoop完全分布式安装 ,Hadoop三个节点安装的配置介绍 ^ Hahoop多节点ssh配置 

^ Hadoop格式化详解 

^ Hadoop核心配置文件介绍 

^ 核心配置文件core-site.xml 

^ HDFS 配置文件 hdfs-site.xml 

^ Mapreduce 配置文件 mapred-site.xml 

^ master文件配置详解 

^ slave文件配置详解 ,Hadoop启动和停止方法

一 —start-all.sh 详解 —stop-all.sh 详解 ,Hadoop的启动和停止方法二 —hadoop-deamon.sh 详解Hadoop安装的常见错误介绍和解决方案

^ 使用自带的wordcount和pi测试集群安装是否成功

^ 使用Streaming来测试集群安装是否成 功

> Hadoop单机演示

> Hadoop伪分布式演示

> Hadoop完全分布式演示

> Hadoop两种启动方式的演示

> Hadoop安装常见错误的介绍和演 示

> Hadoop 自带的 wordcount 和 pi 演

> Hadoop Streaming 的案例演示

模块五Hadoop组件介绍Hadoop NameNode 介绍 Z Hadoop SecondaryNameNode介绍


Gavin

百林哲咨询(北京)有限公司专家团队成员

现就职于Teradata任大数据架构师,先后服务于北京大学软件研究所、高德软件、阿里巴巴等企业,《Hadoop 应用开发技术详解》的作者,《海量数据基于记录级别的容错》专利,擅长 MR 开发,基于 MR 的算法开发。

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系
我要参加
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

相关课程

大数据

大数据架构与技术培训实践

浏览:594 收藏:0
大数据

Python、Spark和TensorFlow人工智能

本课程围绕Python、Spark和TensorFlow人工智能进行深度分享。

浏览:1218 收藏:0
大数据

Hadoop与大数据高级实践

本课程围绕Hadoop生态系统下的HDFS、MapReduce、Hive、Spark以及大数据实践进行详细的讲解。

浏览:1276 收藏:0
大数据

Hadoop开发、运维和调优实战

全面的详解Hadoop的开发和维护,深刻理解 MapReduce的原理,能过使用mapreduce进行高级编程,使用Hive进行数据分析,使用Hbase进行线 上分析,关系型数据和HDFS、hive之间的相互迁移,理解Hadoop的使用场景。

浏览:1542 收藏:0

推荐课程

DevOps道法术器及全开源端到端部署流水线实战
理解DevOps 的四大主要技术实践的含义和关系、DevOps 工作三步法的概念、管理日常工作的可视化工具Kanban 的基础用法、 剖析持续集成的五个阶段、了解DevOps 流水线会用到的各种工具、部署和发布的差异,以及解耦的
极致产品规划及高效用户需求洞察
提升产品全纬度、全面提升产业产品经理思维;用户需求洞察方法及解决方案;互联网产品经理及产品运营规划方法;全面提升互联网产品顶层设计规划原理--ToC端&ToB端;互联网产品的高效用户需求洞察过程
移动应用架构进阶
本内容将系统掌握移动端架构,含server、客户端及安全架构;了解架构设计要点;了解服务治理、性能治理、前后端效率提升等进阶知识;从工程化角度了解移动安全架构知识。
高性能架构设计分享
掌握认知架构和应用架构、线上问题分析和应对方法;通过真实案例的分析,掌握构建高性能架构所需的原理和技术;深入浅出的分析高性能架构中设计到的技术;了解构建一个高性能架构的方方面面,高性能分布式系统的能力