百林哲课程

一线技术专家团队——提供关键岗位人才培养体系设计与开发等一系列研发管理培训咨询课程。用产品化、场景化、国际化的视角,分享卓越研发管理实践。具有以下鲜明特点:

1、课程研发专业迅速
2、国内顶尖一线技术专家
3、极致用户服务体验

全部课程

最新公开课

微服务架构设计与实践(二)

2019.01.11 - 2019.01.13 深圳.

课程日历

百林哲专家

携手全球知名一线技术专家团队分享软件研发技术管理实践,国内一线、一手研发管理实践,行业智库。

成为专家
用户登录
您当前的位置:首页>全部课程>ELK最佳实战

ELK最佳实战

浏览:3466次

简介

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

课程时长

2天(12H)

分享提纲


1.ELK的实际业务应用场景介绍

  ·ELK的应用场景

  ·ELK并发性能

2.ELK架构详解

  ·ELK的一整套解决方案介绍

  ·ELK的部署方案详解 

3.基于ELK二次开发和重构-ES

  ·ES的java API详解

  ·elasticsearch.yml配置介绍

  ·head插件的使用实战

  ·bigdesk插件的使用实战

  ·marvel插件的使用实战

4.基于ELK二次开发和重构-logstash&Kibana

  ·Logstash的java API详解

  ·Logstash input plugin介绍     

    —Http插件      

    —log4j插件    

  ·fliter plugin介绍   

  ·output plugin介绍

  ·logstash操作syslog apache log、mysql log日志实战

  ·Kibana常用插件介绍


5.基于ELK开发实战-(Hand-on)

  ·apache日志

  ·日志采集到logstash

  ·ES创建索引和优化

  ·Kibana的结果展现

6.ELK架构运维和优化

  ·ES的容错以及灾难恢复

  ·Logstash的容错

  ·ES集群健康检测和集群优化配置

  ·ES的索引优化

  ·ES的内存优化

  ·ES与Hadoop的集成

Kafka实战培训

1.kafka开发实战

  ·Kafka核心的API介绍

  ·producer接口开发

  ·Consumer接口开发

  ·Tomcat日志实战

2.Kafka的二次开发

  ·自定义分区详解  

  ·实现自己的PartitionKey实战


3.Kafka的安全方面

  ·SSL&Kerberos认证      

  ·安全审计       

  ·类UNIX用户、权限和ACL的授权机制       

  ·通信加密   

  ·API友好的使用方式

4.Kafka应用监控

  ·KafkaOffsetMonitor监控 介绍和实战

  ·Kafka Web Console监控介绍和实战

5.部署调优

  ·网络和io操作线程配置优化

  ·log数据文件刷新策略  

  ·日志保留策略配置 

  ·配置jmx服务  

  ·数据压缩格式 partition和replication值的设置 

  ·感知机柜 

  ·Topic的分区公平地分发到Broker上


Gavin

百林哲咨询(北京)有限公司专家团队成员

现就职于Teradata任大数据架构师,先后服务于北京大学软件研究所、高德软件、阿里巴巴等企业,《Hadoop 应用开发技术详解》的作者,《海量数据基于记录级别的容错》专利,擅长 MR 开发,基于 MR 的算法开发。

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系
我要参加
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

相关课程

大数据

大数据架构与技术培训实践

浏览:594 收藏:0
大数据

Python、Spark和TensorFlow人工智能

本课程围绕Python、Spark和TensorFlow人工智能进行深度分享。

浏览:1216 收藏:0
大数据

Hadoop与大数据高级实践

本课程围绕Hadoop生态系统下的HDFS、MapReduce、Hive、Spark以及大数据实践进行详细的讲解。

浏览:1276 收藏:0
大数据

Hadoop开发、运维和调优实战

全面的详解Hadoop的开发和维护,深刻理解 MapReduce的原理,能过使用mapreduce进行高级编程,使用Hive进行数据分析,使用Hbase进行线 上分析,关系型数据和HDFS、hive之间的相互迁移,理解Hadoop的使用场景。

浏览:1540 收藏:0

推荐课程

DevOps道法术器及全开源端到端部署流水线实战
理解DevOps 的四大主要技术实践的含义和关系、DevOps 工作三步法的概念、管理日常工作的可视化工具Kanban 的基础用法、 剖析持续集成的五个阶段、了解DevOps 流水线会用到的各种工具、部署和发布的差异,以及解耦的
极致产品规划及高效用户需求洞察
提升产品全纬度、全面提升产业产品经理思维;用户需求洞察方法及解决方案;互联网产品经理及产品运营规划方法;全面提升互联网产品顶层设计规划原理--ToC端&ToB端;互联网产品的高效用户需求洞察过程
移动应用架构进阶
本内容将系统掌握移动端架构,含server、客户端及安全架构;了解架构设计要点;了解服务治理、性能治理、前后端效率提升等进阶知识;从工程化角度了解移动安全架构知识。
高性能架构设计分享
掌握认知架构和应用架构、线上问题分析和应对方法;通过真实案例的分析,掌握构建高性能架构所需的原理和技术;深入浅出的分析高性能架构中设计到的技术;了解构建一个高性能架构的方方面面,高性能分布式系统的能力