百林哲课程

一线技术专家团队——提供关键岗位人才培养体系设计与开发等一系列研发管理培训咨询课程。用产品化、场景化、国际化的视角,分享卓越研发管理实践。具有以下鲜明特点:

1、课程研发专业迅速
2、国内顶尖一线技术专家
3、极致用户服务体验

全部课程

最新公开课

微服务架构设计与实践(二)

2019.01.12 - 2019.01.13 深圳.

课程日历

百林哲专家

携手全球知名一线技术专家团队分享软件研发技术管理实践,国内一线、一手研发管理实践,行业智库。

成为专家
用户登录
您当前的位置:首页>全部课程>ELK最佳实战

ELK最佳实战

浏览:3130次

一 课程简介

  日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

  开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。


二 课程周期:2天


三 课程大纲


1.ELK的实际业务应用场景介绍

  ·ELK的应用场景

  ·ELK并发性能


2.ELK架构详解

  ·ELK的一整套解决方案介绍

  ·ELK的部署方案详解 


3.基于ELK二次开发和重构-ES

  ·ES的java API详解

  ·elasticsearch.yml配置介绍

  ·head插件的使用实战

  ·bigdesk插件的使用实战

  ·marvel插件的使用实战


4.基于ELK二次开发和重构-logstash&Kibana

  ·Logstash的java API详解

  ·Logstash input plugin介绍     

    —Http插件      

    —log4j插件    

  ·fliter plugin介绍   

  ·output plugin介绍

  ·logstash操作syslog apache log、mysql log日志实战

  ·Kibana常用插件介绍


5.基于ELK开发实战-(Hand-on)

  ·apache日志

  ·日志采集到logstash

  ·ES创建索引和优化

  ·Kibana的结果展现


6.ELK架构运维和优化

  ·ES的容错以及灾难恢复

  ·Logstash的容错

  ·ES集群健康检测和集群优化配置

  ·ES的索引优化

  ·ES的内存优化

  ·ES与Hadoop的集成



Kafka实战培训

1.kafka开发实战

  ·Kafka核心的API介绍

  ·producer接口开发

  ·Consumer接口开发

  ·Tomcat日志实战


2.Kafka的二次开发

  ·自定义分区详解  

  ·实现自己的PartitionKey实战


3.Kafka的安全方面

  ·SSL&Kerberos认证      

  ·安全审计       

  ·类UNIX用户、权限和ACL的授权机制       

  ·通信加密   

  ·API友好的使用方式


4.Kafka应用监控

  ·KafkaOffsetMonitor监控 介绍和实战

  ·Kafka Web Console监控介绍和实战


5.部署调优

  ·网络和io操作线程配置优化

  ·log数据文件刷新策略  

  ·日志保留策略配置 

  ·配置jmx服务  

  ·数据压缩格式 partition和replication值的设置 

  ·感知机柜 

  ·Topic的分区公平地分发到Broker上


Gavin

百林哲咨询(北京)有限公司专家团队成员

Gavin—— 百林哲咨询(北京)有限公司专家团队成员,现就职于Teradata任大数据架构师 先后服务于北京大学软件研究所、高德软件、阿里巴巴等企业,实施过基于Hadoop平台PageRank算法的实现、高德大数据中心的建

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系
我要参加
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

相关课程

大数据

大数据架构与技术培训实践

浏览:368 收藏:0
大数据

Python、Spark和TensorFlow人工智能

本课程围绕Python、Spark和TensorFlow人工智能进行深度分享。

浏览:1066 收藏:0
大数据

Hadoop开发、运维和调优实战

课程中我们使用 hadoop来解决海量数据所带来的一些问题,Hadoop目前已经备受互联网的亲耐,hadoop已经成为海 量数据处理必不可少的一个工具,也是最流行的一个海量数据存储和计算的框架,此外还有hive、Hbase、 sqoop等框架的培训。

浏览:1326 收藏:0
大数据

ELK最佳实战

ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载。

浏览:3130 收藏:2

推荐课程

Splunk大数据分析应用与实战
随着人工智能,5G等技术的飞速发展,以及智能终端、移动互联网以及物联网等信息技术的大规模应用,大数据时代已经到来,数据迅速渗透到我们生活、工作的各个领域。我们用传统的数据处理工具例如Excel来处理MB级别的业务,我们用各种数据库产品来处理结构化和半结构化数据,例如Oracle,MongoDB。但我们清醒地意识到,大数据时代不仅仅局限于MB的数据,大数据时代不是只有结构化数据,大数据时代不是只有一种数据源,大数据时代数
企业级产品规划探析及核心运营策略
ToB产品与ToC产品规划与运营的底层方法论基本相同,但由于ToB产品业务属性等原因,产品的整个决策链及价值传递较长。同时ToB的解决方案并不仅仅是某款产品或者某个工具,它需要背后强大的服务支持,有可能产品只是整个服务环节中的一部分。所以这需要产品经理具备B端产品的全盘规划及运营思维能力。
微信小程序开发进阶
微信小程序开发进阶主要围绕小程序特性、框架基础、前端工程化、测试方案、性能优化、未来演进等方面进行讲解,本培训将围绕这十个领域展开,即有理论支撑部分,也会有实践方案,更会介绍一线互联网公司腾讯、、美团、滴滴等在小程序方面的实战经验,有助于开发人员快速上手小程序开发、有助于业务同学少趟坑,一次将决策作对,包括小程序框架选型和未来h5/app/小程序之间技术体系演进等,将大幅提升企业开发效率、降低交付成本,
U型产品创新实战训练营
U 首先代表用户(User),毕竟一切都要以用户为中心,要有“用户思维”而不是“客户思维”,这需要对典型用户建模、做画像(Persona),通过移情(Empathy)完成对用户的深度认知;此外,U 这个字母的形状暗喻了一个成功产品或服务的全生命探索周期。通常,人们一般解决问题的方法是:出现了问题,马上想以前的经验是什么,然后做决定,思维是从A到B的一条直线。“U”不是一条直线,而是先沉淀再上升,先沉静下来再观察,然后再去