您当前的位置:首页>课程>实时计算架构设计及实践

实时计算架构设计及实践

浏览:2786
分享

成光 Read more

百林哲咨询(北京)有限公司专家团队成员

某海外资讯创业公司首席架构师&技术合伙人,前网易技术专家。曾多次零基础构建完整的搜索和推荐系统,于2016年出版《分布式实时计算框架原理及实践案例》一书。

简介

当前我们正处于一个数据经济时代,无论对于一线互联网企业,还是传统企业,对于内部累积的海量数据,都可以从中挖掘出对企业发展深有裨益的知识财富。对于数据挖掘工具而言,实时计算则更能紧跟当前实时数据动态变换,给出一些实时策略调整建议。相对实时计算而言,当前流行的计算工具以Storm(JStorm)、Spark Streaming、Flink为代表,诚然这些工具确实解决了很大部分实时计算需求,但对于一些传统企业或创业早期公司而言,如果也想解决实时计算需求,限于内部资源(人才和硬件)问题,则不见得就适合选择这些相对比较重量级框架(维护成本很高),就解决问题而言,如同架构设计或企业招聘一样,选择合适解决方案即可。

本次课程学习实时计算架构以及在个性化推荐中的使用,理论结合实践,并重点讲述案例,深入剖析架。并一同探讨如何满足贵企业的实时计算架构设计。

课程时长

2天(12H)

分享提纲

1. 实时计算原理及架构1.1 实时计算应用日常案例

1.1.1 人体消化系统

1.1.2 服务实时监控

1.2 零基础构建实时计算系统

1.2.1 轻量级分布式实时计算架构设计

1.2.2 数据流实时接收

1.2.2.1  kafka

1.2.2.2  rabbitmq

1.2.3 数据流在计算节点间的流转

1.2.3.1  rpc

1.2.3.2  webservice

1.2.4 资源配置管理

1.2.4.1 服务监听、注册、发现

1.2.5 任务调度

1.2.5.1 定时任务管理

1.2.6 独立计算任务拆分及实现

1.2.6.1 map/reduce

1.2.6.2 fork/join

1.3 当前实时计算框架

1.3.1 storm/jstorm

1.3.2 spark streaming

1.3.3 light_drtc

2. 高可用实时计算平台2.1 HA服务通用架构

2.1.1 shard

2.1.2 replica

2.2 服务实时监控
2.3 无单节点风险
2.4 服务降级处理
2.5 网络缓存

2.5.1 memecache

2.5.2 redis

2.5.3 ssdb

2.5.4 bdb

2.6 本地缓存         2.6.1 guava cache
3. 实时计算在资讯个性化推荐系统中应用实例3.1 资讯个性化推荐整体架构

3.1.1 整体框架

3.1.2 推荐服务流程

3.2 个性化推荐算法常用算法

3.2.1 内容相似

3.2.2 关联规则

3.2.3 协同过滤

3.2.4 主题模型

3.2.5 深度学习神经网络模型常用框架

3.3 用户画像实时更新流程



4. HA搜索服务架构设计实例4.1 搜索框架ES vs Solr
4.2 整体架构设计及实现

4.2.1 索引拆分

4.2.2 索引双写/双读

4.2.3 服务监控

4.2.4 故障自动转移



我要参加

可同时提交您的需求,我们会及时与您联系

预约内训

将课程带入到您的团队,为您的团队进行一对一辅导。

相关课程