简介

结合团队近几年的一线实践经验，深度分享运营商大规模数据集群的治理实践经验，包括数据治理和集群治理工程的定位、背景、组织架构和方法论、实施路径、案例分析、成果收益、点对外产品化进展等重内容。系统性介绍联通大数据平台（数千节点规模、近百PB数据量、日新增数据百TB以上、万亿级信令和互联网日志数据、数百个多租户模型运营）的整体架构，包括数据采集交换平台、核心生产平台、能力开放平台、点查询中心、安全网关、智能运维平台等关键子系统的技术架构和演进历程。分享HadoopMR、Spark、Flink在平台数据采集加工等具体场景的应用情况，剖析典型的故障定位、踩坑经验和性能调优案例

课程收益

目标：

了解联通大数据平台整体架构、数据采集交换加工过程、数据治理体系、数据安全管控、能力开放平台运营和大规模集群治理实践内容

成功要点：

1构建支撑运营商级别的大规模数据平台架构，实现数据统一高效采集与加工分析，完善的质量稽核、安全合规与治理保障，通过能力开放平台赋能外部租户并完成数据资产管理体系化运营

2实用的顶层数据治理架构设计、Hadoop与MPP技术混搭、容器&DevOps&AIOps深度融合应用，拥抱并吃透开源社区新技术

启示：

充分结合商业产品&开源社区技术建设平台、在采集交换源头解决数据质量问题、构建精益高效的数据治理文化、通过大规模集群治理实践保障集群稳定性和业务连续性，同时敏捷驱动数据治理体系的价值落地

培训对象

架构师、大数据工程师、技术经理、工程师，对大数据供应链有兴趣的人群。

课程时长

1天（6H）

分享提纲