课程简介
近些年,随着数据中台、大数据、机器学习、人工智能等高科技技术的不断发展,越来越多的企业开始着眼于整理自己的数据资产、挖掘自身的数据业务、开拓自己的数据产品。然而,由于各个企业自身的起点不同,有的是从开展简单的分析任务开始,有的是如何建设自己的数据中台。同时,这个过程中也遇到了诸多的难题与困惑,不知道如何更加有效地开展工作,未来的发展方向又在哪里。
本课程从实战的角度,讲解了不同阶段数据应用的建设思路,规划未来发展的路线图。最初,如何开展简单的数据分析任务,确定问题→数据清洗→数据建模→数据验证的设计套路,以及由粗到细挖掘有价值的数据的分析思路。然后,为了长期持久地分析应用数据,如何建设数据中台,开展数据资产治理的工作,包括数据采集、ETL过程、建立数据仓库、形成数据集市、建设应用系统。并且,在这个过程中如何开展数据质量管理、数据血缘管理,等等。接着,在这样的基础上如何数据驱动、价值变现、形成数据产品,如数据风控、数字化运营、推荐系统、精准营销,这些系统的建设思路。更进一步,如何运用数据挖掘算法,开展数据预测、用户画像、机器学习等任务。最后,运用实际案例讲解,人工智能的系统建设,建设套路以及关键点与难点。
本课程注重实战,结合在数据分析与建设相关领域从业多年的经验,收集了大量的真实案例,会针对项目过程中常见的问题进行汇总、研讨,并最终形成培训教程。通过大量的真实案例,详细地介绍了数据分析与建设过程中需要注意的要点以及难点,这些知识都是讲师十几年经验的总结。
课程收益
1. 了解数据治理的过程与意义
2. 掌握数据挖掘过程与意义
3. 掌握人工智能的发展趋势
受众人群
1、系统架构师、系统分析师、高级程序员、资深开发人员。
2、牵涉数据分析处理的运营、规划、设计负责人。
课程周期
2天(12小时)
课程大纲
主题 | 相关内容 |
第一章 数据分析 | 一、数据分析:挖掘数据潜在的价值 二、数据分析角色:数据经理、业务专家、数据分析师 三、数据分析套路: 确定问题→数据采集→数据清洗→数据建模→数据分析→模型验证 案例分析:某省宏观经济数据分析过程 1)数据采集与清洗及其遇到的难题 2)逐步细分的数据分析过程及其验证 3)数据分析结果应当具有指导与决策意义 |
第二章 数据治理 | 一、数据治理的意义 1)原始数据的质量极大影响分析结果的准确 2)原始数据需要不断地采集与整合才能长期用于分析利用 3)原始数据的升级变更大大加剧了数据分析的维护成本 二、数据治理的过程 数据采集→ETL过程→数据仓库→数据集市→数据应用 案例分析:增值税发票分析系统的数据治理过程 1)增值税发票数据的采集与ETL过程 2)增值税发票的数据仓库建设过程 ² 多维数据模型:雪花模式 vs. 星形模型 ² 数据仓库的分层:原始数据层、明细数据层、轻度综合层、数据集市层 ² 面向主题的数据建模过程 3)数据仓库的质量管理与血缘管理 4)数据中台的概念与建设思路:自顶而下 vs. 自下而上 |
第三章 数据应用 | 一、数据中台的核心是价值变现: 数据中台的核心:数据价值变现 二、数据应用 1. 数据可视化 案例:网络运营商大数据监控系统建设过程 2. 数据风控 案例:税务系统虚开发票风险监控系统建设过程 1)风控指标的设计过程 2)风控系统的架构设计 3. 数字化运营 案例:用户行为分析与数字化运营的建设过程 1)采集用户行为数据 2)分析与展示用户行为数据 3)用户行为数据指导系统运营与决策 4. 推荐系统 案例:某互联网的推荐系统建设 1)数据推荐算法:基于用户的推荐算法、基于商品的推荐算法 2)推荐系统建设思路与精准营销 |
第四章 数据挖掘 | 一、数据挖掘的原理 二、数据挖掘过程 1)经验模型 vs. 数据模型 2)逻辑回归与数据预测 案例:企业成长性预测模型的数据挖掘过程 3)分类算法与深度神经网络 案例:根据商品名称进行分类的建模过程 三、企业画像与数据标签 案例:企业征信的企业画像分析设计过程 1)数据标签的分类:属性标签、统计标签、算法标签 2)数据标签的设计:横向与纵向的数据融合表 3)算法标签的设计与数据挖掘过程 |
第五章 人工智能 | 一、人工智能的发展趋势 1)人工智能的设计套路:形成人工智能算法闭环 2)人工智能的设计困境:需要有数据中台支撑 3)人工智能的未来趋势:与5G和物联网相结合 二、人工智能的系统建设 案例分析:远程智慧诊疗大数据平台的人工智能建设 1)项目背景与系统规划 2)经验模式+数据模型的建设思路 3)形成人工智能算法闭环的系统规划 案例准备 如果需要范老师运用本企业的案例进行更加有针对性的讲解,需要准备以下材料提供给范老师: 1)项目的背景及其数据分析与建设目标 2)数据来源与数据字典(只需要数据结构及其数据含义,不需要数据) 3)数据分析需求及其现有的设计思路 |
Mac Fan
百林哲咨询(北京)有限公司专家团队成员
Mac Fan
百林哲咨询(北京)有限公司专家团队成员
Mac Fan
百林哲咨询(北京)有限公司专家团队成员
Mac Fan
百林哲咨询(北京)有限公司专家团队成员
Mac Fan
百林哲咨询(北京)有限公司专家团队成员
Mac Fan
百林哲咨询(北京)有限公司专家团队成员
Mac Fan
百林哲咨询(北京)有限公司专家团队成员