百林哲课程

一线技术专家团队——提供关键岗位人才培养体系设计与开发等一系列研发管理培训咨询课程。用产品化、场景化、国际化的视角,分享卓越研发管理实践。具有以下鲜明特点:

1、课程研发专业迅速
2、国内顶尖一线技术专家
3、极致用户服务体验

全部课程

最新公开课

微服务架构设计与实践(二)

2019.01.11 - 2019.01.13 深圳.

课程日历

百林哲专家

携手全球知名一线技术专家团队分享软件研发技术管理实践,国内一线、一手研发管理实践,行业智库。

成为专家
用户登录
您当前的位置:首页>全部课程>大数据分析与挖掘工具之Python开发实战

大数据分析与挖掘工具之Python开发实战

浏览:148次

一、课程简介:

Python已经成为数据分析和数据挖掘的首选语言,作为除了Java、C/C++/C#外最受欢迎的语言。

本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题,在数据挖掘标准过程指导下,采用Python分析工具,实现数据挖掘项目的每一步操作,从数据预处理、数据建模、数据可视化,到最终数据挖掘结束,帮助学员掌握Python用于数据挖掘,提升学员的数据化运营及数据挖掘的能力。

通过本课程的学习,达到如下目的:

1、 全面掌握Python语言以及其编程思想。

2、 掌握常用扩展库的使用,特别是数据挖掘相关库的使用。

3、 学会使用Python完成数据挖掘项目整个过程。

4、 掌握利用Python实现可视化呈现。

5、 掌握数据挖掘常见算法在Python中的实现。

【授课对象】

业务支持部、IT系统部、大数据系统开发部、大数据分析中心、网络运维部等相关技术人员。

【学员要求】

课程为实战课程,要求:

1、 每个学员自备一台便携机(必须)。

2、 便携机中事先安装好Python 3.6版本及以上。

注:讲师现场提供开源的安装程序、扩展库,以及现场分析的数据源。

 

【授课方式】

语言基础 + 挖掘模型 + 案例演练 + 开发实践 + 可视化呈现

采用互动式教学,围绕业务问题,展开数据分析过程,全过程演练操作,让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

 

二、课程周期:

       2天

三、课程大纲:

第一部分: Python语言基础

目的:掌握基本的Python编程思想与编程语句,熟悉常用数据结构的操作

1、 Python简介

2、 开发环境搭建

Ø Python的安装

Ø 扩展库的安装

3、 掌握Python的简单数据类型

Ø  字符串的使用及操作

Ø 整数、浮点数

4、 掌握基本语句:

Ø if、while、for、print等

Ø 基本运算:

Ø 函数定义、参数传递、返回值

5、 掌握复杂的数据类型:列表/元组

Ø 列表操作:访问、添加、修改、删除、排序

Ø 列表切片、复制等

Ø 列表相关的函数、方法

Ø 元组的应用

6、 复杂数据类型:字典

Ø 创建、访问、修改、删除、遍历

Ø 字典函数和方法

7、 复杂数据类型:集合

8、 掌握面向对象编程思想

Ø 创建类、继承类

Ø 模块

9、 函数定义、参数传递、返回值

10、 标准库与扩展库的导入

11、 异常处理:try-except块

演练:基本的Python编程语句

 

第二部分: Python扩展库

目的:掌握数据集结构及基本处理方法,进一步巩固Python语言

1、 数据挖掘常用扩展库介绍

Ø Numpy数组处理支持

Ø Scipy矩阵计算模块

Ø Matplotlib数据可视化工具库

Ø Pandas数据分析和探索工具

Ø StatsModels统计建模库

Ø Scikit-Learn机器学习库

Ø Keras深度学习(神经网络)库

Ø Gensim文本挖掘库

2、 数据集读取与操作:读取、写入

Ø 读写文本文件

Ø 读写CSV文件

Ø 读写Excel文件

Ø 从数据库获取数据集

3、 数据集的核心数据结构(Pandas数据结构)

Ø DataFrame对象及处理方法

Ø Series对象及处理方法

演练:用Python实现数据的基本统计分析功能

 

第三部分: 数据可视化处理

目的:掌握作图扩展库,实现数据可视化

1、 常用的Python作图库

Ø Matplotlib库

Ø Pygal库

2、 实现分类汇总

演练:按性别统计用户人数

演练:按产品+日期统计各产品销售金额

3、 各种图形的画法

Ø 直方图

Ø 饼图

Ø 折线图

Ø 散点图

4、 绘图的美化技巧

演练:用Python库作图来实现产品销量分析,并可视化

 

第四部分: 数据理解和数据准备

目的:掌握数据预处理的基本环节,以及Python的实现

1、 数据预处理

Ø 异常值处理:3σ准则,IQR准则

Ø 缺失值插补:均值、拉格朗日插补

Ø 数据筛选/抽样

Ø 数据的离散化处理

Ø 变量变换、变量派生

2、 数据的基本分析

Ø 相关分析:原理、公式、应用

Ø 方差分析:原理、公式、应用

Ø 卡方分析:原理、公式、应用

Ø 主成分分析:降维

案例:用Python实现数据预处理及数据准备

 

第五部分: 分类预测模型实战

1、 常见分类预测的模型与算法

2、 如何评估分类预测模型的质量

Ø 查准率

Ø 查全率

Ø ROC曲线

3、 逻辑回归分析模型

Ø 逻辑回归的原理

Ø 逻辑回归建模的步骤

Ø 逻辑回归结果解读

案例:用sklearn库实现银行贷款违约预测

4、 决策树模型

Ø 决策树分类的原理

Ø 决策树的三个关键问题

Ø 决策树算法与实现

案例:电力窃漏用户自动识别

5、 决策树算法

Ø 最优属性选择算法:ID3、ID4.0、ID5.0

Ø 连续变量分割算法

Ø 树剪枝:预剪枝、后剪枝

6、 人工神经网络模型(ANN)

Ø 神经网络概述

Ø 神经元工作原理

Ø 常见神经网络算法(BP、LM、RBF、FNN等)

案例:神经网络预测产品销量

7、 支持向量机(SVM)

Ø SVM基本原理

Ø 维灾难与核心函数

案例:基于水质图像的水质评价

8、 贝叶斯分析

Ø 条件概率

Ø 常见贝叶斯网络

 

第六部分: 数值预测模型实战

1、 常用数值预测的模型

Ø 通用预测模型:回归模型

Ø 季节性预测模型:相加、相乘模型

Ø 新产品预测模型:珀尔曲线与龚铂兹曲线

2、 回归分析概念

3、 常见回归分析类别

4、 回归分析常见算法

Ø 梯度上升/下降法

Ø 普通最小二乘法OLS

Ø 局部加权线性回归LWLR

Ø 岭回归(RR)

Ø 套索回归Lasso

Ø ElasticNet回归

第七部分: 聚类分析(客户细分)实战

1、 客户细分常用方法

2、 聚类分析(Clustering)

Ø 聚类方法原理介绍及适用场景

Ø 常用聚类分析算法

Ø 聚类算法的评价

案例:使用SKLearn实现K均值聚类

案例:使用TSNE实现聚类可视化

3、 RFM模型分析

Ø RFM模型,更深入了解你的客户价值

Ø RFM模型与市场策略

案例:航空公司客户价值分析

 

第八部分: 关联规则分析实战

1、 关联规则概述

2、 常用关联规则算法

Ø Apriori算法

² 发现频繁集

² 生成关联规则

Ø FP-Growth算法

² 构建FP树

² 提取规则

3、 时间序列分析

案例:使用apriori库实现关联分析

案例:中医证型关联规则挖掘

 

第九部分: 案例实战

1、 客户流失预测和客户挽留模型

2、 银行欠贷风险预测模型

 

结束:课程总结与问题答疑。


一航

百林哲咨询(北京)有限公司专家团队成员

曾任华为技术专家,五篇技术专利,工作期间获得华为数项奖项,曾在英国、日本、荷兰等国家做项目,对大数据有深入的研究。

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系
我要参加
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

相关课程

大数据

大数据分析与挖掘工具之Python开发实战

本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题,在数据挖掘标准过程指导下,采用Python分析工具,实现数据挖掘项目的每一步操作,从数据预处理、数据建模、数据可视化,到最终数据挖掘结束,帮助学员掌握Python用于数据挖掘,提升学员的数据化运营及数据挖掘的能力。

浏览:148 收藏:0
大数据

大数据挖掘工具Modeler入门与提高

随着大数据分析的需求越来越旺盛,大数据分析工具也越来越琳琅满目,然而,绝大多数的分析工具都只具有单一用途,无法满足企业的复杂的多样化的全面的业务分析需求,因此分析工具的选择成为了一个挑战。

浏览:160 收藏:0
大数据

大数据挖掘工具: SPSS Statistics入门与提高

随着大数据分析的需求越来越旺盛,大数据分析工具也越来越琳琅满目,然而,绝大多数的分析工具都只具有单一用途,无法满足企业的复杂的多样化的全面的业务分析需求,因此分析工具的选择成为了一个挑战。

浏览:156 收藏:0
大数据

大数据营销实战训练营

本课程从实际的市场营销问题出发,构建数据分析与数据挖掘模型,以解决实际的商业问题。并对大数据分析与挖掘技术进行了全面的介绍,通过从大量的市场营销数据中分析潜在的客户特征,挖掘客户行为特点,实现精准营销,帮助市场营销团队深入理解业务运作,支持业务策略制定以及运营决策。

浏览:152 收藏:0

推荐课程

华为核心竞争力打造的“道”与“法”
本课程通过华为公司核心价值链模型,阐述华为取得持续商业成本背后的核心竞争力构建的思想精髓,以及在价值创造、价值评估、价值分配三大环节,从文化、战略、流程、组织、人力资源等维度和历史阶段采用策略、方法和模板以及工具等方法,帮助成长型企业学习华为从文化到机制建设,以及技术与产品和营销如何一体化的成功的“道”与“法”。
华为企业文化与成功之道
本课程将从华为取得持续商业成功背后的三大价值链环节为主线,从文化在战略、执行、干部、绩效与激励各环节的导向、运作准则、执行方式等多维度,展开深度学习,以帮助企业激活组织、激活个体,确保组织的商业成功。
大规模数据平台架构演进与治理运营实践
于近十年在移动云平台与大数据一线做架构设计与开发的经验,深度分享运营商级别大规模数据平台的演进过程、以及数据集群的治理实践心得,包括数据治理和集群治理工程的定位、背景、组织架构和方法论、实施路径、案例分析、成果收益、对外产品化进展等重点内容。