百林哲课程

一线技术专家团队——提供关键岗位人才培养体系设计与开发等一系列研发管理培训咨询课程。用产品化、场景化、国际化的视角,分享卓越研发管理实践。具有以下鲜明特点:

1、课程研发专业迅速
2、国内顶尖一线技术专家
3、极致用户服务体验

全部课程

最新公开课

微服务架构设计与实践(二)

2019.01.11 - 2019.01.13 深圳.

课程日历

百林哲专家

携手全球知名一线技术专家团队分享软件研发技术管理实践,国内一线、一手研发管理实践,行业智库。

成为专家
用户登录
您当前的位置:首页>全部课程>大数据分析与挖掘工具之Python开发实战

大数据分析与挖掘工具之Python开发实战

浏览:308次

简介

Python已经成为数据分析和数据挖掘的首选语言,作为除了Java、C/C++/C#外最受欢迎的语言。

本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题,在数据挖掘标准过程指导下,采用Python分析工具,实现数据挖掘项目的每一步操作,从数据预处理、数据建模、数据可视化,到最终数据挖掘结束,帮助学员掌握Python用于数据挖掘,提升学员的数据化运营及数据挖掘的能力。

课程为实战课程,要求:

1、每个学员自备一台便携机(必须)。

2、便携机中事先安装好Python 3.6版本及以上。

注:讲师现场提供开源的安装程序、扩展库,以及现场分析的数据源。

授课方式:

语言基础+挖掘模型+案例演练+开发实践+可视化呈现

采用互动式教学,围绕业务问题,展开数据分析过程,全过程演练操作,让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

目标

1、全面掌握Python语言以及其编程思想。

2、掌握常用扩展库的使用,特别是数据挖掘相关库的使用。

3、学会使用Python完成数据挖掘项目整个过程。

4、掌握利用Python实现可视化呈现。

5、掌握数据挖掘常见算法在Python中的实现。

课程时长

2天(12H)

受众人群

业务支持部、IT系统部、大数据系统开发部、大数据分析中心、网络运维部等相关技术人员。

分享提纲

第一部分: Python语言基础掌握基本的Python编程思想与编程语句,熟悉常用数据结构的操作

1、Python简介

2、开发环境搭建

  Python的安装

  扩展库的安装

3、掌握Python的简单数据类型

  字符串的使用及操作

  整数、浮点数

4、掌握基本语句:

  if、while、for、print等

  基本运算:

  函数定义、参数传递、返回值

5、掌握复杂的数据类型:列表/元组

  列表操作:访问、添加、修改、删除、排序

  列表切片、复制等

  列表相关的函数、方法

  元组的应用

6、复杂数据类型:字典

  创建、访问、修改、删除、遍历

  字典函数和方法

7、复杂数据类型:集合

8、掌握面向对象编程思想

  创建类、继承类

  模块

9、函数定义、参数传递、返回值

10、标准库与扩展库的导入

11、异常处理:try-except块

演练:基本的Python编程语句

第二部分: Python扩展库掌握数据集结构及基本处理方法,进一步巩固Python语言

1、数据挖掘常用扩展库介绍

  Numpy数组处理支持

  Scipy矩阵计算模块

  Matplotlib数据可视化工具库

  Pandas数据分析和探索工具

  StatsModels统计建模库

  Scikit-Learn机器学习库

  Keras深度学习(神经网络)库

  Gensim文本挖掘库

2、数据集读取与操作:读取、写入

  读写文本文件

  读写CSV文件

  读写Excel文件

  从数据库获取数据集

3、数据集的核心数据结构(Pandas数据结构)

  DataFrame对象及处理方法

  Series对象及处理方法

演练:用Python实现数据的基本统计分析功能

第三部分: 数据可视化处理掌握作图扩展库,实现数据可视化

1、常用的Python作图库

  Matplotlib库

  Pygal库

2、实现分类汇总

演练:按性别统计用户人数

演练:按产品+日期统计各产品销售金额

3、各种图形的画法

  直方图

  饼图

  折线图

  散点图

4、绘图的美化技巧

演练:用Python库作图来实现产品销量分析,并可视化

第四部分: 数据理解和数据准备掌握数据预处理的基本环节,以及Python的实现

1、数据预处理

  异常值处理:3σ准则,IQR准则

  缺失值插补:均值、拉格朗日插补

  数据筛选/抽样

  数据的离散化处理

  变量变换、变量派生

2、数据的基本分析

  相关分析:原理、公式、应用

  方差分析:原理、公式、应用

  卡方分析:原理、公式、应用

  主成分分析:降维

案例:用Python实现数据预处理及数据准备

第五部分: 分类预测模型实战

1、常见分类预测的模型与算法

2、如何评估分类预测模型的质量

  查准率

  查全率

  ROC曲线

3、逻辑回归分析模型

  逻辑回归的原理

  逻辑回归建模的步骤

  逻辑回归结果解读

案例:用sklearn库实现银行贷款违约预测

4、决策树模型

  决策树分类的原理

  决策树的三个关键问题

  决策树算法与实现

案例:电力窃漏用户自动识别

5、决策树算法

  最优属性选择算法:ID3、ID4.0、ID5.0

  连续变量分割算法

  树剪枝:预剪枝、后剪枝

6、人工神经网络模型(ANN)

  神经网络概述

  神经元工作原理

  常见神经网络算法(BP、LM、RBF、FNN等)

案例:神经网络预测产品销量

7、支持向量机(SVM)

  SVM基本原理

  维灾难与核心函数

案例:基于水质图像的水质评价

8、贝叶斯分析

  条件概率

  常见贝叶斯网络

第六部分: 数值预测模型实战

1、常用数值预测的模型

  通用预测模型:回归模型

  季节性预测模型:相加、相乘模型

  新产品预测模型:珀尔曲线与龚铂兹曲线

2、回归分析概念

3、常见回归分析类别

4、回归分析常见算法

  梯度上升/下降法

  普通最小二乘法OLS

  局部加权线性回归LWLR

  岭回归(RR)

  套索回归Lasso

  ElasticNet回归

第七部分: 聚类分析(客户细分)实战

1、客户细分常用方法

2、聚类分析(Clustering)

  聚类方法原理介绍及适用场景

  常用聚类分析算法

  聚类算法的评价

案例:使用SKLearn实现K均值聚类

案例:使用TSNE实现聚类可视化

3、RFM模型分析

  RFM模型,更深入了解你的客户价值

  RFM模型与市场策略

案例:航空公司客户价值分析

第八部分: 关联规则分析实战

1、关联规则概述

2、常用关联规则算法

  Apriori算法

  发现频繁集

  生成关联规则

  FP-Growth算法

  构建FP树

  提取规则

3、时间序列分析

案例:使用apriori库实现关联分析

案例:中医证型关联规则挖掘

第九部分: 案例实战

1、客户流失预测和客户挽留模型

2、银行欠贷风险预测模型

结束:课程总结与问题答疑。


 





一航

百林哲咨询(北京)有限公司专家团队成员

曾任华为技术专家,五篇技术专利,工作期间获得华为数项奖项,曾在英国、日本、荷兰等国家做项目,对大数据有深入的研究。

如您想参加此课程,您可以点击“我想参加”按钮提交您的需求,我们会及时与您联系
我要参加
将课程带入到您的团队,为您的团队进行一对一辅导。
预约内训

相关课程

大数据

大数据分析与挖掘工具之Python开发实战

全面掌握Python语言以及其编程思想;掌握常用扩展库的使用,特别是数据挖掘相关库的使用;学会使用Python完成数据挖掘项目整个过程;掌握利用Python实现可视化呈现;掌握数据挖掘常见算法在Python中的实现。

浏览:308 收藏:0
大数据

大数据挖掘工具Modeler入门与提高

了解大数据挖掘的标准过程和挖掘步骤;掌握基本的统计分析,常用的影响因素分析;理解数据挖掘的常见模型,原理及适用场景;熟练掌握SPSS基本操作,能利用SPSS解决实际的商业问题。

浏览:326 收藏:0
大数据

大数据挖掘工具: SPSS Statistics入门与提高

了解大数据挖掘的标准过程和挖掘步骤;掌握基本的统计分析,常用的影响因素分析;理解数据挖掘的常见模型,原理及适用场景;熟练掌握SPSS基本操作,能利用SPSS解决实际的商业问题。

浏览:330 收藏:0
大数据

大数据营销实战训练营

了解大数据营销内容,掌握大数据在营销中的应用;了解基本的营销理论,并学会基于营销理念来展开大数据分析;熟悉数据分析/挖掘的基本过程,掌握常用的数据挖掘方法。

浏览:330 收藏:0

推荐课程

IT/软件开发项目管理精髓
本课程将理论与实践相结合,重点讲解作为一名项目经理所具备的与国际惯例接轨的关于项目管理的知识体系结构,通过交互式的教学方法,使学员有机会亲自参与模拟练习,能系统直观而熟练的掌握项目管理启动、计划、执行、控制和结束五大阶段的重要环节。掌握对项目的工作分工、风险管理、费用预估、进度计划、变更管理、质量管理、合同管理等理论及实际工作方法。
区块链的价值应用实践
本课程围绕区块链的价值应用实践进行详细介绍。
业务测试
本课程主要是银行业务系统案例的测试需求分析和案例设计为切入点,引出软件测试行业的核心技术,包括测试需求分析、测试用例设计、测试度量和分析、测试管理等内容。以案例为引导,以实战案例及实验为主进行分析和课堂练习,理论和实践相结合。