课程简介
近年来随着人工智能的迅速发展,ML模型正在帮助企业做出一些重要的决策。因此,一旦这些模型部署到生产环境中,模型就必须在最新数据的环境中保持相关性。如果存在数据倾斜,模型可能会脱离环境,即数据分布可能在生产环境中与在训练期间使用的数据不同,也可能是生产数据中的某个特征变得不可用或者模型可能与最新数据不再相关,因为实际环境可能已经改变。或者更简单地说,用户行为可能已经发生改变。因此,监控模型行为的变化以及推理中使用的最新数据的特征至关重要,这确保模型与模型训练阶段承诺的预期性能保持相关性和真实性。
机器学习模型正在使用TB 级的数据进行训练,目的是提高效率,同时做出正确的决策。但由于复杂的内部工作原理,机器学习模型常被视为黑盒模型。数据科学家提供了一个高精度的模型但在某些情况下,模型无法向公众解释,因为系统可能会被非法侵入。模型可视化提供了模型背后的逻辑和原因,以实现模型的透明度,否则我们将无法信任它们。此
本节课程讲述了模型监控的背景、目的、与传统软件监控的区别,模型监控清单,模型监控指标以及业界典型的开源模型监控工具,为什么要可视化模型,模型可视化目标受众,模型可视化带来的价值,模型可视化的应用场景,常见的模型可视化技术以及典型的模型可视化],具旨在帮助算法工程师更好地理解机器学习,尽早地发现生产环境中模型存在的问题,以便采取相应的措施。
课程收益
1. 全面了解什么是机器学习模型监控,什么是可视化模型
2. 掌握ML模型监控组件
3. 掌握模型可视化技术
受众人群
算法工程师、系统架构师、大数据开发工程师以及其他对AI感兴趣的人员。。
课程周期
1天(6小时)
课程大纲
课程主题 | 课程内容 |
专题1:模型监控概论 | 1.技术背景 2.什么是机器学习模型监控 3.监控模型的目的 4.4ML监控和传统软件监控的区别 5.谁应该关注ML模型监控的结果 6.生产中导致模型模型衰退或出错的原因 |
专题2:模型监控清单
| 1.什么是大模型? 2.AI集群 3.AI集群通信机制 4.分布式并行及显存优化技术 5.大模型结构及算法 6.典型的通用/金融大模型 |
专题3:ML模型监控组件 | 1.监控指标:ML系统监控 2.监控指标:ML 数据质量监控 3.监控指标:ML 模型监控场景 4.监控指标: ML 模型监控 5.监控指标:业务指标和KPI监控 |
专题4:什么是可视化模型 | 1.背景 2.为什么要可视化模型? 3.谁应该使用模型可视化? 4.我们可以可视化什么? 5.什么时候可视化最有价值? 6.可视化可以应用在哪里? 7.我们如何可视化模型 |
专题5:模型可视化技术 | 1.超参数优化(平行坐标图) 2.预测表 3.决策树 4.决策边界 5.神经网络架构 6.实时损失图(Livelossplot) 7.变分自编码器 8.词嵌入 9.可解释AI |