构建闭环智能的Agentic Data Engine:Agent数仓开发实战
Gavin Liu 查看讲师
百林哲咨询(北京)有限公司专家团队成员
现任大型互联网大数据和人工智能高级架构师,擅长算法开发、MR
浏览:34次
详情 DETAILS

课程介绍

闭环智能的Agentic Data Engine对企业的意义,不在于用Agent替代数据工程师,而在于把数仓交付从“人力驱动的线性工程”重构为“工程底座驱动的可复利能力”。前期投入建设语义、Skill与评估体系,后续每一次交付都在为下一轮交付积累可复用的资产,同时把工程师释放到建模精度、业务语义和质量判断这些真正难以替代的工作上。

传统数据开发与治理正深陷 ETL 繁重、血缘滞后、口径不一、业治脱节四大困境。单纯依赖人工配置规则或 Copilot 辅助写代码,已难以根治效率瓶颈。然而当前,我们让Agent在受控的生产工程边界内,端到端完成从需求理解到交付验证的完整链路,同时把每一次交付的经验沉淀为可复用的Skill与语义资产真正跑通的方向,不是让Agent写更多SQL,而是让它嵌入数仓交付的完整闭环,并在关键节点保留校准能力。

本课程聚焦“AI Agent + 数据工程”的前沿范式,从底层的 Skill 开发,到元数据治理、数仓模型开发,再到端到端的数据全生命周期提效,系统讲解如何利用 Agent 智能体实现从“人工驱动”向“自治闭环”的跨越,帮助企业构建具备主动推理与闭环执行能力的 Agentic Data Engine。


课程目标

1、深入理解 Agent Skill 的底层原理,能够独立编写并扩展数据清洗、分析等实战 Skill。

2、掌握利用 Agent 进行需求澄清、方案设计、SQL 开发及自动化测试的全链路方法,将常规数据处理交付周期从“天”级压缩至“小时”级。

3、学会构建基于 Agent 的数仓模型治理架构,通过自动化血缘追踪与质量监控,实现数据资产的动态治理与持续优化,落地智能治理。

4、掌握多表处理与指标体系构建的 Agent 实践方案,解决表名歧义、字段召回等核心痛点,确保数据口径的统一与准确,构建指标体系。




受众人群

数据开发与治理团队:数据工程师、ETL 开发工程师、数据治理专员、数据仓库架构师。

AI 与算法团队:AI 训练师、算法工程师、大模型应用开发者。

数据产品与管理团队:数据产品经理、数据项目经理、企业 CDO/CIO 及数字化转型负责人。


课程周期

 2天(12H)


课程大纲

章节

授课内容

一、Skill和智能体开发

1、智能体的 Skills 是什么?

2、Skills 能解决什么问题?

3、Skill与Agent的关系

4、Skill 的核心结构

5、第一个SKILL.md 实例介绍

1)Skills 工作原理

2)Skills 工作过程

3)Skills 脚本扩展

6、Skill 数据清洗与分析案例实战

二、Agent元数据治理

1、元数据治理Skill技术方案

2、 业务元数据修改和添加

1) 技术元数据(Table)治理

2) Skill介绍

3、剖析元数据治理量化指标

三、Agent数据开发提效

 

1、Agent开发工具

2、skill建设思路和方法

1)规范、流程和产物

3、skill分级介绍(个人、团队、跨职能项目组)

四、端到端数据开发提效

1、需求澄清

2、需求澄清skill讲解

1) 开发方案设计

2) 数仓模型开发规范

3)方案设计skill讲解

3、 sql开发

1) SQL开发规范

2)开发skill讲解

4、数据测试

1)代码校验

2) 回归测试

3)交叉对比

4)业务规则校验

5)测试skill讲解

5、任务上线

五、Agent数仓模型开发案例分享   

1、元数据连接

2、新建模型开发案例

1) 模型SQL开发

2)模型验证

3、模型修改案例

4、模型SQL修改

5、数据结果校验

1) 指标开发案例

2)SQL开发

6、指标验证

六、Agent数据仓库模型治理

1、治理目标与北极星指标

2、Agent数仓模型治理整体方案架构

1)AI 数据治理架构总览—四层整体架构

2)北极星指标—Skill目标拆解

3、数仓分层治理agent介绍

1)实践案例—端到端自动化治理动线

4、风险与治理框架

七、Agent指标体系构建和开发

1、数据规划与准备

2、数据处理—ETL规范与限制

3、数据指标梳理

4、多表处理实践

1)数据集预处理

2) 选表与字段召回问题

3) SQL 生成

5、指标体系Skill示例

1)常见问题与注意事项

2) 保证表名,字段名称唯一无歧义

3)设置字段中文别名

4)设置准确的字段类型(如日期时间、地理信息等)

5)设置清晰的字段描述

6)数据集-添加新的计算字段

7) Flag类型字段符合布尔值规则

企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1