课程简介
在当下,大模型视频分析和自然语言处理等领域的应用越来越广泛。然而,传统的大模型计算通常需要在云端进行,这导致了数据传输带宽消耗、传输延迟、隐私保护和成本等问题。在社区指挥中心,边缘设备的计算能力有限,无法满足大模型的训练和推理需求。
本次分享主旨云边协同设计,将计算任务合理地分配到云端和边缘设备上,让云端提供强大的计算能力和存储资源,可以处理大规模数据和复杂计算任务;让边缘设备以提供低延迟的数据处理能力,充分结合云和边的优势,实时响应用户需求。
课程收益
1、帮助学员了解通用大模型转向垂直行业应用;
2、帮助学员掌握大模型的轻量化改造,适应边缘算力部署;
3、帮助学员掌握解决数据、算力、算法架构等核心问题;
4、帮助学员掌握从业务场景到应用,打造端到端的解决方案和技术能力
受众人群
企业管理者,IT行业从业者及其他对大模型感兴趣的人员
课程周期
3H
课程大纲
标题 | 授课内容 |
一、大模型领域的应用简介 | 1. 行业痛点挖掘 2. 大模型的应用领域和挑战 3. 云边协同设计的意义和优势 |
二、大模型的云边协同架构设计 | 1. 云端模型建模、训练和参数更新 2. 边端数据收集和模型推理 3. 模型主动学习和评估 |
三、实践案例:大模型的云边协同应用 | 1. 社区违规场景视频分析与智能监控 2. 社区对话场景和语音识别和文字识别场景 3. 网络通信与传输优化技术选择 4. 边缘设备资源管理与调度算法 |
四、总结与展望 | 1. 总结大模型的云边协同设计原则及实践经验 2. 展望未来大模型在云边协同方面的发展趋势 |