课程简介

当前企业加速拥抱AI，大模型服务在企业应用中的需求激增，但推理效率与工程化落地仍然面临巨大挑战，有效平衡性能与成本，实现高性能、高可用的大模型服务，是许多企业重视、且需要解决的核心命题。

我们发现业界主要通过模型压缩、动态批处理、缓存优化技术等提升推理效率，同时借助K8s、服务网格等工程化手段增强可用性、扩展性。然而，实际落地过程中存在技术选型复杂、优化与业务适配度低等瓶颈，需结合具体场景优化全链路方案。

本次分享聚焦“高性能推理+工程化落地”，深入解析大模型服务优化的关键技术，并探讨工程化实践中的架构设计、监控运维及成本控制方法，助力企业构建高效、稳定的大模型生产级服务。将为行业展现高效、低成本的大模型服务部署方案，帮助与会者在工程推理层面，完成从实验到生产的转化。

课程收益

1、帮助学员掌握核心方案，实现大模型服务降本增效；

2、帮助学员了解工程化最佳实践案例，加速模型从实验到生产转化；

3、助力企业显著提升性能，优化用户体验增强企业优势

受众人群

1、AI 算法工程师、大模型推理开发工程师及 AI 系统性能优化专员

2、AI 技术主管、大模型项目负责人及兼具技术与业务视野的 AI 产品经理

3、AI 研发团队核心成员、跨部门技术协作负责人及致力于 AI 技术创新应用的企业技术骨干

课程周期

 0.5天（3H）

课程大纲

1、AI平台架构

2、分享推理优化技术实践

3、分享工程化优化技术实践

4、未来展望

5、QA