课程简介

大模型推理优化已进入“精耕细作”阶段，不再依赖单一技术突破，而是通过架构革新、算法迭代、硬件协同和系统设计的深度融合实现效能跃升。这一过程既需要底层技术的持续创新，也依赖于工程化能力的体系化构建。

企业在解决大模型推理性能优化中，AI领域的核心挑战难点涉及硬件、算法、系统架构及应用场景等多个维度。而真正的解决方案在于构建自适应推理生态系统。通过实时剖分器监控各环节延迟分布，运用强化学习动态调整批大小、并行度和精度配置；结合因果推断识别性能瓶颈根源；最终实现从“一刀切优化”到“千人千面”的资源调度革命。

本次分享深入研讨超节点以及大规模专家并行方案，以华为的系统创新，互联优势，软件层面在算子加速库、动态调度、PD分离部署等领先领域下，将大模型推理极致性价比的推理解决方案展现，帮助与会者借鉴倍数级提升大模型推理性能实践，开创下一代AI基础设施范式。

课程收益

1、帮助学员掌握前沿优化方案，解锁华为推理引擎技术精髓；

2、借鉴头部企业经验，帮助学员获取大模型性能优化实战指南；

3、帮助学员领悟工程创新真谛，抢占 AI 价值链有利高地

受众人群

芯片应用开发工程师、大模型推理部署工程师、AI 系统运维专员、架构师、AI 大模型项目技术负责人及企业 AI 战略规划专员以及其他对模型推理感兴趣的人员

课程周期

 0.5天（3H）

课程大纲

1、解析华为超节点的框架与优势

2、分享大规模专家并行方案的原理与成果

3、分享昇腾推理引擎的技术架构

4、大模型推理的未来展望

5、QA