课程简介

当前，随着大模型（LLM）在各行业的广泛落地，企业在大模型预训练阶段面临着算力消耗巨大、训练效率低、工程实现复杂等诸多挑战。与此同时，国内深度学习框架与大模型生态持续快速发展，实现端到端的高效预训练，以及借助本地化框架进行可复现、可持续优化，成为业界关注的焦点。

随着模型规模不断扩大，单纯依赖硬件堆叠已难以满足大模型高效训练的需求。因此，业界普遍在探索包括高效分布式并行、参数高效微调、异构算力调度、混合精度训练、数据并行与模型并行结合等多种技术路线。此外，在保持训练高效性的同时，保证易用性、可复现性与灵活扩展性，也是当前深度学习框架和大模型生态共同关注的难题。为此，我司深度学习框架不仅基于文心4.5模型，突破了诸多大模型训练效率提升的关键技术，同时也将如DeepSeekV3等业界其他优秀实践中的关键技术进行了开源实验和进一步优化。

本次分享将围绕“端到端大模型预训练优化”，系统深入分析飞桨框架在支撑大模型训练中的工程与算法创新，以及文心 4.5 、DeepSeekV3 等开源大模型训练上的实践经验，帮助企业和开发者更好了解大模型训练技术，提升模型训练效率。

课程收益

1、帮助学员了解主流深度学习框架（飞桨）支撑大模型工程落地，为企业自研或复现大模型提供可借鉴的解决方案。

2、帮助学员掌握大模型训练的全流程优化思路

3、帮助学员了解主流框架的底层创新，获得模型复现和性能调优的实用经验，提升企业AI落地与创新能力。

4、为AI行业从业者提供大模型端到端预训练的实操经验。

受众人群

1、AI算法工程师、机器学习研究员、深度学习架构师及大模型预训练工程师

2、人工智能领域的产品经理（AI方向）、算法开发工程师、模型优化专员及数据科学家

3、决策层：AI技术负责人、算法团队主管、数据平台负责人及技术战略决策者

4、其他对模型训练感兴趣的人员

课程周期

 0.5天（3H）

课程大纲

1、趋势与挑战：大模型预训练的痛点与机遇

1）训练资源消耗、工程复杂性的行业现状

2）框架与生态的本地化需求

2、飞桨框架原生支撑大模型预训练

1）高效混合并行策略、混合精度训练、FlashMask，集群容错

3、文心4.5开源模型的预训练核心技术

4、基于飞桨复现DeepSeekV3最佳性能的实践

5、QA