课程简介

  预训练已经成为自然语言处理任务上不可获缺的一环。合理的使用预训练模型有机会为下游任务表现带来显著的提升。本次分享从算法、资源、框架、应用这四个维度，分享在腾讯公司场景中的预训练模型实践。希望通过这几个维度的介绍，能够帮助听众对预训练模型有更深层次的理解，并在未来能针对业务更加合理的使用或改进已有的预训练模型，取得更好的效果。

课程收益

1、目标：

①　理解经典预训练模型的原理

②　获得中文预训练模型相关的资源

③　了解预训练模型框架的设计、开发与使用

④　接触预训练模型在腾讯公司场景中的使用和调优

2、成功要点：

对预训练模型算法清晰的理解以及频繁的实践是成功应用预训练模型的关键，本次分享对预训练相关算法进行了系统的梳理，并且总结了在业务场景中使用预训练模型的心得，希望能帮助大家在实际场景中更好的使用预训练模型。

3、启示：

预训练模型已经成为自然语言处理领域不可或缺的一环。本次分析通过算法、资源、框架、应用这四个维度，帮助大家对预训练模型有着更加深刻的理解。

受众人群

算法工程师、开发工程师等等以及对机器学习、中文预训练感兴趣的人员。

课程周期

1天

课程大纲

1预训练背景分享（为何有预训练？什么是预训练？）

2经典预训练模型串讲（从语料、编码器、目标任务三个角度去理解预训练模型）

3中文预训练模型资源（语料资源；权重资源；评测资源；代码资源）

4预训练模型框架（TencentPretrain，模块化设计的多模态预训练框架）

5预训练模型在业务中的实践（六大步骤：通用预训练；领域预训练；弱监督预训练；多任务学习；蒸馏；下游任务微调）

6总结与展望

7 QA