为加强研究生学术交流活动，推进学术创新，特开通“研究生学术报告预告区”。我校研究生和教师可以在预告区及时发布和了解有关研究生学术报告的信息，届时参加。也可就某学术报告展开专题讨论与交流。
1、 Bert模型的继承与创新
b．继承：与其他模型之间的关系
2、 效果好的原因
3、 预训练的本质：
通过设计好一个网络结构来做语言模型任务，然后把大量甚至是无穷尽的无标注的自然语言文本利用起来。预训练任务把大量语言学知识抽取出来编码到网络结构中，当任务带有标注信息的数据有限时，这些先验的语言学特征会对进行中的任务有极大的特征补充作用。因为当数据有限的时候，很多语言学现象是覆盖不到的，泛化能力就弱，集成尽量通用的语言学知识自然会加强模型的泛化能力。