为加强研究生学术交流活动,推进学术创新,特开通“研究生学术报告预告区”。我校研究生和教师可以在预告区及时发布和了解有关研究生学术报告的信息,届时参加。也可就某学术报告展开专题讨论与交流。
ICML2019会议论文。目前,深度神经网络的训练往往需要大量数据和训练时间,当训练数据较少时,神经网络通常容易过拟合,这是由于经典的随机梯度下降(SGD)算法是一种通用的优化算法,它们没有包含任何针对当前任务的先验知识,目的是在神经网络的损失景观(loss landscape)中寻找最优点或者次优点。当一个神经网络的计算结构固定时,网络的参数权重决定了网络的功能,当数据量较少的时候,使用SGD在神经网络的参数空间中得到的参数点并不具有好的泛化能力;但是当数据量充足的时候,使用SGD却可以得到较好泛化能力的参数点。所以,具有良好泛化能力的参数点是存在的,只是经典的优化算法在小数据场景下达不到。我们将使神经网络针对某个任务具有良好泛化能力的参数称为功能权重(functional weights)。 根据上面所述,我们可以认为功能权重是一个基于训练数据的条件概率分布。于是,我们针对小样本学习问题提出一种元学习方法,可以基于训练数据直接产生出目标网络的功能权重来,让神经网络在大量的任务中积累经验,自己学会如何解决小样本问题。