为加强研究生学术交流活动,推进学术创新,特开通“研究生学术报告预告区”。我校研究生和教师可以在预告区及时发布和了解有关研究生学术报告的信息,届时参加。也可就某学术报告展开专题讨论与交流。
对抗生成网络在图像生成领域研究虽然广泛,但是在视频生成领域研究还相对较少,其主要难点在于生成视频前后帧之间的一致性。本次报告介绍的视频到视频的生成模型利用前后帧的光流信息作为约束,生成时序连贯和画面精细视频,可以实现有语义分割等动态草图模拟还原写实的视频影片。模型通过神经网络预测光流信息,在生成器和判别器中加入光流约束,通过融合时空信息的损失函数对网络进行训练。此外,网络对前景和背景分别进行建模,通过由粗到细的迭代过程,可以生成高分辨率的时序连贯的视频。