热门搜索 :
考研考公
您的当前位置:首页正文

【论文阅读】Sequential Adversarial Lea

来源:东饰资讯网

这篇论文也是关于VO(视觉里程计)的一篇自监督文章。文章里面最主要的创新点是引入了时序模型以及GAN的生成式的模型。生成器主要学习估计深度和位姿用来产生扭曲的目标图像(warped target image)。而鉴别器用来在高层次的结构角度上评价生成图像的质量,用来克服在之前方法中基于像素损失的一些缺点。

介绍

VO/SLAM在过去的几十年里面被作为一个多视图几何问题来研究。很多传统方法在常规的一些场景当中表现很好,但是在一些有挑战性的条件下就会差强人意,因为他们内在的对一些低级的特征依赖性很强。

而有监督的学习需要监督信号,而获取这些标签是不切实际的。最近一些工作尝试去用自监督的方式将深度和姿态估计联合在一起。图像序列作为唯一的输入,所有的估计应该映射到图像空间作为自监督的形式。

这种映射基本上由视图合成以及光度损失度决定的,为了能够减少合成图像和真实图像的误差。深度的估计和姿态的估计是联合起来的,准确的深度估计可以对姿态估计有所帮助,反过来也是一样。利用用连续帧的关系可以消除在深度估计中的不准确性。

图像序列中的数据有很强的冗余性,直接将视频帧通过RGB图像进行堆叠然后处理是非常低效的。在这篇文章当中,我们提出学习一种根据视频帧的紧凑表示,时序的信息也能够通过LSTM利用这种紧凑表示不断累加。

Overview of method

未完待续

Top