用于视频行为识别的双流卷积网络

点个关注,每天更新两篇计算机视觉的文章

1.论文原称:

Simonyan K, Zisserman A. Two-stream convolutional ne计算机视觉好找工作吗tworks for action recognition in计算机视觉属于人工智能吗 videos[C]//Advances in neural in计算机视觉技术formation processing systems. 201可视化工具4: 568-576

2.主要贡献:

1.提出了测试抑郁症卷积运算公式个双流测试手机是否被监控网络模型,其包括计算机视觉和机器视觉的区别了空间网络和时间网络。

2.在有限的数据集上,提出了一个在多帧密集光流帧上有很好效果的模型。(指的还是那个双流卷积网络)

3.提出多任务学习,将模型在两个不同的行为分类数据集上训练,增加了训练数据和提高了训练效果。

  1. 双流模型结构
用于视频行为识别的双流卷积网络

如上图所示,模型分为两部分,spatial stream部分以单帧图片作为输入,temporal stream 部分以多帧图像的的光流作为输入,两部分在经过softmax后进行late fusion。论文提出了两种融合方法,一种是采用平均的方式,另一种是训练一个多分类的SVM分类器,SVM分类器采用L2-Softmax作为输入。

3.1光流卷积网络

用于视频行为识别的双流卷积网络

采用L+1帧图像进行光流计算(这些都是在模型开始之前就计算好了的),得到2L(每2帧图像可得到一个x方向和y方向的测试用例光流)帧,这2L帧的顺序是2k-1为x方计算机视觉好找工作吗向,2k为y方向。(论文对L的取值进行了对比实验,发现取10比较好)

双向光流:在t时刻,取t+L /2作为前向流,t -L/2 作为反向流(这里的反向流在论文里说的是计算相反方向的位移,我不清楚它的意义在哪,有什么用),这样得到的还是2L帧。

计算机视觉就业前景去平均流:一般来说两帧图片的光流不仅包括了图片内物体的移动,也包括了相机的移动。但模型只需要对物体的移动流进行训练,因此论文提出计算光流的平均值,然后逐点减去这个均值,就避免了相机移动给模测试你的自卑程度型训练带来影响。

模型是固定的尺寸:224x224x2L。(注意这里的L指的是光流,不是原始图像)

数据集:UCF-101和HMDB-51

4.多任务训练

数据集太少会导致过拟合,为了避免这种情况,论文设置了两个softma可视化编程x Layer,一个用在UCF-101上,另一个在测试用例HMDB-51,它们有各自的l计算机视觉技术oss函数,两者求和作为训练的l卷积核oss。

5.评估

5.1 空间网络有三种训练方式:

在UCF-101上重新训练

在ILSVRC-2012上预训练,在UCF-1卷积的物理意义01上finetun卷积核e。

固定预训练网络,只训练最后一层。

用于视频行为识别的双流卷积网络

最后结果发现第三种方式效果更好。(这里为了防止过拟合,采用了Drop卷积神经网络out)

5.2 时间网络主要测试了不同的L值计算机视觉实践得到的效果,前文我忽卷积神经网络略的轨迹跟踪方式(感觉没必要提,不是论文的重点)与光流跟踪方式的效果对比,以及有无减去平均流的效果对比。

用于视频行为识别的双流卷积网络

得到的结论:L取10比较好,减去平均流能提高效果,但不明显,轨迹流跟踪不及光流效果好

5.3 进行了单向光流和双向光流的效果对比,采用平均融合与训练SVM来融合的效果对大学生入党申请书比,与传统识别方法的效果对比,以及有无多任务训练的效果对比

用于视频行为识别的双流卷积网络
结论:multi-计算机视觉技术tasks learning是有效果的
用于视频行为识别的双流卷积网络
结论:对于卷积网络的融合,采可视化大屏用SVM分类器融合要比取平均的效果更好,双向光流没什么效果。(我就说搞不懂它有什么意义,事实证明,真的没啥用,论文原文说的:using bi-directional flow is not be卷积neficial in the case of Co测试智商nv大学专业Net fusi卷积层on;)

用于视频行为识别的双流卷积网络

结论:它比传统方式识别效果好。

本文来源于公众号 CV技术指南 ​欢迎关注公众号 CV技术指南 ,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。 在公众号中回复关键字 “技术总结” 可获大学生英语竞赛取以下文章的汇总pdf。

用于视频行为识别的双流卷积网络

公众号其它文章

北京大学施柏鑫:从审稿人视角,谈谈怎测试你的自卑程度么写一篇CVPR论文

Siamese network总结

计算机视觉卷积运算公式专业术语总结(一)构建计算机视觉的知识体系

欠拟合与过拟合技术总结

归一化方法总结

论文创新的常见计算机视觉与模式识别思路总结

CV方向的高效阅读英文文献方法总结

计算机视觉中的小样本学习综述

知识蒸馏的简要概述

优化OpenCV视频的读取速度

NMS总结

损失函数技术总结

注意力机制技术总结

特征金字塔技术总结

池化技术总结

数据增强方法总结

CNN结构演变总结(一)经典模型

CNN结构演变总结(二)轻量化模型

CNN结构演变总结(三)设计原则

计算机视觉与模式识别何看待计算机视觉未来的走向

CNN可视化技术总结(一)-特征图可视化

CNN可视化技术总结(二)-卷积核可视化

CNN可视化技术总结(三)-类可视化

CNN可视化技术总结(四)-可视化工具与项目

发表评论

提供最优质的资源集合

立即查看 了解详情