- A+
??其时深度学习中静态图像辨认现已做得恰当好了,让AI了解视频内容则愈加困难,是其时学术界和工业界的研讨抢手,这篇文章将介绍一些短视频类数据集。
01 AI Challenger 全球AI应战赛
官网地址:,从2017年头步。
2018年全球AI应战赛是由立异工场、搜狗、美团点评、美图联合兴办的,里边包括多个NLP、核算机视觉项目,其间就有 ’短视频实时分类竞赛’。
竞赛供给的专门的短视频数据集共包括20万条短视频,包括舞蹈、健身、歌唱等63类盛行元素。大有些视频的长度是在5-15秒。而且视频是多标签分类体系,标签信息包括视频主体、场景、动作等多个维度,标示信息将尽量包括视频中展示的一切元素,每条视频有1-3个标签。此数据集分为练习集(120K)、验证集(30K)、查验集A(30K)、查验集B(30K)。
相较于传统视频数据集来说,该数据集更具特征。
1. 从视频来历上讲,此数据集视频搜集设备多为手机且比例多为竖屏;
2. 从视频方法上讲,数据会集的许多视频运用了短视频特效,并包括更多视频快进、编列等操作;
3. 从视频内容上讲,数据集包括了更多人物中心化的自拍短视频内容。一切这些特征使本数据集在体现以用户为导向的内容出产趋势上得以祖先一步。
4. 预览:左图是:宝宝+弹钢琴,右图:宝宝+跳舞
02 HMDB
数据集联接:
,发
布于2011年
HMDB是布朗大学研讨小组的项目,是一自个类动作视频数据集。里边的数据大有些来自于影片,小有些来自于开源数据库,来历地址如Prelinger存档、YouTube、谷歌视频等等,包括6849段视频编列,51自个类动作品种,每类动作至少包括 101段视频编列,分辩率为320*240,共2G。动作首要分为五类:
1. 脸部动作:浅笑、大笑、咀嚼。
2. 脸部操作与目标操作:吸烟、吃、喝。
3. 一般的身体动作:拍手、跳、倒竖
4. 与目标交互动作:抽出宝剑、运球、高尔夫。
5. 人体动作:击剑、拥抱、亲吻。
03 UCF101
数据集联接:,发布于2012年。
UCF101是当前动作品种数、样本数最多的数据集之一,首要包括在天然环境下101种人类动作品种如跳、拍手、打茸毛球等等,也正因为品种许多加上UCF101在动作的搜集上具有非常大的多样性,如相机运转、外观改变、姿势改变、物体比例改变、布景改变等等,所以也变成了其时难度最高的动作类数据集应战之一。该数据集有13000个编列、一共27个小时的视频。视频都来自于Youtube上用户上载视频,其间首要包括5大类动作:人与物体互动、人体动作、人与人互动、乐器演奏、体育运动。
04 ActivityNet
数据集联接:
,发布于2016年。
ActivityNet是一个大规划行为辨认竞赛,自CVPR2016初步,本年是该竞赛的第三届。在最新1.4版别中,ActivityNet供给了203个活动品种的样本,每个类均匀有137个未修剪的视频,一共有20K多个Youtube视频,其间练习包括10K多个视频,验证与查验各包括5K个视频。每个视频均匀有1.41个行为标示,算计849个小时视频时长。
以2017年竞赛为例(运用1.3版别)在ActivityNet将进行5项不一样的使命,别离是
1.untrimmed video classification (ActivityNet dataset)
2.trimmed video classification (Kinetics dataset)
3.temporal action proposal (ActivityNet dataset)
4.temporal action localization (ActivityNet dataset)
5.Dense-Captioning Events in Videos (ActivityNet Captions)
该竞赛一共有五个使命,数据来历于三个不一样的揭露数据集:ActivityNet,ActivityNet Captions 和Kinetics,其间根据ActivityNet数据集的三个使命偏重于proposal,而另外两项愈加偏重于localization。感快乐喜爱的同学可以联接去晓得一下。
05 YouTube-8M
数据集联接:,发布于2016年。
YouTube-8M是谷歌发布的一个大型的视频数据集,这个数据集在最初步包括8M个YouTube视频联接,此后经过不断清洗选择在本年5月份现已缩短到了6.1M个视频,视频的长度大于两分钟小于9分钟。这些视频集进行了video-level(视频层级)的标示,均匀每个视频富含3.0个标签,标示为3862种Knowledge Graph entities(常识图谱品种),包括粗粒度和细粒度品种,这些品种已被半主动策划并由3个评价者人工验证视频的辨认度。每个品种至稀有200个相应的视频示例,均匀有3552个练习视频。
其间三个最受等待的品种是游戏、视频游戏和车辆别离用780K,540K和410K个练习样例。最少见的是Cylinder和Mortar,别离有123和127个练习视频。
这些实体分为24个高档笔直作业,最多见的是艺术和文娱(33K练习视频),最不常见的是财务(6K练习视频)。
06 结语
市道上还有一些其他的开源短视频数据集,在这儿不逐个赘述了,我们感快乐喜爱可以自个去调研。