softfast项目环境配置
1.按照官方github配好环境
官方github: GitHub - facebookresearch/SlowFast: PySlowFast: video understanding codebase from FAIR for reproducing state-of-the-art video models.
2.模型的测试
配置文件:我们选择AVA相关配置文件进行模型的测试,需要修改以下位置,
LABEL_FILE_PATH是label以及对应的动作的对应关系,可以从github上下载
INPUT_VIDEO:输入视频路径
OUTPUT_FILE:输出视频路径
需要注意的是:
需要在配置文件中注释掉以下部分,上面的保留会报错,下面的WEBCAM: 0是调用摄像头的设置。
3.准备训练所需要的数据
1.下载数据
我们可以从github官网进入ava数据集官网https://research.google.com/ava/download.html#ava_actions_download 下载ava_v2.2.zip,即标签文件
2.创建存储数据的文件
创建三个文件目录,annotations、frame_lists、frames
- 其中,annotations为标签文件存储路径,
ava_train_v2.2和ava_val_v2.2为训练集和验证集标签文件,标签文件字段含义如下:
ava_val_excluded_timestamps_v2.2为排除文件,指的是标注有错误的地方,需要排除,没有使用这个
ava_action_list_v2.2_for_activitynet_2019.pbtxt为标签对应的含义
- frame_lists存储train.csv和val.csv,存储的是第几帧的图片路径。slowfast不会对视频中的每一帧进行处理,会进行采样。下载在github教程中下载
- 按照github的流程,下载对应文件,并将按照教程的路径存放
- 按照github所示的教程,下载video,因为内存的关系,我没有下载全部,可以通过指定网址下载特定的视频
- 如下图所示,根据github的脚本,创建sh文件,并将脚本复制到脚本文件中,将视频进行切分 ,window下可以安装git bash并将pycharm中的终端设置为git bash执行。
注意:需要将输入路径和输出路径指定为自己的路径
- 根据github给出的脚本,对数据集进行分帧操作
开始训练
注意:
配置文件的修改:
预训练文件不能够直接进行使用,需要进行调整