前言

在参加 OpenMMLab AI 实战营中,有个作业要求使用 MMDetection (方针检测工具包)练习模型,然后使用这个模型对一段小视频进行处理 (保存 mask 部分的彩色, 布景部分取灰)。文章的资料当然也来自实战营啦。这儿主要讲一下处理视频的进程,练习模型的进程略过。


一、模型引进

from mmdet.apis import init_detector
model = init_detector(config="../work_dir/balloon.py", checkpoint="../work_dir/latest.pth")

这儿 config 为练习模型的配置文件,checkpoint 为练习完保存的模型文件


二、检查图片

要使用 MMDetection 处理视频,就要先知道如何检查模型处理完之后的图片

from mmdet.apis import inference_detector, show_result_pyplot
img_path = "../data/balloon/val/3825919971_93fb1ec581_b.jpg"
result = inference_detector(model, img_path)
show_result_pyplot(model, img_path, result, score_thr=0.85)

成果如下:

利用 MMDetection 处理视频


三、视频每帧

咱们处理视频,很简单能够想到讲视频点破一帧一帧处理,一帧便是一张图片,这儿使用 mmcv 对视频进行处理

import mmcv
v = mmcv.VideoReader("test_video.mp4")
v.cvt2frames("frame_dir/in")

利用 MMDetection 处理视频
在处理后咱们能够得到 150 张图片
利用 MMDetection 处理视频


四、处理每帧

0、了解 inference_detector

利用 MMDetection 处理视频
inference_detector 函数传入一个 model 既练习的模型,和一张或几张图片,要点在于 returns ,回来在这说的不是很清楚,单个回来的是 bbox, segm, 即边框和分割信息

result = inference_detector(model, img)
bbox, segm = result
bbox = np.array(bbox[0]) # bbox 为列表
print(bbox.shape) # (23, 5)
segm = np.array(segm[0])
print(segm.shape) # (23, 1024, 683)

这儿的 23 代表检测到 23 个方针 bbox 中含有的信息为 (x, y, w, h, n)即间隔左上角的宽度和长度、框的长度和宽度、概率 segm 中 (1024, 683)为图片宽度和高度,值为 Bool, true 则为 mask, false 则为布景 别的,能够看到这儿引进了 numpy,一方面是为了处理便利,一方面是为了加快速度

1、处理图片

score_thr = 0.85
balloon_cnt = bbox[bbox[:, -1] > score_thr].shape[0]
data = mmcv.imread(img_path)  # -> ndarray
tmp = data.copy()
# Gray = (Red * 0.3 + Green * 0.59 + Blue * 0.11)
# 'bgr'
data[:, :, 0] = data[:, :, 2] * 0.3 + data[:, :, 1] * 0.59 + data[:, :, 0] * 0.11
data[:, :, 1] = data[:, :, 0]
data[:, :, 2] = data[:, :, 0]
for balloon in segm[:balloon_cnt]:
    data[balloon] = tmp[balloon]
mmcv.imwrite(data, "out.jpg")

这儿首要判断了一下为方针(这儿是 balloon 气球)大于 0.85 概率的数量,接着对整张图片进行灰度核算 (这儿要注意 mmcv.imread() 回来的通道为 bgr ),最终将含有方针的部分用原来的数值代替,最终使用mmcv 保存图片 成果如下:

利用 MMDetection 处理视频


五、拼接图片

上面咱们将视频拆成图片,最终咱们当然要将图片拼接成视频啦

mmcv.frames2video(frame_dir="frame_dir/out", video_file="video_out.mp4")

使用 mmcv 一行代码搞定


最终

最终看看成果吧