开启生长之旅!这是我参与「日新计划 2 月更文应战」的第 27 天,点击检查活动概况

目标

在本章中,将学习

  • 运用模板匹配在图画中查找目标
  • 函数:cv2.matchTemplate()cv2.minMaxLoc()

理论

模板匹配是一种用于在较大图画中查找和查找模板图画方位的办法。为此,OpenCV完成了一个函数cv2.matchTemplate()它只是将模板图​​像滑动到输入图画上(就像在2D卷积中一样),然后在模板图画下比较模板和输入图画的拼图。 OpenCV中完成了几种比较办法。它返回一个灰度图画,其间每个像素表明该像素的邻域与模板匹配的程度。

假如输入图画的巨细为(WxH),而模板图画的巨细为(wxh),则输出图画的巨细将为(W-w+1H-h+1)。得到成果后,能够运用cv2.minMaxLoc()函数查找最大/最小值在哪。将其作为矩形的左上角,并以(w,h)作为矩形的宽度和高度, 该矩形是模板的区域。

注意 假如运用cv2.TM_SQDIFF作为比较办法,则是最小值供给最佳匹配。

OpenCV中的模板匹配

作为示例,将在梅西的照片中查找他的脸。所以创建了一个模板,如下所示:

OpenCV 25: 模板匹配

将尝试所有比较办法,以便能够看到它们的成果:

import cv2
import numpy as np
from matplotlib import pyplot as plt
img = cv2.imread('messi.png', 0)
img2 = img.copy()
template = cv2.imread('template.png', 0)
w, h = template.shape[::-1]
# All the 6 methods for comparison in a list
methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED',
    'cv2.TM_CCORR', 'cv2.TM_CCORR_NORMED',
    'cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']
for meth in methods:
    img = img2.copy()
    method = eval(meth)
    # apply template matching
    res = cv2.matchTemplate(img, template, method)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
    # if the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimum
    if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
        top_left = min_loc
    else:
        top_left = max_loc
    bottom_right = (top_left[0]+w, top_left[1]+h)
    cv2.rectangle(img, top_left, bottom_right, 255, 2)
    plt.subplot(121),plt.imshow(res,cmap = 'gray')
    plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
    plt.subplot(122),plt.imshow(img,cmap = 'gray')
    plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
    plt.suptitle(meth)
    plt.show()

检查以下成果:

  • cv2.TM_CCOEFF

    OpenCV 25: 模板匹配

  • cv2.TM_CCOEFF_NORMED

    OpenCV 25: 模板匹配

  • cv2.TM_CCORR

    OpenCV 25: 模板匹配

  • cv2.TM_CCORR_NORMED

OpenCV 25: 模板匹配

  • cv2.TM_SQDIFF

    OpenCV 25: 模板匹配

  • cv2.TM_SQDIFF_NORMED

OpenCV 25: 模板匹配

能够看到,运用cv2.TM_CCORR系列以及cv2.TM_SQDIFF_NORMED的成果并不理想

多目标的模板匹配

在上一节中,在图画中查找了梅西的脸,该脸在图画中仅呈现一次。假定正在查找具有屡次呈现的目标,则cv2.minMaxLoc()不会供给所有方位。在这种情况下,将运用阈值。因此,在此示例中,我们将运用著名游戏Mario的屏幕截图,并在其间找到硬币。

# 匹配多个目标
img_bgr = cv2.imread('mario.png')
img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)  # plt.imshow different from cv2.imshow
img_copy = img_rgb.copy()
img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
template = cv2.imread('mario_coin.png', 0)
w, h = template.shape[::-1]
res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
threshold = 0.8
loc = np.where(res >= threshold)
for pt in zip(*loc[::-1]):
    cv2.rectangle(img_rgb, pt, (pt[0]+w, pt[1]+h), (0,0,255), 2)
plt.subplot(121)
plt.imshow(img_copy)
plt.title('origin')
plt.xticks([])
plt.yticks([])
plt.subplot(122)
plt.imshow(img_rgb)
plt.title('match res')
plt.xticks([])
plt.yticks([])
plt.show()

成果:

OpenCV 25: 模板匹配

附加资源

  • docs.opencv.org/4.1.2/d4/dc…
  • cv2.minMaxLoc
  • cv2.matchTemplate
    • cv2.TM_CCOEFF
    • cv2.TM_CCOEFF_NORMED
    • cv2.TM_CCORR
    • cv.TM_CCORR_NORMED
    • cv.TM_SQDIFF
    • cv.TM_SQDIFF_NORMED