模板匹配 概念：模板匹配是一副已知的小图像--模板匹配就是在一副大图像中搜寻目标--已知图中有要找的目标，且该目标同模板有相同的尺寸，方向和图像元素-通过算法在图中找到目标，确定其坐标位置。
相似概念(图像配准)：不同时间，不同传感器或不同条件下获取两幅或多幅图像进行匹配，叠加的过程
二者关系：匹配不需要对图像进行矫正；配准需要做旋转之类的矫正变换。
算法分类 基于灰度相关
概念：通过计算--模板图像和目标图像--的灰度相关系数--来判断目标图像中是否存在与目标相同或者相近的图像。
优点：原理简单，实现容易，在良好的光照条件下可以达到满意的近似效果。
缺点：受光照影响大，抗干扰性不强，如遥感影像匹配，视频跟踪(很难保证光照恒定)
改进：选择不同的相似度量函数，可以改进对光照不均的敏感性。（但当模板存在部分遮挡或隐藏时该方法无效）
基于几何特征
概念：提取模板的特征信息，如边缘，角点，模板重心等，并对特征进行训练，通过训练后得到的特征对目标图像进行特定搜索匹配。
优点：鲁棒性好，抗干扰性强；对于部分遮挡和隐藏的情况可以得到预想的匹配效果；可较好的处理旋转，伸缩变形，微小畸变的情况。
缺点：算法复杂，处理时间长。
基于灰度相关的目标匹配算法
平均绝对差算法(MAD)/绝对误差和算法(SAD)
MAD概念：在搜索图S中，以(i,j)为左上角，取MXN大小的子图，计算其与模板的相似度；遍历整个搜索图，在所有能够取到的子图中，找到与模板图最相似的子图作为最终匹配结果。平均绝对差D(i,j)越小，表面越相似，故只需要找到最小的D(i,j)即可确定能匹配的子图位置(子图与模板图对应位置上)，灰度值之差的绝对值总和，再求平均。(实质：是计算的是子图与模板图的L1距离的平均值)：
优点：思路简单，容易理解；运算过程简单，匹配精度高。
缺点：运算量偏大；对噪声非常敏感。
SSD：误差平方和算法（Sum of Squared DIfferrnces, 简称ssd算法），也叫差方和算法。
MSD:平均误差平方和算法（Mean Square DIfferences,简称MSD算法），也称均方差算法。
NCC：归一化积相关算法(Normalized Cross Correlation,简称NCC算法)，与上面算法相似，依然是利用子图与模板图的灰度，通过归一化相关性度量公式来计算二者之间的匹配程度。
SSDA：序贯相似性检测算法（sequential similiarity detection algorithm, SSDA）
出处：由barnea和sliverman在1972年的文章(a class of algorithm for fast digital image registration)中提出的一种匹配算法，是对传统算法的改进，比MAD快几十到上百倍。
算法：1.选取一个误差准则，作为终止不匹配点计算的标准，通常可以选绝对误差
2.设定一个不变的阈值
3.在子图像中随机选取一点，计算它与模板中相应点的绝对误差值，将每一随机点对的误差累加起来，若累加到第r次时误差超过设定阈值，则停止累加，记下此时的累加次数r
4.对于整幅图像计算误差e，可得到一个由r值构成的曲面，曲面最大值处对应的位置即为模板的最佳匹配位置。这是因为该点需要多次累加误差才能超过阈值，因此相对于其它点，它最有可能是匹配位置。
基于特征的目标匹配算法
方法：首先提取图像特征，在生成特征描述子，最后根据描述子的相似程度对两幅图像的特征之间进行匹配。图像的特征主要可以分为点，线(边缘)，区域(面)，也可以分为局部特征和全局特征。(面比较麻烦，因此常用点和线)
点特征：Harris Moravec KLT Harr-like HOG LBP SIFT SURF BRIEF SUSAN FAST CENSUS FREAK BRISK ORB 光流法 A-KAZE
边缘特征：LOG算子 Robert算子 Sobel算子 Prowitt算子 Canny算子
QATM
QATM也是基于特征进行模板匹配的算法，和传统算法不同的是QATM是基于深度学习进行提取特征。
QATM的背景：
现有的模板匹配方法存在的问题是：当计算相似性的时候，template 和 candidate windows 内部的所有像素点都会被计算进去。但是这种计算方式，在很多情况下是不合适的，例如：when the background behind the object of interest changes between the template and the target image. 为了克服这个困难，BBS 的方法依赖于最近邻匹配来解决这个问题，所以其可以排除大部分的背景像素点以进行匹配。基于 BBS，又有 DDIS 的方法利用额外的形变信息，来改善匹配的性能。跟前人的工作不同，作者这里考虑到了 5 种不同的模板匹配场景，如表格 1 所示。
S 中的 最优的匹配区域 可以通过最大化总体匹配得分来找到。所以，作者提出优化如下得质量评估函数：
file:///home/lijingle/Pictures/Screenshots/821593-20200427143717546-1882550146.png?lastModify=1679649972
这样的话，S 中的区域 R 可以最大化匹配得分，就可以优化匹配区域了。R 是一个固定大小的候选窗口。
2. The Proposed Method ：
为了使得 公式 1 的模型适合 模板匹配，我们需要定义 Quality(s, t)，即：如何评估匹配 s 和 t 的质量。
假设 fs 和 ft 是 patch s 和 t 的特征表示。ρ 是两者之间相似度的度量方法，即: cosine similarity。给定一个搜索图像块 s，我们定义一个似然函数：
其中，alpha 是正的数。该似然函数可以看做是根据匹配质量，将当前 patch t 和所有 template image 之间的 patches 进行对比的 soft-ranking。也可以看做是一种 heated-up softmax embedding，其中 softmax activation layer 带有一个可学习的温度参数。
按照这种方式，我们可以定义 QATM measure 为：
任何合理的相似性度量 ρ 都可以用。一旦得到了 pairwise QATM results，一个 ROI s 的匹配得分就可以按照公式 4 进行计算：
其中 q() 表示匹配质量函数。最终，我们可以找到一个最优的匹配区域 R ，可以最大化总的匹配质量：
已绑定手机
