请教下领导提出图像识别的这种思路是否可行？

需求是领导想做一个船只的目标跟踪，即不断截取摄像头的图片，然后用 TensorFlow 等，框选出当前船只在图片中的像素坐标，再调用摄像头的移动命令去使其移动以保持船只在摄像头中间。

姑且当其识别的比较准的前提下，测试发现有一个问题。

如果有其他船只从旁边经过（即和目标船只出现在同一个摄像头中）的时候，因为图像识别到两艘船，且坐标不同，这时，我就不知道要跟哪艘了。

针对这个问题，领导跟我说，让我看看 opencv 的相似度计算。他思路是，把之前框选的船只图，保存下来（不是保留摄像头整个图片，而是仅框选的船只图片），然后再把这个船，和之后的摄像头的图片做相似度计算，再判断出是要跟着哪艘船？

注:是用框选出的小图，和整张摄像头的大图进行相似度计算。

我也不是很懂机器学习这块，只是懂 python 就让我上了。。所以我想请问下这种思路到底可行不，如果是比较困难的话，或者有大佬提出其他可行的想法？