如何在实时视频中识别人脸(人脸识别,版本 7)?
这是整个系列一直在铺向的版本。文件夹里的人脸文件在开始时一次性变成数字。之后,摄像头传来的每一帧都会被找脸,
每张脸和文件夹比对,最接近的名字画在绿框上方。如果一张脸不属于文件夹里的任何人,
它会被标成 Unknown,而不是被猜一个名字。
这里没有新的机器。版本 2 建立了名单。版本 3 拿一张照片和名单比对。版本 6 画框和标签。 版本 7 把这三件事一起放进摄像头的循环里,这一步就是全部。
程序分成两半
读代码之前,先注意这个分界。cv2.VideoCapture(0) 之前的一切只运行一次:
读文件夹里的每个文件,编码人脸,记住名字。循环里的一切每一帧都运行。
前半段贵,但只做一次;后半段本身不贵,但摄像头开着就一直重复。
1. 一次性建立名单
images_path = glob.glob(os.path.join("images", "*.*"))
known_face_encodings = []
known_face_names = []
for img_path in images_path:
img = cv2.imread(img_path)
rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
filename, ext = os.path.splitext(os.path.basename(img_path))
known_face_encodings.append(face_recognition.face_encodings(rgb_img)[0])
known_face_names.append(filename)
这就是版本 2,压紧了:列目录、BGR 转 RGB、用 [0] 取每个文件里唯一的那张脸,
以及两个顺序一致的列表。文件名就是屏幕上会出现的名字,所以 images/Howard.JPG
会变成 Howard。
2. 找出并编码画面里的每一张脸
rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
face_locations = face_recognition.face_locations(rgb_img)
face_encodings = face_recognition.face_encodings(rgb_img, face_locations)
三行,中间和最末一行是版本 3 的工作。face_locations 为每张找到的脸保存一个框;
face_encodings 保存每张脸对应的 128 个数字的描述。
这里没有 [0],这是故意的。文件夹里每个文件只有一张脸,所以第一张就是唯一一张。
摄像头的一帧里可能有零张、一张或三张脸,程序得应付送来的任何情况。
两个人站在摄像头前时,两个框都会被找到,也都会被处理。
两个列表按同样的顺序返回,所以第一个位置属于第一个编码。程序后面就靠这个对应关系,悄悄地,从不检查。
3. 逐一比对,留下最接近的名字
face_names = []
for face_encoding in face_encodings:
matches = face_recognition.compare_faces(known_face_encodings, face_encoding)
name = "Unknown"
face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
best_match_index = np.argmin(face_distances)
if matches[best_match_index]:
name = known_face_names[best_match_index]
face_names.append(name)
对画面里的每一张脸,compare_faces 给每个已知的人一个 True 或 False,
face_distance 给出这个决定背后的数字;数字越小越像。np.argmin
挑出最小距离的位置,也就找到了文件夹里最像的人。
最像不等于就是同一个人。陌生人总有离他最近的人,即使距离很大,所以第 33 行在接受名字之前
先检查 matches[best_match_index]。没有这个检查,每张脸都会被安上一个名字,
这个文件夹看起来就认识全世界了。
起始值 "Unknown" 覆盖剩下的情况,而 append 放在 if
外面,所以每张脸都会加进一个名字,不管匹配成功与否。这样 face_names 和
face_locations 长度相同,一个的第 0 位对应另一个的第 0 位。
4. 把每个框和名字配对
for face_loc, name in zip(face_locations, face_names):
y1, x2, y2, x1 = face_loc[0], face_loc[1], face_loc[2], face_loc[3]
cv2.putText(img, name, (x1, y1 - 10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 200, 0), 2)
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 200, 0), 4)
zip 让两个列表并排走:第一个框配第一个名字,第二个配第二个。
它能成立,全靠上面那些小心,这也是为什么顺序被提了两次。
奇怪的是第二行。face_recognition 用上、右、下、左四条边的顺序
描述一张脸,而 cv2.rectangle 要的是左上角和右下角。这行解包把四个数字打乱成
绘图函数期待的名字:y1 是上,x2 是右,y2 是下,
x1 是左。这里变量名写错,框就会变成一条细线,或者横跨整个画面的大矩形。
颜色 (0, 200, 0) 按 BGR 顺序是绿色:没有蓝,绿差一点满,没有红。
用 200 而不是 255 是口味问题,两个看起来都是绿色。粗细 4 比版本 6 更重,
所以框在杂乱的背景上也看得见。
完整程序
版本 1 的下载里已经有这个文件,不需要重新安装:
import face_recognition
import cv2
import os
import glob
import numpy as np
images_folder = "images"
images_path = glob.glob(os.path.join(images_folder, "*.*"))
known_face_encodings=[]
known_face_names=[]
for img_path in images_path:
img = cv2.imread(img_path)
rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
basename = os.path.basename(img_path)
(filename, ext) = os.path.splitext(basename)
img_encoding = face_recognition.face_encodings(rgb_img)[0]
known_face_encodings.append(img_encoding)
known_face_names.append(filename)
cap = cv2.VideoCapture(0)
while True:
ret, img = cap.read()
rgb_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
face_locations = face_recognition.face_locations(rgb_img)
face_encodings = face_recognition.face_encodings(rgb_img, face_locations)
face_names = []
for face_encoding in face_encodings:
matches = face_recognition.compare_faces(known_face_encodings, face_encoding)
name = "Unknown"
face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
best_match_index = np.argmin(face_distances)
if matches[best_match_index]:
name = known_face_names[best_match_index]
face_names.append(name)
for face_loc, name in zip(face_locations, face_names):
y1, x2, y2, x1 = face_loc[0], face_loc[1], face_loc[2], face_loc[3]
cv2.putText(img, name, (x1, y1 - 10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 200, 0), 2)
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 200, 0), 4)
cv2.imshow("Frame", img)
key = cv2.waitKey(1)
if key in (ord('q'), ord('Q')):
break
cap.release()
cv2.destroyAllWindows()
屏幕上会看到什么
- 如果
images里有一张你清楚的正面照片,你自己的脸会得到你的名字;如果没有,就是Unknown。 - 画面比版本 4 慢。找脸和编码在每一帧上都要做,这份工作不免费,窗口可能跟不上你的动作。
- 两个人可以同时被认出来,但前提是两张脸都够大、光线还可以。
- 转过头、遮住半张脸,或者背对窗户站着,标签可能一瞬间变成
Unknown。 识别读的是画面,不是人。 - 文件夹里一张照片如果有两张脸,只会取第一张,其余的会被安静地忽略,原因就是名单里的那个
[0]。
先把你自己的照片放进文件夹
摄像头只能叫出它见过的人。想让自己被认出来,把你脸部的照片放进 images 文件夹,
文件名用照片里那个人的名字,例如 Peter.jpg。程序从文件名读名字,
所以是这个文件让绿框显示 Peter;一个叫 IMG_4821.jpg 的文件
一样会被认出来,只是标签是 IMG_4821。一个文件一张清楚的脸、正对摄像头,就够了。
没有这样的文件,程序照样运行,只是它看到的每张脸都会报成 Unknown。
加上照片,重新启动程序,标签就会变。
在自己的电脑上运行
用和版本 1 相同的下载:
下载 zip 文件,解压,
在 Visual Studio Code 里打开文件夹。这篇笔记用的是 face07.py。
在这个文件夹里第一次运行时,三行都跑:
uv python pin 3.12.10
uv sync
uv run face07.py
这三行只需要一次。下次想再运行程序,只打 uv run face07.py。
下一步
弱点是速度。每一帧都在付找脸和编码的全价,所以画面会卡。版本 8 处理这份成本,同时不放弃识别。