如何让实时人脸识别跑得更快(人脸识别,版本 8)?
版本 7 能用,而且会卡。每一帧都按摄像头的原始分辨率付找脸和编码的成本,这份成本就是画面落后于你动作的原因。 版本 8 在宽度和高度都缩到一半的副本上做同样的识别,然后把框画回原始尺寸的画面。 输出看起来一样。等待变短了。
宽度减半,工作量是四分之一
一帧宽 1280 像素、高 720 像素,大约有 920,000 个像素。两个数字都减半,就是 640 乘 360, 大约 230,000 个——是四分之一,不是一半。检测是在画面里扫描图案,所以它的成本跟着像素数量走, 不跟宽度走。这就是为什么一个听起来保守的改动,能买回大部分速度。
1. 先量出画面有多大
cap = cv2.VideoCapture(0)
scale_ratio = 0.5
multiple = int(1 / scale_ratio)
ret, img = cap.read()
width = int(img.shape[1] * scale_ratio)
height = int(img.shape[0] * scale_ratio)
dim = (width, height)
摄像头必须在循环之前读一次,原因只有一个:不知道画面尺寸,就算不出更小的尺寸。 那一帧用完就被循环里的第一次读取替换掉,所以什么也没有浪费。
img.shape 先报高再报宽,所以 shape[1] 是宽,shape[0] 是高。
乘以 0.5 得到更小的数字,int 丢掉小数,因为尺寸必须是整数个像素。
dim 把这一对数字准备好,交给 cv2.resize。
multiple 是后面用来乘框的数字:1 / 0.5 是 2。两个比例都从一个变量算出来,
所以只改一处的 scale_ratio,两边就能保持一致。
2. 缩小画面,再在缩小后的画面上找
ret, img = cap.read()
resized = cv2.resize(img, dim, interpolation=cv2.INTER_NEAREST)
rgb_img = cv2.cvtColor(resized, cv2.COLOR_BGR2RGB)
face_locations = face_recognition.face_locations(rgb_img)
face_encodings = face_recognition.face_encodings(rgb_img, face_locations)
原始尺寸的 img 保持不动,留给窗口用。版本 7 的每一次识别调用现在都换成接收
resized,所以找脸和编码都在四分之一的像素上做。
interpolation=cv2.INTER_NEAREST 的意思是每个新像素直接复制最近的那个旧像素。
它是各种缩放方法里最快、也最不好看的,这里不重要:小画面从来不给人看,只用来找。
窗口显示的仍然是原图。
3. 把框乘回原来的尺寸
for face_loc, name in zip(face_locations, face_names):
y1, x2, y2, x1 = face_loc[0], face_loc[1], face_loc[2], face_loc[3]
y1 = y1 * multiple
x2 = x2 * multiple
y2 = y2 * multiple
x1 = x1 * multiple
就是这一步会出错。脸是在小画面里找到的,所以那里顶部在 100 的框,在完整画面上应该在 200。 四条边都得先乘 2 再画。
忘了它不会崩溃,所以才容易漏掉。框只是出现在错误的位置、以错误的尺寸——通常挤在左上角, 尺寸是预期的一半。形状对但位置不对的框,几乎总是说明这个乘法被跳过了,或者只乘了四个数字里的某几个。
4. 按原始尺寸绘制和显示
cv2.putText(img, name, (x1, y1 - 10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 200, 0), 2)
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 200, 0), 4)
cv2.imshow("Frame", img)
绘制调用和版本 7 一样,收到的仍然是 img。唯一的区别是
x1, y1, x2, y2 里的数字已经还原到原始尺寸的比例。
完整程序
版本 1 的下载里已经有这个文件,不需要重新安装:
import face_recognition
import cv2
import os
import glob
import numpy as np
images_folder = "images"
images_path = glob.glob(os.path.join(images_folder, "*.*"))
known_face_encodings=[]
known_face_names=[]
for img_path in images_path:
img = cv2.imread(img_path)
rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
basename = os.path.basename(img_path)
(filename, ext) = os.path.splitext(basename)
img_encoding = face_recognition.face_encodings(rgb_img)[0]
known_face_encodings.append(img_encoding)
known_face_names.append(filename)
cap = cv2.VideoCapture(0)
scale_ratio = 0.5
multiple = int(1 / scale_ratio)
ret, img = cap.read()
width=int(img.shape[1]*scale_ratio)
height=int(img.shape[0]*scale_ratio)
dim=(width,height)
while True:
ret, img = cap.read()
resized=cv2.resize(img,dim,interpolation=cv2.INTER_NEAREST)
rgb_img = cv2.cvtColor(resized,cv2.COLOR_BGR2RGB)
face_locations = face_recognition.face_locations(rgb_img)
face_encodings = face_recognition.face_encodings(rgb_img, face_locations)
face_names = []
for face_encoding in face_encodings:
matches = face_recognition.compare_faces(known_face_encodings, face_encoding)
name = "Unknown"
face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
best_match_index = np.argmin(face_distances)
if matches[best_match_index]:
name = known_face_names[best_match_index]
face_names.append(name)
for face_loc, name in zip(face_locations, face_names):
y1, x2, y2, x1 = face_loc[0], face_loc[1], face_loc[2], face_loc[3]
y1=y1*multiple
x2=x2*multiple
y2=y2*multiple
x1=x1*multiple
cv2.putText(img, name, (x1, y1 - 10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 200, 0), 2)
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 200, 0), 4)
cv2.imshow("Frame", img)
key = cv2.waitKey(1)
if key in (ord('q'), ord('Q')):
break
cap.release()
cv2.destroyAllWindows()
选择比例
0.5 是笔记本上合理的起点。数值越低,越快也越看不清:
1.0— 版本 7 的行为,不缩小,最适合小的或远处的人脸。0.5— 四分之一的像素,在普通摄像头上大约流畅三到四倍,仍然能找到占画面合理比例的人脸。0.25— 十六分之一的像素,非常流畅,但脸必须离摄像头很近,才熬得过缩放。
有一个要求:1 / scale_ratio 必须算出整数,因为 int 会截断。
0.5 得 2,0.25 得 4,都没问题。像 0.7 这样的比例算出 1.42,
截断成 1,框就永远不会被放大——和上面一样的安静错位。如果你要四分之三,自己算
multiple,例如 multiple = 1.4286,并且让它保持小数,不要套上 int。
会看到什么
- 窗口明显比版本 7 流畅,画面仍然是原始质量,因为只有副本被缩小了。
- 框和名字留在正确的位置;如果没有,就去看那个乘法。
- 离摄像头远的脸现在可能认不出来,或者比版本 7 更常变回
Unknown。 编码是用更少的像素做的,细节已经没了。靠近一点,或者把比例调高。 - 亮度和颜色没有被动过;
INTER_NEAREST只改变小像素怎样采样。
先加上你自己的照片
和版本 7 一样,只有当 images 文件夹里有那个名字的文件时,脸才会被叫出名字,
例如 Peter 对应 Peter.jpg。没有它,不管比例是多少,每张脸都会报成 Unknown。
在自己的电脑上运行
用和版本 1 相同的下载:
下载 zip 文件,解压,
在 Visual Studio Code 里打开文件夹。这篇笔记用的是 face08.py。
在这个文件夹里第一次运行时,三行都跑:
uv python pin 3.12.10
uv sync
uv run face08.py
这三行只需要一次。下次想再运行程序,只打 uv run face08.py。
下一步
速度不再是问题,但标签还在闪:几帧一个名字,然后 Unknown,然后又变回名字。
版本 9 是系列的最后一篇,处理这个闪烁。