如何讓即時人臉辨識跑得更快(人臉辨識,版本 8)?
版本 7 行得通,但它會卡。每一格影格都要按鏡頭的原始解析度,付找臉和編碼的成本, 這份成本就是畫面落後於你動作的原因。版本 8 在寬度和高度都縮到一半的副本上 做同樣的辨識,然後把框畫回原始尺寸的畫面。輸出看起來一樣。等待變短了。
寬度減半,工作量是四分之一
一格寬 1280 像素、高 720 像素的影格,大約有 920,000 個像素。兩個數字都減半,就是 640 乘 360, 大約 230,000 個——是四分之一,不是一半。偵測是在畫面裡掃描圖案,所以它的成本跟著像素數量走, 不跟寬度走。這就是為什麼一個聽起來保守的改動,能買回大部分速度。
1. 先量出畫面有多大
cap = cv2.VideoCapture(0)
scale_ratio = 0.5
multiple = int(1 / scale_ratio)
ret, img = cap.read()
width = int(img.shape[1] * scale_ratio)
height = int(img.shape[0] * scale_ratio)
dim = (width, height)
鏡頭必須在迴圈之前讀一次,原因只有一個:不知道畫面尺寸,就算不出更小的尺寸。 那一格影格用完就被迴圈裡的第一次讀取替換掉,所以什麼也沒有浪費。
img.shape 先報高再報寬,所以 shape[1] 是寬,shape[0] 是高。
乘以 0.5 得到更小的數字,int 丟掉小數,因為尺寸必須是整數個像素。
dim 把這一對數字準備好,交給 cv2.resize。
multiple 是後面用來乘框的數字:1 / 0.5 是 2。兩個比例都從一個變數算出來,
所以只改一處的 scale_ratio,兩邊就能保持一致。
2. 縮小畫面,再在縮小後的畫面上找
ret, img = cap.read()
resized = cv2.resize(img, dim, interpolation=cv2.INTER_NEAREST)
rgb_img = cv2.cvtColor(resized, cv2.COLOR_BGR2RGB)
face_locations = face_recognition.face_locations(rgb_img)
face_encodings = face_recognition.face_encodings(rgb_img, face_locations)
原始尺寸的 img 保持不動,留給視窗用。版本 7 的每一次辨識呼叫現在都換成接收
resized,所以找臉和編碼都在四分之一的像素上做。
interpolation=cv2.INTER_NEAREST 的意思是每個新像素直接複製最近的那個舊像素。
它是各種縮放方法裡最快、也最不好看的,這裡不重要:小畫面從來不給人看,只用來找。
視窗顯示的仍然是原圖。
3. 把框乘回原來的尺寸
for face_loc, name in zip(face_locations, face_names):
y1, x2, y2, x1 = face_loc[0], face_loc[1], face_loc[2], face_loc[3]
y1 = y1 * multiple
x2 = x2 * multiple
y2 = y2 * multiple
x1 = x1 * multiple
就是這一步會出錯。臉是在小畫面裡找到的,所以那裡頂部在 100 的框,在完整畫面上應該在 200。 四條邊都得先乘 2 再畫。
忘了它不會崩潰,所以才容易漏掉。框只是出現在錯誤的位置、以錯誤的尺寸——通常擠在左上角, 尺寸是預期的一半。形狀對但位置不對的框,幾乎總是說明這個乘法被跳過了, 或者只乘了四個數字裡的某幾個。
4. 按原始尺寸繪製和顯示
cv2.putText(img, name, (x1, y1 - 10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 200, 0), 2)
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 200, 0), 4)
cv2.imshow("Frame", img)
繪製呼叫和版本 7 一樣,收到的仍然是 img。唯一的差別是
x1, y1, x2, y2 裡的數字已經還原到原始尺寸的比例。
完整程式
版本 1 的下載裡已經有這個檔案,不需要重新安裝:
import face_recognition
import cv2
import os
import glob
import numpy as np
images_folder = "images"
images_path = glob.glob(os.path.join(images_folder, "*.*"))
known_face_encodings=[]
known_face_names=[]
for img_path in images_path:
img = cv2.imread(img_path)
rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
basename = os.path.basename(img_path)
(filename, ext) = os.path.splitext(basename)
img_encoding = face_recognition.face_encodings(rgb_img)[0]
known_face_encodings.append(img_encoding)
known_face_names.append(filename)
cap = cv2.VideoCapture(0)
scale_ratio = 0.5
multiple = int(1 / scale_ratio)
ret, img = cap.read()
width=int(img.shape[1]*scale_ratio)
height=int(img.shape[0]*scale_ratio)
dim=(width,height)
while True:
ret, img = cap.read()
resized=cv2.resize(img,dim,interpolation=cv2.INTER_NEAREST)
rgb_img = cv2.cvtColor(resized,cv2.COLOR_BGR2RGB)
face_locations = face_recognition.face_locations(rgb_img)
face_encodings = face_recognition.face_encodings(rgb_img, face_locations)
face_names = []
for face_encoding in face_encodings:
matches = face_recognition.compare_faces(known_face_encodings, face_encoding)
name = "Unknown"
face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
best_match_index = np.argmin(face_distances)
if matches[best_match_index]:
name = known_face_names[best_match_index]
face_names.append(name)
for face_loc, name in zip(face_locations, face_names):
y1, x2, y2, x1 = face_loc[0], face_loc[1], face_loc[2], face_loc[3]
y1=y1*multiple
x2=x2*multiple
y2=y2*multiple
x1=x1*multiple
cv2.putText(img, name, (x1, y1 - 10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 200, 0), 2)
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 200, 0), 4)
cv2.imshow("Frame", img)
key = cv2.waitKey(1)
if key in (ord('q'), ord('Q')):
break
cap.release()
cv2.destroyAllWindows()
選擇比例
0.5 是筆記型電腦上合理的起點。數值越低,越快也越看不清:
1.0— 版本 7 的行為,不縮小,最適合小的或遠處的人臉。0.5— 四分之一的像素,在普通鏡頭上大約流暢三到四倍,仍然能找到佔畫面合理比例的人臉。0.25— 十六分之一的像素,非常流暢,但臉必須離鏡頭很近,才熬得過縮放。
有一個要求:1 / scale_ratio 必須算出整數,因為 int 會截斷。
0.5 得 2,0.25 得 4,都沒問題。像 0.7 這樣的比例算出 1.42,
截斷成 1,框就永遠不會被放大——和上面一樣的安靜錯位。如果你要四分之三,自己算
multiple,例如 multiple = 1.4286,並且讓它保持小數,不要套上 int。
會看到什麼
- 視窗明顯比版本 7 流暢,畫面仍然是原始品質,因為只有副本被縮小了。
- 框和名字留在正確的位置;如果沒有,就去看那個乘法。
- 離鏡頭遠的臉現在可能認不出來,或者比版本 7 更常變回
Unknown。 編碼是用更少的像素做的,細節已經沒了。靠近一點,或者把比例調高。 - 亮度和顏色沒有被動過;
INTER_NEAREST只改變小像素怎樣取樣。
先加上你自己的相片
和版本 7 一樣,只有當 images 資料夾裡有那個名字的檔案時,臉才會被叫出名字,
例如 Peter 對應 Peter.jpg。沒有它,不管比例是多少,每張臉都會報成 Unknown。
在自己的電腦上執行
用和版本 1 相同的下載:
下載 zip 檔案,解壓,
在 Visual Studio Code 裡打開資料夾。這篇筆記用的是 face08.py。
在這個資料夾裡第一次執行時,三行都跑:
uv python pin 3.12.10
uv sync
uv run face08.py
這三行只需要一次。下次想再執行程式,只打 uv run face08.py。
下一步
速度不再是問題,但標籤還在閃:幾格影格一個名字,然後 Unknown,然後又變回名字。
版本 9 是系列的最後一篇,處理這個閃爍。