如何在即時影片中辨識人臉(人臉辨識,版本 7)?
這是整個系列一直鋪向的版本。資料夾裡的人臉檔案在開始時一次性變成數字。之後,鏡頭傳來的每一格影格
都會被找臉,每張臉和資料夾比對,最接近的名字畫在綠框上方。如果一張臉不屬於資料夾裡的任何人,
它會被標成 Unknown,而不是被猜一個名字。
這裡沒有新的機器。版本 2 建立了名單。版本 3 拿一張相片和名單比對。版本 6 畫框和標籤。 版本 7 把這三件事一起放進鏡頭的迴圈裡,這一步就是全部。
程式分成兩半
讀程式碼之前,先注意這個分界。cv2.VideoCapture(0) 之前的一切只執行一次:
讀資料夾裡的每個檔案,編碼人臉,記住名字。迴圈裡的一切每一格影格都執行。
前半段貴,但只做一次;後半段本身不貴,但鏡頭開著就一直重複。
1. 一次性建立名單
images_path = glob.glob(os.path.join("images", "*.*"))
known_face_encodings = []
known_face_names = []
for img_path in images_path:
img = cv2.imread(img_path)
rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
filename, ext = os.path.splitext(os.path.basename(img_path))
known_face_encodings.append(face_recognition.face_encodings(rgb_img)[0])
known_face_names.append(filename)
這就是版本 2,壓緊了:列目錄、BGR 轉 RGB、用 [0] 取每個檔案裡唯一的那張臉,
以及兩個順序一致的名單。檔名就是畫面上會出現的名字,所以 images/Howard.JPG
會變成 Howard。
2. 找出並編碼畫面裡的每一張臉
rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
face_locations = face_recognition.face_locations(rgb_img)
face_encodings = face_recognition.face_encodings(rgb_img, face_locations)
三行,中間和最末一行是版本 3 的工作。face_locations 為每張找到的臉保存一個框;
face_encodings 保存每張臉對應的 128 個數字描述。
這裡沒有 [0],這是故意的。資料夾裡每個檔案只有一張臉,所以第一張就是唯一一張。
鏡頭的一格影格裡可能有零張、一張或三張臉,程式得應付送來的任何情況。
兩個人站在鏡頭前時,兩個框都會被找到,也都會被處理。
兩個名單按同樣的順序回傳,所以第一個位置屬於第一個編碼。程式後面就靠這個對應關係,悄悄地,從不檢查。
3. 逐一比對,留下最接近的名字
face_names = []
for face_encoding in face_encodings:
matches = face_recognition.compare_faces(known_face_encodings, face_encoding)
name = "Unknown"
face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
best_match_index = np.argmin(face_distances)
if matches[best_match_index]:
name = known_face_names[best_match_index]
face_names.append(name)
對畫面裡的每一張臉,compare_faces 給每個已知的人一個 True 或 False,
face_distance 給出這個決定背後的數字;數字越小越像。np.argmin
挑出最小距離的位置,也就找到資料夾裡最像的人。
最像不等於就是同一個人。陌生人總有離他最近的人,即使距離很大,所以第 33 行在接受名字之前
先檢查 matches[best_match_index]。沒有這個檢查,每張臉都會被安上一個名字,
這個資料夾看起來就認識全世界了。
起始值 "Unknown" 覆蓋剩下的情況,而 append 放在 if
外面,所以每張臉都會加進一個名字,不管匹配成功與否。這樣 face_names 和
face_locations 長度相同,一個的第 0 位對應另一個的第 0 位。
4. 把每個框和名字配對
for face_loc, name in zip(face_locations, face_names):
y1, x2, y2, x1 = face_loc[0], face_loc[1], face_loc[2], face_loc[3]
cv2.putText(img, name, (x1, y1 - 10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 200, 0), 2)
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 200, 0), 4)
zip 讓兩個名單並排走:第一個框配第一個名字,第二個配第二個。
它能成立,全靠上面那些小心,這也是為什麼順序被提了兩次。
奇怪的是第二行。face_recognition 用上、右、下、左四條邊的順序
描述一張臉,而 cv2.rectangle 要的是左上角和右下角。這行解包把四個數字打亂成
繪圖函式期待的名字:y1 是上,x2 是右,y2 是下,
x1 是左。這裡變數名寫錯,框就會變成一條細線,或者橫跨整個畫面的大矩形。
顏色 (0, 200, 0) 按 BGR 順序是綠色:沒有藍,綠差一點滿,沒有紅。
用 200 而不是 255 是口味問題,兩個看起來都是綠色。粗細 4 比版本 6 更重,
所以框在雜亂的背景上也看得見。
完整程式
版本 1 的下載裡已經有這個檔案,不需要重新安裝:
import face_recognition
import cv2
import os
import glob
import numpy as np
images_folder = "images"
images_path = glob.glob(os.path.join(images_folder, "*.*"))
known_face_encodings=[]
known_face_names=[]
for img_path in images_path:
img = cv2.imread(img_path)
rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
basename = os.path.basename(img_path)
(filename, ext) = os.path.splitext(basename)
img_encoding = face_recognition.face_encodings(rgb_img)[0]
known_face_encodings.append(img_encoding)
known_face_names.append(filename)
cap = cv2.VideoCapture(0)
while True:
ret, img = cap.read()
rgb_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
face_locations = face_recognition.face_locations(rgb_img)
face_encodings = face_recognition.face_encodings(rgb_img, face_locations)
face_names = []
for face_encoding in face_encodings:
matches = face_recognition.compare_faces(known_face_encodings, face_encoding)
name = "Unknown"
face_distances = face_recognition.face_distance(known_face_encodings, face_encoding)
best_match_index = np.argmin(face_distances)
if matches[best_match_index]:
name = known_face_names[best_match_index]
face_names.append(name)
for face_loc, name in zip(face_locations, face_names):
y1, x2, y2, x1 = face_loc[0], face_loc[1], face_loc[2], face_loc[3]
cv2.putText(img, name, (x1, y1 - 10), cv2.FONT_HERSHEY_DUPLEX, 1, (0, 200, 0), 2)
cv2.rectangle(img, (x1, y1), (x2, y2), (0, 200, 0), 4)
cv2.imshow("Frame", img)
key = cv2.waitKey(1)
if key in (ord('q'), ord('Q')):
break
cap.release()
cv2.destroyAllWindows()
畫面上會看到什麼
- 如果
images裡有一張你清楚的正面相片,你自己的臉會得到你的名字;如果沒有,就是Unknown。 - 畫面比版本 4 慢。找臉和編碼在每一格影格上都要做,這份工作不免費,視窗可能跟不上你的動作。
- 兩個人可以同時被認出來,但前提是兩張臉都夠大、光線還可以。
- 轉過頭、遮住半張臉,或者背對窗戶站著,標籤可能一瞬間變成
Unknown。 辨識讀的是畫面,不是人。 - 資料夾裡一張相片如果有兩張臉,只會取第一張,其餘的會被安靜地忽略,原因就是名單裡的那個
[0]。
先把你自己的相片放進資料夾
鏡頭只能叫出它見過的人。想讓自己被認出來,把你臉部的相片放進 images 資料夾,
檔名用相片裡那個人的名字,例如 Peter.jpg。程式從檔名讀名字,
所以是這個檔案讓綠框顯示 Peter;一個叫 IMG_4821.jpg 的檔案
一樣會被認出來,只是標籤是 IMG_4821。一個檔案一張清楚的臉、正對鏡頭,就夠了。
沒有這樣的檔案,程式照樣執行,只是它看到的每張臉都會報成 Unknown。
加上相片,重新啟動程式,標籤就會變。
在自己的電腦上執行
用和版本 1 相同的下載:
下載 zip 檔案,解壓,
在 Visual Studio Code 裡打開資料夾。這篇筆記用的是 face07.py。
在這個資料夾裡第一次執行時,三行都跑:
uv python pin 3.12.10
uv sync
uv run face07.py
這三行只需要一次。下次想再執行程式,只打 uv run face07.py。
下一步
弱點是速度。每一格影格都在付找臉和編碼的全價,所以畫面會卡。版本 8 處理這份成本,同時不放棄辨識。