如何用 AI 即時為你塗上口紅?
本文把前兩篇合而為一。從 〈如何從網路攝影機取得即時影像?〉借來鏡頭迴圈, 從 〈如何用 AI 為你塗口紅?〉借來口紅。 成果是 35 行程式碼,讓一張動態的臉帶著櫻桃紅的嘴唇出現在螢幕上。
唯一的新概念是:嘴唇要在每一格中重新尋找。找出、上色、顯示;然後下一格到來, 同樣三個步驟再重複一次。因為每次上色只需幾分之一秒,你的臉看起來就像一直塗著口紅。
為甚麼這個程式比相片版本長
口紅那篇是 14 行,這篇是 35 行。口紅邏輯本身沒有變:同樣的 12 個嘴唇關鍵點、 同樣的櫻桃紅、同樣的填色。變長的是即時處理(而非處理檔案)的代價。
- 需要迴圈。相片只需開啟一次。鏡頭會不斷送來一格又一格畫面, 所以程式需要一個迴圈、一個顯示每格的方法、一個停止的方法,以及一個釋放鏡頭的方法。
- 速度至關重要。處理一張相片可以花整整一秒;一格畫面不行, 否則下一格已經遲到,影片就會卡頓。這就是為甚麼要在縮小四分之一的副本上找臉, 再把關鍵點放大回原尺寸。
-
沒有檔案可以直接畫。相片那篇使用
ImageDraw, 一行就能用半透明顏色填滿形狀。即時畫面在記憶體中是一格格的數字, OpenCV 沒有對等的一行填色指令,所以要先建立遮罩(mask),再把顏色混進去。 - 兩種顏色順序。OpenCV 的顏色是藍色在前;AI 程式庫要的是紅色在前。
所以多出來的行數,都是為了跟上一張移動中的臉。
程式如何運作
1. 載入三個程式庫
import cv2
import face_recognition
import numpy as np
cv2 是 OpenCV:負責讀取鏡頭、調整每格大小、轉換顏色順序,
並把畫面顯示出來。face_recognition 找出人臉及其關鍵點——
也就是標示嘴唇的點。np 是 NumPy(Numerical Python),
它能用一行對整個像素網格做算術——這裡非它不可,否則逐個像素混合顏色、每秒 35 次,
會慢得無法接受。
2. 選擇顏色和三個設定
color_lip = (40, 20, 190)
strength = 120 / 255
small = 0.25
color_lip 是櫻桃紅,來自口紅那篇。在那裡,這個紅色按紅、綠、藍順序寫成
(190, 20, 40)。OpenCV 儲存顏色的順序相反——藍、綠、紅——所以同一種顏色
在這裡寫成 (40, 20, 190)。
strength 是口紅的顯色強度:120 除以 255,約 0.47。每個嘴唇像素變成
47% 櫻桃紅加 53% 原本顏色,所以你原本的嘴唇仍然能透出來。
small 是速度設定。找人臉是這個程式最慢的部分,所以在縮小到寬高各四分之一的
副本上進行。一格 1920 × 1080 的畫面會以 480 × 270 來搜尋,像素少了 16 倍。
沒有這個技巧,每格都要花太長時間處理,影片就會卡頓而不流暢。
3. 開啟鏡頭並讀取一格
cap = cv2.VideoCapture(0)
while True:
ret, img = cap.read()
if not ret:
break
cv2.VideoCapture(0) 連接電腦上第一個鏡頭。cap.read() 回傳兩樣東西:
ret(return)表示有沒有成功取得畫格,img(image)是畫格本身。
如果沒有畫格送達,ret 就是 False,於是 not ret
為 True。這種情況在鏡頭被拔掉或被其他程式佔用時會發生。
break 就停止迴圈,而不是對著空畫格繼續運算。
4. 在縮小副本中找臉
small_img = cv2.resize(img, (0, 0), fx=small, fy=small)
rgb_small_img = cv2.cvtColor(small_img, cv2.COLOR_BGR2RGB)
face_landmarks_list = face_recognition.face_landmarks(rgb_small_img)
cv2.resize 製作縮小四分之一的副本;fx 和 fy
分別是寬度和高度的縮放倍數。
cv2.cvtColor 把顏色順序從藍綠紅翻轉成紅綠藍。face_recognition
是按紅色在前的順序訓練的,所以它預期這個順序;直接餵給它 OpenCV 的順序,臉仍然找得到,
但它賴以判斷的顏色是錯的。cvtColor 是 convert colour(轉換顏色)的縮寫。
face_landmarks 回傳一個清單,每找到一張臉就有一個項目,每個項目包含
top_lip、bottom_lip、眉毛、眼睛等的關鍵點。
5. 在嘴唇位置畫上白色遮罩
mask = np.zeros(img.shape[0:2], dtype=np.uint8)
for face_landmarks in face_landmarks_list:
for lip in ['top_lip', 'bottom_lip']:
points = (np.array(face_landmarks[lip]) / small).astype(np.int32)
cv2.fillPoly(mask, [points], 255)
遮罩(mask)是一張與畫格同尺寸的黑白圖:白色標示口紅要塗的位置,
黑色標示不塗的位置。np.zeros 一開始把它全部填黑,
img.shape[0:2] 取出畫格的高和寬作為它的尺寸。
兩層迴圈處理每一張臉,以及每張臉的兩片嘴唇。關鍵點是在縮小副本上找到的,
所以要除以 small,把它們映射回完整畫格:100 的點變回 400。
astype(np.int32) 把它們保留為整數像素,因為 OpenCV 無法填滿
角點落在像素之間的形狀。
cv2.fillPoly 然後把每片嘴唇的輪廓填上 255,即最亮的值。由於上唇和下唇的
關鍵點同時沿著口腔的外緣和內緣走,白色區域只蓋住嘴唇而不會蓋住牙齒。
6. 柔化邊緣
mask = cv2.GaussianBlur(mask, (7, 7), 0)
沒有這一行,遮罩會在嘴唇邊緣從白色直接跳到黑色,口紅看起來就像用剪刀剪出來的。 模糊化把每個像素與它 7 × 7 範圍內的鄰近像素混合,讓邊緣淡出。 效果讀起來像化妝,而不是一塊填色形狀。
7. 把顏色混進畫格
alpha = (mask / 255 * strength)[:, :, None]
img = (img * (1 - alpha) + np.array(color_lip) * alpha).astype(np.uint8)
alpha 是甚麼。alpha 就是遮罩換算成 0 到 1 之間的數字。
除以 255 把純白(255)變成 1、純黑(0)變成 0;再乘以 strength
把白色降到 0.47。所以在嘴唇上 alpha 是 0.47,遠離嘴唇是 0,模糊出來的灰色邊緣
落在兩者之間。
img.shape # (1080, 1920, 3) rows, columns, colour values
alpha.shape # (1080, 1920) rows, columns
alpha[:, :, None].shape # (1080, 1920, 1) rows, columns, 1
從畫格說起。取一格寬 1920 像素、高 1080 像素的畫面——這是一般鏡頭
全高清(full HD)的標準尺寸。NumPy 把它儲存為 (1080, 1920, 3):1080 行、
每行 1920 個像素、每個像素 3 個數字——分別是藍、綠、紅。
再看 alpha。它的形狀是 (1080, 1920):1080 行、1920 列,
每個像素只有一個數字,沒有顏色分量。
None 加了甚麼。方括號裡有三個部分,由兩個逗號分隔:
第一個 : 取所有行,第二個 : 取所有列,None
則加上恰好容納 1 個數字的第三層。形狀變成 (1080, 1920, 1)。
為甚麼這樣就夠。NumPy 對形狀不符有一條固定規則:哪一邊是 1, 就把那個值重複到與另一邊匹配。所以 1 會被拉長成 3,每個像素的單一數字被使用三次—— 藍、綠、紅各一次。
最後一行。它把同一條公式一次過套用到畫格的每個像素: 新像素 = 舊像素 × (1 − alpha) + 櫻桃紅 × alpha。在嘴唇上, alpha 是 0.47,所以每個像素變成 53% 原本的嘴唇加 47% 櫻桃紅——你嘴唇天然的明暗 仍然透出來,這正是效果讀起來像化妝而非油漆的原因。遠離嘴唇的地方 alpha 是 0, 原像素原封不動地通過。
8. 顯示畫格,按 q 或 Q 停止
cv2.imshow("Frame", img)
key = cv2.waitKey(1)
if key in (ord('q'), ord('Q')):
break
cap.release()
cv2.destroyAllWindows()
cv2.imshow 把完成的畫格顯示在視窗中。cv2.waitKey(1)
等待一毫秒看有沒有按鍵,然後回傳所按按鍵的代碼,沒有按鍵就回傳 -1。
如果代碼是 q 或 Q,迴圈結束並釋放鏡頭,其他程式就能使用它,
鏡頭指示燈也會熄滅。
按 q 之前,先點擊影片視窗內部;按鍵訊號會送往目前選取的視窗,
而你在 Visual Studio Code 按執行後,選取的通常是終端機。雙鍵退出的方法也行:
在終端機同時按 Ctrl 和 C。
完整程式
把上面的部分拼回來。這就是完整的檔案,一共 35 行:
import cv2
import face_recognition
import numpy as np
# Cherry red from face04_lip.py: (red, green, blue, see-through)
# OpenCV uses blue-green-red order, so the color is written backwards
color_lip = (40, 20, 190)
strength = 120 / 255 # how strong the lipstick is: 0 = none, 1 = solid
small = 0.25 # look for the face in a picture 1/4 the size, so the video is fast
cap = cv2.VideoCapture(0)
while True:
ret, img = cap.read()
if not ret:
break
# face_recognition uses red-green-blue order, OpenCV uses blue-green-red
small_img = cv2.resize(img, (0, 0), fx=small, fy=small)
rgb_small_img = cv2.cvtColor(small_img, cv2.COLOR_BGR2RGB)
face_landmarks_list = face_recognition.face_landmarks(rgb_small_img)
# Mask: white where the lips are, black everywhere else
mask = np.zeros(img.shape[0:2], dtype=np.uint8)
for face_landmarks in face_landmarks_list:
for lip in ['top_lip', 'bottom_lip']:
# The landmarks were found on the small picture, so make them 4 times bigger
points = (np.array(face_landmarks[lip]) / small).astype(np.int32)
cv2.fillPoly(mask, [points], 255)
# Soften the lip edges
mask = cv2.GaussianBlur(mask, (7, 7), 0)
# Mix the lip color into the picture where the mask is white
alpha = (mask / 255 * strength)[:, :, None]
img = (img * (1 - alpha) + np.array(color_lip) * alpha).astype(np.uint8)
cv2.imshow("Frame", img)
key = cv2.waitKey(1)
if key in (ord('q'), ord('Q')):
break
cap.release()
cv2.destroyAllWindows()
在自己的電腦上執行
下載 zip 檔案並解壓到
一個資料夾。這個 zip 包含本系列的六個程式;本文使用 face06.py。
這個程式不需要在資料夾裡放相片。在 Visual Studio Code 中開啟資料夾,然後在終端機
輸入以下三行:
uv python pin 3.12.10
uv sync
uv run face06.py
如果你還沒有設定 uv,請先閱讀 〈如何安裝 Visual Studio Code?〉, 然後是 Windows 或 Mac 的 uv 筆記。
兩個實際提醒。第一,電腦越快影片越流暢;在較舊的手提電腦上,找臉的頻率較低, 口紅可能會比你的嘴部動作慢半拍。第二,程式會為它找到的每一張臉塗上 紅唇——包括坐在你後面的人。在你為課堂或會議錄影之前,這一點值得知道。
接下來
改動一行顏色,就是另一種色調。每一格都已經找到人臉,所以任何化妝效果, 現在都只是你如何運用這些關鍵點的問題。