python人物視訊背景替換實現虛擬空間穿梭

2022-07-29 22:01:49

引言

近期網上這位賣蜂蜜的小夥鬼畜挺火的，大家質疑背景造假，這裡我就帶著大家實現“背景造假”（PS:原視訊小夥是在真實場景拍攝的）

準備工作

在實現該功能之前，我們需要準備好python==3.7 然後執行：

pip install mediapipe

方案一： PC端可以選擇外界攝像頭或者連線網路攝像頭，最好挑選一個純屬的背景板作為視訊畫面背景（這樣有利於任務分割）；

方案二：網上下載有人物活動的視訊，然後用下載的視訊替代連線攝像頭。

到這裡我們基礎物件已經搭建好了，本實驗程式碼選擇方案二，對下載視訊分析，其shape=（740,640,3）。接下來我將帶領大家實現三個版本的背景替換

純RGB背景替換

基礎板：將人物提取出來，替換成設定好的純色背景（可以通過RGB設定）。其基本流程如下：

1. 輸入視訊

2. 獲取視訊幀

3. 提取幀內人物影象

4. 設定背景RGB值

5. 建立同視訊幀同shape的RGB影象

6. 結合背景圖與人物圖

7. 輸出結合圖

範例demo：

import cv2
import mediapipe as mp
import numpy as np
mp_drawing = mp.solutions.drawing_utils
mp_selfie_segmentation = mp.solutions.selfie_segmentation
BG_COLOR = (0, 0, 225) # red
cap = cv2.VideoCapture('111.mp4')
with mp_selfie_segmentation.SelfieSegmentation(
    model_selection=0) as selfie_segmentation:
  bg_image = None
  while cap.isOpened():
    success, image = cap.read()
    if not success:
      break
    image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)
    image.flags.writeable = False
    results = selfie_segmentation.process(image)
    image.flags.writeable = True
    image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
    condition = np.stack(
      (results.segmentation_mask,) * 3, axis=-1) > 0.8
    if bg_image is None:
      bg_image = np.zeros(image.shape, dtype=np.uint8)
      bg_image[:] = BG_COLOR
      print(bg_image.shape)
    output_image = np.where(condition, image, bg_image)
    cv2.imshow('MediaPipe Selfie Segmentation', output_image)
    if cv2.waitKey(5) & 0xFF == 27:
      break
cap.release()

原視訊節選幀&替換背景幀：