Software & Tools Deep-Live-Cam-VFX: Bước đột phá giúp hoán đổi khuôn mặt thời gian thực trở nên đơn giản đến mức chỉ cần một ảnh

Joined
Nov 17, 2024
Messages
1
Reactions
0
MR
0.023

Deep-Live-Cam là gì và tại sao nó lại đặc biệt​

Deep-Live-Cam là một dự án AI mã nguồn mở tập trung vào hai trải nghiệm chính: face swap AI thời gian thực qua webcam và tạo video deepfake offline chỉ với một ảnh khuôn mặt nguồn. Điểm khiến dự án này bùng nổ là cách nhóm phát triển đóng gói quy trình xử lý rất khó của Vision AI thành một workflow dễ hiểu: chọn ảnh khuôn mặt, chọn camera hoặc video đích, rồi bấm chạy. Repo mô tả rõ đây là công cụ “real-time face swap and video deepfake with a single click and only a single image”.

Điểm đặc biệt thứ hai là Deep-Live-Cam không chỉ là một bản demo. Từ tài liệu và mã nguồn có thể thấy dự án hỗ trợ nhiều tình huống thực tế như live show, video call, thay mặt trong video quay sẵn, face mapping cho nhiều người, giữ nguyên vùng miệng bằng mouth mask và tăng chất lượng khuôn mặt bằng face enhancer. Chính sự kết hợp giữa tính dễ dùng và tập tính năng phong phú khiến nó hấp dẫn cả người dùng phổ thông lẫn nhà phát triển AI.

demo.gif

Cơ chế “One-click face swap” hoạt động như thế nào​

Pipeline thị giác máy tính đằng sau giao diện đơn giản​

Dù giao diện rất tối giản, lõi xử lý của Deep-Live-Cam vẫn dựa trên một pipeline khá rõ ràng. Theo mã nguồn face_swapper.py, dự án dùng insightface.model_zoo.get_model để nạp mô hình hoán đổi khuôn mặt inswapper_128_fp16.onnx hoặc inswapper_128.onnx, phát hiện và xử lý khuôn mặt trên từng khung hình, sau đó trộn kết quả bằng các bước như tạo mặt nạ khuôn mặt, chuyển màu và hòa trộn bằng OpenCV. Nói cách khác, “one-click” là phần trải nghiệm; còn bên dưới là chuỗi face detection, face embedding, face swap inference và blending theo thời gian thực hoặc theo từng frame video.

Repo cũng cho thấy dự án không chỉ xử lý một ảnh tĩnh. Trong mã nguồn có các hàm riêng cho xử lý ảnh đơn, frame đơn, batch frame và video frame list, cùng hỗ trợ many_faces, map_faces và mouth_mask. Điều này rất quan trọng nếu bạn muốn hoán đổi nhiều khuôn mặt trong cùng một cảnh hoặc gán đúng ảnh nguồn cho từng khuôn mặt đích trong một video nhiều người.

Vì sao webcam live swap có thể chạy thời gian thực​

Ở tầng phụ thuộc, Deep-Live-Cam dùng OpenCV, InsightFace, ONNX, ONNX Runtime, thư viện enumerate camera, GUI bằng tkinter/customtkinter và có các execution provider khác nhau cho CUDA, CoreML, DirectML hoặc OpenVINO. Cấu trúc dependency này cho thấy dự án được thiết kế để tối ưu đường đi suy luận theo phần cứng sẵn có, thay vì khóa cứng vào một backend duy nhất. Đó là lý do nó có thể chạy trên GPU Nvidia, Apple Silicon, Windows với DirectML hoặc CPU nếu cần.

Live-Deepfake-1-1024x485.png

Yêu cầu hệ thống cho Deep-Live-Cam​

Cấu hình tối thiểu và cấu hình nên dùng​

Về cơ bản, bạn cần Python, pip, git, FFmpeg và trên Windows còn cần Visual Studio 2022 Runtimes. Repo khuyến nghị Python 3.11 cho cài đặt chung, nhưng phần hướng dẫn Apple Silicon/CoreML lại có ghi chú riêng về Python 3.10 cho một số tình huống chạy CoreML. Vì tài liệu có điểm chưa hoàn toàn đồng nhất giữa các phần, cách an toàn nhất là bám đúng execution provider mà bạn định dùng.

Nếu chỉ chạy CPU, Deep-Live-Cam vẫn hoạt động nhưng sẽ chậm hơn đáng kể. Với trải nghiệm face swap AI thời gian thực qua webcam, GPU là lựa chọn nên ưu tiên. Repo có hướng dẫn riêng cho CUDA trên Nvidia, CoreML trên Apple, DirectML trên Windows và OpenVINO cho Intel. Với người làm nội dung hoặc livestream, GPU gần như là điều kiện cần để preview mượt và giảm độ trễ.

Các mô hình và thư viện cốt lõi​

Hai mô hình được README yêu cầu tải thủ công là GFPGANv1.4.onnx và inswapper_128_fp16.onnx, đặt trong thư mục models. Mô hình inswapper đảm nhiệm phần hoán đổi khuôn mặt, còn GFPGAN phục vụ khôi phục hoặc làm đẹp khuôn mặt sau xử lý. Ngoài ra, dependency opennsfw2 cho thấy dự án có thêm lớp kiểm tra nội dung nhạy cảm nhằm hạn chế lạm dụng.d
 

Announcements

Today's birthdays

Most viewed of week

Most discussed of week

Most viewed of week

Most discussed of week

Back
Top Bottom