Giới thiệu dự án
Trong kỷ nguyên số hóa và thị giác máy tính (Computer Vision), bài toán phục hồi và xử lý hình ảnh kỹ thuật số (Digital Image Inpainting & Completion) đóng vai trò sống còn trong nhiều lĩnh vực công nghiệp như bảo tồn di sản số, điện ảnh, thương mại điện tử và phục chế y khoa. Theo các báo cáo phân tích thị trường công nghệ xử lý ảnh toàn cầu, nhu cầu tự động hóa chỉnh sửa và loại bỏ khiếm khuyết trên hình ảnh kỹ thuật số đã tăng trưởng với tốc độ kép hàng năm (CAGR) trên 14.8%. Tuy nhiên, các kỹ thuật phục hồi ảnh truyền thống và học sâu sơ khai thường gặp bế tắc lớn: chúng chỉ đưa ra một kết quả duy nhất có tính tất định (deterministic), triệt tiêu hoàn toàn tính đa dạng ngữ nghĩa tự nhiên của thế giới thực.
Đề tài "Tái tạo vùng ảnh bị mất sử dụng mạng học sâu (Pluralistic Image Completion using Deep Generative Models)" do nhóm nghiên cứu sinh viên Trần Hoàng Huy và Nguyễn Tấn Phát thực hiện dưới sự hướng dẫn khoa học của TS. Mai Tiến Dũng tại Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM (UIT-VNUHCM) đã trực tiếp giải quyết bài toán cốt lõi này:
[Ảnh đầu vào khuyết vùng Im] + [Mặt nạ Mask M]
---> [Mô hình Học sâu GAN 2 đường song song]
---> [Tập hợp N ảnh hoàn thiện hợp lý, sắc nét {I_gen_1, I_gen_2, ..., I_gen_N}]
Vấn đề nghiên cứu cụ thể
Trong thực tế, khi một vùng ảnh bị che khuất (masked region $I_m$), luôn tồn tại nhiều khả năng nội dung ngữ nghĩa hợp lý có thể lấp đầy phần khuyết thiếu đó. Các mô hình truyền thống (deterministic autoencoders hoặc PatchMatch) chỉ học ánh xạ $1-1$, dẫn đến kết quả đầu ra bị mờ nhòe (oversmoothing) hoặc trung bình hóa các đặc trưng. Mặt khác, các mô hình sinh biến phân có điều kiện (Conditional Variational Autoencoder - CVAE) thông thường lại thiếu ổn định và bị suy giảm độ đa dạng nghiêm trọng khi chỉ có một nhãn huấn luyện duy nhất cho mỗi ảnh gốc.
Mục tiêu của đề tài
- Nghiên cứu lý thuyết chuyên sâu: Phân tích toàn diện hạn chế của Autoencoder (AE), Variational Autoencoder (VAE), Generative Adversarial Networks (GAN) và các phương pháp phục hồi cục bộ/toàn cục (Intra/Inter-image completion).
- Thiết kế kiến trúc mạng tiên tiến: Hiện thực hóa kiến trúc mạng hai đường song song (Two-Parallel-Path Framework) gồm đường tái tạo (Reconstructive Path) và đường sinh đa dạng (Generative Path) kết hợp cơ chế chú ý (Short+Long Term Attention).
- Xây dựng hệ thống hàm mất mát tối ưu: Thiết lập hàm mục tiêu kết hợp đa thành phần gồm Distributive Regularization Loss ($\mathcal{L}{KL}$), Appearance Matching Loss ($\mathcal{L}{app}$) và Adversarial Loss ($\mathcal{L}_{ad}$) dựa trên cấu trúc Least Squares GAN (LSGAN).
- Thực nghiệm và định lượng: Đánh giá hiệu năng và chất lượng ảnh sinh trên hai tập dữ liệu chuẩn quy mô lớn là CelebA-HQ (khuôn mặt chất lượng cao) và ImageNet ILSVRC (cảnh quan tự nhiên đa dạng) thông qua các độ đo PSNR, SSIM, L1 Loss và tính đa dạng trực quan.
- Xây dựng ứng dụng Demo hoàn chỉnh: Triển khai mô hình trên giao diện Web-App tương tác cho phép người dùng khoanh vùng khuyết tật và sinh ra hàng loạt kết quả hoàn thiện theo thời gian thực.
Phạm vi và giới hạn
- Phạm vi dữ liệu: Tập trung vào tập khuôn mặt người CelebA-HQ (độ phân giải tiền xử lý $256 \times 256$) và tập đối tượng tổng quát ImageNet (ILSVRC 2012/2017).
- Giới hạn kỹ thuật: Thực nghiệm huấn luyện trên phần cứng đơn GPU Google Colab (Tesla K80 12GB VRAM), kích thước vùng khuyết tật thử nghiệm với mặt nạ ngẫu nhiên (random masks).
Phân tích và thiết kế giải pháp
Phân tích hiện trạng
Trước khi đề xuất giải pháp, nghiên cứu đã tiến hành khảo sát và đánh giá ma trận so sánh các phương pháp phục hồi ảnh hiện có:
| Phương pháp |
Cơ chế hoạt động |
Ưu điểm |
Nhược điểm cốt lõi |
| Intra-Image (Diffusion / Patch-based) |
Lan truyền pixel lân cận hoặc sao chép bản vá nội tại (PatchMatch). |
Giữ chi tiết texture nền tốt, không cần tập dữ liệu huấn luyện lớn. |
Thất bại hoàn toàn với cấu trúc ngữ nghĩa phức tạp và lỗ hổng kích thước lớn; chỉ có 1 kết quả. |
| Inter-Image (Hays & Efros) |
Truy xuất hàng triệu ảnh để tìm cảnh tương đồng và ghép vùng tương ứng. |
Tạo được cấu trúc ngữ nghĩa mới cho cảnh lớn. |
Chi phí tính toán khổng lồ, phụ thuộc ngặt nghèo vào độ khớp bối cảnh, đường biên ghép nối thiếu tự nhiên. |
| Deep Deterministic Inpainting (Context Attention CNN) |
Mạng nơ-ron tích chập sâu kết hợp Attention và Adversarial Loss cục bộ/toàn cục. |
Khôi phục cấu trúc tốt, biên cạnh sắc nét hơn phương pháp truyền thống. |
Chỉ tạo duy nhất 1 đầu ra; vùng lỗ hổng lớn dễ bị biến dạng, tính toán ma trận tương quan nặng nề. |
| Mạng CVAE-GAN cơ bản |
Lấy mẫu không gian tiềm ẩn $z$ có điều kiện từ phân phối Gauss. |
Có khả năng tạo ra nhiều biến thể dữ liệu. |
Sụp đổ mode phân phối (mode collapse), chất lượng ảnh thấp do chỉ có 1 ground-truth cho mỗi ảnh huấn luyện. |
Ưu tiên yêu cầu theo mô hình MoSCoW
- Must have: Sinh ra nhiều kết quả hoàn thiện ảnh hợp lý từ 1 ảnh đầu vào bị che; duy trì tính liên tục biên; tích hợp hàm mất mát LSGAN và KL Divergence.
- Should have: Tích hợp module Short+Long Term Attention để nắm bắt liên kết ngữ cảnh xa; giao diện Web tương tác vẽ mặt nạ (interactive masking).
- Could have: Hỗ trợ nạp ảnh độ phân giải tùy ý thông qua pipeline resize động.
- Won't have (lần này): Xử lý luồng video inpainting thời gian thực trên thiết bị nhúng Edge.
Thiết kế hệ thống
Kiến trúc cốt lõi của khóa luận là mô hình mạng hai đường song song (Two-Parallel-Path Network) được thiết kế đặc thù nhằm đồng thời thỏa mãn: tái tạo chính xác nội dung gốc và lấy mẫu đa dạng từ không gian tiềm ẩn.
[ ẢNH GỐC I0 ]
|
v
+---------------------------------+
| ĐƯỜNG TÁI TẠO (Reconstructive)|
| - Residual Encoder |
| - Latent Distribution q_phi(z) | ---> Phân kỳ KL (L_kl_rec)
| - Residual Decoder | ---> Discriminator D1 (L_ad_rec)
+---------------------------------+ ---> Appearance Loss (L_app_rec)
^
| (Đồng bộ phân phối tiềm ẩn)
v
+---------------------------------+
| ĐƯỜNG SINH (Generative) |
| - Nhận ảnh che Im + Mask M |
| - Conditional Prior p_theta(z) | ---> Phân kỳ KL (L_kl_g)
| - Short+Long Term Attention | ---> Discriminator D2 (L_ad_g)
| - Sampling z ~ N(mu, sigma) | ---> Appearance Loss (L_app_g)
+---------------------------------+
|
v
[ TẬP ẢNH ĐẦU RA ĐA DẠNG ]
Chi tiết các phân hệ thành phần
- Representation Network & Inference Network: Trích xuất vector đặc trưng không gian đa tỷ lệ thông qua các khối tích chập dư (Residual Blocks), mã hóa thông tin ảnh đầy đủ $I_0 = {I_m, I_c}$ và ảnh bị che $I_m$.
- Cơ chế Short + Long Term Attention: Kết nối đặc trưng từ các tầng nông (giữ texture chi tiết) với các tầng sâu (ngữ nghĩa trừu tượng), mở rộng trường tiếp nhận để mượn thông tin bối cảnh ở khoảng cách xa đưa vào vùng cần phục hồi.
- Discriminator Networks ($D_1, D_2$):
- $D_1$: Mạng phân biệt đa tầng đánh giá tính tương đồng đặc trưng (Feature Matching) ở tầng cuối cho đường tái tạo.
- $D_2$: Mạng phân biệt dựa trên LSGAN đánh giá tính chân thực của phân phối ảnh sinh ra từ đường sinh so với phân phối tập dữ liệu gốc.
Công nghệ và Thư viện sử dụng
- Ngôn ngữ lập trình: Python 3.8+
- Deep Learning Framework: PyTorch 1.8.1 với CUDA 11.1 và cuDNN v8.0.5
- Thư viện xử lý ảnh: OpenCV (cv2) 4.5.2, Pillow 8.2.0, SciPy 1.6.2, NumPy 1.19.5
- Công cụ đánh giá: Scikit-learn 0.24.2, Scikit-image 0.18.1
- Phân hệ Web Demo: Flask 2.0.1, HTML5 Canvas API, Bootstrap 5
Phương pháp luận (Methodology)
Nghiên cứu áp dụng quy trình thực nghiệm khoa học có đối chứng, chia thành các giai đoạn rõ ràng:
[Giai đoạn 1: Khảo sát & Baseline (02/2021 - 04/2021)]
---> Cài đặt tái hiện mô hình cơ sở, chuẩn bị pipeline nạp dữ liệu.
[Giai đoạn 2: Phát triển & Thử nghiệm mô hình cải tiến (04/2021 - 05/2021)]
---> Xây dựng kiến trúc song song, tích hợp LSGAN, tinh chỉnh siêu tham số.
[Giai đoạn 3: Đánh giá định lượng & Đóng gói sản phẩm (06/2021 - 07/2021)]
---> Tính toán PSNR, SSIM, L1, xây dựng Flask Web Application, hoàn thiện báo cáo.
Ma trận quản trị rủi ro kỹ thuật
| Rủi ro kỹ thuật |
Mức độ |
Biện pháp giảm thiểu |
| Sụp đổ mode (Mode Collapse) trong GAN |
Cao |
Sử dụng hàm mất mát LSGAN (Least Squares) thay cho Binary Cross-Entropy gốc để ổn định gradient; điều chỉnh phân kỳ KL có trọng số $\alpha_{KL}$. |
| Mất cân bằng giữa tính đa dạng và độ sắc nét |
Trung bình |
Tách biệt hai đường: Đường tái tạo ép học đặc trưng chuẩn, đường sinh học phân phối biến phân có ràng buộc mặt nạ nhị phân $M$. |
| Tràn bộ nhớ GPU (Out of Memory - OOM) |
Cao |
Tối ưu hóa kích thước batch (CelebA: 8, ImageNet: 16), thiết lập loadSize $266 \times 266$ và crop ngẫu nhiên về fineSize $256 \times 256$. |
Implementation và kết quả
Quá trình phát triển và Thuật toán cốt lõi
Trọng tâm toán học của hệ thống là việc tối ưu hóa đồng thời 3 thành phần hàm mất mát:
$$\mathcal{L}{total} = \alpha{KL}(\mathcal{L}{kl}^{rec} + \mathcal{L}{kl}^g) + \alpha_{app}(\mathcal{L}{app}^{rec} + \mathcal{L}{app}^g) + \alpha_{ad}(\mathcal{L}{ad}^{rec} + \mathcal{L}{ad}^g)$$
-
Distributive Regularization Loss ($\mathcal{L}_{KL}$): Ràng buộc phân phối Gauss giữa điều kiện tiên nghiệm (prior distribution) và phân phối hậu nghiệm (posterior distribution):
$$\mathcal{L}{kl}^{rec} = \mathcal{D}{KL}(q_\phi(z|I_0) \parallel p(z))$$
$$\mathcal{L}{kl}^{g} = \mathcal{D}{KL}(p_\theta(z|I_m) \parallel q_\phi(z|I_0))$$
-
Appearance Matching Loss ($\mathcal{L}_{app}$): Đo lường khoảng cách chuẩn $L_1$ trực tiếp trên không gian pixel:
$$\mathcal{L}{app}^{rec} = |I{rec} - I_0|1$$
$$\mathcal{L}{app}^g = |M \odot (I_{gen} - I_0)|_1$$
(Trong đó $M$ là ma trận mặt nạ nhị phân, $\odot$ là phép nhân từng phần tử).
-
Adversarial Loss ($\mathcal{L}_{ad}$) theo công thức LSGAN:
$$\mathcal{L}{ad}^{rec} = |f{D1}(I_{rec}) - f_{D1}(I_0)|1$$
$$\mathcal{L}{ad}^g = [D_2(I_{gen}) - 1]^2$$
Mã nguồn thực thi hàm mất mát trong PyTorch
import torch
import torch.nn as nn
import torch.nn.functional as F
class PluralisticLoss(nn.Module):
def __init__(self, alpha_kl=1.0, alpha_app=20.0, alpha_ad=1.0):
super(PluralisticLoss, self).__init__()
self.alpha_kl = alpha_kl
self.alpha_app = alpha_app
self.alpha_ad = alpha_ad
self.l1_loss = nn.L1Loss()
def kl_divergence(self, mu1, logvar1, mu2=None, logvar2=None):
if mu2 is None:
# KL divergence with standard Gaussian N(0, I)
return -0.5 * torch.sum(1 + logvar1 - mu1.pow(2) - logvar1.exp())
else:
# KL divergence between posterior and prior
return 0.5 * torch.sum(
logvar2 - logvar1 + (logvar1.exp() + (mu1 - mu2).pow(2)) / logvar2.exp() - 1
)
def forward(self, I_0, I_rec, I_gen, mask, mu_rec, logvar_rec, mu_g, logvar_g, d2_gen_pred):
# 1. Distributive Regularization
l_kl_rec = self.kl_divergence(mu_rec, logvar_rec)
l_kl_g = self.kl_divergence(mu_g, logvar_g, mu_rec.detach(), logvar_rec.detach())
loss_kl = self.alpha_kl * (l_kl_rec + l_kl_g)
# 2. Appearance Matching Loss
l_app_rec = self.l1_loss(I_rec, I_0)
l_app_g = self.l1_loss(mask * I_gen, mask * I_0)
loss_app = self.alpha_app * (l_app_rec + l_app_g)
# 3. Adversarial Loss (LSGAN for Generator)
loss_ad = self.alpha_ad * torch.mean((d2_gen_pred - 1.0) ** 2)
# Tổng hợp mất mát
loss_total = loss_kl + loss_app + loss_ad
return loss_total, loss_kl, loss_app, loss_ad
Thiết lập Siêu tham số Huấn luyện
| STT |
Tham số (Parameter) |
Giá trị CelebA-HQ |
Giá trị ImageNet |
Ý nghĩa cấu hình |
| 1 |
batchSize |
8 |
16 |
Kích thước batch huấn luyện |
| 2 |
loadSize |
$266 \times 266$ |
$266 \times 266$ |
Kích thước scale ảnh ban đầu |
| 3 |
fineSize |
$256 \times 256$ |
$256 \times 256$ |
Kích thước crop chuẩn đưa vào mạng |
| 4 |
mask_type |
random |
random |
Mặt nạ ngẫu nhiên mô phỏng vật thể che |
| 5 |
nThreads |
4 |
4 |
Số luồng CPU tải dữ liệu đa tiến trình |
| 6 |
learning_rate (lr) |
$1 \times 10^{-4}$ |
$1 \times 10^{-4}$ |
Tốc độ học của mạng |
| 7 |
lr_policy |
Lambda |
Lambda |
Chiến lược suy giảm tốc độ học |
Kiểm thử và Đánh giá Thực nghiệm
Đề tài sử dụng 3 độ đo toán học tiêu chuẩn để lượng hóa chất lượng hình ảnh tái tạo:
-
Tỷ số tín hiệu cực đại trên nhiễu (PSNR - Peak Signal-to-Noise Ratio):
$$\text{MSE} = \frac{1}{N} \sum_{i=1}^N (I_{true}^{(i)} - I_{pred}^{(i)})^2 \implies \text{PSNR} = 10 \log_{10}\left(\frac{L^2}{\text{MSE}}\right)$$
(Trong đó $L$ là giá trị cường độ sáng tối đa của pixel, $L=255$).
-
Chỉ số tương đồng cấu trúc nhận thức (SSIM - Structural Similarity Index Measure):
$$\text{SSIM}(x, y) = \frac{(2\mu_x\mu_y + C_1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)}$$
-
Khoảng cách tuyệt đối trung bình ($L_1$ Loss):
$$L_1\text{Loss} = \frac{1}{N} \sum_{i=1}^N |I_{true}^{(i)} - I_{pred}^{(i)}|$$
Bảng kết quả định lượng tổng hợp
| Tập dữ liệu |
Số lượng Train / Test |
PSNR (dB) $\uparrow$ |
SSIM $\uparrow$ |
L1 Loss $\downarrow$ |
Đánh giá tính đa dạng đầu ra |
| CelebA-HQ |
$28,000 / 2,000$ |
26.42 |
0.887 |
0.021 |
Rất cao (sinh nhiều biểu cảm, mắt, miệng, kiểu tóc khác nhau nhưng vẫn giữ nguyên đường nét khuôn mặt). |
| ImageNet (ILSVRC) |
$20,000 / 1,000$ |
23.15 |
0.814 |
0.038 |
Đa dạng cao (sinh các mẫu kết cấu hoa văn, động vật, phong cảnh tự nhiên hài hòa với bối cảnh). |
Đổi mới và đóng góp
- Cấu trúc mạng hai đường song song đột phá: Khắc phục hạn chế căn bản của các kiến trúc Autoencoder đơn luồng. Bằng cách tách biệt đường Reconstructive (học đại diện không gian tiềm ẩn chuẩn) và đường Generative (học lấy mẫu có điều kiện), mô hình không còn bị phụ thuộc vào định kiến $1-1$ của ground-truth.
- Ổn định hóa huấn luyện sinh biến phân: Kết hợp hàm mất mát LSGAN với phân kỳ KL hai chiều giúp giải quyết triệt để hiện tượng suy biến mode (Mode Collapse), cho phép mỗi vector ngẫu nhiên $z \sim \mathcal{N}(0, I)$ tạo ra một biến thể ảnh hoàn toàn mới mẻ, nhất quán về mặt ngữ nghĩa mà không bị nhòe pixel.
- Cơ chế Attention ngắn hạn và dài hạn (Short+Long Term Attention): Giúp mô hình thu nạp tri thức không gian đa vùng, tận dụng tối đa các đặc trưng ở xa vùng bị che để tái tạo kết cấu phức tạp với độ chân thực vượt trội.
- Cải thiện hiệu suất định lượng rõ rệt: Nâng cao chỉ số PSNR thêm +14.2% và SSIM thêm +11.8% so với mô hình CVAE thuần túy, đồng thời duy trì độ trễ lấy mẫu dưới 65ms/ảnh trên GPU.
SO SÁNH CÁC PHƯƠNG PHÁP HOÀN THIỆN ẢNH
[Mô hình Cổ điển / PatchMatch] --> 1 Đầu ra (Chỉ phù hợp Texture lặp lại)
[Mô hình CNN Tích hợp (Context)] --> 1 Đầu ra (Dễ mờ nhòe vùng biên lớn)
[Mô hình Hai đường Song song GAN] --> ĐA ĐẦU RA (Sắc nét + Đa dạng ngữ nghĩa)
Ứng dụng thực tế và triển khai
Kịch bản ứng dụng thực tế
- Phục hồi di sản và ảnh lịch sử hư hỏng: Tự động loại bỏ các vết rách, ố mốc, trầy xước trên tư liệu cổ và tạo ra nhiều phương án phỏng đoán phục chế cho chuyên gia bảo tàng lựa chọn.
- Xóa vật thể trong nhiếp ảnh chuyên nghiệp & E-Commerce: Loại bỏ người đi đường, rác thải, watermark hoặc dị vật khỏi khung hình sản phẩm; tự động lấp đầy phần hậu cảnh tự nhiên.
- Hậu kỳ điện ảnh và kỹ xảo hình ảnh (VFX): Thay thế đạo cụ dây cáp, đạo cụ trường quay bằng các lớp chi tiết chân thực với nhiều biến thể ánh sáng và chất liệu.
Kiến trúc Triển khai Sản phẩm (Deployment Pipeline)
[Client Web / Mobile App]
| (HTTP POST: Image File + Base64 Mask)
v
[Flask Web Server (RESTful API)]
| (Image Preprocessing: Tensor Transform & Resize 256x256)
v
[PyTorch Model Inference Engine (GPU/CPU Execution)]
| (Sample Latent Vectors z_1, z_2, ..., z_k)
v
[Post-Processing: Denormalization & Mask Blending]
| (JSON response chứa N ảnh Base64)
v
[Client Canvas Interactive Viewer]
- Yêu cầu hệ thống máy chủ:
- CPU: Intel Xeon hoặc AMD EPYC 4 cores trở lên.
- RAM: Tối thiểu 8GB System Memory.
- GPU (Tùy chọn tăng tốc): NVIDIA T4 / RTX 3060 (VRAM $\ge 6\text{GB}$).
- Môi trường phần mềm: Ubuntu 20.04 LTS, Python 3.8+, Docker Container Engine.
Hạn chế và hướng phát triển
Hạn chế kỹ thuật hiện tại
- Kích thước độ phân giải: Mô hình hiện tại hoạt động tối ưu ở kích thước $256 \times 256$ pixel. Khi scale lên độ phân giải siêu cao (4K, 8K), chi phí tính toán của các khối tích chập tăng theo hàm mũ.
- Biên dạng mặt nạ cực lớn: Khi tỷ lệ che khuất vượt quá 60% diện tích khuôn hình, một số trường hợp sinh có thể xuất hiện hiện tượng méo cấu trúc hình học ở các vùng đối xứng phức tạp (như hai mắt người).
- Ràng buộc phần cứng: Quá trình huấn luyện mô hình GAN hai đường song song đòi hỏi duy trì đồng thời 2 luồng tính toán gradient và 2 Discriminator, tiêu tốn bộ nhớ VRAM đáng kể.
Hướng nâng cấp trong tương lai
- Tích hợp Kiến trúc Vision Transformer (ViT) & Diffusion Models: Nghiên cứu áp dụng các cơ chế Denoising Diffusion Probabilistic Models (DDPM) và Latent Diffusion để nâng cao tính chân thực và chi tiết siêu mịn của vùng ảnh sinh.
- Hỗ trợ Siêu phân giải tích hợp (Super-Resolution Pipeline): Xây dựng module xếp tầng (cascaded network) để tự động upscale ảnh hoàn thiện lên $1024 \times 1024$ hoặc $2048 \times 2048$ mà không làm vỡ nét.
- Mở rộng sang Inpainting Video Đa góc nhìn: Bảo đảm tính nhất quán theo trục thời gian (temporal consistency) cho các khung hình video liên tiếp.
Đối tượng hưởng lợi
- Sinh viên & Học viên chuyên ngành AI/Data Science: Tài liệu học tập mẫu mực về cách kết hợp đồng thời VAE và GAN, phương pháp tính toán đạo hàm phân kỳ KL và kỹ thuật cấu hình huấn luyện song song.
- Kỹ sư thị giác máy tính (Computer Vision Engineers): Bộ mã nguồn tham khảo chuẩn mực với đầy đủ pipeline xử lý ảnh, module Attention, hàm mất mát tùy biến và kiến trúc phục vụ API tinh gọn.
- Doanh nghiệp phần mềm & Studio đồ họa: Giải pháp công nghệ sẵn sàng tích hợp vào các phần mềm chỉnh sửa ảnh, tối ưu hóa quy trình làm việc của designer với chi phí bản quyền 0 đồng.
- Nhà nghiên cứu học máy: Cung cấp cơ sở thực nghiệm định lượng rõ ràng trên CelebA-HQ và ImageNet, mở ra hướng cải tiến mới trên không gian tiềm ẩn biến phân.
Câu hỏi thường gặp
1. Yêu cầu phần cứng tối thiểu để triển khai mô hình vào thực tế là gì?
Ở môi trường kiểm thử (Inference), mô hình hoàn toàn có thể chạy trên CPU thông thường (Intel Core i5, RAM 8GB) với thời gian xử lý khoảng 300ms - 500ms cho một ảnh $256 \times 256$. Để đạt hiệu năng thời gian thực (dưới 50ms/ảnh) cho hệ thống phục vụ nhiều người dùng cùng lúc, khuyến nghị sử dụng GPU NVIDIA có từ 4GB VRAM trở lên (hỗ trợ CUDA).
2. Làm thế nào để mô hình tạo ra nhiều ảnh khác nhau từ cùng một ảnh bị che?
Mô hình sinh (Generative path) học được một không gian xác suất tiềm ẩn $p_\theta(z|I_m)$ thay vì một giá trị cố định. Mỗi khi người dùng yêu cầu tạo ảnh mới, hệ thống sẽ lấy mẫu một vector nhiễu ngẫu nhiên $z \sim \mathcal{N}(\mu_g, \sigma_g)$ từ phân phối này và đưa qua Decoder, từ đó tạo ra vô số biến thể hình ảnh hợp lý khác nhau.
3. Mô hình xử lý thế nào để vùng ảnh tạo mới khớp hoàn hảo với phần viền ảnh cũ?
Hệ thống sử dụng kỹ thuật kết hợp mặt nạ nhị phân $M$:
$$I_{final} = M \odot I_{orig} + (1 - M) \odot I_{gen}$$
Đồng thời, hàm mất mát $L_1$ và lớp Short+Long Term Attention trong quá trình huấn luyện đã ép các pixel biên của vùng sinh phải khớp chính xác về cả cường độ sáng, màu sắc và kết cấu với các pixel lân cận của ảnh gốc.
4. Chi phí huấn luyện và bảo trì hệ thống có tốn kém không?
Nhờ sử dụng hàm mất mát Least Squares (LSGAN) có độ hội tụ nhanh, mô hình có thể hoàn thành quá trình hội tụ trong khoảng 40 - 50 epochs trên các tập dữ liệu chuẩn. Quá trình bảo trì sau triển khai rất nhẹ nhàng vì mô hình chạy hoàn toàn offline độc lập, không phụ thuộc vào các dịch vụ API trả phí của bên thứ ba.
5. Hệ thống có khả năng tích hợp vào các phần mềm thương mại có sẵn không?
Toàn bộ logic xử lý đã được đóng gói thành RESTful API chuẩn thông qua Flask/Python. Bất kỳ ứng dụng nào (Web, Mobile App iOS/Android, Desktop App viết bằng C#, Electron hay Java) đều có thể dễ dàng gửi ảnh kèm mặt nạ qua giao thức HTTP POST và nhận về danh sách ảnh kết quả dạng Base64 hoặc Binary Stream.
Kết luận
Đề tài "Tái tạo vùng ảnh bị mất sử dụng mạng học sâu" của nhóm sinh viên Trần Hoàng Huy và Nguyễn Tấn Phát (Trường ĐH Công nghệ Thông tin – ĐHQG TP.HCM) là một công trình nghiên cứu ứng dụng xuất sắc, giải quyết thấu đáo điểm nghẽn lớn của các phương pháp inpainting truyền thống: tính nghèo nàn và tất định của kết quả đầu ra.
Bằng việc kết hợp tinh tế giữa mạng đối nghịch tạo sinh (GAN) và bộ mã hóa tự động biến đổi (VAE) trong kiến trúc hai đường song song, đề tài đã chứng minh tính khả thi vượt bậc qua các chỉ số định lượng thuyết phục (PSNR đạt 26.42 dB trên CelebA-HQ và 23.15 dB trên ImageNet) cùng khả năng sinh vô hạn các phương án hoàn thiện ảnh tự nhiên, chân thực. Đây không chỉ là một công trình khoa học có hàm lượng học thuật cao mà còn là một sản phẩm phần mềm hoàn thiện, sẵn sàng chuyển giao và ứng dụng trực tiếp vào các hệ thống xử lý đa phương tiện hiện đại.
