Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực thị giác máy tính và học máy, các mô hình sinh đối nghịch (Generative Adversarial Networks - GAN) đã đạt được nhiều bước tiến quan trọng trong việc thao tác hình ảnh, chuyển đổi ảnh giữa các miền dữ liệu (image-to-image translation), thay đổi phong cách (style transfer) và chỉnh sửa thuộc tính đối tượng (attribute editing). Các kiến trúc tiên tiến như StyleGAN và StyleGAN2 chứng minh khả năng sinh ảnh có độ phân giải lớn cùng chất lượng thị giác cao. Tuy nhiên, các mô hình này được thiết kế tối ưu trên giả định dữ liệu đầu vào là ảnh chất lượng cao hoàn chỉnh. Khi áp dụng vào thực tế, các phương pháp này bộc lộ hạn chế rõ rệt trước các nguồn dữ liệu ảnh chất lượng thấp – vốn thường xuyên chịu ảnh hưởng bởi các yếu tố suy giảm như độ phân giải thấp, hiện tượng mờ (blur), nhiễu (noise) và biến dạng do nén dữ liệu (JPEG artifacts).

Đồ án tốt nghiệp "QC-StyleGAN2: Mô hình sinh đối nghịch với tùy biến chất lượng đầu ra" của sinh viên Nguyễn Viết Thành Đạt (ngành Công nghệ Thông tin, Học viện Công nghệ Bưu chính Viễn thông, dưới sự hướng dẫn của PGS. Phạm Văn Cường) tập trung giải quyết các mục tiêu và nhiệm vụ nghiên cứu cụ thể:

  1. Đề xuất kiến trúc mô hình sinh đối nghịch mới mang tên QC-StyleGAN2, kế thừa và phát triển từ nền tảng StyleGAN2, có khả năng tiếp nhận và xử lý các nguồn ảnh đầu vào có chất lượng bị suy giảm.
  2. Thiết kế cơ chế kiểm soát linh hoạt cho phép tùy biến chất lượng hình ảnh đầu ra từ sắc nét đến chất lượng thấp theo điều kiện chỉ định.
  3. Xây dựng quy trình ứng dụng mô hình QC-StyleGAN2 vào bài toán tái tạo và nâng cao chất lượng hình ảnh thông qua phép chiếu không gian tiềm ẩn (latent space projection) và kỹ thuật tinh chỉnh tham số Pivot Tuning Inversion (PTI).

Đối tượng nghiên cứu của đồ án là các mô hình sinh đối nghịch sâu, không gian tiềm ẩn (latent space), các cơ chế chuẩn hóa trọng số và kỹ thuật xử lý dữ liệu ảnh khuôn mặt. Phạm vi dữ liệu thực nghiệm tập trung vào tập ảnh khuôn mặt người chất lượng cao Flickr-Faces-HQ (FFHQ), kết hợp các thuật toán gây suy giảm nhân tạo để xây dựng tập dữ liệu huấn luyện và đánh giá mô hình.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình nền tảng

Đồ án xây dựng hệ thống cơ sở lý thuyết dựa trên sự phát triển của học sâu (Deep Learning) và các kiến trúc mạng nơ-ron:

  • Mạng nơ-ron nhân tạo và tích chập: Sử dụng mạng Perceptron nhiều lớp (MLP) và mạng nơ-ron tích chập (Convolutional Neural Network - CNN) với các thành phần cốt lõi: lớp tích chập (Convolution layer), lớp gộp (Pooling: Max pooling, Average pooling), lớp kết nối đầy đủ (Fully connected layer), hàm kích hoạt Sigmoid, ReLU và kỹ thuật chuẩn hóa hàng loạt (Batch Normalization).
  • Mạng sinh đối nghịch căn bản (GAN): Mô hình hóa quá trình huấn luyện theo trò chơi minimax hai người giữa mạng sinh $G$ (Generator) và mạng phân biệt $D$ (Discriminator) nhằm tối ưu hóa hàm mục tiêu:

$$\min_G \max_D V(D, G) = \mathbb{E}{x \sim p{data}(x)}[\log D(x)] + \mathbb{E}_{z \sim p_z(z)}[\log(1 - D(G(z)))]$$

  • Cơ chế phân biệt lô nhỏ (Minibatch Discrimination): Được áp dụng nhằm khắc phục hiện tượng sụp đổ mode (Mode Collapse), buộc mạng sinh tạo ra các mẫu đa dạng bằng cách tính toán khoảng cách đặc trưng giữa các mẫu trong cùng một mini-batch.
  • Tiến trình phát triển của các kiến trúc GAN: Đồ án tổng thuật chi tiết các mô hình: CGAN (Conditional GAN), DCGAN (Deep Convolutional GAN), GAWWN (Generative Adversarial What-Where Network), StackGAN (mô hình hai giai đoạn), ProGAN (Progressive Growing GAN), StyleGAN (với mạng ánh xạ 8 lớp $f: \mathcal{Z} \to \mathcal{W}$ và cơ chế chuẩn hóa thích ứng AdaIN), StyleGAN2 (loại bỏ artifact dạng giọt nước thông qua giải điều chế trọng số - Weight Demodulation và thay thế mạng tăng trưởng tiến bộ bằng kiến trúc kết nối tắt Skip Connections / Residual Nets tương tự MSG-GAN), cùng kỹ thuật tăng cường thích ứng StyleGAN2-ADA.
Mô hình Đặc điểm kiến trúc chính Hạn chế giải quyết / Đóng góp
GAN gốc (2014) MLP cho Generator và Discriminator Đặt nền móng cho mô hình sinh đối nghịch
DCGAN Sử dụng toàn bộ lớp tích chập, bỏ Fully Connected Ổn định quá trình huấn luyện mạng tích chập sâu
ProGAN Tăng dần độ phân giải từ $4 \times 4$ lên $1024 \times 1024$ Sinh ảnh kích thước lớn, chất lượng cao
StyleGAN Mạng ánh xạ $f$, chuẩn hóa thích ứng AdaIN, Style Mixing Phân tách và kiểm soát thuộc tính không gian tiềm ẩn
StyleGAN2 Giải điều chế trọng số (Weight Demodulation), Skip Connections Loại bỏ hiện tượng lỗi giọt nước, ổn định cấu trúc mạng
StyleGAN2-ADA Tăng cường dữ liệu thích ứng cho Discriminator Huấn luyện hiệu quả trên tập dữ liệu mẫu hạn chế

Phương pháp nghiên cứu và nguồn dữ liệu

Nghiên cứu kết hợp phương pháp phân tích - tổng hợp lý thuyết, thiết kế kiến trúc học sâu và thực nghiệm định lượng:

  • Nguồn dữ liệu: Sử dụng tập dữ liệu khuôn mặt người chất lượng cao Flickr-Faces-HQ (FFHQ) bao gồm các ảnh có độ phân giải gốc cao, đa dạng về độ tuổi, giới tính và biểu cảm.
  • Quy trình suy giảm dữ liệu: Áp dụng 4 phương pháp biến đổi nhân tạo lên tập dữ liệu gốc để mô phỏng dữ liệu chất lượng thấp trong thực tế:
    1. Làm mờ (Blur): Giảm độ sắc nét và chi tiết biên cạnh.
    2. Biến đổi màu sắc (Color Jittering): Thay đổi độ sáng, độ tương phản và sắc độ.
    3. Thêm nhiễu (Noise Addition): Bổ sung nhiễu ngẫu nhiên vào các kênh điểm ảnh.
    4. Vỡ ảnh do nén (JPEG Compression / Artifacts): Tạo các khối biến dạng điểm ảnh do quá trình nén nát.
  • Chỉ số đánh giá: Đánh giá chất lượng và phân phối hình ảnh thông qua hai thước đo định lượng: Khoảng cách khởi đầu Fréchet (Frechet Inception Distance - FID) để đo khoảng cách giữa phân phối ảnh thật và ảnh sinh, cùng Độ dài đường dẫn cảm nhận (Perceptual Path Length - PPL) để kiểm tra độ mượt mà và tính phân tách của không gian tiềm ẩn.

Thiết kế và triển khai mô hình QC-StyleGAN2

Kiến trúc mạng sinh và mạng phân biệt

Mô hình QC-StyleGAN2 được thiết kế nhằm đưa thêm thông tin điều khiển chất lượng vào toàn bộ quy trình sinh ảnh và phân biệt ảnh:

[Vector ngẫu nhiên z] ---> [Mạng ánh xạ 8 lớp f] ---> [Mã tiềm ẩn w]
                                                            |
[Điều kiện chất lượng] ----------------------------+        |
                                                   |        v
                                          +--------------------------+
                                          |    Mạng tổng hợp g       |
                                          | (Khối tích chập 3x3,     |
                                          |  Weight Demodulation,    |
                                          |  Stochastic Variation)   |
                                          +--------------------------+
                                                       |
                                                       v
                                            [Ảnh sinh tùy biến QC]
                                                       |
                             +-------------------------+-------------------------+
                             |                                                   |
                             v                                                   v
               +---------------------------+                       +---------------------------+
               |    Mô hình phân biệt D    |                       | Mô hình phân biệt cặp D_pair |
               | (Phân định Thật / Giả)    |                       | (Kiểm tra khớp chất lượng)|
               +---------------------------+                       +---------------------------+
  • Mạng sinh $G$ (Generator): Tiếp nhận vector nhiễu ngẫu nhiên $z \in \mathcal{Z}$ (kích thước $512 \times 1$) được lấy mẫu từ phân phối chuẩn $\mathcal{N}(0, 1)$. Qua mạng ánh xạ $f$ gồm 8 lớp Perceptron, $z$ được chuyển đổi thành vector tiềm ẩn trung gian $w \in \mathcal{W}$ ($512 \times 1$). Mạng tổng hợp $g$ sử dụng các khối tích chập kết hợp cơ chế giải điều chế trọng số (Weight Demodulation) và tích hợp điều kiện kiểm soát chất lượng, cho phép xuất ra ảnh có mức độ chi tiết hoặc suy giảm tương ứng.
  • Mô hình phân biệt $D$ (Discriminator): Mạng CNN tiếp nhận ảnh và ước lượng xác suất ảnh đó thuộc phân phối dữ liệu huấn luyện hay được sinh ra từ $G$.
  • Mô hình phân biệt theo cặp ($D_{pair}$): Kiến trúc phân biệt mở rộng tiếp nhận cặp dữ liệu ảnh và nhãn/mức chất lượng tương ứng, thực hiện nhiệm vụ giám sát tính nhất quán giữa chất lượng thực tế của ảnh đầu ra với điều kiện điều khiển được thiết lập.

Cơ chế nghịch đảo tiềm ẩn và tinh chỉnh Pivot Tuning Inversion (PTI)

Để ứng dụng mô hình vào bài toán phục hồi ảnh từ chất lượng thấp sang chất lượng cao, quy trình xử lý gồm hai bước:

  1. Phép chiếu không gian tiềm ẩn (Latent Inversion): Đưa ảnh chất lượng thấp đầu vào về không gian tiềm ẩn $\mathcal{W}$ để tìm vector mã hóa tối ưu $w^*$ biểu diễn sát nhất nội dung và cấu trúc khuôn mặt gốc.
  2. Kỹ thuật Pivot Tuning Inversion (PTI): Sử dụng mã tiềm ẩn tối ưu $w^*$ làm điểm neo (pivot point), thực hiện tinh chỉnh cục bộ các trọng số của mạng sinh $G$. Quá trình này giúp mô hình thích ứng chính xác với các đặc trưng nhận dạng cụ thể của khuôn mặt đầu vào, ngăn chặn hiện tượng méo dạng nhân dạng khi chuyển đổi mức điều khiển chất lượng từ thấp lên cao.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 hệ thống hóa cơ sở lý thuyết tổng quan về học sâu và các mô hình sinh:

  • Phân biệt bản chất giữa học có giám sát (tối ưu hàm lỗi MSE) và học không giám sát.
  • Phân tích chi tiết cấu tạo nơ-ron sinh học và mô hình toán học tương ứng trong máy tính; cấu trúc mạng ANN, MLP, và mạng tích chập CNN (cơ chế trượt cửa sổ, padding, sải bước stride, phép toán tích chập, hàm Sigmoid, ReLU, các lớp Max/Average Pooling, Fully Connected và thuật toán Batch Normalization).
  • Trình bày toàn diện lý thuyết mạng sinh đối nghịch căn bản GAN và hiện tượng sụp đổ mode (Mode Collapse).
  • Tổng thuật chi tiết các nghiên cứu liên quan theo trình tự tiến hóa: CGAN, DCGAN, GAWWN, StackGAN (phân chia 2 giai đoạn tạo khung và tinh chi tiết), ProGAN (chiến lược tăng trưởng tiến bộ), StyleGAN (mạng ánh xạ 8 lớp, chuẩn hóa AdaIN, style mixing, stochastic variation), StyleGAN2 (cơ chế Weight Demodulation, thiết kế mạng phân cấp sử dụng kết nối bỏ qua thay thế Progressive Growing) và StyleGAN2-ADA (cơ chế tăng cường thích ứng trên tập dữ liệu nhỏ).

Chương 2: Mô hình sinh đối nghịch với tùy biến chất lượng đầu ra QC-StyleGAN2

Chương 2 trình bày chi tiết giải pháp đề xuất:

  • Đặc tả kiến trúc tổng thể của mô hình QC-StyleGAN2 bao gồm Mạng sinh $G$, Mạng phân biệt $D$ và Mạng phân biệt theo cặp $D_{pair}$.
  • Quy trình tiền xử lý và tạo dữ liệu suy giảm trên tập ảnh Flickr-Faces-HQ (FFHQ) qua 4 kỹ thuật biến đổi: làm mờ, đổi màu, thêm nhiễu và vỡ hạt nén.
  • Thiết lập toán học và phương thức tính toán cho các chỉ số đánh giá chuyên biệt của GAN: Khoảng cách khởi đầu Fréchet (FID) và Độ dài đường dẫn cảm nhận (PPL) nhằm đo lường tính liên tục của không gian biểu diễn.

Chương 3: Thực nghiệm và đánh giá

Chương 3 trình bày các kết quả thử nghiệm và phân tích hiệu năng:

  • Thiết lập môi trường phần mềm và cấu hình phần cứng phục vụ quá trình đào tạo và kiểm thử mô hình.
  • Thực nghiệm khả năng tùy biến chất lượng hình ảnh đầu ra từ mô hình sinh QC-StyleGAN2 theo các mức điều khiển khác nhau.
  • Thử nghiệm quy trình tái tạo hình ảnh từ ảnh chất lượng thấp về không gian tiềm ẩn kết hợp phương pháp PTI.
  • Phân tích và so sánh kết quả định lượng giữa mô hình QC-StyleGAN2 đề xuất và mô hình đối sánh cơ sở StyleGAN2-ADA.

Kết quả và đóng góp

Kết quả thực nghiệm chính

  • Kiểm soát chất lượng sinh ảnh: Mô hình QC-StyleGAN2 thực hiện thành công việc điều khiển chất lượng ảnh đầu ra theo tham số đầu vào, có khả năng sinh ảnh sắc nét cao hoặc mô phỏng chính xác các dạng ảnh suy giảm chất lượng (mờ, nhiễu, biến dạng màu sắc, vỡ hạt).
  • Tái tạo ảnh chất lượng cao từ ảnh suy giảm: Khi kết hợp phép chiếu không gian tiềm ẩn và phương pháp Pivot Tuning Inversion (PTI), mô hình khôi phục hiệu quả các chi tiết khuôn mặt bị mất từ ảnh đầu vào chất lượng thấp mà vẫn bảo toàn các đặc trưng nhận dạng khuôn mặt ban đầu.
  • Đánh giá định lượng: Đồ án thiết lập bảng so sánh điểm số khoảng cách khởi đầu Fréchet (FID) giữa QC-StyleGAN2 và StyleGAN2-ADA, chứng minh tính hiệu quả của cơ chế phân biệt cặp và khả năng sinh ảnh ổn định.

Đóng góp của đề tài

  1. Đề xuất kiến trúc QC-StyleGAN2 giải quyết hạn chế của họ mô hình StyleGAN truyền thống khi làm việc với ảnh chất lượng thấp.
  2. Tích hợp mô hình phân biệt theo cặp ($D_{pair}$) giúp kiểm soát chính xác mức độ suy giảm hoặc sắc nét của hình ảnh đầu ra theo điều kiện mong muốn.
  3. Hoàn thiện quy trình ứng dụng phép chiếu không gian tiềm ẩn kết hợp kỹ thuật tinh chỉnh PTI vào bài toán phục hồi và nâng cao chất lượng ảnh khuôn mặt suy giảm trong thực tế.

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế:
    • Phạm vi thực nghiệm của mô hình chủ yếu tập trung trên tập dữ liệu khuôn mặt người Flickr-Faces-HQ (FFHQ), chưa đánh giá trên các miền dữ liệu tổng quát khác như phong cảnh, đồ vật hay hình ảnh y tế.
    • Quá trình nghịch đảo không gian tiềm ẩn và tối ưu hóa bằng phương pháp PTI yêu cầu chi phí tính toán và thời gian xử lý nhất định đối với từng ảnh đầu vào.
  • Hướng nghiên cứu tiếp:
    • Mở rộng kiến trúc và kiểm thử mô hình QC-StyleGAN2 trên các tập dữ liệu đa dạng ngoài khuôn mặt người.
    • Nghiên cứu tối ưu hóa tốc độ của thuật toán tìm mã tiềm ẩn để đáp ứng yêu cầu xử lý thời gian thực.
    • Tích hợp thêm các dạng suy giảm phức tạp hơn trong thực tế vào không gian điều khiển chất lượng của mô hình.

Giá trị tham khảo

Đồ án là tài liệu tham khảo chuyên khảo hữu ích cho:

  • Sinh viên và học viên cao học ngành Công nghệ Thông tin, Trí tuệ Nhân tạo, Khoa học Dữ liệu: Tham khảo tổng quan có hệ thống về quá trình phát triển của mạng sinh đối nghịch từ GAN nguyên bản đến StyleGAN2-ADA.
  • Người nghiên cứu về Thị giác máy tính và Xử lý ảnh: Giá trị tham khảo nằm ở phương pháp thiết kế bộ phân biệt theo cặp $D_{pair}$, kỹ thuật giải điều chế trọng số (Weight Demodulation), quy trình tạo dữ liệu suy giảm nhân tạo và phương pháp nghịch đảo không gian tiềm ẩn với Pivot Tuning Inversion (PTI).

Câu hỏi thường gặp

1. Mô hình QC-StyleGAN2 giải quyết vấn đề cốt lõi nào mà các mô hình StyleGAN trước đó chưa xử lý tốt?

StyleGAN và StyleGAN2 được tối ưu hóa cho việc tạo và tái tạo hình ảnh chất lượng cao từ không gian tiềm ẩn. Khi gặp ảnh đầu vào thực tế có chất lượng thấp (mờ, nhiễu, độ phân giải thấp, vỡ hạt JPEG), các mô hình này hoạt động kém hiệu quả. QC-StyleGAN2 giải quyết vấn đề này bằng cách cho phép mô hình tùy biến chất lượng đầu ra và khôi phục ảnh chất lượng cao từ các nguồn ảnh suy giảm.

2. Mạng ánh xạ (Mapping Network) trong họ StyleGAN có cấu trúc và vai trò gì?

Mạng ánh xạ $f$ là một mạng MLP gồm 8 lớp, nhận vector nhiễu ngẫu nhiên $z \in \mathcal{Z}$ ($512 \times 1$) lấy mẫu từ phân phối chuẩn $\mathcal{N}(0, 1)$ và ánh xạ sang vector kiểu $w \in \mathcal{W}$ ($512 \times 1$). Mục đích của mạng $f$ là giúp vector $w$ học phân phối thực tế của dữ liệu huấn luyện, giảm sự ràng buộc và tách biệt các yếu tố thuộc tính trong không gian tiềm ẩn.

3. Kỹ thuật Weight Demodulation trong StyleGAN2 thay thế thành phần nào của StyleGAN?

Weight Demodulation thay thế cho cơ chế chuẩn hóa thích ứng AdaIN (Adaptive Instance Normalization). Thay vì chuẩn hóa dựa trên thống kê dữ liệu thực tế (vốn gây ra lỗi tạo hạt/giọt nước - droplet artifacts trên ảnh), Weight Demodulation điều chế và chuẩn hóa trực tiếp trên các trọng số tích chập dựa trên giả định phân phối chuẩn, giúp ảnh sinh ra không bị lỗi giọt nước và ổn định quá trình huấn luyện.

4. Bốn phương pháp làm suy giảm chất lượng ảnh được tác giả sử dụng trên tập FFHQ là gì?

Tác giả áp dụng 4 phương pháp: (1) Làm mờ hình ảnh (Blur), (2) Thay đổi màu sắc (Color Jittering), (3) Thêm nhiễu vào ảnh (Noise Addition), và (4) Vỡ ảnh do nén (JPEG Compression Artifacts).

5. Vai trò của kỹ thuật Pivot Tuning Inversion (PTI) trong đồ án là gì?

PTI được sử dụng sau khi đã tìm được mã tiềm ẩn đại diện cho ảnh chất lượng thấp đầu vào. PTI thực hiện tinh chỉnh các trọng số của mô hình sinh $G$ xung quanh điểm neo tiềm ẩn (pivot point), giúp mô hình ghi nhớ chính xác các đặc điểm nhận dạng khuôn mặt của ảnh gốc khi thực hiện tái tạo ảnh sang chất lượng cao.

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Viết Thành Đạt đã hoàn thành việc xây dựng và đánh giá mô hình sinh đối nghịch QC-StyleGAN2 với khả năng kiểm soát chất lượng ảnh đầu ra linh hoạt. Bằng việc kết hợp kiến trúc StyleGAN2 cải tiến, mạng phân biệt theo cặp và kỹ thuật nghịch đảo tiềm ẩn PTI trên tập dữ liệu FFHQ, nghiên cứu đã đề xuất một giải pháp khả thi cho bài toán phục hồi và xử lý hình ảnh khuôn mặt bị suy giảm chất lượng. Toàn bộ nội dung đồ án được trình bày chặt chẽ, có sự kế thừa lý thuyết từ các mô hình nền tảng và cung cấp tài liệu tham khảo có giá trị chuyên môn cao cho lĩnh vực học sâu và thị giác máy tính.