Tái Tạo Vùng Ảnh Bị Mất Sử Dụng Mạng Học Sâu

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính tái tạo vùng ảnh bị mất sử dụng mạng học sâu, vận dụng lý thuyết vào thực tế, đề xuất giải pháp cụ thể cho vấn đề .

• Tác giả: Trần Hoàng Huy
• Người hướng dẫn: TS. Mai Tiến Dũng
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Khoa học Máy tính
• Đề tài: Tái Tạo Vùng Ảnh Bị Mất Sử Dụng Mạng Học Sâu
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu bài toán
• 1.2. Giới hạn
• 1.3. Những thách thức
• 1.4. Phạm vi nghiên cứu
• 1.5. Phương pháp nghiên cứu
• 1.6. Mục tiêu khóa luận
• 1.7. Cấu trúc Khóa luận
• 2. CHƯƠNG 2: NHỮNG NGHIÊN CỨU LIÊN QUAN
• 2.1. Intra-Image Completion
• 2.2. Inter-Image Completion
• 2.3. Combined Intra and Inter-Image Completion
• 2.4. Image Generation
• 3. CHƯƠNG 3: HƯỚNG TIẾP CẬN TRONG KHÓA LUẬN
• 3.1. Bộ mã hóa tự động (Auto Encoder)
• 3.2. Nhược điểm của bộ mã hóa tự động
• 3.3. Bộ mã hóa tự động biến đổi Variational Auto Encoder
• 3.4. Mạng đối nghịch tạo sinh (GAN)
• 3.4.1. Cấu trúc mạng GAN
• 3.4.2. Mạng sinh (Generator)
• 3.4.3. Mạng phân biệt (Discriminator)
• 3.4.4. Kiến trúc mạng, hai đường song song
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trường và ngôn ngữ cài đặt
• 4.2. Phương pháp đánh giá
• 4.3. Tập dữ liệu thực nghiệm
• 4.3.1. Tập dữ liệu CelebA-HQ (CelebA High Quality)
• 4.3.2. Tập dữ liệu ImageNet
• 4.3.3. Tham số huấn luyện mô hình
• 4.3.4. Huấn luyện mô hình
• 4.4. Kết quả thực nghiệm
• 5. CHƯƠNG 5: KẾT LUẬN
• Danh mục từ viết tắt
• Danh mục từ tạm dịch
• TÓM TẮT KHOÁ LUẬN
• Bibliography
• Danh sách hình vẽ

Tóm tắt

I. Tổng quan về Tái Tạo Vùng Ảnh Bị Mất Sử Dụng Mạng Học Sâu

Tái tạo vùng ảnh bị mất là một lĩnh vực quan trọng trong xử lý hình ảnh, đặc biệt là khi áp dụng các phương pháp học sâu. Mạng nơ-ron đã chứng minh khả năng vượt trội trong việc hoàn thiện các vùng bị thiếu trong ảnh. Việc sử dụng mạng học sâu không chỉ giúp cải thiện chất lượng hình ảnh mà còn tạo ra nhiều kết quả đa dạng hơn.

1.1. Khái niệm về Tái Tạo Vùng Ảnh

Tái tạo vùng ảnh là quá trình phục hồi các phần bị thiếu trong hình ảnh. Điều này thường xảy ra trong các tình huống như xóa vật thể hoặc khôi phục hình ảnh cũ.

1.2. Tầm quan trọng của Mạng Học Sâu

Mạng học sâu, đặc biệt là GANs, đã mở ra những khả năng mới trong việc tái tạo hình ảnh. Chúng cho phép tạo ra các kết quả tự nhiên và phong phú hơn so với các phương pháp truyền thống.

II. Những Thách Thức Trong Tái Tạo Vùng Ảnh Bị Mất

Mặc dù có nhiều tiến bộ, việc tái tạo vùng ảnh vẫn gặp phải nhiều thách thức. Các vấn đề như tính liên tục giữa vùng tái tạo và vùng không tái tạo, cũng như việc đảm bảo nội dung phù hợp với ngữ cảnh tổng thể của hình ảnh là rất quan trọng.

2.1. Vấn đề Tính Liên Tục

Đảm bảo rằng vùng tái tạo hòa hợp với các phần còn lại của hình ảnh là một thách thức lớn. Sự không liên tục có thể dẫn đến hình ảnh không tự nhiên.

2.2. Đảm Bảo Nội Dung Phù Hợp

Nội dung của vùng tái tạo cần phải phù hợp với ngữ cảnh tổng thể của hình ảnh. Việc này đòi hỏi các mô hình phải có khả năng hiểu ngữ nghĩa của hình ảnh.

III. Phương Pháp Tái Tạo Vùng Ảnh Bị Mất Sử Dụng GANs

Mạng đối kháng sinh điều kiện (GANs) đã trở thành một công cụ mạnh mẽ trong việc tái tạo vùng ảnh. Phương pháp này cho phép tạo ra nhiều kết quả khác nhau cho cùng một vùng bị mất, từ đó tăng tính đa dạng và tự nhiên của hình ảnh.

3.1. Cấu Trúc Mạng GAN

Mạng GAN bao gồm hai phần chính: mạng sinh (Generator) và mạng phân biệt (Discriminator). Mạng sinh tạo ra hình ảnh mới, trong khi mạng phân biệt đánh giá tính xác thực của hình ảnh đó.

3.2. Ứng Dụng GANs Trong Tái Tạo Hình Ảnh

GANs đã được áp dụng thành công trong nhiều lĩnh vực, từ khôi phục hình ảnh đến tạo ra các hình ảnh mới từ các đặc điểm đã học.

IV. Kết Quả Nghiên Cứu và Ứng Dụng Thực Tiễn

Nghiên cứu đã chỉ ra rằng việc sử dụng GANs trong tái tạo vùng ảnh không chỉ cải thiện chất lượng hình ảnh mà còn tạo ra nhiều kết quả đa dạng. Các ứng dụng thực tiễn bao gồm khôi phục ảnh cũ, xóa vật thể và tạo hình ảnh mới từ mô hình đã học.

4.1. Kết Quả Thực Nghiệm

Các thử nghiệm trên bộ dữ liệu CelebA-HQ và ImageNet cho thấy phương pháp này tạo ra hình ảnh hoàn chỉnh với chất lượng cao và tính tự nhiên tốt.

4.2. Ứng Dụng Trong Thực Tế

Các ứng dụng của phương pháp này đã được triển khai trong nhiều lĩnh vực như nghệ thuật số, truyền thông và bảo tồn di sản văn hóa.

V. Kết Luận và Hướng Phát Triển Tương Lai

Tái tạo vùng ảnh bị mất sử dụng mạng học sâu là một lĩnh vực đầy tiềm năng. Các nghiên cứu trong tương lai có thể tập trung vào việc cải thiện độ chính xác và tính tự nhiên của hình ảnh tái tạo, cũng như mở rộng ứng dụng của công nghệ này.

5.1. Tóm Tắt Kết Quả

Nghiên cứu đã chỉ ra rằng GANs có thể tạo ra nhiều kết quả hợp lý cho cùng một vùng bị mất, từ đó nâng cao chất lượng hình ảnh.

5.2. Hướng Nghiên Cứu Tương Lai

Các nghiên cứu tiếp theo có thể khám phá các kiến trúc mạng mới và cải tiến thuật toán để nâng cao khả năng tái tạo hình ảnh.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực thị giác máy tính và xử lý ảnh số, bài toán tái tạo vùng ảnh bị mất (image completion hoặc image inpainting) giữ vai trò quan trọng trong việc khôi phục các bức ảnh bị hư hỏng, loại bỏ các chi tiết thừa hoặc tái thiết lập các nội dung bị che khuất. Tuy nhiên, phần lớn các phương pháp tái tạo truyền thống và các thuật toán học máy giai đoạn trước chỉ tập trung vào việc tạo ra một kết quả duy nhất mang tính xác định (deterministic) cho mỗi ảnh đầu vào. Điều này tạo nên sự hạn chế lớn về tính đa dạng ngữ nghĩa, bởi trên thực tế, một vùng ảnh bị khuyết có thể tồn tại nhiều phương án tái tạo khác nhau mà vẫn hoàn toàn hòa hợp với ngữ cảnh tổng thể của bức ảnh.

Một thách thức cốt lõi mà các mô hình tiếp cận theo hướng học sâu gặp phải là trong tập dữ liệu huấn luyện, mỗi hình ảnh đầu vào chỉ có duy nhất một ảnh gốc làm nội dung thực tế cơ bản (ground truth). Do đó, việc áp dụng các phép lấy mẫu từ các bộ mã hóa có điều kiện thông thường vẫn khiến mô hình dễ rơi vào tình trạng suy giảm tính đa dạng hoặc chỉ thay đổi nhỏ ở mức cục bộ điểm ảnh. Xuất phát từ thực tiễn đó, khóa luận tốt nghiệp ngành Khoa học Máy tính của sinh viên Trần Hoàng Huy và Nguyễn Tấn Phát (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh), dưới sự hướng dẫn của TS. Mai Tiến Dũng, đã tập trung nghiên cứu đề tài "Tái tạo vùng ảnh bị mất sử dụng mạng học sâu" (Using GANs for image completion) nhằm giải quyết bài toán sinh nhiều kết quả tái tạo hợp lý và phong phú.

Mục tiêu chính của đề tài được tác giả xác định thông qua 5 nhiệm vụ cụ thể:

1. Xác định các thông tin cơ bản, thách thức và các vấn đề cần đặt ra cho bài toán.
2. Tìm hiểu kỹ thuật tái tạo vùng ảnh bị mất và ứng dụng của mạng đối nghịch tạo sinh (GAN) hai đường song song vào bài toán.
3. Cài đặt kỹ thuật tái tạo lại vùng ảnh bị mất từ tập dữ liệu ảnh $D$ và vùng $r$ cần tái tạo.
4. Ước lượng, đánh giá độ phù hợp của nội dung vùng $r$ đã tái tạo so với nội dung tổng thể của ảnh.
5. Rút ra ưu, nhược điểm của các phương pháp và định hướng cách khắc phục trong tương lai.

Đối tượng nghiên cứu của khóa luận là các mô hình học sâu sinh ảnh, bao gồm bộ mã hóa tự động biến đổi (Variational Autoencoder - VAE) và mạng đối nghịch tạo sinh (Generative Adversarial Networks - GAN), kết hợp kiến trúc mạng hai đường song song (Two-parallel path network). Phạm vi thực nghiệm của nghiên cứu được triển khai trên hai miền dữ liệu chuyên biệt: miền ảnh khuôn mặt người (tập dữ liệu CelebA-HQ) và miền ảnh cảnh quan tự nhiên đa dạng (tập dữ liệu ImageNet). Thời gian thực hiện đề tài diễn ra từ ngày 22/02/2021 đến ngày 11/07/2021.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên sự kết hợp giữa các kiến trúc học sâu tạo sinh hiện đại, giải quyết triệt để hạn chế của các phương pháp tái tạo nội suy truyền thống (Intra-image completion) và tìm kiếm dữ liệu lớn bên ngoài (Inter-image completion).

Khung lý thuyết và mô hình cốt lõi được tác giả khai thác bao gồm:

• Bộ mã hóa tự động (Autoencoder - AE) và Bộ mã hóa tự động biến đổi (Variational Autoencoder - VAE): AE giúp nén dữ liệu qua nút cổ chai (bottleneck) để trích xuất đặc trưng ẩn, nhưng dễ bị hiện tượng quá khớp (overfitting) do không kiểm soát phân phối không gian tiềm ẩn. VAE giải quyết hạn chế này bằng cách mô hình hóa đầu vào thành một phân bố xác suất Gaussian trong không gian ẩn thông qua độ phân kỳ Kullback-Leibler (KL Divergence).
• Mạng đối nghịch tạo sinh (Generative Adversarial Networks - GAN): Cấu trúc gồm hai thành phần cạnh tranh trực tiếp là Mạng sinh (Generator - $G$) và Mạng phân biệt (Discriminator - $D$) theo nguyên lý trò chơi có tổng bằng không (zero-sum game) nhằm đạt tới điểm cân bằng Nash.
• Mô hình mạng hai đường song song (Two-parallel path network): Tác giả kế thừa và triển khai phương pháp Pluralistic Image Completion (Zheng và cộng sự, CVPR 2019), phân tách quy trình xử lý thành hai nhánh độc lập nhưng tương hỗ:
  • Đường tái tạo (Reconstructive path): Sử dụng ảnh gốc đầy đủ $I_g = {I_m, I_c}$ để phân tích không gian đặc trưng ẩn và học cách tái thiết lập lại bức ảnh gốc.
  • Đường sinh (Generative path): Chỉ tiếp nhận ảnh đầu vào bị che $I_m$, suy luận ra phân phối tiềm ẩn có điều kiện để sinh ra vùng ảnh bị thiếu $I_c$, cho phép lấy mẫu ngẫu nhiên để sinh ra nhiều biến thể khác nhau.
• Hàm mất mát tổng hợp: Mô hình sử dụng hàm mục tiêu kết hợp gồm 3 nhóm thành phần chính: $$\mathcal{L} = \alpha_{KL}(\mathcal{L}{kl}^{rec} + \mathcal{L}{kl}^g) + \alpha_{app}(\mathcal{L}{app}^{rec} + \mathcal{L}{app}^g) + \alpha_{ad}(\mathcal{L}{ad}^{rec} + \mathcal{L}{ad}^g)$$ Trong đó:
  • Distributive Regularization Loss ($\mathcal{L}_{kl}$): Đo lường độ lệch phân phối bằng phân kỳ KL, đồng bộ hóa không gian biểu diễn giữa đường tái tạo và đường sinh.
  • Appearance Matching Loss ($\mathcal{L}_{app}$): Đảm bảo tính nhất quán về mặt thị giác và cấu trúc điểm ảnh dựa trên hàm khoảng cách $L_1$.
  • Adversarial Loss ($\mathcal{L}_{ad}$): Áp dụng cấu trúc hàm mất mát bình phương tối thiểu từ mô hình LSGAN (Least Squares GAN) kết hợp cùng hai mạng phân biệt ($D_1$ và $D_2$) để nâng cao độ phân giải và tính chân thực của vùng ảnh sinh ra.

Phương pháp nghiên cứu thực tế được thực hiện theo 5 phương pháp đồng bộ:

• Phương pháp tổng luận: Phân tích, khảo sát các công trình liên quan đến inpainting, chỉ ra ưu khuyết điểm của các phương pháp intra-image, inter-image và CVAE.
• Phương pháp máy học: Xây dựng, tinh chỉnh kiến trúc mạng GAN hai đường song song và thiết lập các hàm mất mát tối ưu.
• Phương pháp xử lý ảnh: Tạo lớp mặt nạ (mask layer) ngẫu nhiên áp lên tập dữ liệu chuẩn để tạo tập dữ liệu huấn luyện và kiểm thử.
• Phương pháp thống kê: Đánh giá phân phối sai số và độ biến thiên của các chỉ số chất lượng ảnh.
• Phương pháp thực nghiệm: Huấn luyện mô hình trên các tập dữ liệu thực tế và đo lường thông qua các chỉ số định lượng.

Nguồn dữ liệu thực nghiệm bao gồm:

• Tập dữ liệu CelebA-HQ (CelebA High Quality): Gồm 30.000 ảnh chân dung chất lượng cao; được chia thành 28.000 ảnh huấn luyện (Train) và 2.000 ảnh kiểm thử (Test).
• Tập dữ liệu ImageNet: Trích xuất 20.000 ảnh huấn luyện từ tập ILSVRC 2012 và 1.000 ảnh kiểm thử từ tập ILSVRC 2017 với kích thước gốc 500x334 pixels.

Thiết kế và triển khai

Hệ thống được thiết kế hoàn chỉnh từ khâu tiền xử lý dữ liệu, huấn luyện mô hình học sâu cho đến đóng gói thành một ứng dụng trình diễn tương tác cho người dùng.

Môi trường và công nghệ thực nghiệm

Toàn bộ quá trình thực nghiệm được cài đặt trên nền tảng phần cứng và công cụ phần mềm sau:

• Môi trường phần cứng: Điện toán đám mây Google Colab với bộ nhớ trong 12GB RAM, trang bị bộ tăng tốc đồ họa GPU NVIDIA Tesla K80.
• Ngôn ngữ và thư viện lập trình: Python 3, PyTorch, PyTorch-gpu, CUDA, cuDNN, OpenCV, Pillow, Scikit-learn, NumPy, SciPy.
• Kiến trúc ứng dụng demo: Giao diện ứng dụng web được xây dựng bằng framework Flask (Python), chạy mô hình suy luận trực tiếp với PyTorch-cpu, hỗ trợ người dùng tải ảnh lên, chọn vùng che cần phục hồi và nhận về các kết quả tái tạo đa dạng.

Tham số cấu hình huấn luyện

Các tham số huấn luyện của mô hình LSGAN được thiết lập cụ thể cho hai bộ dữ liệu thực nghiệm:

STT	Tên tham số	Giá trị (CelebA-HQ)	Giá trị (ImageNet)	Diễn giải chức năng
1	batchSize	8	16	Kích thước lô dữ liệu trong mỗi bước lặp
2	loadSize	266x266	266x266	Kích thước ảnh được chia/tải vào bộ nhớ
3	fineSize	256x256	256x256	Kích thước ảnh cắt chuẩn dùng để huấn luyện
4	mask_type	random	random	Kiểu tạo mặt nạ che vùng ảnh ngẫu nhiên
5	nThreads	4	4	Số luồng xử lý song song để nạp dữ liệu
6	lr	1e-4	1e-4	Tốc độ học ban đầu của mô hình (Learning rate)
7	lr_policy	Lambda	Lambda	Chiến lược suy giảm tỷ lệ học (Policy scheduling)

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương này giới thiệu toàn diện về lý do lựa chọn đề tài và đặt vấn đề nghiên cứu. Tác giả định nghĩa bài toán tái tạo vùng ảnh bị mất với đầu vào là ảnh bị che $I_m$, vùng cần tái tạo $I_c$ và tập dữ liệu $D$; đầu ra là tập hợp các ảnh hoàn chỉnh mang ý nghĩa ngữ nghĩa phù hợp với ngữ cảnh tổng thể. Chương 1 phân tích các thách thức kỹ thuật cốt lõi: đảm bảo sự liên tục tự nhiên giữa vùng tái tạo và vùng nguyên bản, kiểm soát sự đánh giá cảm tính của con người và mục tiêu gia tăng số lượng kết quả khả dĩ cho mỗi ảnh đầu vào. Cuối chương, các phương pháp nghiên cứu, 5 mục tiêu cụ thể và cấu trúc tổng quát của 5 chương trong khóa luận được hệ thống hóa chi tiết.

Chương 2: Những nghiên cứu liên quan

Chương 2 tổng thuật các nghiên cứu tiền đề trong lĩnh vực hoàn thiện hình ảnh và phân loại thành 4 nhóm phương pháp:

• Intra-Image Completion: Các phương pháp nội suy truyền thống (dựa trên sự khuếch tán chi tiết và các bản vá nền PatchMatch). Ưu điểm là phục hồi nền đồng nhất tốt nhưng thất bại khi tái tạo nội dung ngữ nghĩa mới.
• Inter-Image Completion: Phương pháp mượn thông tin từ hàng triệu bức ảnh ngoài (Hays và Efros) hoặc các mô hình dựa trên mạng nơ-ron tích chập (CNN) kết hợp hàm mất mát đối nghịch cục bộ - toàn cục. Nhược điểm là dễ sinh cấu trúc méo mó và kết cấu mờ nhạt ở các lỗ khuyết lớn.
• Combined Intra and Inter-Image Completion: Các công trình kết hợp như PatchMatch đa quy mô (Yang và cộng sự) hoặc cơ chế chú ý theo ngữ cảnh (Yu và cộng sự). Hạn chế là chi phí tính toán cao và khó liên kết thông tin ở khoảng cách xa.
• Image Generation: Các mô hình sinh có điều kiện như CVAE, CVAE-GAN, pix2pix. Các mô hình này chủ yếu hoạt động tốt với các nhãn điều kiện rời rạc, hạn chế khi xử lý dữ liệu chỉ có duy nhất một ảnh gốc cho mỗi vùng khuyết.

Chương 3: Hướng tiếp cận trong khóa luận

Chương này đi sâu vào chi tiết cơ sở toán học và kiến trúc mô hình đề xuất:

• Trình bày cấu trúc hoạt động của Autoencoder (Encoder, Latent Representation, Decoder) và phân tích nguyên nhân gây hiện tượng quá khớp cùng việc sinh ra các mẫu bất hợp lý.
• Giới thiệu VAE, cách thức mô hình hóa đặc trưng thành phân bố xác suất $p(z|x)$ và cấu trúc hàm mất mát VAE kết hợp độ lỗi khôi phục và phân kỳ KL.
• Trình bày bản chất của mạng GAN, nguyên lý tối ưu hàm mục tiêu minimax giữa Generator và Discriminator hướng đến trạng thái cân bằng Nash.
• Phân tích chi tiết kiến trúc mạng hai đường song song (Two-parallel path network): tích hợp mạng biểu diễn (Representation Network), mạng suy luận (Inference Network), mạng sinh (Generation Network) có kết hợp khối chú ý ngắn hạn và dài hạn (Short+Long Term Attention), cùng mạng phân biệt kép ($D_1$ và $D_2$).
• Thiết lập chi tiết 3 thành phần hàm mất mát trong quá trình huấn luyện: Distributive Regularization Loss, Appearance Matching Loss và Adversarial Loss kế thừa từ LSGAN.

Chương 4: Thực nghiệm và đánh giá

Chương 4 mô tả toàn bộ môi trường phần cứng, các thư viện mã nguồn mở và cấu hình tham số huấn luyện trên hai tập dữ liệu CelebA-HQ và ImageNet. Tác giả trình bày chi tiết công thức và ý nghĩa của 3 độ đo đánh giá:

• Tỉ số tín hiệu cực đại trên nhiễu (PSNR): Đo lường tỷ lệ năng lượng tín hiệu cực đại trên sai số toàn phương trung bình (MSE).
• Chỉ số tương đồng cấu trúc (SSIM): Đo lường độ tương đồng nhận thức dựa trên độ chói, độ tương phản và cấu trúc bề mặt giữa ảnh sinh và ảnh gốc.
• Độ lỗi L1 ($L_1$ loss): Tính tổng chênh lệch giá trị tuyệt đối giữa các điểm ảnh dự đoán và điểm ảnh thực tế.

Chương này ghi nhận chi tiết tiến trình biến thiên của các hàm độ lỗi ($\mathcal{L}{kl}$, $\mathcal{L}{app}$, $\mathcal{L}_{ad}$ và độ lỗi tổng) qua 50 epoch huấn luyện cho cả hai tập dữ liệu. Đồng thời, tác giả đưa ra các minh chứng thực nghiệm trực quan trên các ảnh cụ thể (ảnh khuôn mặt CelebA-HQ mã số 15356 và ảnh ImageNet mã số ILSVRC2017_test_00000092), minh họa các kết quả sinh đa dạng ở các mẫu lấy ngẫu nhiên khác nhau.

Chương 5: Kết luận

Chương cuối tóm tắt lại toàn bộ các kết quả đạt được của khóa luận, thẳng thắn chỉ rõ các mặt hạn chế còn tồn tại của mô hình thực nghiệm và đề xuất các hướng phát triển kỹ thuật trong tương lai.

Kết quả và đóng góp

Khóa luận đã thu được các kết quả cụ thể thông qua quá trình huấn luyện và kiểm thử định lượng:

• Diễn biến hàm mất mát thực nghiệm: Quá trình huấn luyện qua 50 epoch trên tập CelebA-HQ và ImageNet cho thấy sự hội tụ ổn định của các nhánh độ lỗi. Nhóm mất mát phân phối ($\mathcal{L}{kl}^{rec}, \mathcal{L}{kl}^g$), mất mát hình quan ($\mathcal{L}{app}^{rec}, \mathcal{L}{app}^g$) và mất mát đối nghịch ($\mathcal{L}{ad}^{rec}, \mathcal{L}{ad}^g$) đều giảm dần và tiệm cận mức ổn định, khẳng định khả năng kiểm soát việc lấy mẫu không gian tiềm ẩn của mô hình hai đường song song.
• Khả năng sinh kết quả đa dạng: Trên ảnh thử nghiệm CelebA-HQ #15356 (vùng khuôn mặt bị che), mô hình tạo ra nhiều biến thể hợp lý về biểu cảm, chi tiết mắt, mũi, miệng (như các kết quả thứ 01, 04, 51) với các giá trị SSIM và PSNR phản ánh độ tương đồng cấu trúc cao so với ảnh gốc. Tương tự, trên ảnh ImageNet ILSVRC2017_test_00000092, mô hình chứng minh khả năng điền đầy kết cấu bối cảnh tự nhiên với nhiều phương án kết cấu hợp lý (như kết quả thứ 31, 32).
• Các giải pháp và kiến nghị đề xuất: Tác giả kiến nghị việc áp dụng hàm mất mát bình phương tối thiểu LSGAN thay thế cho hàm mất mát GAN nguyên bản nhằm nâng cao tính ổn định khi tối ưu; đồng thời khẳng định việc tích hợp khối chú ý kết hợp ngắn hạn và dài hạn (Short+Long Term Attention) giúp mô hình kết nối ngữ cảnh từ các vùng ảnh xa một cách tự nhiên.
• Đóng góp học thuật tự ghi nhận: Nghiên cứu đã chứng minh tính khả thi của việc giải quyết bài toán thiếu hụt mẫu huấn luyện đa dạng (chỉ có một ground truth duy nhất) thông qua kiến trúc hai đường song song; triển khai thành công mô hình từ lý thuyết đến một hệ thống ứng dụng web demo hoàn chỉnh.

Các chỉ số định lượng chính dùng trong nghiên cứu được tổng hợp tại bảng dưới đây:

Độ đo	Công thức toán học sử dụng	Ý nghĩa đánh giá trong khóa luận
PSNR	$\text{PSNR} = 10 \log_{10}\left(\frac{L^2}{\text{MSE}}\right)$	Đánh giá chất lượng khôi phục tín hiệu điểm ảnh so với tín hiệu gốc; giá trị càng cao thể hiện mức độ phục hồi càng tốt
SSIM	$\text{SSIM}(x, y) = \frac{(2\mu_x\mu_y + C_1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)}$	Đo lường mức độ tương đồng nhận thức về cấu trúc, độ chói và độ tương phản giữa ảnh sinh và ảnh gốc
L1 Loss	$\text{L1} = \frac{1}{N} \sum |I_{true} - I_{predicted}|$	Kiểm tra sai số chênh lệch tuyệt đối trung bình giữa các giá trị pixel dự đoán và pixel thực tế

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế cụ thể dựa trên điều kiện thực nghiệm thực tế:

• Quá trình huấn luyện bị ràng buộc bởi giới hạn phần cứng (sử dụng tài nguyên GPU Tesla K80 với 12GB RAM trên Google Colab), dẫn đến kích thước lô huấn luyện (batchSize) phải giữ ở mức nhỏ (8 trên CelebA-HQ và 16 trên ImageNet) và kích thước ảnh bị giới hạn ở độ phân giải cắt mẫu 256x256 pixels, chưa thể tận dụng tối đa độ phân giải gốc 1024x1024 của tập CelebA-HQ.
• Đối với tập dữ liệu ImageNet có ngữ cảnh cảnh quan tự nhiên phức tạp và đa dạng về góc nhìn, độ đồng nhất cấu trúc của các ảnh sinh ra đôi khi còn chưa đạt được độ sắc nét lý tưởng như trên tập ảnh khuôn mặt CelebA-HQ.

Các hướng mở rộng được tác giả đề cập bao gồm:

• Mở rộng quy mô thực nghiệm trên các hệ thống tính toán có cấu hình phần cứng và dung lượng bộ nhớ lớn hơn nhằm huấn luyện trên độ phân giải cao hơn.
• Cải tiến cấu trúc mạng nơ-ron và cơ chế chú ý (attention mechanism) để nâng cao chất lượng phục hồi đối với các cảnh tự nhiên có cấu trúc phức tạp.
• Tối ưu hóa thuật toán suy luận để gia tăng tốc độ tạo ảnh trong ứng dụng thực tế.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo có giá trị học thuật và kỹ thuật thực hành rõ ràng:

• Đối tượng hưởng lợi: Sinh viên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Công nghệ Thông tin đang thực hiện đồ án hoặc nghiên cứu chuyên sâu về các mô hình học sâu sinh ảnh (Generative Models), kiến trúc mạng GAN và VAE.
• Phần nội dung đáng tham khảo:
  • Chương 2 và Chương 3 cung cấp bản tổng hợp lý thuyết toàn diện, rõ ràng về sự phát triển từ Autoencoder sang VAE, GAN và cơ chế hoạt động của mô hình hai đường song song cùng kỹ thuật thiết kế hàm mất mát đa thành phần.
  • Chương 4 cung cấp bảng tham số huấn luyện chi tiết, quy trình tiền xử lý phân tách tập dữ liệu và cách thức xây dựng ứng dụng web demo bằng Flask tích hợp với PyTorch, rất hữu ích cho các dự án nghiên cứu mang tính thực nghiệm và triển khai mẫu thử.

Câu hỏi thường gặp

1. Khóa luận giải quyết thách thức chỉ có một ảnh gốc (ground truth) duy nhất cho mỗi ảnh huấn luyện bằng cách nào?

Nhóm tác giả sử dụng kiến trúc mạng hai đường song song (Two-parallel path network). Đường tái tạo sử dụng toàn bộ ảnh gốc $I_g$ để học phân phối không gian tiềm ẩn và tái thiết lập lại bức ảnh. Đường sinh chỉ tiếp nhận ảnh bị che $I_m$ và điều chỉnh phân phối tiềm ẩn của nó khớp với phân phối học được từ đường tái tạo thông qua độ đo phân kỳ Kullback-Leibler (KL Divergence). Nhờ đó, tại giai đoạn suy luận, mô hình có thể lấy mẫu ngẫu nhiên từ không gian tiềm ẩn này để sinh ra nhiều kết quả tái tạo khác nhau mà không cần nhiều ảnh ground truth cho cùng một hình ảnh.

2. Hàm mất mát tổng hợp của mô hình gồm những thành phần nào và vai trò của từng thành phần là gì?

Hàm mất mát tổng thể $\mathcal{L}$ gồm 3 nhóm thành phần chính:

• Distributive Regularization Loss: Sử dụng phân kỳ KL nhằm kiểm soát và điều chỉnh tính nhất quán giữa các cặp phân phối xác suất trong không gian tiềm ẩn của đường tái tạo và đường sinh, tránh hiện tượng quá khớp.
• Appearance Matching Loss: Tính khoảng cách $L_1$ giữa ảnh sinh và ảnh gốc, đảm bảo tính khớp nối chính xác về mặt thị giác tại các điểm ảnh nhìn thấy được ($I_m$) và nội dung ngữ nghĩa tổng thể.
• Adversarial Loss: Áp dụng công thức mất mát bình phương tối thiểu từ LSGAN thông qua hai mạng phân biệt ($D_1$ và $D_2$), giúp phân biệt tính chân thực của ảnh và buộc mạng sinh tạo ra các chi tiết sắc nét, tự nhiên.

3. Tập dữ liệu thực nghiệm CelebA-HQ và ImageNet được phân chia với quy mô như thế nào?

• Tập CelebA-HQ: Gồm tổng cộng 30.000 ảnh chân dung độ phân giải cao 1024x1024, được chia thành 28.000 ảnh cho tập huấn luyện (Train) và 2.000 ảnh cho tập kiểm thử (Test).
• Tập ImageNet: Sử dụng tập ILSVRC 2012 với 20.000 ảnh trích xuất phục vụ huấn luyện, và tập kiểm thử ILSVRC 2017 gồm 1.000 ảnh; các ảnh có độ phân giải gốc 500x334 pixels và được cắt chuẩn về kích thước 256x256 trong quá trình huấn luyện.

4. Ứng dụng demo của khóa luận được xây dựng dựa trên công nghệ nào?

Chương trình ứng dụng demo được phát triển dưới dạng ứng dụng web, sử dụng framework Flask (Python) ở phía backend để điều phối, kết hợp cùng thư viện PyTorch (chạy trên môi trường CPU) để thực hiện suy luận mô hình, cùng các thư viện xử lý ảnh phụ trợ bao gồm OpenCV, Pillow, Scikit-learn, NumPy và SciPy.

5. Khóa luận sử dụng các độ đo định lượng nào để đánh giá chất lượng ảnh tái tạo?

Nghiên cứu sử dụng 3 độ đo tiêu chuẩn trong xử lý ảnh số:

• PSNR (Peak Signal-to-Noise Ratio): Đo tỉ số tín hiệu cực đại trên nhiễu thông qua hàm sai số toàn phương trung bình (MSE).
• SSIM (Structural Similarity Index Measure): Đánh giá độ tương đồng nhận thức về mặt cấu trúc, độ chói và độ tương phản giữa ảnh phục hồi và ảnh gốc.
• L1 Loss: Đo tổng độ lệch tuyệt đối giữa các giá trị điểm ảnh của ảnh dự đoán và ảnh thực tế.

Kết luận

Khóa luận tốt nghiệp của sinh viên Trần Hoàng Huy và Nguyễn Tấn Phát đã nghiên cứu và triển khai thành công mô hình học sâu sử dụng mạng GAN hai đường song song cho bài toán tái tạo vùng ảnh bị mất. Bằng việc kết hợp hài hòa giữa VAE và GAN cùng hàm mất mát bình phương tối thiểu LSGAN, mô hình đã khắc phục được hạn chế sinh kết quả đơn lẻ của các phương pháp truyền thống, tạo ra nhiều biến thể tái tạo hợp lý về mặt ngữ nghĩa trên hai tập dữ liệu CelebA-HQ và ImageNet. Mặc dù còn chịu một số giới hạn về mặt phần cứng thực nghiệm và độ phân giải hình ảnh, công trình đã thể hiện phương pháp tiếp cận khoa học chặt chẽ, đóng góp một giải pháp khả thi và hoàn thiện một ứng dụng web demo có tính tương tác cao.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN Đặt van đề Ngày nay, các thuật toán thuộc lĩnh vực tái tạo hình ảnh xuất hiện ngày càng phổ biến. Những thuật toán này ngày càng được cải tiến và mang lại độ chính xác cao. Tuy nhiên hầu hết các phương pháp tái tạo vùng ảnh bị mắt hiện nay đều chỉ cho ra một kết quả. Việc này dẫn đến sự hạn ché vẻ tinh da dạng ở nội dung ngữ nghĩa của mỗi ảnh kết quả.

Trong bài báo cáo này, chúng tôi sẽ giới thiệu về một phương pháp tái tạo vùng ảnh mới, phát triển dựa trên các thuật toán tái tạo vùng ảnh đã có, và mang lại kết quả đầu ra đa dạng. TỔNG QUAN 11 Giới thiệu bài toán 1.1 Mô ta: Mục đích của bài toán là thay thé phan bi mắt của hình anh sao cho ý nghĩa của phan bị mat ấy phù hợp với ý nghĩa toàn cục của hình ảnh và tạo ra được đa dang kết quả hơn. se Dau vào: Ảnh có phan cần tái tạo. Trong bài toán này phần cần tái tạo là phần có ý nghĩa sai lệch hoặc không mong muốn với hình ảnh được tạo ra bởi con người nhằm mục đích xoá hay thay thế phần cần tái tạo ấy.

© Dau ra: Tập các ảnh đã được thay thé phan cần tái tạo Input roy _—e HINH 1.1: Minh hoa input va output cua bai toan. TỔNG QUAN Input Mô hình dự đoán HÌNH 1.2: Minh họa input và output của bài toán.12 Giới han: s Tập dt liệu: - Nội dung khuôn mặt: Celeb-A HQ. — Nội dung tự nhiên: ImageNet. TỔNG QUAN 12 Nhung thách thức Thông thường bài toán tái tạo hình ảnh bị mat sẽ gặp các khó khăn sau: ® Nội dung của ảnh sinh ra từ mô hình phải phù hợp với nội dung ý nghĩa dựa trên bồi cảnh tổng thể của ảnh ® Đảm bảo được tính liên tục giữa phần không tái tao và phan tái tạo khiến chúng nhìn một cách tự nhiên hơn ¢ Tái tạo phan cần tái tạo sao cho nội dung của phan cần tái tạo mang tính trực quan cho phần bị thiếu.

Để đánh giá phần tái tạo với phần không cần tái tạo thì đều phải thông qua cảm quan của con người. Tuy nhiên với cảm quan của người có thể vẫn chưa đủ. Có thể có người đồng ý với kết quả và cũng có những người không đồng ý với kết quả đó. Mục tiêu của chúng tôi trong bài toán này là làm sao để có thể tạo ra càng nhiều ảnh đầu ra càng tốt để có thể phù hợp với ý kiến của mọi người và mang tính rộng rãi ý nghĩa của phần cần tái tạo.

Vì vậy mục đích của bài toán này sẽ là càng tạo ra càng nhiều phần tái tạo cùa ảnh càng tốt và chúng sẽ mang ý nghĩa khác nhau sao cho phù hợp với phần không bị che.3 Phạm vi nghiên cứu: Trong phạm vi thực hiện khoá luận này thì chúng tôi sẽ tập trung vào cách có thể tái tạo phần ảnh cần được tái tạo và có thể tạo ra càng nhiều trường hợp đầu ra và mang ý nghĩa phù hợp với tổng thể hình ảnh càng tốt.4 Phương pháp nghiên cứu: Phương pháp tổng luận: Phương pháp này dùng để định hướng nghiên cứu các vấn đề liên quan đến bài toán tái tạo vùng ảnh bị mắt. Việc khảo sát tổng luận giúp chúng tôi nhận biết được các ưu, nhược điểm của mô hình, vấn đề nào vẫn còn đang là thách thức của bài toán nhờ đó có thể làm định hướng để tìm các tài liệu liên quan. Phương pháp máy học: Phương pháp này dùng để nghiên cứu phân tích mô hình mạng học sâu. chúng tối sẽ nghiên cứu về kiến trúc mạng GAN hai đường song song kèm theo các độ đo đánh giá đầu ra mô hình như SSIM, PNSR và L1.

Phương pháp xử lý ảnh: Phương pháp này dùng để tiền xử lý hinh ảnh nhằm mục đích huấn luyện và thử nghiệm mô hình, hình sẽ được áp lên một layer nhằm che một phần của hình ảnh. Phương pháp thống kê: Phương pháp này dùng để đánh giá tổng thể các đầu ra của ảnh và kết quả tổng thể của mô hình. Phương pháp thực nghiệm: Phương pháp này dùng để thu thập dữ liệu, huấn luyện và đánh giá mô hình.5 Mục tiêu khóa luận Mục tiêu chính của khóa luận này là: © Xác định các thông tin cơ bản, thách thức và các van dé cần đặt ra cho bài toán. © Tìm hiểu kĩ thuật tái tao vùng ảnh bị mat và ứng dụng của GAN hai đường song song vào bài toán tái tạo vùng ảnh bị mắt.

® Cai đặt kĩ thuật tái tao lại vùng anh bị mat từ tập dữ liệu ảnh D và vùng r cần tái tạo. s® Ước lượng, đánh giá độ phù hợp của nội dung vùng r đã tái tạo với nội dung của ảnh. ¢ Rút ra ưu, nhược điểm của các phương pháp và cách khắc phục trong tương lai.6 Câu trúc Khóa luận Nội dung Khóa luận tốt nghiệp được tổ chức như sau: Chương} Giới thiệu tổng quan vẻ khóa luận. Trình bày tổng quan về lý do chon dé tài, nội dung, mục tiêu và phương pháp thực hiện khoá luận Chương|2 Những nghiên cứu liên quan.

Trong chương này sẽ trình bày các nghiên cứu, bài toán liên quan đến lĩnh vực tái tạo vùng ảnh bị mat Chuong|3} Hướng tiếp cận trong khoá luận. Trình bày hướng tiếp cận nghiên cứu của khoá luận, đưa ra cơ sở lí thuyết và mô hình bài toán. Chương [4| Thực nghiệm Trình bày môi trường thực nghiệm, tập dữ liệu,Phương pháp huấn luyện mô hình, Quá trình cài đặt chương trình, phương pháp đánh giá và kết quả thực nghiệm. Chuong|5} Kết luận Trình bày ưu, nhược điểm của mô hình và hướng phát triển của khóa luận.

Chương 2 NHỮNG NGHIÊN CỨU LIÊN QUAN Những nghiên cứu hiện tại về tái tạo ảnh sử dụng thông tin bên trong hình ảnh đầu vào hoặc thông tin từ một tập dữ liệu hình ảnh lớn i0, [24] 34], hầu hết các phương pháp này sẽ chỉ tạo ra một kết quả đầu ra cho mỗi hình ảnh đầu vào.1 Intra-Image Completion Tái tạo ảnh bằng phương pháp nội suy truyền thống, chẳng hạn như phương pháp dựa trên sự khuếch tán của chỉ tiết trong ảnh và phương pháp dựa trên các bản vá nền B|, giả sử rằng các vùng cần tái tạo ảnh chia sẻ nội dung tương tự với các vùng có thể nhìn thấy xung quanh; do đó họ sẽ trực tiếp khớp, sao chép và thiết kế lại các bản vá nền để tái tạo lại vùng ảnh. Các phương pháp này hoạt động tốt để tái tạo lại nền ảnh. NHỮNG NGHIÊN CUU LIÊN QUAN HINH 2.1: Vi du xoá vat thé dung phuong phap image inpainting 2.2 Inter-Image Completion Dé tạo ra nội dung mới về mặt ngữ nghĩa, việc tái tạo liên hình ảnh sẽ mượn thông tin từ một tập dt liệu lớn. Hays và Efros đã trình bày một phương pháp tái tạo hình ảnh bằng cách sử dụng hàng triệu hình ảnh, trong đó hình ảnh giống nhất với đầu vào bị che được truy xuất và các vùng tương ứng được chuyển.

Tuy nhiên, điều này đòi hỏi sự phù hợp theo ngữ cảnh cao, điều này không phải lúc nào cũng có sẵn. Gan day, các phương pháp tiếp cận dựa trên học tập đã được dé xuất. Các công trình ban đầu tập trung vào các lỗ nhỏ và mỏng. Tiếp theo là một số phương pháp dựa trên CNN, bao gồm sự kết hợp giữa độ đo toàn cục và cục bộ của điscriminators như là adversarial loss [H1], xác định các đặc điểm gần nhất trong không gian tiềm ẩn của hình ảnh bị che [32], sử dung các nhãn ngữ nghĩa để hướng dẫn mạng hoàn chỉnh [28], giới thiệu sự mắt phân tích khuôn mặt bổ sung để tái tạo khuôn mặt q9, và thiết kế các phức hợp cụ thể để giải quyết các lỗ không đều [20| 33].

Một nhược điểm chung của các phương pháp này là chúng thường tạo ra cấu trúc méo mó và kết cầu mờ không phù hợp với vùng nhìn thấy, đặc biệt là đối với các lỗ lớn. NHỮNG NGHIÊN CUU LIÊN QUAN HÌNH 2.2: Ví dụ phương pháp tái tạo hình ảnh bằng cách sử dụng hàng triệu hình ảnh. Combined Intra and Inter-Image Completion Một phương pháp kết hợp để khắc phục những van dé của 2 nghiên cứu trên, Yang và cộng sự [31] đề xuất phương pháp tổng hợp bản vá nơ-ron đa quy mô, tạo ra các chỉ tiết có tần số cao bằng cách sao chép các bản vá từ tính năng ở lớp giữa. Tuy nhiên, việc tối ưu hoá này rất tốn kém về mặt tính toán.

Gần đây hơn, một số nghiên cứu đã khai thác sự chú ý về không gian để có được các chỉ tiết có tần số cao. Yu và cộng sự trình bày một lớp chú ý theo ngữ cảnh để sao chép các đặc điểm tương tự từ các vùng có thể nhìn thấy vào các vùng cần tái tạo. Yan và cộng sự [30] và Song và cộng sự [27] đề xuất ý tưởng tương tự thuật toán PatchMatch trên miễn tính năng. Tuy nhiên, các phương pháp này xác định các tính năng tương tự bằng cách so sánh các đặc điểm của vùng cần tái tạo và đặc điểm của các vùng nhìn thấy, điều này hơi mâu thuẫn vì việc chuyển đối tượng là không cần thiết khi hai đối tượng rất giống nhau, nhưng khi cần các đặc điểm lại quá khác nhau để có thể khớp dễ dàng.

Hơn nữa, thông tin ở xa không được sử dụng cho nội dung mới khác với các vùng có thể nhìn thấy. Mô hình của chúng tôi sẽ giải quyết van dé này bằngcách mở rộng sự chú ý của bản thân [34] để khai thác bối cảnh phong phú. NHỮNG NGHIÊN CUU LIÊN QUAN 2.4 Image Generation Việc tạo hình anh đã tiến triển đáng kể bang cách sử dụng các phương pháp như bộ mã hóa tự động và mạng đối nghịch tạo sinh [9]. Chung đã được áp dụng cho các tác vụ tạo ảnh có điều kiện, chẳng hạn như dịch ảnh 12], tổng hợp thành hiện thực [36], du doan tuong lai va mô hình 3D (23).

Có lẽ phù hop nhất là bộ mã hóa tự động biến đổi có điều kiện (CVAE) và CVAE-GAN [2], nhưng chúng không được nhắm mục tiêu đặc biệt để hoàn thành hình ảnh. Các phương pháp dựa trên CVAE hữu ích nhất khi các nhãn có điều kiện ít và rời rạc, và có đủ các phiên bản huấn luyện cho mỗi nhãn. Một số công trình gần đây sử dụng chúng trong dịch hình ảnh có thể tạo ra đầu ra đa dạng [88/17], nhưng trong những trường hợp như vậy, ánh xạ mâu theo điều kiện có tính cục bộ hơn (ví dụ pixel-to-pixel) và chỉ thay đổi hình thức trực quan.