Khóa luận tốt nghiệp khoa học máy tính tái tạo ảnh độ phân giải cao từ ảnh đơn bằng cách ước tính kernel blur sử dụng mô hình khuếch tán

Khóa luận tốt nghiệp khoa học máy tính tập trung tái tạo ảnh độ phân giải cao từ ảnh đơn bằng cách ước tính kernel blur sử dụng mô hình khuếch tán hiệu quả.

• Tác giả: Hoàng Viễn Duy
• Người hướng dẫn: TS. Nguyễn Vinh Tiệp
• Trường học: Đại học Công nghệ Thông tin
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Tái tạo ảnh độ phân giải cao từ ảnh đơn bằng mô hình khuếch tán và ước tính kernel blur
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tính ứng dụng
• 1.2. Thách thức
• 1.3. Mục tiêu
• 1.4. Đóng góp chính của đề tài
• 1.5. Bố cục đề tài
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH LIÊN QUAN
• 2.1. Tổng quan
• 2.2. Tổng quan về Siêu phân giải
• 2.2.1. Siêu phân giải
• 2.2.2. Blind Super-resolution
• 2.3. Tổng quan về mô hình tạo sinh
• 2.3.1. Mạng đối kháng tạo sinh
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT DIP-DKP
• 3.1. Tiên nghiệm Kernel dựa trên Mô hình Khuếch tán
• 3.1.1. Lý thuyết về Mô hình Khuếch tán
• 3.1.2. Tiên nghiệm kernel dựa trên Mô hình Khuếch tán
• 3.2. Kết hợp DKP với Double-DIP
• 3.2.1. Mô hình Double-DIP
• 3.2.2. Đề xuất mô hình DIP-DKP
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Tổng quan
• 4.2. Dữ liệu
• 4.2.1. Dữ liệu huấn luyện cho DKP
• 4.2.2. Dữ liệu cho mô hình DIP-DKP
• 4.3. Sinh kernel từ DKP
• 4.3.1. Cài đặt DKP
• 4.3.2. Sinh ảnh SR từ mô hình DIP-DKP
• 4.3.3. Kết quả thí nghiệm
• 5. CHƯƠNG 5: KẾT LUẬN
• 5.1. Kết quả đạt được của đề tài
• 5.2. Hướng phát triển trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tái tạo ảnh độ phân giải cao từ ảnh đơn

Tái tạo ảnh độ phân giải cao từ ảnh đơn là một bài toán quan trọng trong lĩnh vực xử lý ảnh. Phương pháp này nhằm biến đổi ảnh có độ phân giải thấp (LR) thành ảnh có độ phân giải cao (HR) thông qua các kỹ thuật tiên tiến. Mô hình khuếch tán và ước tính kernel blur được sử dụng để cải thiện chất lượng ảnh, giúp khôi phục ảnh một cách hiệu quả. Bài toán này có ứng dụng rộng rãi trong các lĩnh vực như y tế, vũ trụ, và nhận dạng hình ảnh.

1.1. Ứng dụng trong y tế và vũ trụ

Trong lĩnh vực y tế, tái tạo ảnh độ phân giải cao giúp cải thiện chất lượng hình ảnh MRI và CT, hỗ trợ chẩn đoán chính xác hơn. Trong lĩnh vực vũ trụ, ảnh vệ tinh có độ phân giải cao giúp phân tích chi tiết các đối tượng từ xa. Nâng cao chất lượng ảnh là yếu tố then chốt để tăng hiệu quả trong các bài toán phân tích ảnh và nhận dạng đối tượng.

1.2. Thách thức trong tái tạo ảnh

Một trong những thách thức lớn là việc ước tính kernel blur chính xác. Kernel blur là yếu tố ảnh hưởng trực tiếp đến chất lượng ảnh tái tạo. Mô hình khuếch tán được đề xuất để giải quyết vấn đề này, giúp tạo ra các kernel gần với thực tế nhất. Tuy nhiên, việc huấn luyện mô hình này đòi hỏi nhiều tài nguyên và thời gian.

II. Mô hình khuếch tán và ước tính kernel blur

Mô hình khuếch tán là một phương pháp tiên tiến trong xử lý ảnh, sử dụng chuỗi Markov để chuyển đổi từ phân phối Gaussian thành kernel. Phương pháp này giúp ước tính kernel blur một cách chính xác, từ đó cải thiện chất lượng ảnh tái tạo. Kỹ thuật khử nhiễu và tối ưu hóa ảnh được áp dụng để đảm bảo ảnh đầu ra có độ nét cao và ít nhiễu.

2.1. Nguyên lý hoạt động của mô hình khuếch tán

Mô hình khuếch tán hoạt động dựa trên quá trình thêm và loại bỏ nhiễu trong ảnh. Quá trình này giúp tạo ra các kernel gần với thực tế, hỗ trợ phục hồi ảnh hiệu quả. Phương pháp này được đánh giá cao nhờ khả năng tạo ra ảnh có độ phân giải cao với ít vòng lặp huấn luyện.

2.2. So sánh với các phương pháp truyền thống

So với các phương pháp truyền thống như GANs và VAEs, mô hình khuếch tán cho kết quả ảnh tái tạo tốt hơn và ổn định hơn. Đặc biệt, phương pháp này giúp giảm thiểu hiện tượng nhiễu và biến dạng trong ảnh, đảm bảo chất lượng ảnh đầu ra cao hơn.

III. Phương pháp đề xuất và kết quả thực nghiệm

Phương pháp đề xuất trong nghiên cứu này là DIP-DKP, kết hợp mô hình khuếch tán và Deep Image Prior để ước tính kernel blur và tái tạo ảnh độ phân giải cao. Kết quả thực nghiệm cho thấy, phương pháp này vượt trội so với các mô hình hiện có về độ chính xác và tốc độ huấn luyện.

3.1. Kết quả ước tính kernel

DIP-DKP cho kết quả ước tính kernel chính xác hơn so với các phương pháp truyền thống. Điều này giúp cải thiện đáng kể chất lượng ảnh tái tạo, đặc biệt trong các bài toán blind-SR. Phương pháp này cũng giảm thiểu thời gian huấn luyện và số vòng lặp cần thiết.

3.2. Ứng dụng thực tế

Phương pháp DIP-DKP có thể ứng dụng trong nhiều lĩnh vực như y tế, vũ trụ, và an ninh. Khả năng tái tạo ảnh độ phân giải cao từ ảnh đơn giúp cải thiện hiệu quả trong các bài toán phân tích ảnh và nhận dạng đối tượng. Đây là một bước tiến quan trọng trong công nghệ xử lý ảnh hiện đại.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Xử lý ảnh và Thị giác Máy tính, độ phân giải không gian đóng vai trò quyết định đến khả năng biểu diễn thông tin chi tiết của các đối tượng. Việc nâng cao chất lượng hình ảnh từ các thiết bị thu nhận có ý nghĩa thực tiễn to lớn trong nhiều ngành khoa học kỹ thuật, tiêu biểu như ảnh chụp viễn thám vệ tinh (nơi khoảng cách địa lý lớn và hiện tượng chồng chéo vật thể gây suy giảm thông tin nghiêm trọng) hay ảnh chẩn đoán y tế kỹ thuật số như CT và MRI (nơi việc tăng độ phân giải trực tiếp từ cảm biến bị giới hạn bởi thời gian quét và liều lượng tia phóng xạ tác động lên bệnh nhân). Bài toán Siêu phân giải từ ảnh đơn (Single Image Super-Resolution - SISR) được nghiên cứu nhằm phục hồi ảnh có độ phân giải cao (High Resolution - HR) từ một ảnh đầu vào có độ phân giải thấp (Low Resolution - LR).

Phần lớn các nghiên cứu SISR truyền thống và học sâu thời kỳ đầu đều dựa trên giả định rằng ảnh LR được tạo thành thông qua phép lấy mẫu xuống bicubic cố định từ ảnh HR. Tuy nhiên, trong môi trường thực tế, ảnh bị suy thoái bởi nhiều tác nhân phức tạp chưa biết trước như chuyển động mờ, quang sai cảm biến, nén dữ liệu và nhiễu ngẫu nhiên. Sự khác biệt giữa mô hình suy giảm giả định và thực tế dẫn đến hiện tượng suy giảm hiệu năng nghiêm trọng khi áp dụng mô hình vào thực tế. Nhánh nghiên cứu Siêu phân giải không tường minh (Blind Super-Resolution - Blind-SR) mô hình hóa quá trình làm hỏng ảnh theo công thức:

$$y = (x \otimes k)\downarrow_s + n$$

Trong đó, $y$ là ảnh LR quan sát được, $x$ là ảnh HR cần khôi phục, $k$ là hạt nhân làm mờ (kernel blur), $\downarrow_s$ là phép lấy mẫu xuống với tỉ lệ $s$, và $n$ là nhiễu cộng. Do cả $x$ và $k$ đều chưa biết, việc ước tính chính xác kernel $k$ là điều kiện tiên quyết để khôi phục thành công ảnh HR.

Các mô hình ước tính kernel trước đó bộc lộ nhiều hạn chế: các phương pháp tối ưu hóa dựa trên Normalizing Flows (như Flow-based Kernel Prior - FKP) có cấu trúc ràng buộc khả nghịch chặt chẽ, dẫn đến tốc độ huấn luyện chậm, khó hội tụ và kernel sinh ra vẫn chứa nhiều nhiễu. Trong khi đó, Mô hình Khuếch tán (Diffusion Models) phát triển mạnh mẽ từ năm 2020 đã chứng minh ưu thế vượt trội trong bài toán sinh dữ liệu nhưng chưa từng được áp dụng để học phân phối tiên nghiệm cho kernel suy thoái.

Mục tiêu và nhiệm vụ nghiên cứu:

1. Nghiên cứu cơ sở lý thuyết của Mô hình Khuếch tán và xây dựng mô hình tiên nghiệm kernel dựa trên Mô hình Khuếch tán (Diffusion-based Kernel Prior - DKP) nhằm mô phỏng chính xác phân phối kernel làm mờ thực tế.
2. Thiết kế kiến trúc tích hợp DIP-DKP, kết hợp mô-đun DKP với mô hình Deep Image Prior (DIP) và mạng khôi phục không tường minh (USRNet) để tối ưu hóa đồng thời việc ước lượng kernel và tái tạo ảnh HR.
3. Cài đặt thực nghiệm, đánh giá hiệu năng định lượng và định tính của DKP so với FKP và các mô hình Blind-SR tiên tiến trên các tập dữ liệu chuẩn.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Bài toán ước lượng hạt nhân làm mờ (kernel blur estimation) và bài toán siêu phân giải ảnh đơn không tường minh (Blind SISR).
• Phạm vi nghiên cứu:
  • Về dữ liệu: Huấn luyện DKP trên tập kernel Gaussian dị hướng (anisotropic Gaussian kernels); đánh giá mô hình trên 4 tập dữ liệu benchmark chuẩn gồm Set5, Set14, BSD100 và Urban100 với hệ số phóng đại $\times 4$.
  • Về môi trường thực nghiệm: Cài đặt và đo đạc hiệu năng tính toán trên phần cứng GPU NVIDIA GeForce RTX 2080Ti.

Cơ sở lý thuyết và phương pháp

Khóa luận được xây dựng trên nền tảng lý thuyết Cực đại hóa hậu nghiệm (Maximum A Posteriori - MAP) kết hợp cùng lý thuyết mô hình tạo sinh xác suất khuếch tán:

• Khung lý thuyết Cực đại hóa hậu nghiệm (MAP): Bài toán Blind-SR được mô hình hóa thành việc tối thiểu hóa hàm mục tiêu kết hợp ràng buộc dữ liệu và các tri thức tiên nghiệm: $${x^, k^} = \arg \min_{x, k} |y - (x \otimes k)\downarrow_s|^2 + \lambda \Phi(x) + \gamma \Omega(k)$$ Trong đó, $\Phi(x)$ đại diện cho tiên nghiệm cấu trúc ảnh tự nhiên (được tham số hóa thông qua mạng Deep Image Prior - DIP), và $\Omega(k)$ là tiên nghiệm phân phối của hạt nhân làm mờ.

• Lý thuyết Mô hình Khuếch tán (Denoising Diffusion Probabilistic Models - DDPM): Quá trình sinh dữ liệu được định nghĩa thông qua hai chuỗi Markov liên tục:

  • Quá trình khuếch tán xuôi (Forward diffusion process): Từng bước thêm nhiễu Gaussian vào kernel ban đầu $k_0$ qua $T$ bước thời gian theo lịch trình phương sai ${\beta_t}{t=1}^T$: $$q(k_t | k{t-1}) = \mathcal{N}(k_t; \sqrt{1 - \beta_t}k_{t-1}, \beta_t \mathbf{I})$$
  • Quá trình khuếch tán ngược (Reverse diffusion process): Khử nhiễu từng bước từ vector ngẫu nhiên $k_T \sim \mathcal{N}(0, \mathbf{I})$ về $k_0$ thông qua mạng nơ-ron U-Net xấp xỉ phân phối $p_\theta(k_{t-1} | k_t)$.
  • Cải tiến mô hình: Tác giả áp dụng kỹ thuật lịch trình thêm nhiễu dạng hàm cos (cosine variance schedule) để hạn chế việc phá hủy thông tin quá nhanh ở các bước đầu, đồng thời tối ưu hóa thuật toán lấy mẫu để giảm thiểu thời gian suy diễn.

• Phương pháp nghiên cứu:

  • Phương pháp thực nghiệm học sâu: Xây dựng mạng U-Net để học phân phối kernel không giám sát bằng cách tối ưu hàm mất mát rút gọn $\mathcal{L}{\text{simple}}(\theta) = \mathbb{E}{t, k_0, \epsilon} [|\epsilon - \epsilon_\theta(k_t, t)|^2]$.
  • Phương pháp tối ưu hóa lặp: Đóng băng trọng số DKP đã huấn luyện và lặp lại quá trình tối ưu biến ngầm kết hợp với mạng DIP để tìm ra kernel và ảnh phục hồi tối ưu trên từng ảnh đầu vào.
  • Phương pháp đánh giá định lượng: So sánh khách quan bằng các chỉ số đo lường chất lượng ảnh chuẩn gồm Tỉ số tín hiệu trên nhiễu đỉnh (PSNR) và Chỉ số tương đồng cấu trúc (SSIM), cùng thời gian huấn luyện và số vòng lặp hội tụ.

• Nguồn dữ liệu: Tập dữ liệu kernel Gaussian tổng hợp (bao gồm các kernel dị hướng với góc xoay và độ lệch chuẩn biến thiên) dùng cho huấn luyện DKP; các tập dữ liệu ảnh tự nhiên chuẩn quốc tế Set5, Set14, BSD100 và Urban100 dùng cho kiểm thử.

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương mở đầu trình bày tổng quan về tầm quan trọng của ảnh độ phân giải cao trong các lĩnh vực chuyên biệt như hàng không vũ trụ và y tế (CT, MRI). Tác giả phân tích bản chất bài toán SISR, chỉ rõ các hạn chế cốt lõi của hướng tiếp cận non-blind khi đối mặt với dữ liệu thực tế và xác định vai trò quyết định của mô-đun ước lượng kernel trong Blind-SR. Chương này cũng nêu bật tính cấp thiết của việc ứng dụng Mô hình Khuếch tán vào bài toán ước lượng kernel, xác định các mục tiêu khoa học, tóm tắt các đóng góp chính và phác thảo cấu trúc 5 chương của khóa luận.

Chương 2: Các công trình liên quan

Chương 2 cung cấp bức tranh toàn diện về lịch sử phát triển của bài toán Siêu phân giải và các mô hình tạo sinh trong học sâu:

• Tổng quan Siêu phân giải: Phân tích các kỹ thuật nội suy truyền thống (Bicubic) và các bước phát triển của mạng CNN trong SR (SRCNN, VDSR, SRResNet, SRGAN).
• Các hướng tiếp cận Blind-SR: Phân loại chi tiết thành 3 nhóm chính:
  1. Mô hình hóa sự suy giảm cụ thể (Explicit Degradation Modelling): Bao gồm các phương pháp không có mô-đun ước tính kernel (SRMD, DPSR), phương pháp lặp có mô-đun ước tính kernel (IKC, DAN), phương pháp biểu diễn không giám sát (DASR) và phương pháp học từ tập kernel thực tế (KMSR, RealSR).
  2. Mô hình hóa ảnh đơn dựa trên thống kê nội tại (Single Image Modelling with Internal Statistics): Phân tích cơ chế tự học có giám sát dựa trên tính lặp lại của các vùng ảnh nhỏ qua KernelGAN, ZSSR và DGDML-SR; chỉ ra điểm yếu của hướng tiếp cận này khi xử lý các ảnh có kết cấu đơn điệu.
  3. Mô hình hóa ngầm định (Implicit Degradation Modelling): Phân tích việc sử dụng GAN (như CinCGAN, CycleGAN) để chuyển đổi miền dữ liệu giữa ảnh thực tế và ảnh bicubic.
• Tổng quan mô hình tạo sinh: Đánh giá lý thuyết xác suất, ưu và nhược điểm của 3 họ mô hình tiêu biểu: VAEs (tối ưu chặn dưới biến phân nhưng ảnh sinh bị mờ), GANs (ảnh sắc nét nhưng huấn luyện bất ổn định và dễ bị mode collapse), và Normalizing Flows (tính toán likelihood chính xác nhưng cấu trúc mạng bị ràng buộc khắt khe bởi định thức Jacobian).

Chương 3: Mô hình đề xuất DIP-DKP

Chương 3 trình bày chi tiết đóng góp kỹ thuật cốt lõi của khóa luận:

• Lý thuyết Mô hình Khuếch tán: Trình bày chi tiết toán học của DDPM từ phương trình lan truyền tiến, kỹ thuật tái tham số hóa, công thức hậu nghiệm Bayes đến hàm mất mát $\mathcal{L}{\text{VLB}}$ và $\mathcal{L}{\text{simple}}$. Phân tích các cải tiến gồm lịch trình cosine schedule và tối ưu phương sai.
• Mô hình DKP (Diffusion-based Kernel Prior): Đề xuất việc dùng mạng U-Net học phân phối các kernel Gaussian dị hướng từ vector nhiễu. So sánh cơ chế biểu diễn của DKP với FKP, chứng minh DKP giải phóng được các ràng buộc kiến trúc khả nghịch phức tạp của Normalizing Flows.
• Kiến trúc tích hợp DIP-DKP: Thiết lập khung làm việc end-to-end kết hợp Double-DIP (sử dụng hai mạng DIP riêng biệt để biểu diễn đặc trưng ảnh và tối ưu hóa kernel) với DKP. Sau khi tối ưu hóa thành công kernel thông qua DKP, kernel này được đưa vào mô hình tái tạo USRNet để suy diễn ra ảnh HR chất lượng cao cuối cùng.

Chương 4: Thực nghiệm

Chương 4 tập trung vào việc cài đặt, tinh chỉnh và đánh giá thực nghiệm:

• Thiết lập thực nghiệm: Mô tả chi tiết quá trình sinh dữ liệu kernel Gaussian dị hướng, kỹ thuật chuẩn hóa miền giá trị kernel về khoảng $[-1, 1]$ và cấu hình mạng U-Net cho DKP.
• So sánh chi phí huấn luyện: Đối chiếu định lượng về độ phức tạp tính toán và thời gian huấn luyện giữa FKP và DKP trên cùng một hệ thống phần cứng (RTX 2080Ti).
• Đánh giá chất lượng phục hồi ảnh: Tiến hành thử nghiệm Blind-SR (tỉ lệ phóng đại $\times 4$) trên các bộ benchmark Set5, Set14, BSD100, Urban100. So sánh kết quả định lượng PSNR/SSIM của DIP-DKP với các phương pháp Baseline và SOTA cùng thời điểm (bao gồm DIP-FKP, KernelGAN + ZSSR).
• Phân tích độ nhạy: Khảo sát tác động của số bước khuếch tán ($T$) và số vòng lặp tối ưu đến độ chính xác và thời gian xử lý của mô hình.

Chương 5: Kết luận

Chương 5 tổng kết toàn bộ các kết quả lý thuyết và thực nghiệm đạt được, khẳng định tính đúng đắn của việc ứng dụng Mô hình Khuếch tán trong bài toán ước lượng kernel. Đồng thời, tác giả chỉ ra các điểm còn tồn tại và vạch ra các hướng mở rộng nghiên cứu trong tương lai.

Kết quả và đóng góp

Kết quả thực nghiệm chính

Khóa luận đã chứng minh tính hiệu quả vượt trội của mô hình DKP và hệ thống DIP-DKP thông qua các dữ liệu thực nghiệm cụ thể:

1. Hiệu quả huấn luyện mô hình tiên nghiệm kernel: Do loại bỏ được các ràng buộc tính toán định thức Jacobian phức tạp của Normalizing Flows, DKP cho thấy sự vượt trội về độ ổn định và tốc độ huấn luyện so với FKP khi đo đạc trên cùng phần cứng NVIDIA GeForce RTX 2080Ti.

Tiêu chí so sánh	FKP (Flow-based)	DKP (Đề xuất - Diffusion-based)
Kiến trúc nền tảng	Normalizing Flows	Denoising Diffusion (DDPM / U-Net)
Độ phức tạp kiến trúc	Ràng buộc khả nghịch nghiêm ngặt	Mạng tích chập U-Net linh hoạt
Thời gian huấn luyện	Chậm hơn, yêu cầu tài nguyên lớn	Nhanh hơn, quá trình hội tụ ổn định
Chất lượng kernel sinh ra	Còn xuất hiện nhiễu biên	Sạch, độ mịn cao, bám sát Ground-Truth

2. Chất lượng khôi phục ảnh Siêu phân giải (Blind-SR $\times 4$): Mô hình đề xuất DIP-DKP (kết hợp cùng USRNet) đạt kết quả vượt trội về các chỉ số PSNR và SSIM trên tất cả các tập dữ liệu thử nghiệm chuẩn (Set5, Set14, BSD100, Urban100) khi so sánh với mô hình tiền nhiệm DIP-FKP và các phương pháp dựa trên KernelGAN.

Phương pháp	Tập Set5 (PSNR/SSIM)	Tập Set14 (PSNR/SSIM)	Tập BSD100 (PSNR/SSIM)	Tập Urban100 (PSNR/SSIM)
Các phương pháp Baseline / FKP	Thấp hơn	Thấp hơn	Thấp hơn	Thấp hơn
DIP-DKP (Đề xuất)	Đạt giá trị cao nhất	Đạt giá trị cao nhất	Đạt giá trị cao nhất	Đạt giá trị cao nhất

3. Tốc độ hội tụ trong quá trình suy diễn: Trong pha tối ưu hóa lặp trên từng ảnh kiểm thử, mô hình DIP-DKP đạt được điểm hội tụ chất lượng cao với số vòng lặp ít hơn đáng kể so với DIP-FKP, giúp tiết kiệm thời gian tái tạo ảnh mà vẫn đảm bảo độ sắc nét cấu trúc.

Đóng góp khoa học của đề tài

• Đóng góp về mặt phương pháp: Là công trình đầu tiên nghiên cứu và ứng dụng thành công Mô hình Khuếch tán (Diffusion Models) vào bài toán ước lượng hạt nhân làm mờ (kernel prior) thay vì chỉ ứng dụng trong việc sinh ảnh thông thường.
• Đóng góp về mặt kiến trúc: Xây dựng thành công mô hình hợp nhất DIP-DKP, kết hợp hài hòa giữa khả năng biểu diễn không gian kernel của DKP, tri thức tiên nghiệm ảnh của Deep Image Prior và mô-đun tái tạo ảnh USRNet, thiết lập chuẩn hiệu năng mới trong nhóm mô hình Blind-SR tối ưu trên ảnh đơn.
• Đóng góp về mặt thực nghiệm: Cung cấp hệ thống đánh giá chi tiết, chứng minh DKP khắc phục triệt để các nhược điểm cố hữu của mô hình Normalizing Flows (FKP) về cả độ phức tạp tính toán, thời gian huấn luyện và độ chính xác của kernel dự đoán.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế của đề tài:

  • Không gian phân phối kernel trong nghiên cứu vẫn chủ yếu giới hạn ở các dạng kernel Gaussian dị hướng (anisotropic Gaussian), chưa bao quát toàn diện các dạng suy thoái phi tuyến tính phức tạp khác như chuyển động mờ phức tạp (motion blur) theo quỹ đạo tùy ý hoặc nhiễu phi chuẩn trong thế giới thực.
  • Quá trình suy diễn của DIP-DKP vẫn là phương pháp tối ưu hóa lặp trên từng ảnh đơn lẻ, do đó thời gian thực thi cho một bức ảnh vẫn phụ thuộc vào số bước khuếch tán và số vòng lặp cập nhật của DIP.

• Hướng nghiên cứu tiếp theo:

  • Mở rộng không gian phân phối của DKP để học và sinh các loại kernel làm mờ phức tạp hơn trong thực tế (như kernel mờ chuyển động phi Gaussian, kernel quang sai ống kính thực tế).
  • Nghiên cứu tích hợp các kỹ thuật lấy mẫu tăng tốc tiên tiến (Accelerated Sampling / DPM-Solver) cho mô hình khuếch tán nhằm rút ngắn số bước lấy mẫu kernel, từ đó giảm đáng kể độ trễ suy diễn trên từng bức ảnh.

Giá trị tham khảo

• Đối tượng tham khảo: Khóa luận là tài liệu hữu ích cho sinh viên, học viên cao học và các nghiên cứu viên thuộc các chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Xử lý Tín hiệu và Thị giác Máy tính đang theo đuổi hướng nghiên cứu về Khôi phục Ảnh (Image Restoration), Siêu phân giải (Super-Resolution) và Mô hình Tạo sinh (Generative Models).
• Nội dung giá trị:
  • Chương 2: Cung cấp hệ thống phân loại toàn diện, có tính hệ thống cao về các hướng tiếp cận Blind-SR và cơ sở toán học so sánh giữa VAE, GAN, Normalizing Flows và Diffusion Models.
  • Chương 3: Cung cấp chi tiết dẫn xuất toán học của mô hình DDPM và phương pháp luận thiết lập tri thức tiên nghiệm cho các bài toán tối ưu ngược (inverse problems).
  • Chương 4: Quy trình thực nghiệm chuẩn tắc về đo đạc thời gian, tham số tính toán và đánh giá chất lượng ảnh tái tạo trên phần cứng thực tế.

Câu hỏi thường gặp

1. Mô hình DKP khắc phục những nhược điểm cụ thể nào của mô hình FKP trước đó?
Mô hình FKP dựa trên Normalizing Flows đòi hỏi kiến trúc mạng phải có tính khả nghịch nghiêm ngặt để tính định thức Jacobian, khiến quá trình huấn luyện phức tạp, chậm chạp và kernel sinh ra dễ bị nhiễu. DKP dựa trên Mô hình Khuếch tán sử dụng mạng U-Net linh hoạt, loại bỏ hoàn toàn ràng buộc khả nghịch, giúp quá trình huấn luyện nhanh và ổn định hơn, đồng thời tạo ra kernel mượt mà và chính xác hơn.

2. Vai trò của mạng USRNet trong cấu trúc tổng thể DIP-DKP là gì?
Mạng USRNet đóng vai trò là mô-đun tái tạo ảnh cuối cùng (Reconstruction Module). Sau khi mô hình DIP-DKP hoàn tất quá trình tối ưu lặp để trích xuất được kernel làm mờ chính xác nhất từ ảnh LR, kernel này cùng với ảnh LR đầu vào sẽ được chuyển vào USRNet để sinh ra ảnh HR có chất lượng thị giác cao.

3. Vì sao tác giả sử dụng lịch trình thêm nhiễu dạng hàm cos (cosine schedule) thay cho hàm tuyến tính (linear schedule)?
Lịch trình tuyến tính truyền thống làm mức độ nhiễu tăng lên quá nhanh ở các bước đầu của quá trình khuếch tán xuôi, khiến cấu trúc dữ liệu bị phá hủy sớm và gây khó khăn cho mạng nơ-ron trong việc học cách phục hồi ở quá trình khuếch tán ngược. Lịch trình cosine giúp lượng nhiễu được thêm vào một cách mượt mà và từ từ hơn, nâng cao chất lượng kernel tạo ra.

4. Nhược điểm của hướng tiếp cận Blind-SR dựa trên Thống kê nội tại (Internal Statistics) như KernelGAN hay ZSSR là gì?
Các phương pháp này dựa trên giả định rằng các mảng ảnh nhỏ có tính chất lặp lại trên nhiều tỉ lệ kích thước khác nhau trong cùng một bức ảnh tự nhiên. Tuy nhiên, giả định này sẽ thất bại khi xử lý các bức ảnh có nội dung đơn điệu, kết cấu đồng nhất hoặc ít chi tiết lặp lại, dẫn đến việc ước tính kernel và tái tạo ảnh HR bị sai lệch.

5. Khóa luận sử dụng các bộ dữ liệu và cấu hình phần cứng nào để thực hiện các thử nghiệm?
Khóa luận sử dụng tập kernel Gaussian dị hướng tự sinh để huấn luyện DKP và sử dụng 4 tập dữ liệu chuẩn quốc tế gồm Set5, Set14, BSD100 và Urban100 cho pha kiểm thử Blind-SR với tỉ lệ phóng đại $\times 4$. Toàn bộ quá trình huấn luyện và đo đạc thời gian thực thi được tiến hành trên phần cứng GPU NVIDIA GeForce RTX 2080Ti.

Kết luận

Khóa luận tốt nghiệp của tác giả Hoàng Viễn Duy đã giải quyết thành công bài toán ước lượng hạt nhân làm mờ trong Siêu phân giải không tường minh thông qua việc đề xuất mô hình DKP dựa trên Mô hình Khuếch tán. Bằng cách tích hợp DKP vào khung làm việc DIP-DKP cùng mạng tái tạo USRNet, nghiên cứu đã vượt qua các rào cản về độ phức tạp huấn luyện và hiện tượng nhiễu kernel của các phương pháp dựa trên Normalizing Flows tiền nhiệm. Các kết quả thực nghiệm định lượng trên các tập dữ liệu chuẩn Set5, Set14, BSD100 và Urban100 đã khẳng định tính ưu việt vượt trội của phương pháp đề xuất, đóng góp một hướng tiếp cận mới đầy tiềm năng cho lĩnh vực xử lý và nâng cao chất lượng hình ảnh số.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu. Chương này sẽ giới thiệu một cách tổng quan nhất về đề tài của chúng tôi cũng như các mục tiêu và đóng góp trong đề tài này. e Chương 2: Các công trình liên quan. Chương này sẽ giới thiệu những kiến thức và những công trình liên quan tới từng phần trong đề tài của chúng tôi.

e Chương 3: Phương pháp đề xuất. Chương này sẽ trình bày chỉ tiết về phương pháp mà chúng tôi đã đề xuất e Chương 4: Thực nghiệm. Chương này chúng tôi sẽ đưa ra những kết quả thực nghiệm và quá trình chúng tôi cả thiện kết quả của mô hình e Chương 5: Kết luận. Ở chương này, chúng tôi sẽ tổng kết những gì đã làm trong đề tài và đưa ra một số cải tiến có thể thực hiện trong tương lai Chương 2 Các công trình liên quan 2.1 Tổng quan Chương này sẽ thực hiện tổng hợp về những công trình liên quan tới đề tài của chúng tôi.

Có hai phần chính bao gồm: SR và các mô hình tạo sinh. Đầu tiên chúng tôi sẽ giới thiệu về SR, bao gồm định nghĩa về SR nói chung, tiếp theo là hướng tiếp cận Blind-SR - đây chính là phần liên quan trực tiếp tới đề tài, gồm các công trình liên quan từ trước tới nay và các ưu nhược điểm của những hướng tiếp cận, phương pháp đó. Phần tiếp theo, chúng tôi sẽ giới thiệu ngắn gon về các Generative Models bao gồm VAEs, GANs va Normalizing Flows, cơ sở lý thuyết và so sánh khả năng của những mô hình đó. Day chính là nền tang để ta có thể so sánh chúng với Mô hình Khuếch tán - mô hình được đề xuất để giải quyết bài toán SR trong chương 3.2 Tổng quan về Siêu phân giải ep?e 2.1 Siêu phân giải Gần đây, Siêu phân giải (Super-resolution) là một chủ đề được quan tâm rất nhiều trong giới nghiên cứu Thị giác Máy tính.

Dù vậy, SR đã được nghiên cứu rất sớm vì tính ứng dụng thực tiễn của nó. Diễn hình như Tsai và Huang 1984 [33], Borman và Stevenson 1998 [3] và Park cùng cộng sự 2003 [26]. Hình ảnh kỹ thuật số bao gồm các phần tử được gọi là điểm ảnh. Độ phân giải không gian hình ảnh, dùng để chỉ các điểm ảnh trên một đơn vị khoảng cách.

Ví dụ: hình ảnh hai chiều (2D) có độ phân giải 0.1mm? có 5 cặp đường trên mỗi đơn vị khoảng cách (mm) cho mỗi hướng. Hình ảnh có độ phân giải cao có thể cải thiện chất lượng hình ảnh để giải thích con người và cảm nhận của máy do thể hiện nhiều chi tiết hơn. Tuy nhiên, thiết bị thu nhận hình ảnh, bao gồm các cảm biến hình ảnh, hoặc cách tạo ra bức ảnh (nhiễu JPEG, .) có thể giới hạn độ phân giải hình ảnh. Về mặt lý thuyết, mật độ cảm biến cao hơn trong thiết bị hình ảnh kỹ thuật số có thể tạo ra hình ảnh có độ phân giải cao hơn.

Trên thực tế, không dé để tăng số lượng cảm biến trên một diện tích cố định của thiết bị vì giá thành sản phẩm tăng và hạn chế của mạch tích hợp hiện nay. Các phương pháp xử lý hậu kỳ như siêu phân giải (SR) có thể khắc phục các hạn chế vật lý và cũng cải thiện độ phân giải hình ảnh. SR là quá trình ước tính hình ảnh có độ phân giải cao (HR) từ một hoặc một số hình ảnh có độ phân giải thấp (LR). Hình ảnh HR chưa biết có thể được tái tạo bằng các phương pháp siêu phân giải đa hình ảnh bằng cách sử dụng một số hình anh LR tương quan với nhau liên quan đến một bộ phương trình xác định (ví dụ: các ràng buộc tuyến tính).

Trong đề tài này, chúng tôi tập trung vào một hình ảnh siêu độ phân giải (SR) ước tính hình ảnh HR từ một hình ảnh LR tương ứng. Một số phương pháp truyền thống trước đây tập trung vào việc nội suy từ ảnh LR ban đầu như Bicubic. Tuy nhiên, kết quả của phương pháp nội suy một hình ảnh quá trơn tru vì không có thông tin bổ sung bù đắp cho sự mất mát của các thành phần tần số cao. Ta có thể xem hình 2.1 để thấy rõ việc sử dụng phương pháp nội suy khiến cho ảnh SR bị làm mượt như thế nào.

Gần đây, với ki nguyên hoc sâu bùng nổ, rất nhiều phương pháp được dựa trên CNN điển hình như Dong và cộng sự. [6] giới thiệu kiến trúc đầu tiên sử dụng mô hình học sâu để giải quyết vấn đề tái tạo ảnh HR, hướng tiếp cận học máy của bài toán này được mở rộng đáng kể, các kỹ thuật cũng tăng lên một cách đáng kinh ngạc. Kim và cộng sự [16] đề xuất mô hình trong đó ứng dụng mạng nơ ron tích chập rất sâu để tái tạo ảnh HR. Sau này, nhờ vào sự ra đời của mô hình mạng học sâu sử dụng kỹ thuật nối tắt (residual network) trong lĩnh vực phân loại hình ảnh trong bài báo [11], Ledig và cộng sự [19] đã giới thiệu kiến trúc SRResNet, một phương pháp ứng dụng mạng nối tắt để giải quyết bài toán tái tạo ảnh HR.

Hơn nữa, SRResNet còn được dùng làm thành phần của mạng sinh trong kiến trúc SRGAN - mạng GAN đầu tiên được áp dụng trong bài toán này, với mục đích tạo ra ảnh HR không chỉ có chất lượng tốt mà còn cho cảm nhận về mặt thị giác tốt hơn với người xem. RNN cũng được áp dụng 9 Hình 2.1: Nhược điểm của phương pháp nội suy. bởi [20] và [10] để tối ưu khả năng biểu diễn các ma trận đặc trưng cấp cao và giảm số lượng tham số sử dụng trong mạng. Những phương pháp kể trên chủ yêu sử dụng cặp ảnh LR-HR làm dữ liệu huấn luyện với LR thường được tạo ra bằng cách áp dụng các phép toán lấy mẫu xuống trên ảnh HR, mà tiêu biểu là phép nội suy bicubic.

Tuy nhiên, theo bài báo [30], họ muốn tạo ra dữ liệu huấn luyện mà ảnh LR bị làm giảm chất lượng bởi các yếu tố thực tế trong tự nhiên, vì vậy họ đề xuất một phương pháp tương đối phức tạp hơn bằng cách ghép hai mạng GAN với nhau. 4/ Low-resolution fff 4, High-resolution image (input) image (output) Non-linear mapping Reconstruction Hình 2.2: Kiến trúc SRCNN. Nguồn: [6] Tóm lại, các mô hình trước đây có thể được coi ba giai đoạn: trích xuất đặc trưng, ánh xạ tuyến tính và tái tạo, đây là xu hướng chủ đạo trong học sâu để giải quyết bài toán SR. Thực tế, có rất nhiều mô hình khác có điểm mạnh và 10 yếu khác nhau để có thể tái tạo ảnh SR từ ảnh LR, ngoài ra còn rất nhiều yếu tố chưa biết có thể làm giảm chất lượng ảnh sinh ra.

Ta gọi nhóm bài toán đó là blind-SR, đây là một nhánh nhỏ trong bài toán SR nói chung. Trong phần tiếp theo, chúng tôi sẽ cung cấp những hiểu biết cơ bản về những hướng tiếp cận blind-SR, bao gồm ý nghĩa và những kiến trúc tiêu biểu cho từng hướng tiếp cận đó.2 Blind Super-resolution Như đã nói ở phần trước, các công trình SR trước đây đề cập trong 2.1 tập trung vào giải quyết bài toán với nguyên nhân gây suy giảm độ phân giải đã được định nghĩa từ trước (ví dụ lấy mẫu xuống Bicubic) từ một ảnh HR tạo thành ảnh LR tương ứng. Quá trình đó được diễn giải theo công thức dưới đây: ý.1) Tuy nhiên, điều này lại không đúng với những gì xẩy ra trong thực tế, đơn giản là bởi vì có rất nhiều yếu tố có thể giảm suy giảm độ phân giải ảnh trong thế giới thực ví dụ như: Nhiễu cảm biến máy ảnh, mờ do quá trình nén ảnh, hay đơn giản là chụp bởi những thiết bị camera chất lượng thấp. Ta có thể hình dung những yếu tố trên có thể là một kernel blur và được mô tả bởi công thức sau đây: =(œ@R) bs +n, (2.2) Su khác biệt này đã tao ra khoảng cách giữa những phương pháp nghiên cứu trước đây khi đối với những hình ảnh trong thực tế.

Khiến cho các mô hình trước đây dự đoán rất tệ với đầu vào là một ảnh độ phân giải thấp trong thế giới thực. Điều này khiến cho giới nghiên cứu buộc phải thay đổi hướng tiếp cận thì mới có thể giải quyết được khoảng cách về miền dữ liệu đầu vào này. Từ đây blind-SR ra đời để có thể phá vỡ khoảng cách đó. Tới đến thời điểm hiện tại, có rất nhiều hướng tiếp cận nhưng chủ yếu là ba hướng tiếp cận sau: e Mô hình hóa sự suy giảm cu thể (Explicit degradation Modelling) e Mô hình hóa sự suy giảm an dụ (Implicit Modeling) Trong “Mô hình hóa sự suy giảm cu thé” được chia thành ba hướng tiếp cận khác: 11 e Nâng cao độ phân giải hình ảnh cu thể mà với mô-đun ước tính kernel (Image-specific Adaption with Kernel Estimation) e Nâng cao độ phan giải hình ảnh cu thể mà không có mô-đun ước tinh kernel (Image-specific Adaption without Kernel Estimation) e Mô hình hóa anh đơn lẻ với thông tin thống kê bên trong anh (Single Image Modelling with Internal Statistics) Bây giờ chúng ta sẽ tìm hiểu lần lượt từng hướng tiếp của của blind-SR.

Explicit degradation Modelling. Hướng tiếp cận này tận dung tập dữ liệu bên ngoài để huấn luyện mô hình SR sao cho chúng có thể thích nghỉ tốt với nhiều loại kernel & và nhiễu n. Thông thường, mô hình SR được xây dựng từ một mạng nơ ron tích chập và chúng sẽ ước tinh kernel k và nhiễu n cho từng ảnh LR cụ thể. Sau quá trình huấn luyện, mô hình có thể tạo ra những kết quả chính xác với những tác nhân nó đã được học ở tập huấn luyện.

Tùy thuộc vào cấu trúc của phương pháp nên chúng được chia ra hai loại nhỏ: “Image-specific adaptation without kernel estimation” và “Image-specific adaptation with kernel estimation”. (a) Kernel (Estimated) LR Input SR Output Hình 2.3: So sánh kiến trúc giữa hai hướng tiếp cận có kernel estimation hay không. Nguồn: [22| 12 Image-specific Adaption without Kernel Estimation. Super-resolution for Multiple Degradations [36] (SRMD) đưa ra đề xuất là trực tiếp ghép ảnh LR với một ban đồ suy giảm như một đầu vào thống nhất cho mô hình SR, nhờ đó cho phép điều chỉnh đặc trưng theo tác nhân làm giảm chất lượng ảnh cụ thể và bao gồm nhiều kiểu suy giảm trong một mô hình duy nhất.

Để có thể tạo ra những ban đồ suy giảm cùng kích thước với ảnh LR, một phương pháp được đề xuất được gọi là kéo giãn kích thước. Cu thể, kernel với kích thước r x r được trải thành một vector có độ dài z2 và sử dung PCA để giảm xuống t-chiéu để có được mã hóa của kernel.