Luận văn thạc sĩ về học sâu cho bài toán siêu phân giải ảnh

Khám phá luận văn thạc sĩ về ứng dụng học sâu trong siêu phân giải ảnh, phân tích phương pháp và kết quả nghiên cứu trong khoa học máy tính.

• Tác giả: Trần Hồ Minh Thông
• Người hướng dẫn: TS. Nguyễn Đức Dũng
• Trường học: Đại học Bách Khoa - Đại học Quốc gia thành phố Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Cách Tiếp Cận Học Sâu Cho Bài Toán Siêu Phân Giải Ảnh
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2024
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT OF THESIS
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Giới thiệu bài toán siêu phân giải ảnh
• 1.2. Đề tài và động lực chọn đề tài
• 1.3. Phạm vi và mục tiêu của luận văn
• 1.4. Đóng góp của luận văn này
• 1.5. Cấu trúc căn bản của luận văn này
• 2. CHƯƠNG 2: TỔNG QUAN TÀI LIỆU
• 2.1. Khảo sát các nghiên cứu về siêu phân giải ảnh
• 2.1.1. Theo kiến trúc mô hình
• 2.1.2. Theo số lượng đầu vào được xử lý
• 2.1.3. Theo hiểu biết về loại suy giảm chất lượng trong ảnh đầu vào
• 2.2. Kỹ thuật đặt lại tham số
• 2.3. Khảo sát một số loại phép tính tập trung
• 2.3.1. Phép tính tập trung dựa trên tích vô hướng có chia tỷ lệ
• 2.3.2. Phép tính tập trung hiệu quả
• 2.4. Các độ đo của bài toán siêu phân giải ảnh
• 2.4.1. Phân loại các độ đo đánh giá chất lượng ảnh
• 2.4.2. Một số độ đo được sử dụng trong luận văn này
• 2.4.2.1. Tỉ lệ giữa tín hiệu cực đại và tín hiệu nhiễu
• 2.4.2.2. Chỉ số tương đồng về cấu trúc
• 3. CHƯƠNG 3: PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Mô hình cơ sở
• 3.2. Mô hình đề xuất
• 3.2.1. Các thành phần cơ bản của REAGen
• 3.2.1.1. Lớp tích chập đặt lại tham số được
• 3.2.1.2. Lớp tích chập theo từng kênh và đặt lại tham số được
• 3.2.1.3. Lớp tích chập theo từng điểm và đặt lại tham số được
• 3.2.1.4. Lớp tích chập tách ra được theo chiều sâu và đặt lại tham số được
• 3.2.1.5. Khối tích chập cơ bản
• 3.2.1.6. Khối trọng tâm của phép tính tập trung hiệu quả
• 3.2.1.7. Khối tập trung hiệu quả với kết nối dư thừa
• 3.2.1.8. Khối phóng to
• 3.2.2. Mạng tạo sinh đề xuất
• 3.2.3. Mạng phân biệt đề xuất
• 3.3. Quy trình huấn luyện đề xuất
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ THẢO LUẬN
• 4.1. Chi tiết quá trình thực nghiệm
• 4.1.1. Điều kiện phần cứng
• 4.1.2. Các bộ dữ liệu
• 4.1.3. Tiền xử lý dữ liệu
• 4.1.4. Các siêu tham số của quá trình huấn luyện mô hình
• 4.1.5. Cách đo thời gian xử lý
• 4.2. Kết quả huấn luyện
• 4.2.1. Đánh giá qua các độ đo chất lượng ảnh
• 4.2.2. Đánh giá trực tiếp qua các ảnh đầu ra
• 4.2.3. Đánh giá qua thời gian xử lý
• 4.2.3.1. Tác động của chuẩn hóa theo lô và chuẩn hóa theo lớp
• 4.2.3.2. Tác động của các kết nối dư thừa skip-EA-res trong khối res-EA
• 4.2.3.3. Tác động của việc chọn các trọng số φ và γ
• 4.3. Kết quả đạt được
• 4.4. Kế hoạch phát triển
• Tài liệu tham khảo

Tóm tắt

I. Giới thiệu về siêu phân giải ảnh

Bài toán siêu phân giải ảnh (image super-resolution) là quá trình tạo ra một phiên bản với độ phân giải cao hơn từ một ảnh đầu vào có độ phân giải thấp. Vấn đề này không chỉ mang tính chất lý thuyết mà còn có rất nhiều ứng dụng thực tiễn trong các lĩnh vực như y tế, giám sát an ninh và giải trí. Đặc biệt, trong bối cảnh hiện đại, nhu cầu về ảnh chất lượng cao ngày càng gia tăng, dẫn đến việc phát triển các phương pháp mới nhằm nâng cao chất lượng ảnh. Học sâu đã trở thành một công cụ mạnh mẽ trong việc giải quyết bài toán này, với khả năng khai thác các đặc điểm phức tạp trong dữ liệu hình ảnh. Những mô hình như SwiftSRGAN đã cho thấy tiềm năng của machine learning trong việc cải thiện độ chính xác và tốc độ xử lý ảnh. Tuy nhiên, mô hình này cũng gặp phải những hạn chế nhất định, đặc biệt là trong việc duy trì độ chân thực của ảnh đầu ra.

II. Tổng quan về các phương pháp hiện tại

Trong nghiên cứu về siêu phân giải ảnh, đã có nhiều phương pháp được đề xuất, phân loại theo kiến trúc mô hình, số lượng đầu vào và các kỹ thuật xử lý. Những phương pháp này bao gồm các mô hình truyền thống như bicubic interpolation đến các mô hình hiện đại dựa trên neural networks. Deep learning đã mang lại những bước đột phá, với các mô hình như SRCNN, VDSR, và gần đây là các mạng đối kháng sinh như GANs. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, nhưng điểm chung là đều hướng tới việc tạo ra ảnh có chất lượng tốt hơn. Các nghiên cứu gần đây cũng đã chỉ ra rằng việc áp dụng thuật toán học sâu có thể cải thiện đáng kể chất lượng ảnh đầu ra, đồng thời giảm thiểu thời gian xử lý.

III. Đề xuất mô hình REASRGAN

Luận văn này đề xuất một mô hình mới có tên gọi REASRGAN, được xây dựng dựa trên nền tảng của SwiftSRGAN nhưng cải tiến hơn về mặt chất lượng ảnh. Mô hình này sử dụng kỹ thuật đặt lại tham số và phép tính tập trung hiệu quả để tối ưu hóa quá trình xử lý ảnh. Kỹ thuật đặt lại tham số cho phép mô hình sử dụng một phiên bản phức tạp hơn trong quá trình huấn luyện và đơn giản hóa khi kiểm thử, đảm bảo rằng đầu ra của cả hai phiên bản là như nhau. Bên cạnh đó, việc áp dụng phép tính tập trung hiệu quả giúp cải thiện độ chính xác mà không làm tăng quá nhiều độ phức tạp tính toán. Mô hình REASRGAN đã được kiểm tra trên nhiều bộ dữ liệu công khai và cho thấy kết quả vượt trội so với các mô hình trước đó, đặc biệt khi phóng to ảnh lên 4 lần.

IV. Kết quả và thảo luận

Kết quả thử nghiệm cho thấy mô hình REASRGAN đạt được chất lượng ảnh đầu ra tốt hơn so với SwiftSRGAN trên nhiều bộ dữ liệu. Cụ thể, khi phóng to ảnh lên 2 lần, REASRGAN cho thấy sự cải thiện rõ rệt về cả PSNR và SSIM. Tuy nhiên, mô hình cũng gặp phải một số hạn chế như thời gian xử lý tăng gấp vài lần so với SwiftSRGAN. Điều này cho thấy cần có những cải tiến tiếp theo để tối ưu hóa tốc độ mà không làm giảm chất lượng ảnh. Ứng dụng học sâu trong siêu phân giải ảnh không chỉ giúp nâng cao chất lượng hình ảnh mà còn mở ra nhiều cơ hội nghiên cứu mới trong lĩnh vực computer vision và image processing.

Nội dung chính

Tổng quan nghiên cứu

Siêu phân giải ảnh (image super resolution - SR) là quá trình tạo ra phiên bản ảnh có độ phân giải cao hơn từ ảnh đầu vào có độ phân giải thấp, đồng thời giữ nguyên nội dung và đặc điểm cấu trúc của ảnh gốc. Bài toán này có ứng dụng rộng rãi trong nhiều lĩnh vực như y học, giám sát, truyền thông và xử lý ảnh vệ tinh. Theo ước tính, nhu cầu về ảnh độ phân giải cao ngày càng tăng do sự phát triển của các thiết bị hiển thị và yêu cầu phân tích hình ảnh chính xác hơn. Tuy nhiên, việc thu thập ảnh chất lượng cao trực tiếp gặp nhiều hạn chế về công nghệ và chi phí, ví dụ như trong y học, các thiết bị MRI hay CT có giới hạn về độ phân giải và thời gian chụp lâu gây khó chịu cho bệnh nhân.

Mục tiêu của luận văn là phát triển một mô hình học sâu mới cho bài toán siêu phân giải ảnh một ảnh (single-image super resolution - SISR), tập trung vào việc nâng cao chất lượng ảnh đầu ra với độ chân thực và độ chính xác cao hơn so với các mô hình hiện có. Phạm vi nghiên cứu tập trung vào ảnh thường với nội dung đa dạng, bao gồm con người, động vật, cảnh quan, trong khoảng thời gian nghiên cứu từ tháng 9 đến tháng 12 năm 2023 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số đánh giá chất lượng ảnh như PSNR, SSIM và StairIQA, đồng thời cân bằng giữa độ chính xác về nội dung và độ chân thực theo cảm nhận của con người. Kết quả nghiên cứu có thể ứng dụng trong các hệ thống xử lý ảnh, y tế, truyền thông và các lĩnh vực đòi hỏi ảnh chất lượng cao.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

1. Kỹ thuật đặt lại tham số (Reparameterization): Đây là kỹ thuật cho phép mô hình học sâu sử dụng kiến trúc phân nhánh phức tạp trong giai đoạn huấn luyện để tăng khả năng hội tụ, sau đó thu gọn thành kiến trúc phẳng đơn giản hơn trong giai đoạn kiểm thử nhằm giảm chi phí tính toán mà vẫn đảm bảo đầu ra không đổi. Kỹ thuật này giúp cân bằng giữa hiệu năng và hiệu quả tính toán.

2. Phép tính tập trung hiệu quả (Efficient Attention - EA): Là một dạng xấp xỉ của phép tính tập trung dựa trên tích vô hướng có chia tỷ lệ (scaled dot-product attention - SDPA) với độ phức tạp tính toán tuyến tính thay vì bình phương. EA giúp mở rộng vùng tiếp thu (receptive field) của mô hình ra toàn bộ ảnh mà không làm tăng đáng kể chi phí tính toán.

Các khái niệm chính bao gồm:

• Mạng tạo sinh đối nghịch (Generative Adversarial Networks - GAN): Kiến trúc gồm mạng tạo sinh (generator) và mạng phân biệt (discriminator) cạnh tranh để tạo ra ảnh siêu phân giải chân thực hơn.

• Độ đo chất lượng ảnh không tham khảo (Blind Image Quality Assessment - BIQA): Độ đo đánh giá chất lượng ảnh mà không cần ảnh gốc, trong đó StairIQA là một mô hình BIQA dựa trên mạng ResNet với kiến trúc bậc thang, mô phỏng cảm nhận của con người.

• Các chỉ số đánh giá ảnh: PSNR (peak signal to noise ratio), SSIM (structural similarity index measure) và StairIQA.

Phương pháp nghiên cứu

Nguồn dữ liệu sử dụng là các bộ dữ liệu công khai thường dùng trong bài toán siêu phân giải ảnh, bao gồm các ảnh có độ phân giải thấp và ảnh gốc chất lượng cao để đánh giá kết quả. Quá trình nghiên cứu được thực hiện theo timeline từ tháng 9 đến tháng 12 năm 2023.

Phương pháp phân tích bao gồm:

• Xây dựng mô hình REASRGAN dựa trên mô hình cơ sở SwiftSRGAN, tích hợp kỹ thuật đặt lại tham số và phép tính tập trung hiệu quả vào mạng tạo sinh (REAGen).

• Thay thế mạng phân biệt của SwiftSRGAN bằng mạng nơ-ron của độ đo StairIQA (READis) để nâng cao khả năng đánh giá độ chân thực ảnh theo cảm nhận con người.

• Áp dụng quy trình huấn luyện đa giai đoạn nhằm cân bằng sức mạnh giữa REAGen và READis, cũng như giữa độ chính xác và độ chân thực của ảnh đầu ra.

• Đánh giá kết quả qua các chỉ số PSNR, SSIM, StairIQA và thời gian xử lý trên các bộ dữ liệu thử nghiệm.

Cỡ mẫu huấn luyện và kiểm thử được lựa chọn dựa trên các bộ dữ liệu chuẩn, đảm bảo tính đại diện và độ tin cậy của kết quả. Phương pháp chọn mẫu là ngẫu nhiên từ các bộ dữ liệu công khai. Phân tích kết quả được thực hiện thông qua so sánh các chỉ số đánh giá và quan sát trực quan ảnh đầu ra.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Cải thiện chất lượng ảnh đầu ra: Mô hình REASRGAN cho kết quả PSNR và SSIM cao hơn so với SwiftSRGAN trên nhiều bộ dữ liệu khi phóng to ảnh lên 2 lần, với mức tăng khoảng 1-2 dB về PSNR và cải thiện SSIM từ 0.01 đến 0.03. Khi phóng to lên 4 lần, REASRGAN vượt trội hơn đáng kể, với PSNR tăng khoảng 2-3 dB và SSIM tăng 0.03-0.05.

2. Độ chân thực theo cảm nhận con người: Độ đo StairIQA cho thấy REASRGAN tạo ra ảnh có điểm số cao hơn SwiftSRGAN từ 5% đến 10%, phản ánh ảnh đầu ra thân thiện hơn với cảm nhận thị giác con người.

3. Thời gian xử lý: REASRGAN có thời gian xử lý tăng gấp 3-4 lần so với SwiftSRGAN do kiến trúc phức tạp hơn và việc áp dụng kỹ thuật đặt lại tham số. Ví dụ, với ảnh kích thước 640×360, thời gian xử lý của REASRGAN là khoảng 120 ms, trong khi SwiftSRGAN chỉ mất khoảng 30-40 ms.

4. Hiệu ứng phụ trong ảnh đầu ra: Một số ảnh đầu ra của REASRGAN xuất hiện các hiệu ứng xấu như nhiễu nhẹ hoặc các vùng méo mó nhỏ, tuy nhiên không ảnh hưởng nhiều đến tổng thể chất lượng ảnh.

Thảo luận kết quả

Việc tích hợp kỹ thuật đặt lại tham số giúp mô hình REASRGAN hội tụ tốt hơn trong quá trình huấn luyện, đồng thời giữ nguyên kích thước mô hình khi kiểm thử, góp phần nâng cao chất lượng ảnh đầu ra. Phép tính tập trung hiệu quả mở rộng vùng tiếp thu toàn ảnh với độ phức tạp tính toán tuyến tính, giúp mô hình nắm bắt được các mối quan hệ xa trong ảnh, từ đó cải thiện chi tiết và độ chân thực.

So với các nghiên cứu trước đây như SwiftSRGAN, REASRGAN đã cân bằng tốt hơn giữa độ chính xác và độ chân thực, khắc phục nhược điểm của SwiftSRGAN là ảnh đầu ra thiếu chân thực hoặc sai lệch chi tiết. Kết quả này phù hợp với xu hướng phát triển các mô hình GAN siêu phân giải hiện đại, đồng thời tận dụng được ưu điểm của các kỹ thuật đặt lại tham số và attention hiệu quả.

Tuy nhiên, thời gian xử lý tăng lên là một hạn chế cần được cải thiện trong các nghiên cứu tiếp theo để ứng dụng thực tế hiệu quả hơn. Các hiệu ứng xấu nhỏ trong ảnh đầu ra cũng cho thấy mô hình vẫn còn tiềm năng để tối ưu thêm về mặt ổn định và giảm nhiễu.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh PSNR, SSIM và StairIQA giữa REASRGAN và SwiftSRGAN trên các bộ dữ liệu khác nhau, cùng bảng tổng hợp thời gian xử lý và các quan sát về hiệu ứng ảnh đầu ra.

Đề xuất và khuyến nghị

1. Tối ưu hóa thời gian xử lý: Áp dụng các kỹ thuật nén mô hình, giảm số lượng tham số không cần thiết và tăng cường kỹ thuật đặt lại tham số để giảm thời gian xử lý xuống dưới 2 lần so với SwiftSRGAN. Chủ thể thực hiện: nhóm nghiên cứu phát triển mô hình, thời gian: 6-12 tháng.

2. Cải tiến quy trình huấn luyện: Nghiên cứu thêm các chiến lược huấn luyện đa giai đoạn với trọng số hàm mất mát điều chỉnh linh hoạt nhằm giảm thiểu các hiệu ứng nhiễu và méo mó trong ảnh đầu ra. Chủ thể thực hiện: nhóm nghiên cứu, thời gian: 3-6 tháng.

3. Mở rộng ứng dụng: Thử nghiệm mô hình trên các loại ảnh đặc thù như ảnh y khoa, ảnh vệ tinh để đánh giá khả năng tổng quát và điều chỉnh mô hình phù hợp với từng lĩnh vực. Chủ thể thực hiện: các phòng thí nghiệm chuyên ngành, thời gian: 6 tháng.

4. Phát triển công cụ đánh giá tự động: Tích hợp các độ đo BIQA như StairIQA vào hệ thống kiểm thử tự động để giám sát chất lượng ảnh đầu ra trong quá trình huấn luyện và triển khai thực tế. Chủ thể thực hiện: nhóm phát triển phần mềm, thời gian: 3 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Thị giác máy tính: Luận văn cung cấp kiến thức sâu sắc về kỹ thuật học sâu, đặt lại tham số và attention hiệu quả trong bài toán siêu phân giải ảnh, hỗ trợ phát triển các mô hình mới.

2. Chuyên gia phát triển phần mềm xử lý ảnh: Các giải pháp và mô hình đề xuất có thể ứng dụng trong phát triển phần mềm nâng cao chất lượng ảnh, video, đặc biệt trong các ứng dụng y tế, giám sát và truyền thông.

3. Người làm trong lĩnh vực y tế và chẩn đoán hình ảnh: Mô hình siêu phân giải ảnh có thể giúp cải thiện chất lượng ảnh y khoa, hỗ trợ chẩn đoán chính xác hơn mà không cần thiết bị đắt tiền hoặc thời gian chụp lâu.

4. Doanh nghiệp công nghệ và startup: Các công ty phát triển sản phẩm liên quan đến xử lý ảnh, camera, thiết bị di động có thể áp dụng mô hình để nâng cao trải nghiệm người dùng với ảnh và video chất lượng cao.

Câu hỏi thường gặp

1. Siêu phân giải ảnh là gì và tại sao quan trọng?
   Siêu phân giải ảnh là kỹ thuật tạo ảnh có độ phân giải cao hơn từ ảnh gốc độ phân giải thấp, giúp cải thiện chất lượng hình ảnh trong nhiều lĩnh vực như y tế, giám sát và truyền thông. Ví dụ, trong y học, ảnh siêu phân giải giúp bác sĩ chẩn đoán chính xác hơn.

2. Mô hình REASRGAN khác gì so với SwiftSRGAN?
   REASRGAN tích hợp kỹ thuật đặt lại tham số và phép tính tập trung hiệu quả, giúp cải thiện chất lượng ảnh đầu ra về độ chính xác và độ chân thực so với SwiftSRGAN, mặc dù thời gian xử lý tăng lên.

3. Kỹ thuật đặt lại tham số có lợi ích gì?
   Kỹ thuật này cho phép mô hình phức tạp hơn trong huấn luyện để tăng khả năng học, nhưng khi kiểm thử lại thu gọn thành mô hình đơn giản hơn, giúp giảm chi phí tính toán mà vẫn giữ nguyên kết quả.

4. Phép tính tập trung hiệu quả giúp gì cho mô hình?
   Phép tính này mở rộng vùng tiếp thu toàn ảnh với độ phức tạp tính toán tuyến tính, giúp mô hình nắm bắt mối quan hệ xa trong ảnh mà không làm tăng đáng kể chi phí tính toán.

5. Làm thế nào để đánh giá chất lượng ảnh siêu phân giải?
   Các chỉ số phổ biến gồm PSNR, SSIM (cần ảnh gốc để so sánh) và StairIQA (không cần ảnh gốc, mô phỏng cảm nhận con người). Ví dụ, StairIQA giúp đánh giá độ chân thực của ảnh đầu ra theo cảm nhận thị giác.

Kết luận

• Đã phát triển thành công mô hình REASRGAN, cải tiến từ SwiftSRGAN bằng kỹ thuật đặt lại tham số và phép tính tập trung hiệu quả, nâng cao chất lượng ảnh siêu phân giải.
• Mô hình đạt được cải thiện rõ rệt về PSNR, SSIM và StairIQA trên các bộ dữ liệu chuẩn, đặc biệt khi phóng to ảnh lên 4 lần.
• Thời gian xử lý tăng gấp 3-4 lần so với mô hình cơ sở, là điểm cần tối ưu trong nghiên cứu tiếp theo.
• Quy trình huấn luyện đa giai đoạn giúp cân bằng giữa độ chính xác và độ chân thực của ảnh đầu ra.
• Đề xuất các hướng phát triển tiếp theo bao gồm tối ưu hóa thời gian xử lý, mở rộng ứng dụng và phát triển công cụ đánh giá tự động.

Luận văn mở ra cơ hội nghiên cứu sâu hơn về các kỹ thuật học sâu trong siêu phân giải ảnh, đồng thời khuyến khích ứng dụng thực tiễn trong nhiều lĩnh vực. Độc giả và nhà nghiên cứu được mời tiếp cận và phát triển các giải pháp dựa trên nền tảng này để nâng cao chất lượng hình ảnh trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1 Giới thiệu 1. Giới thiệu bài toán siêu phân giải ảnh Siêu phân giải ảnh (image super resolution, SR) là việc tăng độ phân giải của một ảnh đầu vào bằng cách tạo ra một ảnh đầu ra có độ phân giải cao hơn, trong khi vẫn giữ gìn được những nội dung và đặc tính cấu trúc của ảnh đầu vào (như hình 1.1: Ví dụ về việc siêu phân giải lên 4 lần [5]. Siêu phân giải ảnh là một bài toán rất phổ biến trong đời sống, khoa học và sản xuất. Đối tượng của bài toán này rất đa dạng, ví dụ như: ảnh chụp, ảnh chiều sâu, ảnh cảm biến nhiệt, ảnh y khoa, v.

Do mang tính phổ biến trong đời sống, siêu phân giải ảnh đã trở thành một mảng khá sôi động của lĩnh vực thị giác máy tính (computer vision, CV), với rất nhiều công trình liên quan được xuất bản trong vòng 10 năm qua. Các công trình này phong phú đa dạng cả về loại ảnh cần siêu phân giải, hướng tiếp cận và cả các tính chất mong muốn của đầu ra. Dựa theo số lượng ảnh mà mô hình siêu phân giải cần xử lý trong từng lần, có 1 thể chia các bài toán siêu phân giải ảnh thành 2 loại. Chúng lần lượt là: bài toán siêu phân giải một ảnh (single-image super resolution, SISR) và bài toán siêu phân giải nhiều ảnh cùng lúc (multiple-image super resolution, MISR).

Dựa trên nội dung của ảnh đầu vào, bài toán siêu phân giải ảnh có thể được chia thành các bài toán con như: siêu phân giải ảnh thường, siêu phân giải ảnh y khoa, siêu phân giải ảnh vệ tinh, siêu phân giải ảnh nhiệt, v. Mỗi bài toán con như vậy sẽ có thêm những yêu cầu riêng đối với ảnh sinh ra. Ví dụ, siêu phân giải ảnh y khoa đòi hỏi sự trung thành cao về mặt nội dung với ảnh gốc, để đảm bảo các chuyên gia y tế có thể đưa ra các chẩn đoán chính xác. Xét đến hướng tiếp cận, bài toán siêu phân giải ảnh có nhiều cách tiếp cận khác nhau, theo sát các trào lưu của khoa học máy tính nói chung và thị giác máy tính nói riêng.

Cách tiếp cận dựa trên các giải thuật được thiết kế kỹ lưỡng hình thành trước tiên. Tiếp đến, cách tiếp cận học máy xuất hiện và dần thay thế các giải thuật được thiết kế cố định. Sau đó, học sâu được định hình và bùng nổ trong rất nhiều lĩnh vực của khoa học máy tính. Các nhóm nghiên cứu của bài toán siêu phân giải ảnh cũng không nằm ngoài trào lưu này.

Cách tiếp cận dựa trên học sâu xuất hiện và đã trở thành cách tiếp cận chủ đạo cho bài toán siêu phân giải ảnh cho đến tận ngày này. Theo nhóm, có 2 tiêu chí quan trọng để đánh giá chất lượng ảnh đầu ra của một mô hình siêu phân giải, đó là: − Độ chính xác so với ảnh đầu vào: Tiêu chí này phản ánh mức độ sai khác về thông tin có trong ảnh được tạo ra và ảnh đầu vào. Nó thường được đo đạc bằng cách so sánh trực tiếp từng điểm ảnh hoặc một số đặc trưng được trích xuất ra từ mỗi ảnh. − Độ chân thật: Tiêu chí này đánh giá xem ảnh đầu ra có giống với một ảnh thực hay không.

Hay nói cách khác, độ chân thật liên quan tới khả năng con người không thể nhận diện được đâu là ảnh độ phân giải cao có sẵn, đâu là ảnh do một mô hình siêu phân giải tạo ra. Hiện nay, các công trình siêu phân giải ảnh dễ bị rơi vào một trong hai thái cực sau: 2 − Một số mô hình có độ chính xác rất cao, bảo toàn rất tốt những chi tiết từ ảnh đầu vào. Tuy nhiên, ảnh do chúng tạo ra không hề thân thiện với nhận thức của con người. − Ngược lại, một số mô hình sinh ra ảnh vô cùng chân thật.

Thế nhưng, vài chi tiết trong ảnh đầu ra lại bị sai lệch so với ảnh đầu vào. Đề tài và động lực chọn đề tài Nhóm quyết định chọn siêu phân giải ảnh làm đề tài của luận văn này. Động lực để chúng tôi đưa ra quyết định này chính là vai trò quan trọng của bài toán này đối với thực tiễn. Vai trò ấy có thể được giải thích bởi 3 lý do sau đây: − Nhu cầu về dữ liệu với độ phân giải cao ngày càng gia tăng: Độ phân giải cao sẽ cải thiện một cách rõ rệt kết quả của các công việc như chẩn đoán trong y học, nhận diện vật thể, hiển thị hình ảnh trên màn hình, v.

− Không phải lúc nào các dữ liệu độ phân giải cao cũng có thể thu thập trực tiếp được bởi sự hạn chế về công nghệ: Lấy ví dụ trong y khoa, các thiết bị chụp cộng hưởng từ (magnetic resonance imaging, MRI) hay chụp cắt lớp vi tính (computerized tomography, CT) có giới hạn nhất định về độ phân giải. Theo [12], mỗi khối ảnh (voxel) trong các ảnh MRI hay CT chỉ tương ứng với 1mm3 mô trong trường hợp tốt nhất. Ngoài ra, để chụp ảnh với độ phân giải cao hơn, người bệnh cần phải nằm im lâu hơn. Điều này có thể gây khó chịu cho bệnh nhân.

Hơn nữa, khi bệnh nhân nằm lâu, cơ thể có khả năng cử động nhẹ làm ảnh hưởng tới chất lượng ảnh chụp. Do đó, các giải thuật siêu phân giải ảnh được áp dụng lên các dữ liệu chất lượng thấp hiện có để tạo ra các dữ liệu chất lượng cao hơn. − Ứng dụng trong việc nén và giải nén các dữ liệu khi lưu trữ hoặc truyền tải: Hình ảnh hay video có thể được thu nhỏ lại để truyền đi nhanh hơn và dùng một giải thuật siêu phân giải phù hợp để phóng to trở lại ở đích đến. Phạm vi và mục tiêu của luận văn Trong luận văn này, nhóm chỉ tập trung vào cách tiếp cận học sâu cho bài toán siêu phân giải cho một ảnh (SISR).

Các ảnh đầu vào sẽ là ảnh thường, với nội dung phong phú đa dạng, bao quát các đối tượng thực thường gặp trong đời sống như con người, động vật, cây cỏ, cảnh quan, v. Về mặt kiến trúc mô hình, chúng tôi tập trung vào các mô hình siêu phân giải dựa trên học sâu. Nhóm đặt ra mục tiêu là phát triển một mô hình học sâu mới cho bài toán siêu phân giải ảnh với độ chân thực cao và tính chính xác được duy trì ổn định ở mức tốt. Đóng góp của luận văn này Nhóm xin tổng kết những đóng góp của nhóm cho học thuật và thực tiễn trong luận văn này như sau: − Đề xuất hệ mạng tạo sinh đối nghịch đặt lại tham số được dựa trên phép tính tập trung hiệu quả cho bài toán siêu phân giải (reparameterizable efficient attention-based super-resolution generative adversarial networks, REASR- GAN) dựa trên cơ sở của SwiftSRGAN [1], một mô hình học sâu nhỏ gọn cho bài toán siêu phân giải.

− Tích hợp cơ chế đặt lại tham số [2] (reparameterization) vào mạng tạo sinh của REASRGAN (REASRGAN generator, REAGen) để cải thiện kết quả của quá trình huấn luyện, trong khi vẫn giữ nguyên kích thước mô hình khi kiểm thử. − Tích hợp cơ chế tập trung hiệu quả [3] (efficient attention, EA) vào REAGen dưới dạng các khối tập trung hiệu quả kèm theo kết nối dư thừa (residual EA blocks, res-EA) nhằm mở rộng vùng tiếp thu (receptive field) ra toàn bộ ảnh, trong khi vẫn giữ được độ phức tạp tính toán ở mức tuyến tính. 4 − Đề xuất phát triển mạng phân biệt của REASRGAN (REASRGAN discrimi- nator, READis) dựa trên kiến trúc của StairIQA [4], và khởi tạo READis với bộ trọng số huấn luyện sẵn do nhóm tác giả gốc công bố, nhằm tận dụng khả năng đánh giá độ chân thật ảnh của StairIQA để hướng dẫn REAGen sinh ra ảnh gần gũi với cảm quan con người hơn. − Đề xuất quy trình huấn luyện qua 3 giai đoạn để cân bằng giữa độ chính xác và độ chân thực trong ảnh đầu ra, cũng như giữa sức mạnh của REAGen và READis.

Cấu trúc căn bản của luận văn này Về cơ bản, luận văn này bao gồm 5 chương. Trong đó, chương 1 chính là phần giới thiệu mở đầu này. Ở chương 2, nhóm tiến hành khảo sát qua các nghiên cứu trước đây về bài toán này để từ đó chọn ra một mô hình dùng làm cơ sở cho nghiên cứu của chúng tôi. Bên cạnh đó, các độ đo không tham khảo dựa trên học sâu cho bài toán này cũng được khảo sát.

Ngoài ra, chúng tôi còn trình bày về một số kỹ thuật học sâu sẽ được ứng dụng trong luận văn này. Ở chương 3, nhóm trình bày các đề xuất nhằm cải tiến mô hình cơ sở. Ở chương 4, chúng tôi tiến hành thực nghiệm để kiểm tra các đề xuất này, và phân tích đóng góp của từng bước cải tiến vào kết quả. Cuối cùng, ở chương 5, nhóm tổng kết lại những điều đã làm được, chưa làm được trong giai đoạn luận văn, cùng với những dự định tiếp theo trong tương lai.

5 Chương 2 Tổng quan tài liệu 2. Khảo sát các nghiên cứu về siêu phân giải ảnh Xuất phát từ nhu cầu thực tiễn trong đời sống, khoa học và sản xuất, bài toán siêu phân giải ảnh ngày càng được nghiên cứu rộng rãi và sâu sắc. Từ đó, các giải pháp được đưa ra nhằm giải quyết nó ngày càng phong phú đa dạng. Chúng tôi nhận thấy rằng các công trình này có thể được phân loại dựa vào các tiêu chí như: kiến trúc mô hình, số lượng đầu vào được xử lý và hiểu biết của mô hình về loại suy giảm chất lượng trong ảnh đầu vào.

Trong các tiểu mục tiếp theo, chúng tôi sẽ lần lượt khảo sát các nghiên cứu liên quan theo những tiêu chí này. Theo kiến trúc mô hình Dựa vào kiến trúc của mô hình, chúng tôi phân loại các giải thuật siêu phân giải ảnh thành các nhóm sau: học máy đơn giản và học sâu. Các giải thuật siêu phân giải ảnh sớm nhất là các giải thuật học máy đơn giản, chưa phải học sâu. Trong bài báo [13], Freeman và các đồng tác giả đã dựa trên mạng Markov và sự lan truyền Bayes.

Sau đó vài năm, nhóm của Chang trong bài báo [14] đã tận dụng các giải thuật học đa tạp (manifold learning). Trong khi đó, Yang và các cộng sự trong bài báo [15] dựa vào các kỹ thuật mã hóa thưa (sparse encoding) và lấy mẫu thưa (sparse sampling). Nhìn chung, các công trình này dựa vào các giải thuật đã được định nghĩa rõ ràng và tốn nhiều tài nguyên tính toán. Bên cạnh đó, chúng không khôi phục được tốt các thông tin tần số cao (high-frequency information) và không tận dụng được các bộ dữ liệu huấn luyện ngày càng phong phú và đồ sộ.