Mô Hình Học Sâu Hiệu Quả Cho Siêu Phân Giải

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính mô hình học sâu hiệu quả cho ảnh siêu phân giải, điều tra thực trạng, phân tích số liệu, đề xuất biện pháp cải tiến

• Tác giả: Nguyen Thanh Binh
• Người hướng dẫn: TS. Ngo Quoc Viet
• Trường học: Trường Đại Học Sư Phạm TPHCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Mô Hình Học Sâu Hiệu Quả Cho Ảnh Siêu Phân Giải
• Loại tài liệu: Khoa Luận Tốt Nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP.Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: GIỚI THIỆU
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 5. CHƯƠNG 5: KẾT LUẬN

Tóm tắt

I. Tổng Quan Về Mô Hình Học Sâu Trong Siêu Phân Giải

Mô hình học sâu đã trở thành một công cụ quan trọng trong lĩnh vực siêu phân giải. Siêu phân giải (Super Resolution) là quá trình tạo ra hình ảnh có độ phân giải cao hơn từ hình ảnh có độ phân giải thấp. Công nghệ này không chỉ cải thiện chất lượng hình ảnh mà còn mở ra nhiều ứng dụng trong các lĩnh vực như y tế, an ninh và giải trí. Việc áp dụng các mô hình học sâu giúp tái tạo các chi tiết mịn màng và sắc nét hơn so với các phương pháp truyền thống.

1.1. Khái Niệm Siêu Phân Giải Là Gì

Siêu phân giải là kỹ thuật xử lý hình ảnh nhằm nâng cao độ phân giải của hình ảnh. Kỹ thuật này có thể được thực hiện thông qua nhiều phương pháp khác nhau, bao gồm cả việc sử dụng học sâu. Mục tiêu chính là tạo ra hình ảnh có độ phân giải cao hơn mà vẫn giữ được các chi tiết quan trọng.

1.2. Lợi Ích Của Mô Hình Học Sâu Trong Siêu Phân Giải

Mô hình học sâu mang lại nhiều lợi ích cho siêu phân giải, bao gồm khả năng học các đặc trưng phức tạp từ dữ liệu. Điều này giúp cải thiện chất lượng hình ảnh đầu ra, giảm thiểu hiện tượng mờ và tăng cường độ sắc nét cho hình ảnh.

II. Thách Thức Trong Việc Ứng Dụng Mô Hình Học Sâu

Mặc dù mô hình học sâu mang lại nhiều lợi ích, nhưng việc áp dụng chúng vào thực tế vẫn gặp nhiều thách thức. Một trong những vấn đề lớn nhất là yêu cầu về tài nguyên tính toán. Các mô hình phức tạp thường cần nhiều sức mạnh tính toán, điều này gây khó khăn cho việc triển khai trên các thiết bị di động hoặc trong thời gian thực.

2.1. Yêu Cầu Tài Nguyên Tính Toán Cao

Nhiều mô hình học sâu yêu cầu tài nguyên tính toán lớn, điều này có thể gây khó khăn cho việc triển khai trên các thiết bị có cấu hình thấp. Việc này làm giảm khả năng ứng dụng của chúng trong thực tế.

2.2. Khó Khăn Trong Việc Tối Ưu Hóa Mô Hình

Tối ưu hóa mô hình để giảm thiểu yêu cầu tính toán mà vẫn đảm bảo chất lượng hình ảnh là một thách thức lớn. Cần có các phương pháp mới để cải thiện hiệu suất mà không làm giảm chất lượng đầu ra.

III. Phương Pháp Học Sâu Hiệu Quả Cho Siêu Phân Giải

Có nhiều phương pháp học sâu được áp dụng cho siêu phân giải, trong đó nổi bật là các mô hình CNN và GAN. Những mô hình này đã chứng minh được hiệu quả trong việc cải thiện chất lượng hình ảnh, đồng thời giảm thiểu yêu cầu về tài nguyên tính toán.

3.1. Mô Hình CNN Trong Siêu Phân Giải

Mô hình CNN (Convolutional Neural Network) là một trong những phương pháp phổ biến nhất cho siêu phân giải. Nó có khả năng học các đặc trưng không gian của hình ảnh, từ đó tạo ra hình ảnh có độ phân giải cao hơn.

3.2. Mô Hình GAN Và Ứng Dụng Trong Siêu Phân Giải

Mô hình GAN (Generative Adversarial Network) cũng được sử dụng rộng rãi trong siêu phân giải. GAN giúp tạo ra hình ảnh có độ phân giải cao bằng cách sử dụng hai mạng: một mạng tạo hình ảnh và một mạng phân biệt hình ảnh thật và giả.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Học Sâu Trong Siêu Phân Giải

Mô hình học sâu đã được áp dụng trong nhiều lĩnh vực khác nhau, từ y tế đến giải trí. Việc cải thiện chất lượng hình ảnh có thể mang lại lợi ích lớn trong việc chẩn đoán y tế, nhận diện khuôn mặt và phục hồi hình ảnh cũ.

4.1. Ứng Dụng Trong Y Tế

Trong y tế, siêu phân giải giúp cải thiện chất lượng hình ảnh X-quang, từ đó hỗ trợ bác sĩ trong việc chẩn đoán chính xác hơn. Hình ảnh rõ nét hơn giúp phát hiện các vấn đề sức khỏe sớm hơn.

4.2. Ứng Dụng Trong Giải Trí

Trong lĩnh vực giải trí, siêu phân giải có thể được sử dụng để nâng cao chất lượng hình ảnh trong phim ảnh và trò chơi điện tử, mang lại trải nghiệm tốt hơn cho người dùng.

V. Kết Luận Về Mô Hình Học Sâu Trong Siêu Phân Giải

Mô hình học sâu đã mở ra nhiều cơ hội mới cho siêu phân giải. Tuy nhiên, vẫn còn nhiều thách thức cần phải vượt qua để tối ưu hóa hiệu suất và khả năng ứng dụng của chúng. Tương lai của siêu phân giải hứa hẹn sẽ tiếp tục phát triển với sự tiến bộ của công nghệ học sâu.

5.1. Tương Lai Của Siêu Phân Giải

Tương lai của siêu phân giải sẽ phụ thuộc vào sự phát triển của các mô hình học sâu mới và khả năng tối ưu hóa chúng cho các ứng dụng thực tế. Sự kết hợp giữa công nghệ và nghiên cứu sẽ tạo ra những bước tiến mới trong lĩnh vực này.

5.2. Những Hướng Nghiên Cứu Mới

Các nghiên cứu mới sẽ tập trung vào việc phát triển các mô hình nhẹ hơn, hiệu quả hơn, có khả năng hoạt động trên các thiết bị di động mà vẫn đảm bảo chất lượng hình ảnh cao.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên số hóa, hình ảnh kỹ thuật số đóng vai trò thiết yếu trong nhiều lĩnh vực như y tế, an ninh, truyền thông và giải trí. Tuy nhiên, chất lượng hình ảnh thường bị suy giảm do giới hạn phần cứng của thiết bị thu nhận, tác động của môi trường, thời tiết hoặc chuyển động của vật thể. Khi hiển thị hình ảnh trên các màn hình có độ phân giải cao, việc phóng to đơn thuần bằng các kỹ thuật nội suy truyền thống (như nội suy lân cận gần nhất, nội suy song tuyến tính hay nội suy song khối) chỉ làm tăng số lượng điểm ảnh mà không khôi phục được các chi tiết tần số cao, dẫn đến hiện tượng ảnh bị mờ hoặc răng cưa.

Kỹ thuật siêu phân giải đơn ảnh (Single Image Super Resolution - SISR) ra đời nhằm tái tạo ảnh có độ phân giải cao (High Resolution - HR) từ một ảnh đầu vào có độ phân giải thấp (Low Resolution - LR). Dù các mạng nơ-ron học sâu gần đây đã đạt được độ chính xác tái tạo cao, phần lớn các mô hình tiên tiến lại đòi hỏi tài nguyên tính toán rất lớn, số lượng tham số phức tạp và dung lượng bộ nhớ cao (ví dụ mô hình RED30 có khoảng 4.200.000 tham số). Điều này tạo ra rào cản lớn khi triển khai trên các thiết bị biên, thiết bị di động có cấu hình phần cứng hạn chế hoặc trong các ứng dụng đòi hỏi thời gian thực.

Khóa luận tốt nghiệp của tác giả Nguyễn Thanh Bình, chuyên ngành Khoa học Máy tính tại Trường Đại học Sư phạm TP.HCM (dưới sự hướng dẫn của TS. Ngô Quốc Việt, năm 2023), tập trung giải quyết bài toán cân bằng giữa chất lượng tái tạo ảnh và hiệu quả tính toán.

Nhiệm vụ nghiên cứu cụ thể bao gồm:

1. Khảo sát và phân tích các phương pháp siêu phân giải truyền thống và các kiến trúc học sâu tiêu biểu (SRCNN, FSRCNN, VDSR, SRGAN, LapSRN).
2. Thiết kế và triển khai một mạng nơ-ron tích chập tối ưu, có cấu trúc nhẹ dựa trên việc kết hợp khối phần dư (Residual Block), tích chập phân tách chiều sâu (Depthwise Separable Convolution) và lớp xáo trộn điểm ảnh (Pixel Shuffle).
3. Tối ưu hóa quy trình xử lý dữ liệu thông qua việc chuyển đổi không gian màu sang hệ YUV và chỉ xử lý kênh độ sáng (kênh Y).
4. Huấn luyện và đánh giá thực nghiệm mô hình trên các tập dữ liệu chuẩn, đo lường các chỉ số định lượng về chất lượng ảnh (PSNR, SSIM) cũng như mức độ tiêu thụ tài nguyên phần cứng (thời gian chạy, mức độ chiếm dụng CPU, tiêu tốn RAM và dung lượng mô hình).

Đối tượng nghiên cứu là các thuật toán và mô hình học sâu cho bài toán siêu phân giải ảnh đơn sắc/kênh độ sáng. Phạm vi thực nghiệm sử dụng tập dữ liệu huấn luyện và xác thực kết hợp từ T91 và Urban100, cùng các tập kiểm thử chuẩn Set5 và Set14.

---

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết xử lý ảnh số và học sâu, kết hợp các phương pháp nghiên cứu thực nghiệm và đánh giá định lượng:

• Khung lý thuyết về siêu phân giải ảnh: Bài toán SISR được phân loại theo hai hướng tiếp cận chính:
  • Phương pháp nội suy truyền thống: Bao gồm Nearest-neighbor interpolation (lấy giá trị điểm ảnh lân cận gần nhất), Bilinear interpolation (tính trung bình có trọng số của 4 điểm ảnh $2 \times 2$ lân cận), và Bicubic interpolation (nội suy từ 16 điểm ảnh $4 \times 4$ lân cận).
  • Phương pháp học sâu: Phân tích các mô hình tăng độ phân giải trước khi trích xuất đặc trưng (Pre-Upsampling như SRCNN), tăng độ phân giải sau khi trích xuất đặc trưng (Post-Upsampling như FSRCNN), mô hình mạng sinh đối kháng (SRGAN với hàm mất mát Perceptual kết hợp giữa Content Loss và Adversarial Loss), và mạng tái tạo lũy tiến (LapSRN sử dụng cấu trúc kim tự tháp Laplacian cùng hàm mất mát Charbonnier).
• Mô hình kiến trúc nền tảng:
  • Mạng phần dư (ResNet): Giải quyết vấn đề triệt tiêu đạo hàm (vanishing gradient) và suy giảm độ chính xác (degradation) thông qua cơ chế kết nối tắt (skip connection), tạo nên ánh xạ phần dư $F(x) = H(x) - x$.
  • Tích chập phân tách chiều sâu (Depthwise Separable Convolution): Tách phép tích chập thông thường thành hai bước riêng biệt: Depthwise Convolution (áp dụng bộ lọc riêng biệt cho từng kênh) và Pointwise Convolution (bộ lọc $1 \times 1$ để kết hợp các kênh đầu ra).
  • Lớp tái cấu trúc điểm ảnh (Pixel Shuffle): Tái cấu trúc tensor kích thước $(, C \times r^2, H, W)$ thành tensor $(, C, H \times r, W \times r)$, tăng kích thước không gian mà không làm tăng khối lượng tham số tính toán.
• Phương pháp thực nghiệm và công cụ:
  • Triển khai mô hình trên ngôn ngữ Python sử dụng thư viện học sâu TensorFlow và Keras.
  • Sử dụng thư viện PIL để xử lý tiền xử lý ảnh và áp dụng thuật toán Bicubic tạo ảnh độ phân giải thấp.
  • Tối ưu hóa hàm mất mát sai số toàn phương trung bình (Mean Squared Error - MSE) thông qua thuật toán tối ưu Adam.

---

Thiết kế và triển khai

Hệ thống mô hình đề xuất được thiết kế nhằm tối ưu hóa tốc độ xử lý và bộ nhớ thông qua ba khối chức năng chính:

[Ảnh đầu vào LR (Kênh Y - 300x300)]
     [Feature Presentation]
    (Conv2D: 64 filters, 3x3)
     [Feature Enhanced]
    (2 Khối RFSB không dùng BatchNorm)
    (SeparableConv2D: depth_multiplier=2 & 1)
      [Upscaling Block]
     (Shuffle Pixel / Sub-pixel Conv)
[Ảnh đầu ra SR (Độ phân giải cao)]

1. Kiến trúc chi tiết của mô hình đề xuất

Khối chức năng	Thành phần cấu tạo	Tham số thiết lập	Chức năng kỹ thuật
Feature Presentation	1 lớp Conv2D	nb_filter = 64, filter_length = 3, activation = 'relu', kernel_initializer = 'Orthogonal', padding = 'same'	Trích xuất các đặc trưng không gian cơ bản (cạnh, góc, kết cấu) từ ảnh đầu vào độ phân giải thấp.
Feature Enhanced	2 khối RFSB (Residual Feature Separable Block)	3 lớp SeparableConv2D trong mỗi khối; Lớp 1 có depth_multiplier = 2, 2 lớp sau có depth_multiplier = 1; nb_filter = 64; padding = 'same'; Loại bỏ Batch Normalization	Tăng cường đặc trưng chiều sâu, giảm thiểu tối đa số lượng phép nhân và trọng số so với tích chập truyền thống, tránh suy biến gradient qua kết nối tắt.
Upscaling Block	1 lớp PixelShuffle (Sub-pixel Convolution)	Hệ số phóng đại $r$ (upscale_factor)	Sắp xếp lại các kênh đặc trưng để nâng kích thước ảnh lên độ phân giải mục tiêu mà không tiêu tốn bộ nhớ đệm lớn.

2. So sánh khối lượng tính toán của tích chập thường và Separable Convolution

Khóa luận trình bày công thức toán học minh chứng cho việc cắt giảm tài nguyên của lớp tích chập phân tách chiều sâu khi áp dụng cho ảnh đầu vào kích thước $H \times W \times N$, tạo ra $M$ kênh đầu ra với bộ lọc kích thước $K \times K$:

Tiêu chí	Tích chập thông thường (Standard Conv)	Tích chập phân tách (Separable Conv)
Số lượng tham số	$M \times K \times K \times N$	$N \times K \times K + M \times N \times 1$
Số phép tính nhân	$H \times W \times M \times K \times K \times N$	$H \times W \times N \times K \times K + H \times W \times M \times N \times 1$

3. Xử lý dữ liệu và cấu hình huấn luyện

• Xử lý không gian màu: Hình ảnh màu RGB được chuyển đổi sang không gian màu YUV theo công thức chuyển đổi chuẩn. Kênh Y (Luminance - độ sáng) được tách riêng để làm dữ liệu huấn luyện và kiểm thử vì mắt người nhạy cảm với độ sáng hơn màu sắc. Việc chỉ xử lý 1 kênh màu giúp giảm $2/3$ dung lượng tính toán và bộ nhớ so với xử lý 3 kênh RGB đồng thời.
• Tập dữ liệu: Kết hợp 191 ảnh độ phân giải cao từ bộ dữ liệu T91 và Urban100; phân chia theo tỷ lệ 80% (153 ảnh) cho tập huấn luyện (Train) và 20% (38 ảnh) cho tập xác thực (Validation). Dữ liệu được chuẩn hóa về đoạn $[0, 1]$ bằng hàm map.
• Hàm chức năng bổ trợ:
  • get_lowres_image: Giảm kích thước ảnh gốc theo tỷ lệ upscale_factor bằng thuật toán nội suy Bicubic để tạo ảnh LR đầu vào.
  • upscale_image: Nhận ảnh LR, đưa kênh Y qua mạng học sâu để dự đoán kênh Y chất lượng cao, sau đó ghép lại với các kênh màu U, V đã nội suy để chuyển ngược về ảnh màu RGB hoàn chỉnh.
• Chiến lược kiểm soát huấn luyện:
  • Hàm mất mát: Mean Squared Error (MSE).
  • Thuật toán tối ưu: Adam.
  • Model Checkpoint: Thiết lập save_weights_only=True, monitor="loss", mode="min", save_best_only=True nhằm lưu giữ trọng số tối ưu nhất.
  • Early Stopping: Thiết lập hệ số patience=10 để tự động ngắt quá trình huấn luyện khi hàm mất mát trên tập xác thực không cải thiện sau 10 chu kỳ, chống hiện tượng quá khớp (overfitting).
  • Callback: Theo dõi biến thiên chỉ số PSNR và SSIM trực tiếp qua từng epoch.

---

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương mở đầu trình bày tính cấp thiết của việc nâng cao chất lượng ảnh kỹ thuật số và hạn chế của các phương pháp nội suy hình học cổ điển. Tác giả phân tích tổng quan hai hướng tiếp cận siêu phân giải: siêu phân giải đa ảnh (MISR) và siêu phân giải đơn ảnh (SISR). Khảo sát chi tiết các công trình liên quan tiêu biểu gồm:

• Mô hình SRCNN (tiên phong sử dụng 3 lớp CNN nhưng chi phí tính toán cao do nội suy trước khi đưa vào mạng).
• Mô hình FSRCNN (áp dụng trích xuất đặc trưng trên không gian độ phân giải thấp và phóng đại ở lớp cuối).
• Mô hình SRGAN (ứng dụng mạng sinh đối kháng để cải thiện chi tiết trực quan qua hàm Perceptual Loss).

Chương 1 khép lại bằng việc phát biểu bài toán: Xây dựng một mạng học sâu SISR cấu trúc gọn nhẹ, giảm thiểu số lượng tham số để có khả năng vận hành ổn định trên các thiết bị phần cứng hạn chế và hướng tới xử lý thời gian thực.

Chương 2: Cơ sở lý thuyết

Chương 2 đi sâu vào các cơ sở lý thuyết xử lý tín hiệu số và học máy phục vụ cho bài toán:

• Phân tích nguyên lý toán học của ba thuật toán nội suy cơ bản: Nearest-neighbor, Bilinear (tính trung bình trọng số $2 \times 2$ điểm lân cận) và Bicubic (nội suy $4 \times 4$ điểm lân cận), chỉ rõ nhược điểm gây mờ nhòe biên cạnh và răng cưa của chúng.
• Trình bày kiến trúc và cơ chế hoạt động của các mạng nơ-ron học sâu chuyên dụng:
  • VDSR (Very Deep Super Resolution): Tận dụng mạng 20 tầng lấy cảm hứng từ VGG-net kết hợp học phần dư toàn cục (global residual learning).
  • SRGAN: Cấu trúc mạng Generator với các khối Residual và Sub-pixel Convolution, kết hợp mạng Discriminator 8 tầng convolution theo cơ chế Min-Max game.
  • LapSRN: Kiến trúc kim tự tháp Laplacian không sử dụng nội suy thô đầu vào, tối ưu bằng hàm mất mát Charbonnier loss để tái tạo đa quy mô.

Chương 3: Mô hình đề xuất

Nội dung chương 3 tập trung vào giải pháp kỹ thuật do tác giả đề xuất:

• Trình bày nguyên lý khắc phục hiện tượng triệt tiêu đạo hàm và suy giảm chất lượng mạng bằng khối phần dư ResNet ($F(x) = H(x) - x$).
• Phân tích chi tiết cơ chế của lớp SeparableConv2D và lớp PixelShuffle.
• Thiết lập các tiêu chuẩn đánh giá chất lượng ảnh định lượng gồm:
  • Chỉ số PSNR (Peak Signal-to-Noise Ratio) dựa trên sai số MSE với giá trị ngưỡng phân biệt thị giác 40 dB.
  • Chỉ số SSIM (Structural Similarity Index) đánh giá dựa trên 3 thành phần: độ chói ($l$), tương phản ($c$) và cấu trúc ($s$).
  • Các chỉ số đánh giá màu sắc (CIEDE2000, MSSIM) và tài nguyên (thời gian, dung lượng bộ nhớ, CPU).
• Đặc tả cấu hình chi tiết của ba khối mạng: Feature Presentation (Conv2D 64 filters), Feature Enhanced (2 khối RFSB kết hợp SeparableConv2D, loại bỏ Batch Normalization) và Upscaling Block (Shuffle Pixel).
• Trình bày quy trình tiền xử lý dữ liệu: phân chia tập dữ liệu T91 + Urban100 (80% Train, 20% Valid), chuyển đổi hệ màu YUV, chuẩn hóa dữ liệu và xây dựng các hàm điều khiển huấn luyện (get_lowres_image, upscale_image, ModelCheckpoint, EarlyStopping với patience=10, tối ưu Adam).

Chương 4: Thực nghiệm và kết quả đánh giá

Chương 4 thực hiện kiểm thử mô hình trên các tập dữ liệu chuẩn Set5 và Set14 với các hình ảnh mẫu cụ thể (như Butterfly, Baby, Zebra, Women) tại các hệ số phóng đại (Scale):

• Đánh giá chất lượng tái tạo ảnh thông qua các bảng so sánh chỉ số PSNR và SSIM giữa mô hình đề xuất với các mô hình tham chiếu.
• Đánh giá hiệu năng phần cứng thông qua các bảng thống kê thực nghiệm (lấy giá trị trung bình cộng sau 5 lần chạy độc lập):
  • Bảng so sánh số lượng tham số giữa các mô hình.
  • Bảng thời gian chạy thực tế (tính bằng giây).
  • Bảng tỷ lệ phần trăm chiếm dụng CPU (%).
  • Bảng dung lượng bộ nhớ RAM tiêu tốn (đơn vị MB).
  • Bảng dung lượng tệp lưu trữ mô hình (file weight/model).

Chương 5: Kết luận

Chương tổng kết toàn bộ nội dung nghiên cứu, khẳng định việc hoàn thành mục tiêu thiết kế mô hình học sâu siêu phân giải nhẹ, tối ưu hóa được chi phí tài nguyên phần cứng nhưng vẫn duy trì chất lượng khôi phục ảnh ở mức tốt. Đồng thời, chương chỉ ra các hạn chế tồn đọng và định hướng mở rộng đề tài.

---

Kết quả và đóng góp

1. Kết quả kỹ thuật đạt được

• Mô hình đã tối ưu hóa cấu trúc mạng bằng cách loại bỏ hoàn toàn các lớp Batch Normalization trong khối phần dư, giúp giảm bớt các phép tính không cần thiết trong quá trình suy luận.
• Việc tích hợp tích chập phân tách chiều sâu (SeparableConv2D với depth_multiplier thiết lập ở mức 2 và 1) giúp cắt giảm đáng kể số lượng tham số huấn luyện và lượng phép tính nhân so với các kiến trúc tích chập chuẩn $3 \times 3$.
• Phương pháp tách kênh Y trong hệ màu YUV giúp giảm tải $2/3$ khối lượng dữ liệu đầu vào cho mạng nơ-ron, tập trung năng lực học sâu vào việc khôi phục cấu trúc độ sáng - yếu tố quyết định độ sắc nét của thị giác người.
• Quy trình đánh giá thực nghiệm được thực hiện đa chiều, không chỉ đo lường chất lượng ảnh bằng PSNR và SSIM mà còn định lượng chính xác tài nguyên vận hành thông qua trung bình cộng 5 lần đo về thời gian thực thi, mức chiếm dụng CPU, RAM và dung lượng lưu trữ.

2. Đóng góp của đề tài

• Đề xuất một kiến trúc mạng nơ-ron tích chập tùy biến (kết hợp Conv2D, RFSB với Separable Convolution và Shuffle Pixel) có tính khả thi cao khi triển khai trên các thiết bị phần cứng có tài nguyên hạn chế.
• Cung cấp giải pháp tiền xử lý và tích hợp luồng xử lý ảnh một kênh hiệu quả trong môi trường TensorFlow/Keras, phục vụ bài toán siêu phân giải ảnh đơn trong điều kiện thực tế.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích trong văn bản khóa luận, nghiên cứu còn một số hạn chế và hướng mở:

• Hạn chế:
  • Mô hình chỉ tập trung huấn luyện và khôi phục trên kênh độ sáng (kênh Y), các kênh màu sắc (U và V) vẫn phụ thuộc vào phương pháp nội suy truyền thống (Bicubic), do đó có thể chưa tối ưu hoàn toàn chất lượng tái tạo màu sắc phức tạp.
  • Phép tích chập phân tách chiều sâu sử dụng các kernel nhỏ có thể làm giảm bớt khả năng biểu diễn mối quan hệ phức tạp giữa các kênh nếu mở rộng mạng lên nhiều tầng liên tiếp.
  • Lớp Pixel Shuffle có thể gặp hạn chế về chất lượng nếu áp dụng cho những hình ảnh có kết cấu quá phức tạp hoặc khởi tạo tâm cụm không đồng đều.
• Hướng phát triển tiếp theo:
  • Nghiên cứu mở rộng khả năng học sâu trực tiếp cho toàn bộ các kênh màu mà vẫn giữ được tính gọn nhẹ của mô hình.
  • Thử nghiệm trên các tập dữ liệu đa dạng hơn và tinh chỉnh mô hình để triển khai trực tiếp dưới dạng ứng dụng thời gian thực trên các thiết bị nhúng và di động.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo giá trị cho:

• Sinh viên, học viên ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo đang nghiên cứu về xử lý ảnh số, thị giác máy tính và học sâu (Deep Learning).
• Các nhà phát triển phần mềm cần giải pháp xây dựng các mô hình tăng cường chất lượng ảnh nhẹ, tối ưu bộ nhớ để tích hợp vào ứng dụng di động hoặc hệ thống nhúng thời gian thực.
• Tài liệu cung cấp cấu hình tham số chi tiết (từ lớp tích chập, bộ khởi tạo Orthogonal, cơ chế Early Stopping đến xử lý kênh màu YUV) giúp người đọc dễ dàng tái lập và phát triển thực nghiệm trên nền tảng TensorFlow/Keras.

---

Câu hỏi thường gặp

1. Tại sao tác giả lựa chọn xử lý trên không gian màu YUV thay vì RGB?

Hệ màu YUV tách biệt thông tin độ sáng ($Y$) và thông tin màu sắc ($U, V$). Vì mắt người nhạy cảm với sự thay đổi độ sáng hơn màu sắc, mô hình chỉ cần tập trung học sâu trên kênh $Y$ để tái tạo chi tiết và độ nét. Điều này giúp giảm $2/3$ khối lượng dữ liệu đầu vào cho mạng, tiết kiệm dung lượng bộ nhớ, giảm thời gian tính toán và hạn chế méo mó khi tăng độ phân giải.

2. Khối RFSB trong mô hình đề xuất có điểm gì khác biệt so với khối ResNet truyền thống?

Khối RFSB (Residual Feature Separable Block) được loại bỏ hoàn toàn các lớp Batch Normalization nhằm giảm thiểu các phép tính dư thừa và tránh sai lệch phân phối. Đồng thời, khối này thay thế tích chập thông thường bằng tích chập phân tách chiều sâu (SeparableConv2D) gồm 3 lớp (lớp đầu tiên có depth_multiplier=2, hai lớp sau có depth_multiplier=1) để giảm số lượng tham số mà vẫn đảm bảo trích xuất đặc trưng hiệu quả.

3. Phương pháp Shuffle Pixel (Sub-pixel Convolution) hoạt động như thế nào?

Shuffle Pixel sắp xếp lại các phần tử trong một tensor có kích thước $(, C \times r^2, H, W)$ thành tensor mới có kích thước $(, C, H \times r, W \times r)$, trong đó $r$ là hệ số phóng đại. Kỹ thuật này giúp tăng kích thước không gian của ảnh ở tầng cuối cùng một cách nhanh chóng mà không cần dùng bộ nhớ đệm lớn hoặc các phép toán giải tích chập phức tạp.

4. Tập dữ liệu nào được sử dụng để huấn luyện và kiểm thử mô hình?

Tác giả sử dụng tổng cộng 191 ảnh độ phân giải cao kết hợp từ hai bộ dữ liệu chuẩn là T91 và Urban100, chia theo tỷ lệ 80% (huấn luyện) và 20% (xác thực). Quá trình kiểm thử độc lập được thực hiện trên hai tập dữ liệu benchmark phổ biến là Set5 và Set14 với các ảnh mẫu như Butterfly, Baby, Zebra và Women.

5. Những tiêu chí nào được dùng để đánh giá hiệu năng phần cứng của mô hình?

Tác giả đánh giá hiệu năng phần cứng thông qua giá trị trung bình cộng của 5 lần chạy thực tế trên các tiêu chí: tổng số lượng tham số của mô hình, thời gian thực thi (giây), tỷ lệ phần trăm chiếm dụng CPU (%), dung lượng bộ nhớ RAM tiêu tốn (MB) và dung lượng tệp lưu trữ mô hình.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Thanh Bình đã nghiên cứu và phát triển thành công mô hình học sâu gọn nhẹ phục vụ bài toán siêu phân giải ảnh đơn sắc/kênh độ sáng. Bằng sự kết hợp giữa khối phần dư tùy biến RFSB, tích chập phân tách chiều sâu và kỹ thuật xáo trộn điểm ảnh Pixel Shuffle trên không gian màu YUV, mô hình đã giảm thiểu đáng kể chi phí phần cứng và số lượng tham số tính toán. Các kết quả thực nghiệm trung bình trên các tập dữ liệu chuẩn đã chứng minh tính khả thi của giải pháp trong việc nâng cao chất lượng ảnh mà vẫn bảo đảm tính kinh tế về tài nguyên máy tính.

Trích đoạn nội dung tài liệu

TRƯỜNG ĐẠI HỌC SƯ PHAM TPHCM KHOA CÔNG NGHỆ THÔNG TIN NGUYEN THANH BÌNH MÔ HÌNH HỌC SÂU HIỆU QUÁ CHO ANH SIÊU PHAN GIẢI KHOA LUAN TOT NGHIEP TP.HO CHI MINH - NAM 2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM TPHCM KHOA CÔNG NGHE THONG TIN NGUYEN THANH BINH MO HINH HOC SAU HIEU QUA CHO ANH SIEU PHAN GIAI CHUYEN NGANH: KHOA HỌC MAY TÍNH NGƯỜI HƯỚNG DAN KHOA HQC: — TS. NGO QUOC VIET TP.HCM — NAM 2023 TÌMITAT. o6 cố nh nhờ 2n non 2 l CHƯNG 1. GIỚI THIBU ooccccccccccccccccescssessssecssvessssessssesssseessseesssessnesssvesssvesssseessnessneesaneeanees 2 l.

LY do ChOM AE cổ cố. Khao sát các công trình liên QUAN:. 3 l4, PhátbiÊubầLĐẤN?sssssssssoronntonnnninnniiiiiiiitoitootobiiiiiiiinlRtAiiSSi6.8080ã888ã83087 7 CHUONG 2; COSOLY THUẦẾT: on nnionnnorỷ-i-ai-aieiiaaanaenanaasseseeel 9 5:Ï.Tônö gian ãïih siêu phân Giả ao aanaannaniniiniodiiBE02010001010161318163033424361233634225386386221 9 2. Phương pháp nội suy cho siêu phân giải.

Siêu phân giải dựa trên phương pháp sử dụng học sâu.---<- 11 CHUGNG 3; MG TINE DE XUẤT toonnonnnnnouoonnnnanoinioioditiiiniiii044886666432446664 21 WRC bo) 21 Sill, MG hin RESNGE sssssssssssssivesccescsssvessssaessesenseaseseacsssnssasesessssoezsararasausssnsazarovesensasass 21 3.csssccscscascscsccscucvecscscescncvscuccscvccccscuccscensenssenssorsseneasens 23 Su 3 SWAG PINS ac sccssssssssscssssssessssssscssssssssssssssesssssssssssssssasasscsesososesesssssssssssssssssesussuzace 26 3. Các phương pháp đánh giá anh siêu phân giải.-- ----<s<c<s<s<-e 27 S2: THiệt KẾ piúi|HÌNH),. Kiến trúc mô hình :.--22-CC22z©CEEE+2ZEEEEEEEZCECEEEerrrrrrrrrrrrrrrerrrrrrvee 30 3. Tinh chỉnh các thông SỐ :.Và:xửilý:dữllẾHÍ:::scccccceiniiiiiiiii1011101011012030303001868E0804E8G80266663568656565666656568635E 36 S13: ÍÌ.|DBAS€TE:¿:::::zszzzzzzs22z2225352525535295858535555556525255852555555352856555585632553585655358565235833235323255235322 36 3.

Xây dựng một số chức năng:.-22222222CCCE222222EECEE222222EECEE. TT ING sscsscccsccssccssescnssscscacssesscsssescsossessscssesssessecenmmenmnnennnen 44 CHƯƠNG 5. KET LUAN oioccccccccccccssccsssesssessseessvesseesssesssessseessvesssestsesusesststsestneeenseeeeeeneeeesees 51 BẢNG KÝ HIỆU, CHỮ VIẾT TÁT Y nghĩa Convolution Neural Network Very Deep Super Resolution Laplacian Pyramid Super Resolution Network BANG DANH MỤC BANG BIEU Bang 1. 1 Các model có số tham số.

So sánh thông số PSNR/SSIM giữa các mô hình. So sánh số tham số giữa các mô hình.22- 22222zz222VV222zzzzcccccczcez 49 Bảng 5. Bang thời gian chạy thực tế (Trung bình cộng 5 lằn). Bảng số phan trăm chiếm hữu CPU (Trung bình cộng 5 lần).

Bang số Ram( MB) tiêu tốn để chạy mô hình (Trung bình cộng 5 lần). Bảng dung lượng của mô hình (. 50 BẢNG DANH MỤC CÁC HÌNH VẼ Hình 1. 1 Pre-Upsampling Super resolution.

Mô hình SRCNN Nguồn : paperspacc.----22-cC222zzzccCCC2zzzzzcerrc 4 Hình 1. Phương pháp Post-Upsampling Super Resolutton. Mô hình FSRCNN Nguồn : mmlab.22222-2CCCCEEEEE2222ZEECCEECEVE222zccccrrei 6 HìnB1. Mô hình SRGAN Nguồn : srgan.

Hàm mat mát Perceppttal.Tnu90itðØáTñ011SU0/)lEDG00:iiiocopopiiibipiiiniiiiitiiiiiiiiiti11103110313135858585384858355353333553 10 Hình 2. Thuật toán nội suy song tuyỂn.- 22222 2222222222222222222222222222222251222 xe HH Hình 2. Thuật toán nội suy song khối. Mô hình SRCNN.

Nguôn SOI CN H :2:55105:026051552501515015148562555355555555252555E5755557550525155 13 Hình 2. Mô hình VDSR_ Nguồn: VDSR. Mô hình SRGAN. Mô hình LAPSRN Nguôn: Lapsim .l\IKHOIIRBSIU8ÌL 5116666 6it06110116600050000002000000000000001003003320111000600130 10011000 23 Hình 3.

Separable Convolution 2D Nguôn: Deep. Shuffle Eixel Nguồn: Pylnage. Độ phân giải thé hiện qua PSNR. Kiến:trúc mỗiNinh: để KẾ ossccssssssssssssssssssesseassssnsssssssssssovovssssnsnsnsssssnsssssnass 31 Hình 3.

Một số hình ảnh về tập dữ liệu.--22-222222222EE22222EE2222Z22222zzcccczzccee 36 Hình 3. Một số hình ảnh mẫu sau khi tách kênh màu. Các bước xử ly dé tạo anh đầu vào cho mô hình. Hàm dua hình ảnh về độ phân giải thấp.

Cách hoạt động của ham tăng độ phân giải.-o-2-<c<c<c<cc-ecee 42 Hình 4. - L TQ HH TT TH TT ng 44 Hình 4. 2 Bunter tly (SGt5)): cccssccsscesscesesesessssesesessesssssssesssssssssasasssasesescescsssesososesesesesnessnonesesszazd 44 nA. 3 Baby (SEt5) i ssscsssscsssssscsssscsssassssssssssscssscsssssssssasscssssssssssncasssanasasseasssenssasscasssessessasaszs 44 Hình:4.

Zebra (Secu iassssssssssssssssssssssssssssssassesssessoseseessvessoseseessvoasnaaanaasaaaasaaanassaaasaaaaseasoces 45 Hình:4.(SSLÏÄ}::i:occocooibiiiiioiiiiii101131136103833865838588888S383833635336383563855533318333384 45 Hình:4.¡i6:ÌBuUtTlly0iSCAl6:XỔ:ioccooiciitiniiiiiiiiiiiiiiii11015151515138581036ã3ã3ã3ã3835883858583858354 45 Hình 4. Women ở Scale XỔ. tt nh 01 111111111 rrrrrrr 46 Pin 4:8; Baby Oi SCAG XÃ Gonooppnoooiinpottbpbititititiiiiiiii444141415ã686568656886880608885080808588830388 46 HinR›d.!9!:/G0IC+Ở S00ÏE:XÂ:¡:copiniiiiiiiiitiitiiiitiititit11101810151010893333839358888888589885989568988888838E 47 Hình:4. 10: ZEBra ở SCALE XÃ ooconoiongiiiattitiiitiiiiitiiii51141313131555616863858585355583558858585858856 47 Hình 4.- cuc non HH nn Ự Re binh48 TÓM TAT Trong đẻ tài nghiên cứu này.

Tôi thực hiện nghiên cứu và dé xuất một mô hình học sâu hiệu quả cho ảnh siêu phân giải. Nghiên cứu áp dụng công nghệ Học Máy và Học sâu vào việc huấn luyện mô hình đề tăng độ phân giải của hình ảnh có độ phần giải thấp. Việc huan luyện và thực nghiệm của mô hình này sẽ sử dụng thư viện Tensorflow, Từ khóa ; super resolution, ảnh siêu phân giải, mô hình học sâu hiệu quả cho ảnh siêu phân giải. Tổng quan: Cuộc sống ngày càng phát triển, hình ảnh kỹ thuật số đã trở nên rất phd biến và có tầm quan trọng trong nhiều lĩnh vực của con người.

Chất lượng của hình ảnh cũng ngày một tốt hơn. Có nhiều khía cạnh dé đánh giá chất lượng của hình ảnh. Trong đó có thẻ kể đến độ phân giải của hình ảnh. Nó thường được biéu hiện bằng số pixel trong ảnh.

Tuy các công cụ chụp ảnh ngày nay chất lượng ngày càng tốt nhưng không thé tránh khỏi hiện tượng ảnh bị mở bởi các yêu tô ngoại quan như môi trường, thời tiết, và một số tác nhân khác: tốc độ của vật. Van đẻ tương tự xảy ra khi chúng ta muốn phóng to hình ảnh kỹ thuật số dé hiển thị nó trên man hình có độ phân giải cao hơn. Số pixel của hình ảnh phải phù hợp với độ phân giải màn hình va kích thước hình ảnh mong muốn. Quá trình này có thê đạt được bang cách nội suy hình anh, nhưng độ phân giải thực tế không tăng lên khi số lượng điểm ảnh tăng lên.

Chính vì vậy, nó sẽ dẫn đến hình ảnh bị mở vi nó không làm tăng mức độ chi tiết của hình ảnh. Trên thực tế, hạn chế này tôn tại trong tất cả các hệ thống hình ảnh kỹ thuật số và không thể khắc phục bằng bat kỳ phương pháp nội suy nào. Siêu phân giải (Super Resolution) ra đời dé tìm cách khắc phục hạn chế này và tạo ra hình ảnh có độ phân giải cao hơn. Trên thực tế có hai phương pháp khác nhau dé có thé đạt được mục tiêu này.

Dau tiên là Da hình ảnh cho siêu phân giải (Muti Image Super Resolution), Phương pháp này tạo hình ảnh có độ phan giải cao (Hight Resolution) từ nhiều hình ảnh có độ phân giải thắp (Low Resolution). Hình ảnh mô tả cùng một cảnh. Mỗi hình ảnh đầu vào phải chứa thông tin duy nhất dé MISR hoạt động. Bằng cách này, các pixel sẽ được được lay mau từ các vị trí duy nhất.

Phương pháp nảy có khá năng ứng dụng rất hạn chế, vì thông thưởng chỉ có nhiều ảnh phân giải giải thấp trên cùng một khung cảnh và vị trí. Chính vì lý do trên đã ra đời phương pháp ảnh đơn cho siêu phân giải (Single Image Super Resolution). Phương pháp này thực hiện bằng cách sử dụng các thông tin dữ liệu từ hình ảnh có độ phân giải thấp (Low Resolution) và hình anh có độ phan giải cao tương ứng (High Resolution). Lý do chọn đề tài: Có thé thấy, sự phát triển của các mạng học sâu cho ảnh siêu phân giải có nhiều sự đột phá.

Tuy nhiên, việc áp dụng các mô hình vào thực tế lại là một thách thức to lớn. Chúng ta có thể nhận ra rằng trong nhiều trường hợp không chỉ phải đáp ứng được yêu cầu về chất lượng hình ảnh đầu ra mà còn về hiệu quả về mặt chi phí phan cứng vật lý và độ khả dụng cho các thiết bị di động. Các phương pháp gan đây tuy có hiệu quả cao nhưng yêu cầu quá nhiều vẻ mặt tính toán. Chính vì vậy, tôi muốn thực hiện dé xuất một mạng học sâu SR nhẹ dé cải thiện khuyết điểm đã đề cập ở trên.

Khảo sát các công trình liên quan: Hình ảnh có độ phân giải thấp có thé biến thành hình ảnh có độ phân giải bằng nhiều phương pháp và kỹ thuật khác nhau : Tăng độ phân giải trước khi lay mẫu ( Pre-Upsampling Super Resolution ) : Day là một phương pháp đầu tiên sử dụng deep learning cho ảnh siêu phân giải và dem lại một kết quả khá an tượng. | Pre-Upsampling Super resolution. Nguồn: analyticsvidhya Ta sử dụng các thuật toán lay mẫu truyền thong đẻ thu được hình ảnh có độ phân giải cao hơn va sau đó tinh chỉnh chúng bằng cách sử dụng mạng nơ-ron sâu dé tăng độ phan giải cho hình ảnh. Theo như mô hình trên, hình ảnh LR được ghép lại thành hình ảnh HR thô với kích thước mong muốn bằng phép nội suy nhị phân.

Sau đó, thông qua mạng CNN để tái tạo hình ảnh chất lượng cao. Điển hình ta có thé nhắc tới là SRCNN [1]: Đây là một mô hình CNN bao gồm 3 lớp: lớp trích xuất, ánh xạ phi tuyến và tái tạo. Các bản vá từ ảnh đầu vào ( dense pathches ) sẽ được trích xuất thông qua lớp trích xuất. Các bộ lọc tích chập 1x1 của lớp ánh xạ dùng dé thêm tinh phi tuyến và thay đôi số kênh.

Và hình ảnh được tái tạo lại thành độ phân giải cao hơn nhờ vào lớp cudi cling. Low-resolution High-resolution image (input) image (output) Patch extraction 7 Non-lipear mapping Reconstruction and representation Hình 1. Mô hình SRCNN Nguồn | paperspace Uu điểm của SRCNN là có thé học được các đặc trưng pha hợp cho bài toán nâng cao độ phân giải, thay vì sứ dung các đặc trưng được thiết kẻ sẵn như các phương pháp dựa trên mã hóa thưa (sparse coding). Ngoài ra, SRCNN cũng có thẻ tận dụng được sức mạnh của các framework học sâu như TensorFlow hay PyTorch dé huấn luyện và kiểm tra hiệu năng.

Nhược điểm của SRCNN là cần phải nội suy ảnh thấp độ phân giải lên kích thước mong muốn trước khi đưa vào mạng, điều nảy làm tăng chi phí tính toán va giảm chất lượng ảnh. Ngoài ra, SRCNN cũng có kiến trúc khá đơn giản và không tận dụng được các kỹ thuật nâng cao trong học sâu như chuỗi residual hay chuẩn hóa theo batch. Tăng độ phân giải sau khi lấy mẫu (Post-Upsampling Super Resolution): Có thé thấy được phương pháp trên tồn tại một nhược điểm là quá trình lay mẫu trong không gian ảnh có độ phân giải cao sẽ tốn nhiều sức mạnh tính toán hơn. Chính vì vậy phương pháp này sẽ thực hiện lấy mẫu trong không gian ảnh có độ phân giải thấp trước rồi mới thực hiện siêu phân giải.

Điều này giúp làm giảm đáng kẻ các chi phí tính toán. Đồng thời có thé sử dụng các phương pháp tích chập pixel dé lay mẫu. Điều này làm cho nó trở thành một mạng có thé huấn luyên toàn tập. Phương pháp Post-Upsampling Super Resolution Nguồn : analyticsvidhya Điện hình cho phương pháp nay là FSRCNN [2] : FSRCNN [2] không có tiền xử lý hoặc upsampling ở giai đoạn dau tiên.

Mô hình sử dụng mạng tích chập 1x1 đề sau tích chập 5x5 với mục đích giảm số kênh, thông qua đó giảm đi được khả năng tính toán và bộ nhớ. Điều nảy tương tự so với mang Inception, Các tích chập 3x3 có tác dụng đơn giản hóa kiến trúc của mô hình, đồng thời giảm được số lượng tham số. Bộ giải mã (Deconvolution ) sẽ có chức năng tăng độ phân giải. Mô hình FSRCNN đạt được kết quả tốt hơn và nhanh hơn so với mô hình SRCNN [1].

SRCNN (9-1-5) SRCNN Dicubic interpolation Jow-resobation | image \ FSRCNN (d,s,m) 5x5 d 1x1 $ 3x3 s 1x1 đ 9x9 Feature Feature Feature Feature Maps Maps Maps Maps m times Hình |. Mô hình FSRCNN Nguồn : mmlab Generative Models (Mô hình GAN) : Trong qua trình dao tạo, hình ảnh có độ phân giải cao (HR) được lay mẫu xuống thành hình ảnh có độ phan giải thấp.