Mô Hình Học Sâu Hiệu Quả Cho Ảnh Siêu Phân Giải

Khám phá mô hình học sâu hiệu quả cho ảnh siêu phân giải, giúp tăng độ phân giải ảnh chất lượng cao. Tìm hiểu khóa luận tốt nghiệp về SRCNN, GAN.

• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Mô Hình Học Sâu Hiệu Quả cho Ảnh Siêu Phân Giải
• Loại tài liệu: Khóa Luận Tốt Nghiệp

Mục lục chi tiết

• TÓM TẮT, GIỚI THIỆU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Lý do chọn đề tài
• 1.2. Khảo sát các công trình liên quan
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tổng quan ảnh siêu phân giải
• 2.2. Phương pháp nội suy cho siêu phân giải
• 2.3. Siêu phân giải dựa trên phương pháp sử dụng học sâu
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Giới thiệu mô hình
• 3.2. Mô hình ReyNet
• 3.3. Các phương pháp đánh giá ảnh siêu phân giải
• 3.4. Thiết kế mô hình
• 3.5. Kiến trúc mô hình
• 3.6. Tinh chỉnh các thông số
• 3.7. Dataset và xử lý dữ liệu
• 3.8. Xây dựng một số chức năng
• 4. CHƯƠNG 4: KẾT LUẬN
• BẢNG KÝ HIỆU, CHỮ VIẾT TẮT
• BẢNG DANH MỤC BẢNG BIỂU
• BẢNG DANH MỤC CÁC HÌNH VẼ

Tóm tắt

I. Ảnh Siêu Phân Giải Tổng Quan và Ứng Dụng Khóa Luận

Ảnh siêu phân giải (Super-Resolution - SR) là một kỹ thuật nâng cao chất lượng ảnh, biến ảnh có độ phân giải thấp thành ảnh có độ phân giải cao. Kỹ thuật này ngày càng trở nên quan trọng trong nhiều lĩnh vực, từ giám sát an ninh đến chẩn đoán y tế và phục hồi ảnh cũ. Các phương pháp siêu phân giải truyền thống như interpolation thường không đủ để tái tạo các chi tiết phức tạp. Do đó, các mô hình học sâu đã nổi lên như một giải pháp hiệu quả hơn, mang lại kết quả ấn tượng về độ chính xác và chất lượng ảnh. Các kiến trúc như SRGAN, EDSR, RDN, và RCAN liên tục được phát triển để vượt qua những hạn chế của các phương pháp trước đó. Khóa luận tốt nghiệp này tập trung vào việc nghiên cứu và đánh giá các mô hình học sâu tiên tiến nhất, nhằm tìm ra những phương pháp hiệu quả nhất cho bài toán ảnh siêu phân giải.

1.1. Ứng dụng thực tế của ảnh siêu phân giải hiện nay

Ảnh siêu phân giải không chỉ giới hạn trong phòng thí nghiệm mà còn được ứng dụng rộng rãi trong đời sống. Trong giám sát an ninh, nó giúp tăng cường khả năng nhận diện đối tượng từ các camera có độ phân giải thấp. Trong chẩn đoán y tế, SR cải thiện chất lượng ảnh chụp cắt lớp, hỗ trợ bác sĩ phát hiện bệnh sớm hơn. Phục hồi ảnh cũ cũng là một ứng dụng quan trọng, giúp bảo tồn những kỷ niệm quý giá. Xử lý ảnh vệ tinh cho phép theo dõi biến đổi khí hậu và quản lý tài nguyên thiên nhiên hiệu quả hơn. Các ứng dụng tiếp tục mở rộng khi các thuật toán ngày càng được cải thiện.

1.2. So sánh các phương pháp siêu phân giải truyền thống

Các phương pháp siêu phân giải truyền thống như interpolation (lấy mẫu) bao gồm các thuật toán như bilinear, bicubic và Lanczos. Mặc dù nhanh chóng và dễ thực hiện, chúng thường làm mờ ảnh và không tái tạo được chi tiết tốt. Các phương pháp reconstruction-based cố gắng ước lượng thông tin bị mất bằng cách sử dụng các mô hình toán học phức tạp hơn. Tuy nhiên, hiệu quả của chúng vẫn còn hạn chế so với mô hình học sâu. Các phương pháp truyền thống không thể học các đặc trưng phức tạp từ dữ liệu, dẫn đến kết quả kém tự nhiên và thiếu độ chính xác.

II. Thách Thức Nâng Cao Chất Lượng Ảnh Bài Toán Siêu Phân Giải

Mặc dù có nhiều tiến bộ, bài toán ảnh siêu phân giải vẫn còn nhiều thách thức. Việc tái tạo các chi tiết mất mát trong ảnh có độ phân giải thấp là một vấn đề khó khăn, đặc biệt khi độ phân giải gốc quá thấp. Các mô hình học sâu cần được huấn luyện trên một lượng lớn tập dữ liệu huấn luyện để đạt được hiệu quả tốt. Tuy nhiên, việc thu thập và chuẩn bị tập dữ liệu phù hợp có thể tốn kém và mất thời gian. Hơn nữa, việc cân bằng giữa độ chính xác và tốc độ xử lý là một bài toán nan giải, đặc biệt trong các ứng dụng thời gian thực. Do đó, nghiên cứu về kiến trúc mạng hiệu quả và các kỹ thuật tối ưu hóa vẫn là một lĩnh vực quan trọng.

2.1. Yêu cầu về tập dữ liệu huấn luyện cho mô hình học sâu SR

Để huấn luyện một mô hình học sâu hiệu quả cho ảnh siêu phân giải, cần một tập dữ liệu huấn luyện lớn và đa dạng. Tập dữ liệu nên bao gồm nhiều loại ảnh khác nhau, với các đặc điểm khác nhau về kết cấu, màu sắc và độ phức tạp. Các tập dữ liệu phổ biến như DIV2K, Set5, Set14 và BSD100 thường được sử dụng để đánh giá hiệu năng của các mô hình. Kỹ thuật data augmentation (tăng cường dữ liệu) như xoay, lật và thay đổi độ sáng có thể giúp tăng kích thước và độ đa dạng của tập dữ liệu.

2.2. Các yếu tố ảnh hưởng đến tốc độ xử lý ảnh siêu phân giải

Tốc độ xử lý là một yếu tố quan trọng trong nhiều ứng dụng của ảnh siêu phân giải, đặc biệt là trong các ứng dụng thời gian thực. Kích thước của kiến trúc mạng và độ phức tạp của các phép tính là những yếu tố chính ảnh hưởng đến tốc độ xử lý. Các kỹ thuật tối ưu hóa như giảm độ chính xác của các phép tính và sử dụng phần cứng tăng tốc (GPU) có thể giúp cải thiện tốc độ xử lý mà không làm giảm đáng kể chất lượng ảnh.

III. Cách Xây Dựng Mô Hình Học Sâu Hiệu Quả Cho SR Hướng Dẫn

Việc xây dựng một mô hình học sâu hiệu quả cho ảnh siêu phân giải đòi hỏi sự kết hợp giữa kiến thức lý thuyết và kinh nghiệm thực tế. Đầu tiên, cần lựa chọn một kiến trúc mạng phù hợp với yêu cầu của bài toán. Các kiến trúc như EDSR và RDN đã chứng minh được hiệu quả của chúng trong việc tái tạo các chi tiết phức tạp. Tiếp theo, cần lựa chọn một loss function (hàm mất mát) phù hợp để tối ưu hóa mô hình. Các hàm mất mát phổ biến bao gồm L1 loss, L2 loss và perceptual loss. Cuối cùng, cần sử dụng một optimizer (thuật toán tối ưu) hiệu quả để huấn luyện mô hình trên tập dữ liệu huấn luyện.

3.1. Lựa chọn kiến trúc mạng nơ ron tích chập CNN phù hợp

Lựa chọn kiến trúc mạng là một bước quan trọng trong việc xây dựng một mô hình học sâu cho ảnh siêu phân giải. Các mạng nơ-ron tích chập (CNN) như SRCNN, VDSR, EDSR, RDN và RCAN đều có những ưu điểm và nhược điểm riêng. SRCNN là một trong những kiến trúc đầu tiên được sử dụng cho ảnh siêu phân giải, trong khi EDSR và RDN sử dụng các kỹ thuật residual learning và skip connection để cải thiện hiệu năng. Việc lựa chọn kiến trúc mạng phù hợp phụ thuộc vào yêu cầu cụ thể của bài toán và tài nguyên tính toán có sẵn.

3.2. Tối ưu hóa loss function và optimizer cho mô hình SR

Việc lựa chọn loss function và optimizer phù hợp có thể cải thiện đáng kể hiệu năng của mô hình học sâu. Các loss function phổ biến cho ảnh siêu phân giải bao gồm L1 loss, L2 loss, perceptual loss và adversarial loss. L1 loss và L2 loss đo lường sự khác biệt giữa các pixel của ảnh được tạo ra và ảnh gốc, trong khi perceptual loss đo lường sự khác biệt về cảm nhận. Các optimizer như Adam, SGD và RMSprop có thể được sử dụng để huấn luyện mô hình. Việc điều chỉnh các siêu tham số của optimizer cũng rất quan trọng để đạt được kết quả tốt nhất.

IV. Ứng Dụng Học Sâu Nâng Cấp Video Độ Phân Giải Thấp Thực Tiễn

Một trong những ứng dụng tiềm năng nhất của ảnh siêu phân giải là nâng cấp video độ phân giải thấp. Với sự phát triển của các mô hình học sâu, việc chuyển đổi video có độ phân giải thấp thành video có độ phân giải cao trở nên khả thi hơn bao giờ hết. Điều này có thể cải thiện trải nghiệm xem video trên các thiết bị có màn hình lớn, cũng như khôi phục lại các đoạn video cũ bị mờ hoặc hỏng. Các kỹ thuật như temporal consistency (tính nhất quán theo thời gian) có thể được sử dụng để giảm thiểu hiện tượng nhấp nháy và cải thiện chất lượng video tổng thể.

4.1. Vấn đề và giải pháp cho video siêu phân giải theo thời gian

Nâng cấp video siêu phân giải có thêm một thách thức lớn so với ảnh tĩnh: duy trì tính nhất quán theo thời gian. Nếu không có các biện pháp can thiệp đặc biệt, video có thể bị nhấp nháy hoặc xuất hiện các artifact khó chịu. Giải pháp thường bao gồm việc sử dụng các mô hình 3DCNN hoặc LSTM để ghi nhớ và xử lý thông tin giữa các khung hình liên tiếp. Tính nhất quán về màu sắc và cấu trúc cũng cần được đảm bảo để tạo ra trải nghiệm xem mượt mà.

4.2. Case study Phục hồi video cũ bằng mô hình học sâu SRGAN

Các mô hình học sâu đặc biệt là SRGAN đã chứng minh được khả năng vượt trội trong việc phục hồi video cũ. Bằng cách huấn luyện SRGAN trên các tập dữ liệu chứa nhiều loại video bị mờ và nhiễu, mô hình có thể học cách tái tạo các chi tiết bị mất và giảm thiểu các artifact. Kết quả là, những đoạn video cũ có thể được nâng cấp lên độ phân giải cao hơn, mang lại trải nghiệm xem tốt hơn cho người dùng.

V. Đánh Giá và So Sánh Các Mô Hình Ảnh Siêu Phân Giải Hiện Đại

Việc đánh giá và so sánh các mô hình ảnh siêu phân giải là rất quan trọng để xác định phương pháp nào hiệu quả nhất. Các chỉ số đánh giá phổ biến bao gồm PSNR (Peak Signal-to-Noise Ratio) và SSIM (Structural Similarity Index Measure). PSNR đo lường sự khác biệt về cường độ pixel giữa ảnh được tạo ra và ảnh gốc, trong khi SSIM đo lường sự tương đồng về cấu trúc. Tuy nhiên, các chỉ số này chỉ là một phần của bức tranh. Việc đánh giá chủ quan bởi con người cũng rất quan trọng để đánh giá chất lượng ảnh một cách toàn diện.

5.1. Ưu và nhược điểm của PSNR và SSIM trong đánh giá SR

PSNR (Peak Signal-to-Noise Ratio) và SSIM (Structural Similarity Index Measure) là hai chỉ số phổ biến để đánh giá chất lượng ảnh trong bài toán siêu phân giải. PSNR dễ tính toán nhưng không phản ánh được sự khác biệt về cấu trúc. SSIM chú trọng hơn đến cấu trúc, gần gũi hơn với cảm nhận của con người, nhưng phức tạp hơn trong tính toán và có thể không chính xác trong một số trường hợp. Việc sử dụng kết hợp cả hai chỉ số sẽ cho cái nhìn toàn diện hơn.

5.2. Phương pháp so sánh khách quan và chủ quan các mô hình SR

Việc so sánh các mô hình SR không chỉ dựa vào các chỉ số như PSNR và SSIM mà còn cần đến đánh giá chủ quan của con người. Các phương pháp đánh giá chủ quan thường bao gồm việc yêu cầu người tham gia so sánh chất lượng ảnh được tạo ra bởi các mô hình khác nhau. Các phương pháp đánh giá khách quan sử dụng các chỉ số như PSNR và SSIM, trong khi các phương pháp đánh giá chủ quan sử dụng các bài kiểm tra nhận thức để đánh giá chất lượng ảnh.

VI. Kết Luận và Hướng Phát Triển Của Ảnh Siêu Phân Giải Học Sâu

Khóa luận này đã trình bày tổng quan về các mô hình học sâu hiệu quả cho ảnh siêu phân giải. Các mô hình này đã đạt được những tiến bộ đáng kể trong việc tái tạo các chi tiết phức tạp và cải thiện chất lượng ảnh. Tuy nhiên, vẫn còn nhiều vấn đề cần giải quyết, chẳng hạn như cải thiện tốc độ xử lý và giảm thiểu các artifact. Trong tương lai, các nghiên cứu sẽ tập trung vào việc phát triển các kiến trúc mạng hiệu quả hơn và các kỹ thuật tối ưu hóa mới. Generative adversarial network (GAN) vẫn là một hướng đi đầy hứa hẹn, với tiềm năng tạo ra những ảnh có chất lượng cao và độ chân thực cao.

6.1. Hướng nghiên cứu tiềm năng cho ảnh siêu phân giải trong tương lai

Hướng nghiên cứu trong tương lai cho ảnh siêu phân giải bao gồm phát triển các kiến trúc mạng có khả năng tái tạo chi tiết tốt hơn, đặc biệt là trong các vùng có kết cấu phức tạp. Các kỹ thuật attention mechanism và transformers có thể được sử dụng để tập trung vào các vùng quan trọng của ảnh. Ngoài ra, việc kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như ảnh và video, cũng là một hướng đi đầy hứa hẹn.

6.2. Vai trò của Generative Adversarial Networks GANs cho siêu phân giải

Generative adversarial network (GAN) vẫn là một hướng đi đầy hứa hẹn cho ảnh siêu phân giải. GANs có khả năng tạo ra những ảnh có chất lượng cao và độ chân thực cao bằng cách học cách phân biệt giữa ảnh thật và ảnh được tạo ra. Tuy nhiên, việc huấn luyện GANs có thể khó khăn và đòi hỏi nhiều tài nguyên tính toán. Các nghiên cứu gần đây đã tập trung vào việc cải thiện sự ổn định và hiệu quả của quá trình huấn luyện GANs.

Trích đoạn nội dung tài liệu

TRƯỜNG ĐẠI HỌC SƯ PHẠM TPHCM. KHOA CÔNG NGHỆ THÔNG TIN UYÊN THANH BÌNH MÔ HÌNH HỌC SÂU HIỆU QUÁ CHO ẢNH SIÊU PHÂN GIẢI KHÓA LUẬN TÓT NGHIỆP.HO CHI MINH - NAM 2023 TRƯỜNG ĐẠI HỌC SU PHẠM TPHCM KHOA CÔNG NGHỆ THÔNG NGUYÊN THANH BÌNH MÔ HÌNH HỌC SÂU HIỆU QUA CHO ẢNH SIÊU PHÂN GIẢI CHUYÊN NGÀNH: KHOA HỌC MÁY TỊ KHÓA LUẬN TÓT NGHIỆP NGƯỜI HƯỚNG DẪN KHOA HỌC: TS.NGÔ QUỐC VIỆT TP.HCM ~ NAM 2023 Mục Lục TÓM TÁT. GIỚI THIỆU: 1 “Tổng quan: 12. Lý do chọn đề tài 1 Khao sát các công trình liên quan: 144.

Phat biéu bai toán CHUONG 2. CO S6 LY THUY! 2. Tổng quan ảnh siêu phân giải. Phương pháp nội suy cho siêu phân giải 3.

Siêu phân giải dựa trên phương pháp sử đụng học sâu. MÔ HÌNH ĐÈ XUẤT. Giới thiệu l hình: 3.Mô hình ReyNet 3. Các phương pháp đánh giá ảnh siêu phan git 3.

Thiết kế mô hình 3. Kiến trúc mô hình 3. Tỉnh chỉnh các thông số 3. Dataset va xi lý dữ liệu 3.

Xây dựng một số chức năng 'CHƯƠNG4. KÉT LUẬN BANG KY HIEU, CHU VIET TAT BẰNG DANH MỤC BẰNG BIÊU Bing1 1 Các model có s tham số cao, Bảng5 L So sánh thông số PSNR/SSIM giữa các mô hình Bảng5 2 So sánh số ham số giữa các mô hình Bảng5 Bảng thời gian chạy thực tế (Trung bình cộng 5 lần) Bảng5 Bảng số phần trăm chiếm hữu CPU (Trung bình cộng 5 lần) Bảng 5 Bảng số Ram( MB) tiêu tổn để chạy mô hình (Trung bình cộng 5 ln). Bảng dụng lượng của mô hình (b5), BANG DANH MYC CAC HINH VE Hinh 1.1 Pre-Upsampling Super resolution, Neu: analyticsvidhya Hình 1 2 Mô nh SRCNN Nguồn : papcrspace Hinb 1 3 Phương pháp Post-Upsampling Super Resolution, Hình 1 4 Mô hình FSRCNN Nguồn : mmlab. Hình 1 5 Mô hình GAN.

Hình 1 6 Mô hình SRGÀN Nguồn : srgan Hình 1 1 Hầm mat mit Perceptual Hình 2. “Thuật toán nội suy lân cận Hình 2, “Thuật toán nội suy song tuyển Hình 2, 3 “Thuật toán nội suy song khối Hình 2, 4 Mô hình SRCNN. Nguồn : Srenn Hình 2. 5 Mô hình VDSR_ Nguồn: VDSR.

6 Mô hình SRGAN. 7 Mô hình LAPSRN Nguồn: Lapse. Hình 3, Khối Residual Hình 3, 2. Separable Convolution 2D Ngudn: Deep Hình 3.

3 Shuffle Pixel Nguồn : Pylmage. Hình 3 4 Độ phân giải thể hiện qua PSNR. Hình 3, 5 Kiến trúc mô. đề xuất Hình 3, 6 Khối RPSB (Khối lăng cường đặc điểm trích xuấ, Hình 3, 1 Một số hình ảnh về tập dữ liệu Hinh 3.

Một số hình ảnh mẫu sau khi tách kênh màu. Các bước xử lýđ tạo ảnh đầu vào cho mô hình Hình 3, 10. Hàm đưa bình ảnh về độ phân giải thấp Hình 3. Cách hoạt động của hảm tăng độ phân giải Hinh4.

Women ở Sele x3 Minh4. Baby 6 Seale x4 Minh 4.9 Comic 6 Sale x4 Hinh 4, 10, Zebrad Seale x4 Hình 4. TOM TAT “Trong để tài nghiên cứu này. Tôi thực hiện nghiên cứu và để xuất một mô hình học sâu hiệu quả cho ảnh siêu phân giải.

Nghiên cứu áp dụng công nghệ Học Máy và Học sâu vào việc huấn luyện mô hình để tăng độ phân giải của hình ảnh có độ phân giải hấp. Việc huấn luyện và thực nghiệm của mô hình này sẽ sử dụng thư Vign Tensorflow. ‘Tir kha : super resolution, dnb siêu phân giải, mô hình học sâu hiệu quả cho ảnh siêu phân giải. Tổng quan: Cuộc sống ngày càng phát triển, hình ảnh kỹ thuật số đã trở nên rất phd biển và có tầm quan trọng trong nhiễu lĩnh vực của con người.

Chất lượng của hình ảnh cũng ngày một tốt hơn. Có nhiều khía cạnh để đánh giá chất lượng của. Trong đó có thể kẻ đến độ phân giải của bình ảnh. Nó thường được biển hiện bằng sổ pixel rong anh.

Tuy ede công cụ chụp ảnh ngày nay chất lượng my àng tốt nhưng không thể tránh khỏi hiện tượng ảnh bị mở bởi các yếu tổ ngoại quan như môi trường, thời tiết, và một số tác nhân khác: tốc độ của vật, `Vấn để tương bự xảy ra khi chúng ta muỗn phóngto hình ảnh kỹ thuật sổ để hiển thị nó trên màn hình có độ phân giải cao hơn. Số pixelcủa hình ảnh phải phù hợp với độ phân giải màn hình và kích thước hình ảnh mong muốn. Quá trình này có thể đại được bằng cách nội suy bình ảnh, nhưng độ phân giải thục tế Không tăng lên khi số lượng điểm ảnh tăng lên. Chỉnh vì vậy, nó sẽ dẫn đến hình ảnh bị mở vì nó không làm tăng mức độ chỉ tết của hình ảnh, Trên thực ế, hạn chế này tổntại trong tắt cả các hệ thống hình ảnh kỹ thuật số và không thể khắc phục bằng bắt kỹ phương pháp nội suy nào.

Siêu phân giải (Super Resolution) ra dai dé ừm cách khắc phục hạn chế này Và tạo ra hình ảnh có độ phân giải cao hơn. Trên thục tế có hai phương pháp Khác nhau để có thể đạt được mục iêu này. Đầu tiên là Đa hình ảnh cho siêu phân giải (Muti Image Super Resoludon). Phương pháp này tạo hình ảnh có độ phân giải 0 (Hight Resolution) từ nhiều hình ảnh có độ phân giải thấp (Low Resolution) Hình ảnh mô tả cùng một cảnh.

Mỗi hình ảnh đầu vào phải chứa thông tin day nhất để MISR hoạt động. Bằng cách này, các pixel sẽ được được lẤy mẫu từ các vị trí duy nhất. Phương pháp này có khả năng ứng dụng tắt hạn chế, vì thông thường chi c6 nhiều ảnh phân giải giải thấp trên cùng một khung cảnh và vị trí. Chính vì lý do trên đã ra đời phương pháp ảnh đơn cho siêu phân giải (Single Image Super Resolution).

Phuong php nảy thực hiện bing cách sử dụng, các thông tin dữ liệu từ hình ảnh có độ phân giải thấp (Low Resolution) và hình ảnh có độ phân giải cao tương ứng (High Resolution). Ly do chọn đềt C6 thể thấy, sự phátiển của các mạng học sâu cho ảnh siêu phân giải có nhiều sự đột phá. Tuy nhiên, việc áp dụng các mô hình vào thực t lại là một thách thức to lớn. Chứng ta có thể nhận ra rằng trong nhiều trường hợp không chỉ phải dp ứng được yêu cầu về chất lượng hình ảnh đầu ra mà còn về hiệu quả vỀ mat chỉ phí phần cứng vậtlý và độ khả dụng cho ác thếtbị di động.

Các phương pháp gần đây tuy có hiệu quả cao nhưng yêu cầu quá nhiễu về mặttính toán. Chính vì vây, ôi muốn thực hiện để xuất một mạng học sâu SR nhẹ để cải thiện khuyết điểm đã đề cập ở trên. Khảo sắt các công trình iên quan: i 8 Hình ảnh có độ phân giải thấp có thể biến thành hình ảnh có độ phân giải bằng nhiều phương pháp và kỹ thuật khác nhau : Tăng độ phân giải trước khi lấy miu ( Pre-Upsampling Super Resolution } : Đây là một phương pháp đầu tiên sử cdụng deep leaming cho ảnh siêu phân giải và đem lại một kết quả khá Ấn tượng. 1 Pre-Upsampling Super resolution.

Nguồn: analyticsvidbya Ta sử dụng các thuật toán lấy mẫu truyền thống để thụ được hình ảnh có độ phân giải cao hơn và sau đó tỉnh chỉnh chúng bằng cách sử dụng mạng nơ-ron âu để tăng độ phân giải cho hình ảnh. Theo như mô hình trên, hình ảnh LR được ghép lạ thành hình ảnh HR thô với ích thước mong muốn bằng phép nội suy nhị phân, Sau đó, thông qua mang CNN để tái tạo hình ảnh chất lượng ao. Điền hình ta có thể nhắc tới là SRCNN [1]: Đây là một mô hình CNN. bao gồm 3 lớp: lớp ích xuất, nh xạ phi tuyển và tấ tqo.

Các bản vá ừ nh đầu Vào ( đense pathehes ) sẽ được trích xuất thông qua lớp trích xuất. Các bộ lọc tích chip Ixl của lớp ánh xạ đùng để thêm tinh phi tuyển và hay đổi số kênh, Và hình ảnh được ti ạo lại thành độ phân giải cao hơn nhờ vào lớp cuối cùng 2 a — Hình L. Mô hình SRCNN Nguồn : paperspace Ưu điểm của SRCNN là có thể học được các đặc trưng phủ hợp cho bài toán. nâng cao độ phân giải, thay vì sử dụng các đặc trưng được thiết kế sẵn như các phương pháp dựa trên mã hóa thưa (sparse coding).

Ngoài ra, SRCNN cũng có thể tân đụng được sức mạnh của các framework hoe siu như TensorFlow hay PyTorch để huắn luyện và kiểm tra hiệu năng, "Nhược điểm của SRN là cần phải nội uy ảnh thấp độ phân giả lên kích thước mong muốn trước khi đưa vào mạng, điều này làm tăng chỉ phi tinh toán và. giảm chất lượng ảnh. Ngoài ra, SRCNN cũng có kiến trúc khá đơn giản và không tân dụng được các kỹ thuật nâng cao trong học sâu như chuỗi residual hay chun hoa theo batch, ‘Tang độ phân giải sau khi lấy mẫu (Post-Upsampling Super Resolution): Có thể thấy được phương pháp trên tồn tại một nhược điểm là quá trình lấy mẫu trong không gian ảnh có độ phân giải cao sẽ tốn nhiều sức mạnh tính toán hơn. “Chính vì vậy phương pháp này sẽ thực hiện lấy mẫu rong không gian ảnh có độ phân giải thấp trước rồi mới thực hiện siêu phân giải.

Điều này giúp làm giảm đáng kể các chỉ phí tính toán. Đồng thời có thể sử dụng các phương pháp tích chập. pixelđể lấy mẫu. Điều này lầm cho nó trở thành một mạng có thể huẫn luyên toàn tập.3 Phương pháp Post-Upsampling Super Resolution Nguồn : analytiesvidhya Điển hình cho phương pháp này là FSRCNN [2] FSRCNN [2] không có tiền xử lý hoặc upsampling ở giai đoạn đầu tiên Mô sử đụng mạng tích chập IxI để sau tích chập 5x5 với mục đích giảm số kênh, thông qua đó giảm đi được khả năng tink toán và bộ nhớ.

ĐiỀu ndy trơng tự so với mang Inception. C& ch chập 3x3 có tác dụng đơn giản hóa kiến trúc của mô hình, đồng thời giảm được số lượng tham số. Bộ giải mã (Deconvoluon ) sẽ có chức năng tăng d@ phan giai. Mo hinh FSRCNN dst doe két qu tot hơn và nhanh hon so vi mé hinh SRCNN [1].

Mô hình FSRCNN Nguôn : mmlab. Generative Models (M@ hinh GAN) : Trong quá trình đảo tạo, hình ảnh có. độ phân giải cao (HR) được lấy mẫu xuống thành hình ảnh có độ phân giải thấp Bộ khỏi tạo (Generator) lấy mẫu hình ảnh LR thành hình ảnh siêu phân giải (SR) Sau đó sử dụng bộ phân biét (discriminator) dé có thể phân biệt các hình ảnh có độ. phân giải cao (HR) va ding GAN loss để huấn luyện bộ phân biệt và bộ khối tạo.

Mô hình GAN 6 Điển hình cho phương pháp này là S&GAN [3]. Mô hình SRGAN Nguồn - gan.