Mô Hình Học Sâu Hiệu Quả Cho Siêu Phân Giải

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính mô hình học sâu hiệu quả cho ảnh siêu phân giải, điều tra thực trạng, phân tích số liệu, đề xuất biện pháp cải tiến

• Tác giả: Nguyen Thanh Binh
• Người hướng dẫn: TS. Ngo Quoc Viet
• Trường học: Trường Đại Học Sư Phạm TPHCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Mô Hình Học Sâu Hiệu Quả Cho Ảnh Siêu Phân Giải
• Loại tài liệu: Khoa Luận Tốt Nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP.Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: GIỚI THIỆU
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 5. CHƯƠNG 5: KẾT LUẬN

Tóm tắt

I. Tổng Quan Về Mô Hình Học Sâu Trong Siêu Phân Giải

Mô hình học sâu đã trở thành một công cụ quan trọng trong lĩnh vực siêu phân giải. Siêu phân giải (Super Resolution) là quá trình tạo ra hình ảnh có độ phân giải cao hơn từ hình ảnh có độ phân giải thấp. Công nghệ này không chỉ cải thiện chất lượng hình ảnh mà còn mở ra nhiều ứng dụng trong các lĩnh vực như y tế, an ninh và giải trí. Việc áp dụng các mô hình học sâu giúp tái tạo các chi tiết mịn màng và sắc nét hơn so với các phương pháp truyền thống.

1.1. Khái Niệm Siêu Phân Giải Là Gì

Siêu phân giải là kỹ thuật xử lý hình ảnh nhằm nâng cao độ phân giải của hình ảnh. Kỹ thuật này có thể được thực hiện thông qua nhiều phương pháp khác nhau, bao gồm cả việc sử dụng học sâu. Mục tiêu chính là tạo ra hình ảnh có độ phân giải cao hơn mà vẫn giữ được các chi tiết quan trọng.

1.2. Lợi Ích Của Mô Hình Học Sâu Trong Siêu Phân Giải

Mô hình học sâu mang lại nhiều lợi ích cho siêu phân giải, bao gồm khả năng học các đặc trưng phức tạp từ dữ liệu. Điều này giúp cải thiện chất lượng hình ảnh đầu ra, giảm thiểu hiện tượng mờ và tăng cường độ sắc nét cho hình ảnh.

II. Thách Thức Trong Việc Ứng Dụng Mô Hình Học Sâu

Mặc dù mô hình học sâu mang lại nhiều lợi ích, nhưng việc áp dụng chúng vào thực tế vẫn gặp nhiều thách thức. Một trong những vấn đề lớn nhất là yêu cầu về tài nguyên tính toán. Các mô hình phức tạp thường cần nhiều sức mạnh tính toán, điều này gây khó khăn cho việc triển khai trên các thiết bị di động hoặc trong thời gian thực.

2.1. Yêu Cầu Tài Nguyên Tính Toán Cao

Nhiều mô hình học sâu yêu cầu tài nguyên tính toán lớn, điều này có thể gây khó khăn cho việc triển khai trên các thiết bị có cấu hình thấp. Việc này làm giảm khả năng ứng dụng của chúng trong thực tế.

2.2. Khó Khăn Trong Việc Tối Ưu Hóa Mô Hình

Tối ưu hóa mô hình để giảm thiểu yêu cầu tính toán mà vẫn đảm bảo chất lượng hình ảnh là một thách thức lớn. Cần có các phương pháp mới để cải thiện hiệu suất mà không làm giảm chất lượng đầu ra.

III. Phương Pháp Học Sâu Hiệu Quả Cho Siêu Phân Giải

Có nhiều phương pháp học sâu được áp dụng cho siêu phân giải, trong đó nổi bật là các mô hình CNN và GAN. Những mô hình này đã chứng minh được hiệu quả trong việc cải thiện chất lượng hình ảnh, đồng thời giảm thiểu yêu cầu về tài nguyên tính toán.

3.1. Mô Hình CNN Trong Siêu Phân Giải

Mô hình CNN (Convolutional Neural Network) là một trong những phương pháp phổ biến nhất cho siêu phân giải. Nó có khả năng học các đặc trưng không gian của hình ảnh, từ đó tạo ra hình ảnh có độ phân giải cao hơn.

3.2. Mô Hình GAN Và Ứng Dụng Trong Siêu Phân Giải

Mô hình GAN (Generative Adversarial Network) cũng được sử dụng rộng rãi trong siêu phân giải. GAN giúp tạo ra hình ảnh có độ phân giải cao bằng cách sử dụng hai mạng: một mạng tạo hình ảnh và một mạng phân biệt hình ảnh thật và giả.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Học Sâu Trong Siêu Phân Giải

Mô hình học sâu đã được áp dụng trong nhiều lĩnh vực khác nhau, từ y tế đến giải trí. Việc cải thiện chất lượng hình ảnh có thể mang lại lợi ích lớn trong việc chẩn đoán y tế, nhận diện khuôn mặt và phục hồi hình ảnh cũ.

4.1. Ứng Dụng Trong Y Tế

Trong y tế, siêu phân giải giúp cải thiện chất lượng hình ảnh X-quang, từ đó hỗ trợ bác sĩ trong việc chẩn đoán chính xác hơn. Hình ảnh rõ nét hơn giúp phát hiện các vấn đề sức khỏe sớm hơn.

4.2. Ứng Dụng Trong Giải Trí

Trong lĩnh vực giải trí, siêu phân giải có thể được sử dụng để nâng cao chất lượng hình ảnh trong phim ảnh và trò chơi điện tử, mang lại trải nghiệm tốt hơn cho người dùng.

V. Kết Luận Về Mô Hình Học Sâu Trong Siêu Phân Giải

Mô hình học sâu đã mở ra nhiều cơ hội mới cho siêu phân giải. Tuy nhiên, vẫn còn nhiều thách thức cần phải vượt qua để tối ưu hóa hiệu suất và khả năng ứng dụng của chúng. Tương lai của siêu phân giải hứa hẹn sẽ tiếp tục phát triển với sự tiến bộ của công nghệ học sâu.

5.1. Tương Lai Của Siêu Phân Giải

Tương lai của siêu phân giải sẽ phụ thuộc vào sự phát triển của các mô hình học sâu mới và khả năng tối ưu hóa chúng cho các ứng dụng thực tế. Sự kết hợp giữa công nghệ và nghiên cứu sẽ tạo ra những bước tiến mới trong lĩnh vực này.

5.2. Những Hướng Nghiên Cứu Mới

Các nghiên cứu mới sẽ tập trung vào việc phát triển các mô hình nhẹ hơn, hiệu quả hơn, có khả năng hoạt động trên các thiết bị di động mà vẫn đảm bảo chất lượng hình ảnh cao.

Trích đoạn nội dung tài liệu

TRƯỜNG ĐẠI HỌC SƯ PHAM TPHCM KHOA CÔNG NGHỆ THÔNG TIN NGUYEN THANH BÌNH MÔ HÌNH HỌC SÂU HIỆU QUÁ CHO ANH SIÊU PHAN GIẢI KHOA LUAN TOT NGHIEP TP.HO CHI MINH - NAM 2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM TPHCM KHOA CÔNG NGHE THONG TIN NGUYEN THANH BINH MO HINH HOC SAU HIEU QUA CHO ANH SIEU PHAN GIAI CHUYEN NGANH: KHOA HỌC MAY TÍNH NGƯỜI HƯỚNG DAN KHOA HQC: — TS. NGO QUOC VIET TP.HCM — NAM 2023 TÌMITAT. o6 cố nh nhờ 2n non 2 l CHƯNG 1. GIỚI THIBU ooccccccccccccccccescssessssecssvessssessssesssseessseesssessnesssvesssvesssseessnessneesaneeanees 2 l.

LY do ChOM AE cổ cố. Khao sát các công trình liên QUAN:. 3 l4, PhátbiÊubầLĐẤN?sssssssssoronntonnnninnniiiiiiiitoitootobiiiiiiiinlRtAiiSSi6.8080ã888ã83087 7 CHUONG 2; COSOLY THUẦẾT: on nnionnnorỷ-i-ai-aieiiaaanaenanaasseseeel 9 5:Ï.Tônö gian ãïih siêu phân Giả ao aanaannaniniiniodiiBE02010001010161318163033424361233634225386386221 9 2. Phương pháp nội suy cho siêu phân giải.

Siêu phân giải dựa trên phương pháp sử dụng học sâu.---<- 11 CHUGNG 3; MG TINE DE XUẤT toonnonnnnnouoonnnnanoinioioditiiiniiii044886666432446664 21 WRC bo) 21 Sill, MG hin RESNGE sssssssssssssivesccescsssvessssaessesenseaseseacsssnssasesessssoezsararasausssnsazarovesensasass 21 3.csssccscscascscsccscucvecscscescncvscuccscvccccscuccscensenssenssorsseneasens 23 Su 3 SWAG PINS ac sccssssssssscssssssessssssscssssssssssssssesssssssssssssssasasscsesososesesssssssssssssssssesussuzace 26 3. Các phương pháp đánh giá anh siêu phân giải.-- ----<s<c<s<s<-e 27 S2: THiệt KẾ piúi|HÌNH),. Kiến trúc mô hình :.--22-CC22z©CEEE+2ZEEEEEEEZCECEEEerrrrrrrrrrrrrrrerrrrrrvee 30 3. Tinh chỉnh các thông SỐ :.Và:xửilý:dữllẾHÍ:::scccccceiniiiiiiiii1011101011012030303001868E0804E8G80266663568656565666656568635E 36 S13: ÍÌ.|DBAS€TE:¿:::::zszzzzzzs22z2225352525535295858535555556525255852555555352856555585632553585655358565235833235323255235322 36 3.

Xây dựng một số chức năng:.-22222222CCCE222222EECEE222222EECEE. TT ING sscsscccsccssccssescnssscscacssesscsssescsossessscssesssessecenmmenmnnennnen 44 CHƯƠNG 5. KET LUAN oioccccccccccccssccsssesssessseessvesseesssesssessseessvesssestsesusesststsestneeenseeeeeeneeeesees 51 BẢNG KÝ HIỆU, CHỮ VIẾT TÁT Y nghĩa Convolution Neural Network Very Deep Super Resolution Laplacian Pyramid Super Resolution Network BANG DANH MỤC BANG BIEU Bang 1. 1 Các model có số tham số.

So sánh thông số PSNR/SSIM giữa các mô hình. So sánh số tham số giữa các mô hình.22- 22222zz222VV222zzzzcccccczcez 49 Bảng 5. Bang thời gian chạy thực tế (Trung bình cộng 5 lằn). Bảng số phan trăm chiếm hữu CPU (Trung bình cộng 5 lần).

Bang số Ram( MB) tiêu tốn để chạy mô hình (Trung bình cộng 5 lần). Bảng dung lượng của mô hình (. 50 BẢNG DANH MỤC CÁC HÌNH VẼ Hình 1. 1 Pre-Upsampling Super resolution.

Mô hình SRCNN Nguồn : paperspacc.----22-cC222zzzccCCC2zzzzzcerrc 4 Hình 1. Phương pháp Post-Upsampling Super Resolutton. Mô hình FSRCNN Nguồn : mmlab.22222-2CCCCEEEEE2222ZEECCEECEVE222zccccrrei 6 HìnB1. Mô hình SRGAN Nguồn : srgan.

Hàm mat mát Perceppttal.Tnu90itðØáTñ011SU0/)lEDG00:iiiocopopiiibipiiiniiiiitiiiiiiiiiti11103110313135858585384858355353333553 10 Hình 2. Thuật toán nội suy song tuyỂn.- 22222 2222222222222222222222222222222251222 xe HH Hình 2. Thuật toán nội suy song khối. Mô hình SRCNN.

Nguôn SOI CN H :2:55105:026051552501515015148562555355555555252555E5755557550525155 13 Hình 2. Mô hình VDSR_ Nguồn: VDSR. Mô hình SRGAN. Mô hình LAPSRN Nguôn: Lapsim .l\IKHOIIRBSIU8ÌL 5116666 6it06110116600050000002000000000000001003003320111000600130 10011000 23 Hình 3.

Separable Convolution 2D Nguôn: Deep. Shuffle Eixel Nguồn: Pylnage. Độ phân giải thé hiện qua PSNR. Kiến:trúc mỗiNinh: để KẾ ossccssssssssssssssssssesseassssnsssssssssssovovssssnsnsnsssssnsssssnass 31 Hình 3.

Một số hình ảnh về tập dữ liệu.--22-222222222EE22222EE2222Z22222zzcccczzccee 36 Hình 3. Một số hình ảnh mẫu sau khi tách kênh màu. Các bước xử ly dé tạo anh đầu vào cho mô hình. Hàm dua hình ảnh về độ phân giải thấp.

Cách hoạt động của ham tăng độ phân giải.-o-2-<c<c<c<cc-ecee 42 Hình 4. - L TQ HH TT TH TT ng 44 Hình 4. 2 Bunter tly (SGt5)): cccssccsscesscesesesessssesesessesssssssesssssssssasasssasesescescsssesososesesesesnessnonesesszazd 44 nA. 3 Baby (SEt5) i ssscsssscsssssscsssscsssassssssssssscssscsssssssssasscssssssssssncasssanasasseasssenssasscasssessessasaszs 44 Hình:4.

Zebra (Secu iassssssssssssssssssssssssssssssassesssessoseseessvessoseseessvoasnaaanaasaaaasaaanassaaasaaaaseasoces 45 Hình:4.(SSLÏÄ}::i:occocooibiiiiioiiiiii101131136103833865838588888S383833635336383563855533318333384 45 Hình:4.¡i6:ÌBuUtTlly0iSCAl6:XỔ:ioccooiciitiniiiiiiiiiiiiiiii11015151515138581036ã3ã3ã3ã3835883858583858354 45 Hình 4. Women ở Scale XỔ. tt nh 01 111111111 rrrrrrr 46 Pin 4:8; Baby Oi SCAG XÃ Gonooppnoooiinpottbpbititititiiiiiiii444141415ã686568656886880608885080808588830388 46 HinR›d.!9!:/G0IC+Ở S00ÏE:XÂ:¡:copiniiiiiiiiitiitiiiitiititit11101810151010893333839358888888589885989568988888838E 47 Hình:4. 10: ZEBra ở SCALE XÃ ooconoiongiiiattitiiitiiiiitiiii51141313131555616863858585355583558858585858856 47 Hình 4.- cuc non HH nn Ự Re binh48 TÓM TAT Trong đẻ tài nghiên cứu này.

Tôi thực hiện nghiên cứu và dé xuất một mô hình học sâu hiệu quả cho ảnh siêu phân giải. Nghiên cứu áp dụng công nghệ Học Máy và Học sâu vào việc huấn luyện mô hình đề tăng độ phân giải của hình ảnh có độ phần giải thấp. Việc huan luyện và thực nghiệm của mô hình này sẽ sử dụng thư viện Tensorflow, Từ khóa ; super resolution, ảnh siêu phân giải, mô hình học sâu hiệu quả cho ảnh siêu phân giải. Tổng quan: Cuộc sống ngày càng phát triển, hình ảnh kỹ thuật số đã trở nên rất phd biến và có tầm quan trọng trong nhiều lĩnh vực của con người.

Chất lượng của hình ảnh cũng ngày một tốt hơn. Có nhiều khía cạnh dé đánh giá chất lượng của hình ảnh. Trong đó có thẻ kể đến độ phân giải của hình ảnh. Nó thường được biéu hiện bằng số pixel trong ảnh.

Tuy các công cụ chụp ảnh ngày nay chất lượng ngày càng tốt nhưng không thé tránh khỏi hiện tượng ảnh bị mở bởi các yêu tô ngoại quan như môi trường, thời tiết, và một số tác nhân khác: tốc độ của vật. Van đẻ tương tự xảy ra khi chúng ta muốn phóng to hình ảnh kỹ thuật số dé hiển thị nó trên man hình có độ phân giải cao hơn. Số pixel của hình ảnh phải phù hợp với độ phân giải màn hình va kích thước hình ảnh mong muốn. Quá trình này có thê đạt được bang cách nội suy hình anh, nhưng độ phân giải thực tế không tăng lên khi số lượng điểm ảnh tăng lên.

Chính vì vậy, nó sẽ dẫn đến hình ảnh bị mở vi nó không làm tăng mức độ chi tiết của hình ảnh. Trên thực tế, hạn chế này tôn tại trong tất cả các hệ thống hình ảnh kỹ thuật số và không thể khắc phục bằng bat kỳ phương pháp nội suy nào. Siêu phân giải (Super Resolution) ra đời dé tìm cách khắc phục hạn chế này và tạo ra hình ảnh có độ phân giải cao hơn. Trên thực tế có hai phương pháp khác nhau dé có thé đạt được mục tiêu này.

Dau tiên là Da hình ảnh cho siêu phân giải (Muti Image Super Resolution), Phương pháp này tạo hình ảnh có độ phan giải cao (Hight Resolution) từ nhiều hình ảnh có độ phân giải thắp (Low Resolution). Hình ảnh mô tả cùng một cảnh. Mỗi hình ảnh đầu vào phải chứa thông tin duy nhất dé MISR hoạt động. Bằng cách này, các pixel sẽ được được lay mau từ các vị trí duy nhất.

Phương pháp nảy có khá năng ứng dụng rất hạn chế, vì thông thưởng chỉ có nhiều ảnh phân giải giải thấp trên cùng một khung cảnh và vị trí. Chính vì lý do trên đã ra đời phương pháp ảnh đơn cho siêu phân giải (Single Image Super Resolution). Phương pháp này thực hiện bằng cách sử dụng các thông tin dữ liệu từ hình ảnh có độ phân giải thấp (Low Resolution) và hình anh có độ phan giải cao tương ứng (High Resolution). Lý do chọn đề tài: Có thé thấy, sự phát triển của các mạng học sâu cho ảnh siêu phân giải có nhiều sự đột phá.

Tuy nhiên, việc áp dụng các mô hình vào thực tế lại là một thách thức to lớn. Chúng ta có thể nhận ra rằng trong nhiều trường hợp không chỉ phải đáp ứng được yêu cầu về chất lượng hình ảnh đầu ra mà còn về hiệu quả về mặt chi phí phan cứng vật lý và độ khả dụng cho các thiết bị di động. Các phương pháp gan đây tuy có hiệu quả cao nhưng yêu cầu quá nhiều vẻ mặt tính toán. Chính vì vậy, tôi muốn thực hiện dé xuất một mạng học sâu SR nhẹ dé cải thiện khuyết điểm đã đề cập ở trên.

Khảo sát các công trình liên quan: Hình ảnh có độ phân giải thấp có thé biến thành hình ảnh có độ phân giải bằng nhiều phương pháp và kỹ thuật khác nhau : Tăng độ phân giải trước khi lay mẫu ( Pre-Upsampling Super Resolution ) : Day là một phương pháp đầu tiên sử dụng deep learning cho ảnh siêu phân giải và dem lại một kết quả khá an tượng. | Pre-Upsampling Super resolution. Nguồn: analyticsvidhya Ta sử dụng các thuật toán lay mẫu truyền thong đẻ thu được hình ảnh có độ phân giải cao hơn va sau đó tinh chỉnh chúng bằng cách sử dụng mạng nơ-ron sâu dé tăng độ phan giải cho hình ảnh. Theo như mô hình trên, hình ảnh LR được ghép lại thành hình ảnh HR thô với kích thước mong muốn bằng phép nội suy nhị phân.

Sau đó, thông qua mạng CNN để tái tạo hình ảnh chất lượng cao. Điển hình ta có thé nhắc tới là SRCNN [1]: Đây là một mô hình CNN bao gồm 3 lớp: lớp trích xuất, ánh xạ phi tuyến và tái tạo. Các bản vá từ ảnh đầu vào ( dense pathches ) sẽ được trích xuất thông qua lớp trích xuất. Các bộ lọc tích chập 1x1 của lớp ánh xạ dùng dé thêm tinh phi tuyến và thay đôi số kênh.

Và hình ảnh được tái tạo lại thành độ phân giải cao hơn nhờ vào lớp cudi cling. Low-resolution High-resolution image (input) image (output) Patch extraction 7 Non-lipear mapping Reconstruction and representation Hình 1. Mô hình SRCNN Nguồn | paperspace Uu điểm của SRCNN là có thé học được các đặc trưng pha hợp cho bài toán nâng cao độ phân giải, thay vì sứ dung các đặc trưng được thiết kẻ sẵn như các phương pháp dựa trên mã hóa thưa (sparse coding). Ngoài ra, SRCNN cũng có thẻ tận dụng được sức mạnh của các framework học sâu như TensorFlow hay PyTorch dé huấn luyện và kiểm tra hiệu năng.

Nhược điểm của SRCNN là cần phải nội suy ảnh thấp độ phân giải lên kích thước mong muốn trước khi đưa vào mạng, điều nảy làm tăng chi phí tính toán va giảm chất lượng ảnh. Ngoài ra, SRCNN cũng có kiến trúc khá đơn giản và không tận dụng được các kỹ thuật nâng cao trong học sâu như chuỗi residual hay chuẩn hóa theo batch. Tăng độ phân giải sau khi lấy mẫu (Post-Upsampling Super Resolution): Có thé thấy được phương pháp trên tồn tại một nhược điểm là quá trình lay mẫu trong không gian ảnh có độ phân giải cao sẽ tốn nhiều sức mạnh tính toán hơn. Chính vì vậy phương pháp này sẽ thực hiện lấy mẫu trong không gian ảnh có độ phân giải thấp trước rồi mới thực hiện siêu phân giải.

Điều này giúp làm giảm đáng kẻ các chi phí tính toán. Đồng thời có thé sử dụng các phương pháp tích chập pixel dé lay mẫu. Điều này làm cho nó trở thành một mạng có thé huấn luyên toàn tập. Phương pháp Post-Upsampling Super Resolution Nguồn : analyticsvidhya Điện hình cho phương pháp nay là FSRCNN [2] : FSRCNN [2] không có tiền xử lý hoặc upsampling ở giai đoạn dau tiên.

Mô hình sử dụng mạng tích chập 1x1 đề sau tích chập 5x5 với mục đích giảm số kênh, thông qua đó giảm đi được khả năng tính toán và bộ nhớ. Điều nảy tương tự so với mang Inception, Các tích chập 3x3 có tác dụng đơn giản hóa kiến trúc của mô hình, đồng thời giảm được số lượng tham số. Bộ giải mã (Deconvolution ) sẽ có chức năng tăng độ phân giải. Mô hình FSRCNN đạt được kết quả tốt hơn và nhanh hơn so với mô hình SRCNN [1].

SRCNN (9-1-5) SRCNN Dicubic interpolation Jow-resobation | image \ FSRCNN (d,s,m) 5x5 d 1x1 $ 3x3 s 1x1 đ 9x9 Feature Feature Feature Feature Maps Maps Maps Maps m times Hình |. Mô hình FSRCNN Nguồn : mmlab Generative Models (Mô hình GAN) : Trong qua trình dao tạo, hình ảnh có độ phân giải cao (HR) được lay mẫu xuống thành hình ảnh có độ phan giải thấp.