ÑI H≈C QU»C GIA TP. HCM TR◊ÕNG ÑI H≈C BÁCH KHOA NGUYôN HÉI PHONG TãNG C◊ÕNG À PHÂN GIÉI ÉNH D‹A VÀO MÔ HÌNH H≈C SÂU Chuyên Ngành: Khoa HÂc Máy Tính Mã sË: 8480101 LUäN VãN THÑC Sû TP. H« CHÍ MINH, tháng 01 n´m 2024. CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học : TS.
Nguyễn Đức Dũng (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1 : TS. Trần Tuấn Anh (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 : PGS. Nguyễn Văn Sinh (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 23 tháng 01 năm 2024.
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1. Chủ tịch: TS. Lê Thành Sách. Nguyễn Tiến Thịnh.
Phản biện 1: TS. Trần Tuấn Anh. Phản biện 2: PGS. Ủy viên: TS.
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA………… ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGUYỄN HẢI PHONG MSHV: 2170555 Ngày, tháng, năm sinh: 21/11/1995 Nơi sinh: Khánh Hoà Chuyên ngành: Khoa Học Máy Tính Mã số : 8480101 I. TÊN ĐỀ TÀI: Tăng cường độ phân giải ảnh dựa vào mô hình học sâu Deep Learning Based Image Super-Resolution II. NHIỆM VỤ VÀ NỘI DUNG: - Tìm hiểu các hướng tiếp cận phù hợp cho bài toán siêu phân giải ảnh.
- Phân tích giải pháp và đưa ra đề xuất mô hình siêu phân giải ảnh. - Hiện thực và huấn luyện mô hình đề xuất. - Tiến hành thí nghiệm và đánh giá các kết quả đạt được. NGÀY GIAO NHIỆM VỤ : 04/09/2023 IV.
NGÀY HOÀN THÀNH NHIỆM VỤ: 18/12/2023 V.CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): TS. Nguyễn Đức Dũng Tp. CÁN BỘ HƯỚNG DẪN HỘI ĐỒNG NGÀNH (Họ tên và chữ ký) (Họ tên và chữ ký) TRƯỞNG KHOA KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên và chữ ký) LÌi c£m Ïn / LÌi ng‰ Tôi xin t‰ lòng bi∏t Ïn sâu s≠c ∏n giáo viên h˜Óng d®n là Ti∏n sæ Nguyπn ˘c DÙng ã t™n tình h˜Óng d®n, chø b£o và ‡nh h˜Óng cho b£n thân tôi t¯ quá trình chÂn lÂc lænh v¸c, quá trình tìm hi∫u các công trình nghiên c˘u liên quan và ‡nh h˜Óng ˜Òc ph˜Ïng h˜Óng i cıa lu™n v´n này. Tôi xin chân thành cám Ïn qu˛ th¶y cô trong Khoa Khoa HÂc và Kˇ Thu™t Máy Tính, tr˜Ìng §i HÂc Bách Khoa thành phË HÁ Chí Minh ã t™n tình chø d§y các ki∏n th˘c v∑ ngành cÙng nh˜ các kinh nghiªm có th∫ ˘ng dˆng th¸c t∏ trong công nghiªp.
CuËi cùng, tôi xin cám Ïn các b§n bè, Áng nghiªp ã Îng viên giúp Ô trong quá trình làm lu™n v´n này. i Tóm t≠t nÎi dung / Dissertation summary NÎi dung chính cıa lu™n v´n là t™p trung tìm hi∫u v∑ các ph˜Ïng pháp t´ng c˜Ìng Î phân gi£i cÙng nh˜ chßt l˜Òng cıa mÎt b˘c £nh ˜Òc chˆp trong th¸c t∏ d¸a vào các mô hình hÂc sâu. BË cˆc chính cıa lu™n v´n bao gÁm tìm hi∫u s¸ hình thành và phát tri∫n cıa các ph˜Ïng pháp t´ng c˜Ìng £nh d¸a vào mô hình hÂc sâu trong th‡ giác máy tính và ti∏n hành tÍng hÒp, ánh giá ˜u i∫m và nh˜Òc i∫m cıa các ph˜Ïng pháp này cÙng nh˜ tính ˘ng dˆng trong th¸c t∏. Ph¶n còn l§i cıa lu™n v´n chúng tôi s≥ t™p trung ánh giá ph˜Ïng pháp cÏ s, các ˜u nh˜Òc i∫m cùng vÓi viªc ∑ xußt các ph˜Ïng h˜Óng ∫ có th∫ tËi ˜u các vßn ∑ trong ph˜Ïng pháp này.
CuËi cùng, chúng tôi th¸c hiªn viªc ki∫m nghiªm tính kh£ thi d¸a vào th¸c nghiªm ki∫m ch˘ng cıa các ∑ xußt nêu trên và ánh giá cÙng nh˜ diπn d‡ch mÎt cách kæ l˜Ông các k∏t qu£ này. The main content of the thesis focuses on exploring methods for enhancing the resolution and quality of real-world photographs using deep learning models. The structure of the the- sis includes an examination of the development and evolution of image enhancement methods based on deep learning models in computer vision. It proceeds to synthesize and evaluate the advantages and disadvantages of these methods, as well as their practical applicability.
The remainder of our thesis will focus on evaluating the baseline method, its strengths and weaknesses, along with proposing directions for optimizing the issues within this method. Fi- nally, we conduct feasibility testing based on the experimental validation of the proposed solu- tions, and meticulously evaluate and interpret these results. ii LÌi cam oan Tôi xin cam oan lu™n v´n th§c sˇ này do chính b£n thân tôi th¸c hiªn d˜Ói s¸ h˜Óng d®n và giám sát cıa Ti∏n sæ Nguyπn ˘c DÙng. NÎi dung nghiên c˘u hoàn toàn ch˜a ˜Òc công bË tr˜Óc ây, các sË liªu ho∞c ˛ t˜ng s≥ ˜Òc trích d®n rõ ràng ∏n tác gi£ t§i mˆc tài liªu tham kh£o, còn l§i các ˛ t˜ng cıa b£n thân tôi.
Ëi vÓi nh˙ng sË liªu c¶n ˜Òc ki∫m ch˘ng, tôi s≥ mô ph‰ng l§i quá trình th¸c nghiªm ho∞c s˚ dˆng các mô hình ã ˜Òc hußn luyªn ˜Òc cung cßp sÆn ∫ xác minh ˛ t˜ng cıa tác gi£. N∏u có s¸ gian l™n nào trong khuôn khÍ lu™n v´n thì tôi xin hoàn toàn ch‡u trách nhiªm. Tr˜Ìng §i hÂc Bách Khoa thành phË HÁ Chí Minh không liên quan gì ∏n nh˙ng vi ph§m b£n quy∑n, ho∞c vi ph§m nào khác do bài vi∏t cıa tôi gây ra. Ng˜Ìi cam oan NGUYôN HÉI PHONG iii Mˆc lˆc 1 GiÓi thiªu 1 1.1 GiÓi thiªu ∑ tài .2 GiÓi thiªu bài toán.
2 2 CÏ s ki∏n th˘c 4 2.1 Ph˜Ïng pháp bi∏n Íi kích th˜Óc £nh và nÎi suy i∫m £nh .1 Ph˜Ïng pháp bi∏n Íi kích th˜Óc £nh .2 Ph˜Ïng pháp nÎi suy i∫m £nh .2 Chi∏n l˜Òc hÂc và hàm mßt mát .3 Ph˜Ïng pháp ánh giá mô hình. 9 3 Nh˙ng nghiên c˘u liên quan 13 3.1 Các ph˜Ïng pháp s˚ dˆng mô hình hÂc .6 SwinIR & Swin2SR .2 Các ph˜Ïng pháp s˚ dˆng mô hình GAN .3 Các ph˜Ïng pháp s˚ dˆng mô hình tán x§. 23 4 Ph˜Ïng pháp cÏ s 25 4.2 Quá trình sinh và ki∫m tra d˙ liªu th¸c t∏ .3 K∏t qu£ cıa ph˜Ïng pháp cÏ s .4 Ki∫m ch˘ng ph˜Ïng pháp cÏ s. 30 iv 5 Ph˜Ïng pháp ∑ xußt 33 5.1 Bi∫u diπn cıa hình £nh trên mi∑n t¶n sË .2 T´ng c˜Ìng m®u d¸a trên t¶n sË nhiπu thích ˘ng .1 ◊Óc l˜Òng tín hiªu ã ˜Òc t´ng c˜Ìng t¯ £nh nguyên b£n .2 Quy trình lßy m®u nhiπu d¸a vào các tín hiªu t´ng c˜Ìng .3 Mô t£ th¸c nghiªm .4 ánh giá k∏t qu£ .3 Hàm mßt mát t¶n sË t™p trung .1 Kho£ng cách t¶n sË .2 TrÂng sË phÍ Îng .3 Mô t£ th¸c nghiªm .4 ánh giá k∏t qu£ .4 K∏t qu£ th¸c nghiªm .5 Các tr˜Ìng hÒp h§n ch∏.
49 6 K∏t lu™n 50 Tài liªu tham kh£o 52 v Danh sách b£ng 4.1 Phân bË cıa k∏t qu£ gán nhãn trong bÎ d˙ liªu.2 Phân bË cıa các nhãn trong bÎ d˙ liªu sau khi bình chÂn.3 K∏t qu£ ‡nh l˜Òng cıa các mô hình siêu phân gi£i £nh trên các t™p d˙ liªu khác nhau.4 K∏t qu£ ki∫m ch˘ng ph˜Ïng pháp cÏ s d¸a trên các mô hình có sÆn.5 K∏t qu£ tái t§o l§i mÎt trong nh˙ng thí nghiªm cıa ph˜Ïng pháp cÏ s.1 K∏t qu£ ki∫m nghiªm ph˜Ïng pháp t´ng c˜Ìng £nh hußn luyªn d¸a trên ph˜Ïng pháp ˜Óc l˜Òng tín hiªu t´ng c˜Ìng trên t™p d˙ liªu Test100.2 K∏t qu£ ki∫m nghiªm ph˜Ïng pháp t´ng c˜Ìng £nh hußn luyªn d¸a trên ph˜Ïng pháp ˜Óc l˜Òng tín hiªu t´ng c˜Ìng trên t™p d˙ liªu NTIRE2020.3 K∏t qu£ ki∫m nghiªm ph˜Ïng pháp hàm lÈi t¶n sË t™p trung trên t™p d˙ liªu Test100.4 K∏t qu£ ki∫m nghiªm ph˜Ïng pháp hàm lÈi t¶n sË t™p trung trên t™p d˙ liªu NTIRE2020.5 K∏t qu£ ki∫m nghiªm các ph˜Ïng pháp trên t™p d˙ liªu Test100.6 K∏t qu£ ki∫m nghiªm các ph˜Ïng pháp trên t™p d˙ liªu NTIRE2020. 46 vi Danh sách hình £nh 1.1 Quá trình siêu phân gi£i hình £nh Ïn [11].1 Mô ph‰ng ph˜Ïng pháp nÎi suy v‡ trí li∑n k∑ [12].2 Mô ph‰ng ph˜Ïng pháp nÎi suy tuy∏n tính hai chi∑u [13].3 Mô ph‰ng ph˜Ïng pháp nÎi suy khËi hai chi∑u [13].4 Mô ph‰ng lÓp tích ch™p chuy∫n v‡ vÓi hai d§ng ªm khác nhau [14].5 Mô ph‰ng lÓp tích ch™p i∫m £nh phˆ [2].6 K∏t qu£ ‡nh tính cıa ph˜Ïng pháp MANIQA [15].1 Ki∏n trúc mô hình SRCNN.2 Ki∏n trúc mô hình ESPCN [2].3 Ki∏n trúc mô hình VDSR [3].4 Ki∏n trúc mô hình EDSR [4].5 Ki∏n trúc mô hình RDN [5].6 Ki∏n trúc mô hình SwinIR, RSTB, STL [16].7 Ki∏n trúc mô hình Swin2SR, RTB SwinV2 Transformer Layer và SwinV2 At- tention [17].8 Minh ho§ quá trình sinh bi∫u Á các chi ti∏t bßt th˜Ìng [6].9 Minh ho§ quá trình sinh các mˆc tiêu thích ˘ng [7].10 Ki∏n trúc mô hình CinCGAN.11 Minh ho§ mô hình suy thoái ∑ xußt cıa BSRGAN [9].12 Ki∏n trúc mô hình IDM [10].1 Mô phòng các m£nh ã ˜Òc ánh nhãn bi con ng˜Ìi [18].2 Minh ho§ ph˜Ïng th˘c t§o d˙ liªu t´ng c˜Ìng [18].3 Mô ph‰ng ph¶n m∑m dành cho các cÎng tác viên và mÎt nhóm bao gÁm 1 m£nh gËc chßt l˜Òng cao và 4 m£nh ˜Òc t´ng c˜Ìng t¯ 4 mô hình [18].4 So sánh k∏t qu£ gi˙a viªc s˚ dˆng t™p d˙ liªu khác nhau [18].5 So sánh k∏t qu£ gi˙a viªc dùng các t™p trong t™p d˙ liªu ã ˜Òc ng˜Ìi ánh [18].1 Mô ph‰ng quá trình t´ng c˜Ìng m®u d¸a trên viªc ˜Óc l˜Òng các tín hiªu t´ng c˜Ìng.2 Minh ho§ bi∫u Á t´ng c˜Ìng cıa mÎt sË £nh có trong t™p hußn luyªn .3 Minh ho§ viªc t´ng c˜Ìng các m®u trong t™p hußn luyªn .4 K∏t qu£ ‡nh tính mÎt sË m®u ki∫m th˚ trong t™p Test100 .5 K∏t qu£ ‡nh tính mÎt sË m®u ki∫m th˚ trong t™p NTIRE2020 .6 MÎt sË thao tác lÂc b´ng t¶n trên mi∑n t¶n sË .7 Mô ph‰ng viªc ˜Óc l˜Òng kho£ng cách t¶n sË.8 Mô ph‰ng quá trình tính toán hàm lÁi t¶n sË t™p trung trong quá trình hußn luyªn.9 K∏t qu£ ‡nh tính mÎt sË m®u ki∫m th˚ trong t™p Test100 .10 K∏t qu£ ‡nh tính mÎt sË m®u ki∫m th˚ trong t™p NTIRE2020 .11 K∏t qu£ ‡nh tính tÍng hÒp trên t™p d˙ liªu Test100 .12 K∏t qu£ ‡nh tính tÍng hÒp trên t™p d˙ liªu NTIRE2020 .13 MÎt sË k∏t qu£ bßt th˜Ìng trong t™p trong t™p NTIRE2020. 49 viii Ch˜Ïng 1 GiÓi thiªu 1.