Chương 1: Giới thiệu Trình bày lý do chọn đề tài, mục tiêu, đối tượng phạm vi nghiên cứu, các phương pháp thực hiện và ý nghĩa khoa học thực tiễn. Chương 2: Cơ sở lý thuyết Phân tích các công trình nguyên cứu có liên quan đên bài toán tái tạo ảnh độ phân giải cao. Tông quan các kiên thức nên tảng của lĩnh vực Super Resolution, Deep Learning kèm ứng dụng và phân tích ưu nhược điêm của từng phương pháp. Mạng đối sinh Tổng quan mô hình hoá tác vụ sinh và mạng đối sinh, đề xuất mô hình Super Resolution Generative Adversarial Network (SRGAN) có nguồn gốc từ mô hình mạng đối sinh để giải quyết bài toán tái tạo ảnh độ phân giải cao.
Trình bày, phân tích các thành phần mô hình SRGAN, quá trình huấn luyện và quá trình hình thành kết quả đầu ra dé hình thành mô hình dùng cho bài toán tái tao ảnh độ phân giải cao. 11 Chương 4: Thiết lập thực nghiệm Trình bày các bước thực hiện thu thập dữ liệu, huấn luyện mô hình. Lựa chọn các công cụ phát triển, xử lý đầu vào để đưa vào chương trình; trình bày quá trình cài đặt chương trình, quá trình chạy thử nghiệm. Chương 5: Kết quả thực nghiệm Tiến hành thống kê, đánh giá các kết quả trong quá trình thực nghiệm đề đánh giá hiệu quả của mô hình.
Chương 6: Kết luận Tổng kết lại những kết quả đạt được, đưa ra những hạn chế và hướng phát triển trong tương lai mà nhóm định hướng. 12 CHUONG 2: CƠ SỞ LÝ THUYET 2. Phát sinh ảnh độ phân giải cao Phát sinh ảnh độ phân giải cao [1] đề cập đến việc tái tạo lại những hình ảnh có độ phân giải cao từ một khung cảnh có độ phân giải thấp, đồng thời cũng là sự đánh giá ước lượng hình ảnh có độ phân giải cao (HR — High Resolution) từ hình ảnh ban sao có độ phân giải thấp (LR — Low Resolution). Dựa vào số lượng hình anh đầu vào có chất lượng thấp, bài toán SR có thé được phân loại thành Single Image Super Resolution (SISR) va Multi Image Super Resolution (MISR).
Khi so được với MISR, Hình 2. Minh hoạ ảnh độ phân giải thấp (trái) và ảnh độ phân giải cao (phải). Như hình minh hoạ trên ta có thể thấy được chất lượng hình ảnh được cải thiện đáng kề, tận dung cơ hội này nó đã được ứng dụng rộng rãi với những lĩnh vực cụ thê bao gồm giám sát an ninh [2] và ảnh y khoa [3], [4]. Trong lĩnh vực giám sát an ninh, SISR có thể hỗ trợ chúng ta có được hình ảnh rõ ràng, sắc nét, giúp các ứng dụng có được nhiều thông tin chỉ tiết quan trọng hơn.
Không những thế trong lĩnh vực ảnh y khoa, việc tái tạo ảnh có độ phân giải cao có thé được dùng dé trích xuất nhiều thông 13 tin hơn khi mà chúng đã bị ân trong những hình ảnh có độ phân giải thấp. Ngoài ra Super Resolution có thể cải thiện những tác vụ khác trong lĩnh vực thị giác máy tính như nhận dạng vật thé (Object Detection) [5]. Trong đời sống hằng ngày, ta đang được trải ngiệm hình ảnh trên nhiều độ phân giải khác nhau từ FullHD (1920 x 1080 pixels) cho đến 4K, 8K vì thé việc tạo ra những hình ảnh có độ phân giải cao để phục vụ cho nhiều mục đích hién thị khác nhau là rất cần thiết nhất là trong những trường hợp không có sẵn những hình ảnh có độ phân giải cao. Trong bài toán SISR, mục tiêu chính là phục hồi, tái tạo lại và ước lượng chất lượng những hình ảnh có độ phân giải cao từ những hình ảnh đầu vào có độ phân giải thấp.
Một cách tông quan, ảnh có độ phân giải thấp được tạo ra bằng cách áp dụng bộ lọc Gaussian lên ảnh có độ phân giải cao sau đó lay thông tin ngữ nghĩa cùng hệ số đi kèm được minh họa như hình 2.2 bên dưới: Nhiễu thông tin Lấy thông tin ngữ nghĩa _ và làm mờ D Quá trình tái tạo ảnh có độ phân giải cao từ ảnh có độ phân giải thấp Hình 2. Mô phỏng tổng quan SISR. Cu thé hơn, một ảnh độ phân giải thấp I„ được mô hình hoá dựa trên biểu thức L, = D(I„;ồ): D(ly;5) = (ly @k) 1;+ m,{k,s} c ö (2.1) Trong đó D ký hiệu cho ham ánh xạ suy giảm, Ï„, tương ứng với hình anh độ phân giải cao, ổ được xem là những tham số trong quá trình suy giảm chất lượng hình 14 ảnh bao gồm yếu tố tỷ lệ hoặc yếu tố làm nhiễu thông tin; J, ® k đại diện cho việc tính toán nhân tích chập giữa nhân làm mờ k và anh độ phân giải cao I, cho trước, J, là toán tử giảm thiểu không gian hình ảnh với yếu tố tỷ lệ s và n được xem là yếu tố làm nhiễu thông tin độc lập. Với phương pháp MISR, việc tạo ra một bức ảnh độ phân giải cao thường được thực hiện thông qua kết hợp thông tin của rất nhiều ảnh độ phân giải thấp.
Nhược điểm của phương pháp này là cần rất nhiều hình ảnh có độ phân giải thấp và từng ảnh phải được căn chỉnh và đối tượng phải đứng yên hạn chế chuyên động trong thời gian chụp. Ngoài ra, tốc độ xử lý cũng không được cao. Trong khi đó SISR được sử dụng rộng rãi phô biến hơn do nếu chi dùng một hình ảnh có độ phân giải thấp thì có thé tránh được việc căn chỉnh các chi tiết cần thận. Nhưng ngược lại, chat lượng kết qua ảnh dau ra khó được đảm bao vì có rat nhiêu thông tin ảnh ở dau vào.
Kỹ thuật Học sâu Kỹ thuật học sâu là một nhánh trong thuật toán Máy học (ML - Machine Learning) được dựa trên việc hoc trực tiếp các biểu diễn dữ liệu đa dạng hơn [6]. Trái ngược với các thuật toán học các tác vụ cụ thê truyền thong khi chon cac tinh nang thủ công hữu ích với miền tri thức chuyên sâu, các thuật toán học sâu hướng đến việc học cách phân cấp các thông tin một cách tự động và tận dụng chúng dé dat dén muc đích cuối cùng khi mà toàn bộ quá trình hoc có thé được xem là liền mạch nối tiếp nhau một cách liên tục. Do khả năng xp xi cao và thuộc tính phân cấp của mạng nơ-ron nhân tao (ANN - Artificial Neural Network), hầu hết các mô hình học sâu hiện đại đều được thiết kế dựa trên mô hình ANNs [7]. Các mô hình ANNs có thể được truy xuất trở lại thuật toán perceptron trong những năm 1960.
Tiếp đó, vào những năm 1980, mô hình multilayer perceptron có thé duoc huấn luyện với thuật toán lan truyền ngược [8], mạng nơ-ron tích chập (CNN — Convolutional Neural Network) [9] và mạng nơ-ron hồi quy (RNN — Recurrent Neural Network) [11] — hai đại diện cho mô hình ANN 15 truyền thống được giới thiệu đến lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên. Mặc dù đã có những tiễn bộ đáng kế đạt được bởi ANNs, tuy nhiên vẫn còn một vài khuyết điểm dẫn đến việc không thể tự phát triển xa hơn. Sau đó, sự tái sinh của mô hình ANN hiện đại được đánh dau băng việc huấn luyện sẵn mạng nơ-rơn sâu (DNN - Deep Neural Network). Do đó, lợi ích từ sự bùng no của sức mạnh tính toán và sự phát triển các thuật toán cao cấp hơn, các mô hình dựa trên DNN đã đạt được hiệu suất đáng kế trong các tác vụ giám sát khát nhau [11].
Trong khi đó, các thuật toán DNNs không giám sát có thé kề đến như Deep Boltzmann Machine (DBM) [12], Variational Auto Encoder (VAE) [13] và Genarative Adversarial Network (GAN) [14] đã thu hút được sự chú ý do tiềm năng trong việc giải quyết những dữ liệu không gán nhãn đầy thách thức. Ứng dụng của Học sâu trong SISR Trong bài toán SISR, dữ liệu đầu vào là ảnh độ phân giải thấp, đầu ra là ảnh độ phân giải cao được tái tạo lại và sẽ được so sánh với anh gốc dé kiểm chứng chất lượng hình ảnh. Câu hỏi được đặt ra là tại sao nên sử dụng kỹ thuật Học sâu cho lĩnh vực SR trong đó phải kế đến bài toán SISR. Có rất nhiều cách đa dang dé có thé tăng chat lượng hình ảnh, một trong những kỹ thuật được sử dụng rộng rãi nhất là các thuật toán nội suy, chúng dễ thao tác nhưng sẽ dẫn đến việc hình ảnh bị méo mó hoặc làm giảm chất lượng hình ảnh.
Hầu hết các phương pháp nội suy đều tạo ra những hình anh mờ như phương pháp Bicubic Interpolation [15]. Từ việc sử dụng dụng ảnh độ phân giải cao làm mục tiêu dé tái tạo ảnh đầu ra từ anh đầu vào độ phân giải thấp có thé xem như là những phương pháp học có giám sát có thé khai thác những điểm tương đồng bên trong một bức anh hoặc sử dụng bộ huấn luyện của những hình ảnh 16 chất lượng thấp và hình ảnh chat lượng cao tương ứng dé học hiệu quả cách ảnh xạ giữa chúng.! Kỹ thuật học sâu cung cấp các giải pháp tốt hơn đề có thể tối ưu hoá hình ảnh. Những năm gần đây, một vài phương pháp đã đươc đề xuất cho lĩnh vực SISR. Khi áp dụng các giải pháp học sâu, những hình anh LR một cách tông quát sẽ được lay thông tin ngữ nghĩa, giảm kích thước không gian và được làm mờ dé giảm chat lượng hình ảnh.
Các phương pháp có liên quan 2. Phương pháp không sử dụng học sâu e Các thuật toán nội suy (Interpolation) Tại đây ảnh LR thay đổi kích thước bởi các yếu tố 2x, 4x hoặc 8x băng việc sử dụng các phương pháp nội suy như Nearest Neighbor, Bilinear hoặc Bicubic. Thuật toán nội suy hoặc động dựa trên việc sử dụng đữ liệu đã biết trước dé ước lượng giá tri ở các điểm dữ liệu chưa xác được. Nội suy hình ảnh cô gắng đạt đến mức độ xấp xi tốt nhất của cường độ điểm ảnh dựa trên các giá trị các diém ảnh xung quanh.
† An Introduction to Super-Resolution using Deep Learning - BeyondMinds 17 Interpolation nearest neighbour bilinear bicubic Hình 2. Mô phỏng hiệu ứng các thuật toán nội suy. Nguồn: PyData! Thông qua bước biến đôi này, hình ảnh đầu ra được làm mờ và trở nên không thực tế với các hiệu ứng khác nhau. Đây có thể xem là một ý tưởng không tệ, tuy nhiên chất lượng ảnh đầu ra thường không cao vì giải pháp này mới chỉ dừng lại ở các kỹ thuật cơ bản.
Phương pháp sử dụng học sâu e Super Resolution Convolution Neural Netwok Với sự thành công của mang no-ron tích chập day đủ (FCNN — Fully Convolutional Neural Network) trong lĩnh vực phân đoạn ngữ nghĩa, đã nhanh chóng trở nên phố biến khi được áp dụng qua các lĩnh vực khác trong thị giác máy tính.