Chương 1: Giới thiệu. Chương này sẽ giới thiệu một cách tổng quan nhất về đề tài của chúng tôi cũng như các mục tiêu và đóng góp trong đề tài này. e Chương 2: Các công trình liên quan. Chương này sẽ giới thiệu những kiến thức và những công trình liên quan tới từng phần trong đề tài của chúng tôi.
e Chương 3: Phương pháp đề xuất. Chương này sẽ trình bày chỉ tiết về phương pháp mà chúng tôi đã đề xuất e Chương 4: Thực nghiệm. Chương này chúng tôi sẽ đưa ra những kết quả thực nghiệm và quá trình chúng tôi cả thiện kết quả của mô hình e Chương 5: Kết luận. Ở chương này, chúng tôi sẽ tổng kết những gì đã làm trong đề tài và đưa ra một số cải tiến có thể thực hiện trong tương lai Chương 2 Các công trình liên quan 2.1 Tổng quan Chương này sẽ thực hiện tổng hợp về những công trình liên quan tới đề tài của chúng tôi.
Có hai phần chính bao gồm: SR và các mô hình tạo sinh. Đầu tiên chúng tôi sẽ giới thiệu về SR, bao gồm định nghĩa về SR nói chung, tiếp theo là hướng tiếp cận Blind-SR - đây chính là phần liên quan trực tiếp tới đề tài, gồm các công trình liên quan từ trước tới nay và các ưu nhược điểm của những hướng tiếp cận, phương pháp đó. Phần tiếp theo, chúng tôi sẽ giới thiệu ngắn gon về các Generative Models bao gồm VAEs, GANs va Normalizing Flows, cơ sở lý thuyết và so sánh khả năng của những mô hình đó. Day chính là nền tang để ta có thể so sánh chúng với Mô hình Khuếch tán - mô hình được đề xuất để giải quyết bài toán SR trong chương 3.2 Tổng quan về Siêu phân giải ep?e 2.1 Siêu phân giải Gần đây, Siêu phân giải (Super-resolution) là một chủ đề được quan tâm rất nhiều trong giới nghiên cứu Thị giác Máy tính.
Dù vậy, SR đã được nghiên cứu rất sớm vì tính ứng dụng thực tiễn của nó. Diễn hình như Tsai và Huang 1984 [33], Borman và Stevenson 1998 [3] và Park cùng cộng sự 2003 [26]. Hình ảnh kỹ thuật số bao gồm các phần tử được gọi là điểm ảnh. Độ phân giải không gian hình ảnh, dùng để chỉ các điểm ảnh trên một đơn vị khoảng cách.
Ví dụ: hình ảnh hai chiều (2D) có độ phân giải 0.1mm? có 5 cặp đường trên mỗi đơn vị khoảng cách (mm) cho mỗi hướng. Hình ảnh có độ phân giải cao có thể cải thiện chất lượng hình ảnh để giải thích con người và cảm nhận của máy do thể hiện nhiều chi tiết hơn. Tuy nhiên, thiết bị thu nhận hình ảnh, bao gồm các cảm biến hình ảnh, hoặc cách tạo ra bức ảnh (nhiễu JPEG, .) có thể giới hạn độ phân giải hình ảnh. Về mặt lý thuyết, mật độ cảm biến cao hơn trong thiết bị hình ảnh kỹ thuật số có thể tạo ra hình ảnh có độ phân giải cao hơn.
Trên thực tế, không dé để tăng số lượng cảm biến trên một diện tích cố định của thiết bị vì giá thành sản phẩm tăng và hạn chế của mạch tích hợp hiện nay. Các phương pháp xử lý hậu kỳ như siêu phân giải (SR) có thể khắc phục các hạn chế vật lý và cũng cải thiện độ phân giải hình ảnh. SR là quá trình ước tính hình ảnh có độ phân giải cao (HR) từ một hoặc một số hình ảnh có độ phân giải thấp (LR). Hình ảnh HR chưa biết có thể được tái tạo bằng các phương pháp siêu phân giải đa hình ảnh bằng cách sử dụng một số hình anh LR tương quan với nhau liên quan đến một bộ phương trình xác định (ví dụ: các ràng buộc tuyến tính).
Trong đề tài này, chúng tôi tập trung vào một hình ảnh siêu độ phân giải (SR) ước tính hình ảnh HR từ một hình ảnh LR tương ứng. Một số phương pháp truyền thống trước đây tập trung vào việc nội suy từ ảnh LR ban đầu như Bicubic. Tuy nhiên, kết quả của phương pháp nội suy một hình ảnh quá trơn tru vì không có thông tin bổ sung bù đắp cho sự mất mát của các thành phần tần số cao. Ta có thể xem hình 2.1 để thấy rõ việc sử dụng phương pháp nội suy khiến cho ảnh SR bị làm mượt như thế nào.
Gần đây, với ki nguyên hoc sâu bùng nổ, rất nhiều phương pháp được dựa trên CNN điển hình như Dong và cộng sự. [6] giới thiệu kiến trúc đầu tiên sử dụng mô hình học sâu để giải quyết vấn đề tái tạo ảnh HR, hướng tiếp cận học máy của bài toán này được mở rộng đáng kể, các kỹ thuật cũng tăng lên một cách đáng kinh ngạc. Kim và cộng sự [16] đề xuất mô hình trong đó ứng dụng mạng nơ ron tích chập rất sâu để tái tạo ảnh HR. Sau này, nhờ vào sự ra đời của mô hình mạng học sâu sử dụng kỹ thuật nối tắt (residual network) trong lĩnh vực phân loại hình ảnh trong bài báo [11], Ledig và cộng sự [19] đã giới thiệu kiến trúc SRResNet, một phương pháp ứng dụng mạng nối tắt để giải quyết bài toán tái tạo ảnh HR.
Hơn nữa, SRResNet còn được dùng làm thành phần của mạng sinh trong kiến trúc SRGAN - mạng GAN đầu tiên được áp dụng trong bài toán này, với mục đích tạo ra ảnh HR không chỉ có chất lượng tốt mà còn cho cảm nhận về mặt thị giác tốt hơn với người xem. RNN cũng được áp dụng 9 Hình 2.1: Nhược điểm của phương pháp nội suy. bởi [20] và [10] để tối ưu khả năng biểu diễn các ma trận đặc trưng cấp cao và giảm số lượng tham số sử dụng trong mạng. Những phương pháp kể trên chủ yêu sử dụng cặp ảnh LR-HR làm dữ liệu huấn luyện với LR thường được tạo ra bằng cách áp dụng các phép toán lấy mẫu xuống trên ảnh HR, mà tiêu biểu là phép nội suy bicubic.
Tuy nhiên, theo bài báo [30], họ muốn tạo ra dữ liệu huấn luyện mà ảnh LR bị làm giảm chất lượng bởi các yếu tố thực tế trong tự nhiên, vì vậy họ đề xuất một phương pháp tương đối phức tạp hơn bằng cách ghép hai mạng GAN với nhau. 4/ Low-resolution fff 4, High-resolution image (input) image (output) Non-linear mapping Reconstruction Hình 2.2: Kiến trúc SRCNN. Nguồn: [6] Tóm lại, các mô hình trước đây có thể được coi ba giai đoạn: trích xuất đặc trưng, ánh xạ tuyến tính và tái tạo, đây là xu hướng chủ đạo trong học sâu để giải quyết bài toán SR. Thực tế, có rất nhiều mô hình khác có điểm mạnh và 10 yếu khác nhau để có thể tái tạo ảnh SR từ ảnh LR, ngoài ra còn rất nhiều yếu tố chưa biết có thể làm giảm chất lượng ảnh sinh ra.
Ta gọi nhóm bài toán đó là blind-SR, đây là một nhánh nhỏ trong bài toán SR nói chung. Trong phần tiếp theo, chúng tôi sẽ cung cấp những hiểu biết cơ bản về những hướng tiếp cận blind-SR, bao gồm ý nghĩa và những kiến trúc tiêu biểu cho từng hướng tiếp cận đó.2 Blind Super-resolution Như đã nói ở phần trước, các công trình SR trước đây đề cập trong 2.1 tập trung vào giải quyết bài toán với nguyên nhân gây suy giảm độ phân giải đã được định nghĩa từ trước (ví dụ lấy mẫu xuống Bicubic) từ một ảnh HR tạo thành ảnh LR tương ứng. Quá trình đó được diễn giải theo công thức dưới đây: ý.1) Tuy nhiên, điều này lại không đúng với những gì xẩy ra trong thực tế, đơn giản là bởi vì có rất nhiều yếu tố có thể giảm suy giảm độ phân giải ảnh trong thế giới thực ví dụ như: Nhiễu cảm biến máy ảnh, mờ do quá trình nén ảnh, hay đơn giản là chụp bởi những thiết bị camera chất lượng thấp. Ta có thể hình dung những yếu tố trên có thể là một kernel blur và được mô tả bởi công thức sau đây: =(œ@R) bs +n, (2.2) Su khác biệt này đã tao ra khoảng cách giữa những phương pháp nghiên cứu trước đây khi đối với những hình ảnh trong thực tế.
Khiến cho các mô hình trước đây dự đoán rất tệ với đầu vào là một ảnh độ phân giải thấp trong thế giới thực. Điều này khiến cho giới nghiên cứu buộc phải thay đổi hướng tiếp cận thì mới có thể giải quyết được khoảng cách về miền dữ liệu đầu vào này. Từ đây blind-SR ra đời để có thể phá vỡ khoảng cách đó. Tới đến thời điểm hiện tại, có rất nhiều hướng tiếp cận nhưng chủ yếu là ba hướng tiếp cận sau: e Mô hình hóa sự suy giảm cu thể (Explicit degradation Modelling) e Mô hình hóa sự suy giảm an dụ (Implicit Modeling) Trong “Mô hình hóa sự suy giảm cu thé” được chia thành ba hướng tiếp cận khác: 11 e Nâng cao độ phân giải hình ảnh cu thể mà với mô-đun ước tính kernel (Image-specific Adaption with Kernel Estimation) e Nâng cao độ phan giải hình ảnh cu thể mà không có mô-đun ước tinh kernel (Image-specific Adaption without Kernel Estimation) e Mô hình hóa anh đơn lẻ với thông tin thống kê bên trong anh (Single Image Modelling with Internal Statistics) Bây giờ chúng ta sẽ tìm hiểu lần lượt từng hướng tiếp của của blind-SR.
Explicit degradation Modelling. Hướng tiếp cận này tận dung tập dữ liệu bên ngoài để huấn luyện mô hình SR sao cho chúng có thể thích nghỉ tốt với nhiều loại kernel & và nhiễu n. Thông thường, mô hình SR được xây dựng từ một mạng nơ ron tích chập và chúng sẽ ước tinh kernel k và nhiễu n cho từng ảnh LR cụ thể. Sau quá trình huấn luyện, mô hình có thể tạo ra những kết quả chính xác với những tác nhân nó đã được học ở tập huấn luyện.
Tùy thuộc vào cấu trúc của phương pháp nên chúng được chia ra hai loại nhỏ: “Image-specific adaptation without kernel estimation” và “Image-specific adaptation with kernel estimation”. (a) Kernel (Estimated) LR Input SR Output Hình 2.3: So sánh kiến trúc giữa hai hướng tiếp cận có kernel estimation hay không. Nguồn: [22| 12 Image-specific Adaption without Kernel Estimation. Super-resolution for Multiple Degradations [36] (SRMD) đưa ra đề xuất là trực tiếp ghép ảnh LR với một ban đồ suy giảm như một đầu vào thống nhất cho mô hình SR, nhờ đó cho phép điều chỉnh đặc trưng theo tác nhân làm giảm chất lượng ảnh cụ thể và bao gồm nhiều kiểu suy giảm trong một mô hình duy nhất.
Để có thể tạo ra những ban đồ suy giảm cùng kích thước với ảnh LR, một phương pháp được đề xuất được gọi là kéo giãn kích thước. Cu thể, kernel với kích thước r x r được trải thành một vector có độ dài z2 và sử dung PCA để giảm xuống t-chiéu để có được mã hóa của kernel.