CHƯƠNG 1. TỔNG QUAN ĐỀ TÀI 1.1 Bối cảnh hình thành đề tài 1.1 Tình hình nghiên cứu trên thế giới Nghiên cứu các giải thuật siêu phân giải ảnh luôn là một vấn đề kinh điển trong lĩnh vực nghiên cứu xử lý ảnh. Bắt nguồn từ những nhu cầu bức thiết trong các lĩnh vực quan trắc, y sinh … đòi hỏi phải có những hình ảnh chất lượng cao trong khi chất lượng của các Camera vẫn còn nhiều hạn chế. Qua thời gian, chất lượng các Camera mặc dù đã được cải thiện rất nhiều, nhưng khi đặt trong bối cảnh sự phát triển mạnh mẽ của các hệ thống nhúng đã lại đặt yêu cầu về siêu phân giải ảnh.
Bản thân các hệ thống nhúng luôn có sự giới hạn về năng lượng, tốc độ xử lý và tài nguyên bộ nhớ nên không thể sử dụng các camera có tần số lấy mẫu lớn. Và do đó việc phát triển một giải thuật siêu phân giải ảnh cho phù hợp với các hệ thống nhúng vẫn là yêu cầu bức thiết.2 Tình hình nghiên cứu trong nước Ở Việt Nam, xử lý ảnh cũng là một vấn đề được nhiều nhà nghiên cứu quan tâm. Thực tế cho thấy rằng, khi xã hội phát triển càng mạnh, yêu cầu về các thiết bị công nghệ càng cao. Như vậy, xử lý ảnh là một mảnh đất màu mỡ cho các trung tâm nghiên cứu, các công ty đầu tư vào.
Nhất là trong giai đoạn hệ thống nhúng đang phát triển mạnh mẽ và mở ra một kỉ nguyên của các thiết bị di động cầm tay, chuyên dụng có hiệu suất cao như hiện nay. Siêu phân giải ảnh tuy là một bài toán không mới, nhưng nghiên cứu này là tiền đề cho các nghiên cứu về nhận dạng, quan trắc… trên các thiết bị nhúng phục vụ cho các mục đích chuyên biệt, cụ thể trong nghiên cứu này là cho các ứng dụng soi chiếu dùng trong y tế. Vì thế đây là việc làm có ý 1 nghĩa khoa học và thực tiễn, nhất là trong hoàn cảnh Việt Nam chưa có nhiều những nghiên cứu và ứng dụng theo hướng này.2 Tính cấp thiết Luận văn tập trung giải quyết vấn đề siêu phân giải, đây là quá trình nâng cao chất lượng của một ảnh vốn bị tác động bởi các yếu tố ngoại cảnh như: chất lượng camera, độ sáng, độ rung do tác động chụp, quá trình lấy mẫu… Các yếu tố này làm giảm độ sắc nét, các chi tiết ảnh bị nhòe đi và khó phân biệt được Hình 1-1, Hình 1-2 và Hình 1-3 cho chúng ta một số ví dụ về ảnh bị tác động bởi các yếu tố không mong muốn. a) Ảnh gốc b) Ảnh nhiễu Gaussian Hình 1-1: Ảnh bị nhiễu mờ a) Ảnh gốc b) Ảnh hưởng bởi chuyển động (rung) Hình 1-2: Ảnh bị tác động bởi chuyển động 2 a) Ảnh gốc b) Ảnh hưởng của việc tăng/ giảm mẫu Hình 1-3: Ảnh bị tác động bởi quá trình tăng/giảm mẫu Việc suy giảm chất lượng gây ra những tác động xấu đến các ứng dụng đòi hỏi cao về độ chi tiết của bức ảnh như: quan trắc, giám sát, y sinh… Mặc dù, có thể sử dụng những giải pháp quang học để nâng cao chất lượng ảnh.
Tuy nhiên các giải pháp này đòi hỏi chi phí lớn và khiến thiết bị trở nên cồng kềnh phức tạp hơn và điều này không phải lúc nào cũng khả thi. Đặc biệt là trong lĩnh vực y tế, khi các đoàn y bác sĩ phải tiến hành thăm khám ở các vùng xa xôi có điều kiện kinh tế kém phát triển. Vì lý do đó, trong luận văn này tôi tập trung nghiên cứu phát triển một giải thuật siêu phân giải phù hợp cho các ảnh thu được máy soi da hay còn gọi là kính lúp điện tử (Xem Hình 1-4) nhằm cải thiện chất lượng của ảnh soi chiếu được. Giải thuật này phải có khả năng ứng dụng trên các kit nhúng để đảm bảo tính linh động, nhỏ gọn phù hợp với các chuyến đi khám chữa bênh lưu động.
3 Hình 1-4: Kính lúp điện tử 1.3 Mục tiêu của đề tài Nghiên cứu giải thuật siêu phân giải ảnh và ứng dụng nó trên các hệ thống nhúng sử dụng kính lúp điện tử để tạo ra một thiết bị soi da có khả năng cung cấp các hình ảnh soi chiếu có chất lượng cao, lại đảm bảo tính gọn nhẹ linh động. Hệ thống phải đảm bảo các mục tiêu sau đây: - Giải thuật phải có khả năng ứng dụng trên các hệ thống nhúng bị giới hạn về tài nguyên bộ nhớ và tốc độ xử lý - Xử lý được ảnh màu - Xây dựng được sản phẩm demo trên kit nhúng ARM 4 CHƯƠNG 2. NGHIÊN CỨU TỔNG QUAN GIẢI THUẬT SIÊU PHÂN GIẢI ẢNH VÀ MẠNG NEURAL NHÂN TẠO 2.1 TỔNG QUAN NỘI DUNG NGHIÊN CỨU 2.1 Cách tiếp cận và phương pháp nghiên cứu Do siêu phân giải ảnh là một vấn đề kinh điển và đã có nhiều nghiên cứu liên quan được công bố do đó cách tiến cận trong đề tài này là tìm hiểu lại các giải thuật đã được công bố. Sau đó tiến hành thử nghiệm và lựa chọn giải thuật phù hợp với các yêu cầu đặt ra của đề tài.
Cuối cùng là tối ưu, cải tiến giải thuật và ứng dụng lên các hệ thống nhúng. Theo hướng tiếp cận này, học viên thực hiện nghiên cứu theo các bước sau: - Bước 1: Nghiên cứu về khái niệm siêu phân giải ảnh và các yếu tố làm suy giảm chất lượng ảnh - Bước 2: Xây dựng tập ảnh mẫu bằng cách thêm vào ảnh các yếu tố tác động đến chất lượng ảnh. - Bước 3: Đưa ra các yêu cầu mà giải thuật phải đạt được. - Bước 4: Nghiên cứu về các giải thuật siêu phân giải ảnh hiện có, so sánh các đặc điểm của chúng, và thử nghiệm bằng tập ảnh mẫu đã xây dựng ở bước 2 - Bước 5: Lựa chọn giải thuật phù hợp với các yêu cầu đã được đề ra ở bước 3.
Tiến hành tối ưu giải, cải tiến giải thuật đã chọn - Bước 6: Nghiên cứu quy trình thiết kế hệ thống nhúng, lựa chọn các thiết bị phù hợp với đặc điểm của giải thuật đã chọn ở bước 5 và điều kiện thực tế - Bước 7: Cài đặt thuật toán trên kít nhúng và tiến hành thử nghiệm đánh giá hệ thống, sau đó tiến hành tối ưu thêm nếu cần 5 2.2 Tổng quan về siêu phân giải ảnh số 2.1 Khái niệm về độ phân giải ảnh Độ phân giải là một khái niệm dễ gây nhầm lẫn vì nó được sử dụng với nhiều ý nghĩa rất khác nhau. Trong trường hợp của một màn hình thì độ phân giải chính là số điểm ảnh mà nó có thể hiển thị. Ví dụ, một màn hình có độ phân giải là 1024x768, tức là nó sẽ có 1024x768 điểm ảnh. Tuy nhiên, trong trường hợp của một ảnh số thì độ phân giải cần được hiểu theo một ý nghĩa khác.
Ví dụ như ở Hình 1-3, hai ảnh a) và b) đều có cùng một kích thước là 128x128 pixel, và nó có cùng độ phân giải? Nhận xét này rõ ràng không hợp lý. Ở khái niệm độ phân giải lại mang ý nghĩ như là khả năng phân biệt các chi tiết trong một ảnh và như thế, hiển nhiên độ phân giải của ảnh a) phải lớn hơn ảnh b), bởi ta có thể nhận biết các chi tiết ở ảnh a) tốt hơn ảnh b). Từ hai ví dụ trên, ta có thể định nghĩa rằng độ phân giải của một ảnh là khả năng phân biệt rõ ràng các chi tiết nhỏ nhất trong bức ảnh. Các nhà nghiên cứu trong lĩnh vực xử lý ảnh số và thị giác máy tính thường sử dụng khái niệm độ phân giải ảnh trong một số tình huống sau [1]: - Độ phân giải trong không gian (Spatial Resolution): là độ phân giải được đánh giá bằng số lượng điểm ảnh trong một Inch1 (PPI2).
Đây chính là khả năng biễu diễn thông tin của bức ảnh trên một đơn vị diện tích, theo đó trên cùng 1 diện tích, ảnh nào có mật độ điểm ảnh lớn hơn thì nó sẽ chứa nhiều thông tin hơn và do đó sẽ có độ phân giải tốt hơn - Độ phân giải về độ sáng (Brightness Resolution): là mức độ phân biệt các cường độ ánh sáng khác nhau ở một pixel bất kì. Khái niệm liên quan đến số mức lượng tử của năng lương ánh sáng mà một cảm biến quang trong Camera 1 Inch: Đơn vị đo chiều dài, 1 Inch = 2.54 cm 2 PPI: Pixel per Inch 6 thu nhận được. Thông thường, Brightness Resolution của một ảnh đơn sắc (ảnh xám) là 256 tương ứng với 8 bit lượng tử. Và đối với ảnh màu là 24 bit.
Khái niệm này thường được biết đến như là độ sâu màu của một ảnh - Độ phân giải về thời gian (Temporal Resolution) là số lượng khung hình được ghi nhận trong thời gian một giây. Điều này liên quan đến khả năng phân biệt chuyển động của các đối tượng theo thời gian. Thông thường, đối với một video thì chỉ số này phải ít nhất là 24 frame/s để mắt người không thể cảm nhận được sự chuyển đổi giữa các khung ảnh Trong phạm vi luận văn này, khái niệm độ phân giải được sử dụng là độ phân giải trong không gian. Và quá trình chuyển đổi từ một ảnh có độ phân giải thấp thành ảnh có độ phân giải cao gọi là siêu phân giải ảnh (Super Resolution) 2.2 Các yếu tố làm giảm độ phân giải của ảnh Một bối cảnh thực 𝑋(𝑥, 𝑦) được ghi nhận bởi một Camera sẽ chịu ảnh hưởng bởi chuyển động tương đối giữa ống kính của Camera và bối cảnh, sự chuyển động của các đối tượng trong ảnh và độ rung của thiết bị trong quá trình chụp.
Tiếp đó, dưới tác động của các nhiễu động trong không khí 𝐻𝑎𝑡𝑚 (𝑥, 𝑦), cường độ ánh sáng đi đến cảm biến trong quá trình chụp sẽ thay đổi dẫn đến hiện tượng nhòe ảnh. Bên cạnh dưới tác động của Point Spread Function3 (PSF) ở ống kính (𝐻𝑐𝑎𝑚 (𝑥, 𝑦)), các điểm ảnh cũng bi nhòe đi. Tiếp đó, quá trình rời rạc hóa tín hiệu ở các điểm cảm biến CCD cũng là một nguyên nhân tạo ra ảnh chất lượng thấp 𝑌(𝑚, 𝑛). Ta có thể mô hình hóa quá trình này bằng biểu thức toán học như sau: (2.1) Trong đó là tích chập, F là hàm chuyển động, D là quá trình giảm mẫu và V(m,n) là ảnh hưởng của các nhiễu cộng.
Trong nghiên cứu của mình, Farsiu và cộng sự đã 3 https://en.org/wiki/Point_spread_function 7 chuyển đổi biểu thức (2.1) thành dạng tích các ma trận để sử dụng cho các ảnh số như sau: (2.