Chương 1: Ảnh siêu phân giải HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 10 GVHD: PGS. LÊ TIẾN T ƯỜNG Và cho ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Vấn đề trên có thể được tóm gọn lại thành biểu thức tuyến tính A x .3 Tiêu chuẩn đánh giá chất lượng ảnh [10][13][14] Để đánh giá chất lượng của bức ảnh ở đầu ra người ta thường sử dụng hai tham số: Sai số trung b nh b nh phương– MSE (mean square error) và tỉ số tín hiệu đỉnh trên nhiễu – PSNR (peak signal- to- noise ratio). MSE giữa ảnh gốc và ảnh khôi phục được tính như sau: ∑ ∑ (( ) ( )) (1.19) Trong đó m, n là kích thước ảnh tính cho tổng tất cả các điểm ảnh trong ảnh và N là số điểm ảnh trong ảnh. PSNR là viết tắt của peak signal-to-noise ratio là thuật ngữ để chỉ tỷ lệ giữa công suất cực đại có thể của tín hiệu và công suất của nhiễu do biến đổi ảnh hưởng lên độ trung thực của ảnh.
Do nhiều tín hiệu có dải động lớn nên PSNR thường được tính dưới thang logarithmic decibel. PSNR thường được sử dụng như là phép đo chất lượng của việc tái tạo (reconstruction) của các bộ nén có tổn hao (như nén ảnh). Tín hiệu trong trường hợp này là dữ liệu gốc và nhiễu là lỗi gây ra bởi việc nén. Thông số này chỉ mang tính xấp xỉ khi so sánh giữa các bộ codec do đặc tính của thị giác người.
Do vậy ảnh có thể có PSNR thấp hơn dù dễ nh n hơn so với ảnh khác. Thông thường, nếu PSNR ≥ 40dB thì hệ thống mắt người gần như khôngphân biệt được giữa ảnh gốc và ảnh khôi phục. PSNR được định nghĩa là: (1.20) Trong đó MAXI=2b-1 là giá trị pixel lớn nhất có thể của ảnh. Nếu ảnh là 8bit thì MAXI=255.
Đối với ảnh màu với ba giá trị RGB trên 1 pixel th cách tính toán cũng tương tự với MSE là tổng các bình phương chia cho kích thước ảnh và chia cho 3 hoặc PSNR cũng có thể được tính trên từng không gian màu. Khi 2 hình là giống nhau thì MSE bằng 0 vì vậy giá trị của PSNR không xác định. Chương 1: Ảnh siêu phân giải HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 11 GVHD: PGS. LÊ TIẾN T ƯỜNG 2 KHẢO SÁT CÁC NGHIÊN CỨU Chương này giới thiệu một số phương pháp của các nhóm nghiên cứu trên thế giới.
Hiện tại có rất nhiều phương pháp khác nhau nên việc chỉ một số nghiên cứu có liên quan được đề cập trong chương này nhằm giới thiệu một cái nhìn cụ thể hơn về các phương pháp tái tạo ảnh siêu phân giải.1 PHƯƠNG PHÁP CỦA VANDELWALLE [5][9] 2.1 Ước lượng xoay Do việc tính tương quan cho ảnh có chi phí tính toán rất cao nên Vandewalle đề nghị cách tiếp cận như sau: Bước 1: tính nội dung tần số theo góc θ bởi tích phân sau: ( ) ∫ ∫ | ( )| (2.1) Bước 2: Tính tương quan giữa 2 giá trị (θ) cho F1 (u ) và F0 (u ) và tìm giá trị mà tại đó chúng đạt cực đại. Cách này mặc dù cũng tính tương quan như hai phương pháp trên nhưng do chỉ tính tương quan 1 chiều nên khối lượng tính toán ít hơn. (a) Biê độ trung bình trong miền tần số (b) Tươ g qua giữa H0(θ) và H1(θ) 2-1: Giải thuật ước lượng xoay của Vandewalle. Chương 2: Khảo sát các nghiên cứu HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 12 GVHD: PGS.
LÊ TIẾN T ƯỜNG 2.2 Giải thuật tổng quát Phương pháp của Vandewalle gồm các bước: xếp ảnh trên hệ tọa của khung tham chiếu, sử dụng phép nội suy bicubic để đưa chúng vào ảnh super-resolution. Sau khi các ảnh có độ phân giải thấp được register chính xác thì các ảnh khác nhau có thể được kết hợp để tái tạo. Giải thuật tạo ảnh siêu phân giải trên ảnh chồng lấn một phần (ta chọn ε = 0.6 do ta muốn bỏ qua các tần số nhỏ nhất). Độ chính xác trong ước lượng xoay là 0.1o và phạm vi xoay là -30o tớ 30o tùy theo kinh nghiệm và ứng dụng riêng.
Giải thuật: i) Nhân ảnh ƒLR,m bằng cửa sổ Turkey để làm chúng đối xứng xuyên tâm. Các ảnh tạo ra từ của sổ được ký hiệu là ƒLR,w,m. ii) Tính biến đổi Fourier của FLR,w,m cho mọi ảnh tần số thấp iii) Ước lượng xoay: góc xoay giữa mỗi ảnh ƒLR,w,m (m = 1,…, M - 1) và ảnh tham khảo ƒLR,w,0 được ước lượng Tính các mẫu đã biến đổi Fourier trong hệ tọa độ cực (ur, uθ). Với mỗi góc θ, tính giá trị trung bình Hm(θ) của các hệ số Fourier với θ-1<uθ<θ+1 và 0.
Góc được biểu diễn theo độ (o) và Hm(θ) được tính cho mỗi 0. Giá trị tiêu biểu của ρmax = 0. Tìm giá trị tương quan cực đại giữa H0(θ) và 1(θ) trong phạm vi o o từ -30 đến 30. Đó chính là góc ước lượng xoay θm.
Xoay h nh ƒLR,w,m một góc -θm để loại bỏ sự xoay. iv) Ước lượng sự dịch ảnh: sự dịch chuyển theo phương dọc và phương ngang giữa ảnh ƒLR,w,m (m = 1,…., M – 1) và ảnh tham khảo ƒLR,w,0 được ước lượng. Tính độ dịch pha giữa ảnh m và ảnh tham khảo ( FLR , w, m / FLR , w, 0). Đối với mọi tần số có k N K , ghi ra phương trình tuyến tính mô tả một mặt phẳng xuyên qua mặt phẳng tính độ lệch pha với độ dốc xm chưa biết.
Tìm thông số độ dịch xm bằng giải pháp b nh phương cực tiểu của phương tr nh. Chương 2: Khảo sát các nghiên cứu HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 13 GVHD: PGS. LÊ TIẾN T ƯỜNG v) Tái cấu trúc ảnh: một ảnh có độ phân giải cao ƒHR được tái cấu trúc từ các ảnh đã được register ƒLR,w,m (m = 0,…. Đối với mỗi ảnh ƒLR,w,m, tính hệ trục cho các pixel của nó trong hệ trục của ảnh ƒLR,0, dùng các thông số registration đã được ước lượng.
Từ các mẫu đã biết, nội suy giá trị trên lưới độ phân giải cao bằng phương pháp nội suy song lập phương.2 PHƯƠNG PHÁP CỦA KAREN [6][11] 2.1 Giới thiệu Phương pháp này mở rộng việc tạo ra một ảnh có độ phân giải cao dựa vào sự dịch chuyển của các pixels phụ nằm trong các ảnh có độ phân giải thấp của cùng bức ảnh đó. Vấn đề này thường được giả quyết bằng biến đổi Fourier trong miền tần số nhưng ta sẽ không dùng biến đổi Fourier cho mọi tầng v đã có chứng minh rằng việc này sẽ làm tăng độ nhạy nhiễu với môi trường. Việc cải thiện độ phân giải của ảnh dĩ nhiên không thể trả lại các thành phần tần số cao đã mất đi khi lấy mẫu thô. Nhưng có nhiều không gian chức năng như cạnh hay các đường thẳng có thể đặt chính xác hơn, và quá tr nh xử lý sẽ được thực hiện trong miền không gian nhiều hơn trong miền tần số.
Vấn đề đặc biệt được đưa ra ở đây là sự gắn kết lại với nhau (interlace), một chức năng được dùng trong hấu hết các hệ thống video, ở đó là sự quét lần lượt hàng lẻ và hàng chẵn. Do kỹ thuật “anti-flicking” này mà mỗi ảnh số được tách chính xác thành hai ảnh: ảnh gồm các đường lẽ và ảnh gồm các đường chẵn cách nhau (1/50) giây. Với một camera di động, điều này được thể hiện là khoảng cách không gian chính và do đó, những ảnh số không thể xử lý như một ảnh được mà phải xem nó như hai bức ảnh riêng biệt. Các ảnh này có mật độ lấy mẫu trên phương x gấp 2 lần trên phương y.
Phương pháp này thích hợp khi các frame của camera không bị tăng tốc hoặc nếu có chỉ là tăng tốc ít.2 Phương pháp ghi các pixels phụ Có rất nhiều phương pháp ghi ảnh nhưng không có phương pháp nào đủ chính xác để áp dụng cho các pixel phụ. Phương pháp tr nh bày bên dưới chính xác nhất và đủ mạnh cho mục đích đó. Chương 2: Khảo sát các nghiên cứu HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 14 GVHD: PGS. LÊ TIẾN T ƯỜNG Ta xét 2 ảnh trước và sau chuyển động là 2 hàm f và g, với giá trị dịch theo phương ngang a, giá trị dịch theo phương dọc b và góc xoay θ: g ( x, y) f ( x cos( ) y sin( ) a, y cos( ) x sin( ) b) (2.2) Khai triển 2 thành phần đầu của sin(θ) và cos(θ) trong khai triển Taylor của nó, ta được kết quả sau: g ( x, y) f ( x a y x 2 / 2, y b x y 2 / 2) (2.3) Khai triển f tới thành phần đầu tiên của nó trong chuỗi Taylor, ta được biểu thức sau: f f g ( x, y) f ( x, y) (a y x 2 / 2) (b x y 2 / 2) (2.4) x y Hàm sai số giữa g và f sau khi xoay một góc θ và dịch đi một lượng a và b có thể được tính xấp xỉ theo công thức sau: f f E (a, b, ) [ f ( x, y) (a y x 2 / 2) (b x y 2 / 2) g ( x, y)]2 (2.5) x y Với giá trị của tổng vượt quá thành phần chồng lấn của f và g (rõ ràng ta cần một thành phần nhỏ hơn).
Nếu ta tìm giá trị nhỏ nhất của E (a, b, ) dựa vào vi phân từng phần theo a, b và và so sánh các giá trị này với zero, sau khi đã bỏ qua các thành phần không tuyến tính và các hệ số nhỏ, ta được một hệ f f thống các phương tr nh tuyến tính với R là viết tắt của x y y x và phép tính tổng vượt qua vùng chồng lấn: f 2 f f f f a b R ( f g ) x x y x x f f f 2 f f (2.
