Luận án tiến sĩ nghiên cứu kỹ thuật siêu phân giải video trong lĩnh vực điện tử

Luận án tiến sĩ kỹ thuật điện tử siêu phân giải video nghiên cứu phương pháp nâng cao chất lượng video, ứng dụng trong công nghệ xử lý hình ảnh hiện đại.

• Tác giả: Bùi Thư Cao
• Người hướng dẫn: PGS. Lê Tiến Thường
• Trường học: Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Siêu phân giải video
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu tổng quan

Luận án tiến sĩ về kỹ thuật siêu phân giải video trong điện tử tập trung vào việc nâng cao chất lượng hình ảnh video thông qua các phương pháp siêu phân giải. Siêu phân giải video là quá trình tái tạo hình ảnh có độ phân giải cao từ các chuỗi hình ảnh có độ phân giải thấp. Nhu cầu về siêu phân giải video xuất phát từ yêu cầu thực tế trong các lĩnh vực như quân sự, y khoa và công nghiệp. Mặc dù đã có nhiều nghiên cứu trong thập kỷ gần đây, việc áp dụng các phương pháp này vào thực tế vẫn còn hạn chế do chất lượng và hiệu quả chưa đạt yêu cầu. Luận án này nhằm mục đích phát triển các phương pháp siêu phân giải video để cải thiện chất lượng và hiệu quả ứng dụng.

1.1 Các khái niệm về siêu phân giải ảnh và video

Siêu phân giải video là quá trình sử dụng các thuật toán phần mềm để tái tạo hình ảnh video có độ phân giải cao từ các chuỗi hình ảnh có độ phân giải thấp. Quá trình này đòi hỏi việc kết hợp nhiều kỹ thuật xử lý hình ảnh, bao gồm nội suy, ước lượng chuyển động và khôi phục chi tiết. Các yếu tố ảnh hưởng đến chất lượng của siêu phân giải video bao gồm hiệu ứng quang học, chuyển động máy quay, nhiễu và độ phân giải thấp.

1.2 Nhu cầu thực tế về siêu phân giải video

Nhu cầu về siêu phân giải video xuất phát từ yêu cầu thực tế trong nhiều lĩnh vực. Trong quân sự, cần nhìn rõ chi tiết các mục tiêu. Trong y khoa, cần quan sát rõ các vùng bệnh lý. Trong công nghiệp, cần kiểm tra độ hoàn hảo của sản phẩm. Siêu phân giải video giúp cải thiện chất lượng hình ảnh, giảm thiểu sự mờ và tăng độ chi tiết, từ đó nâng cao hiệu quả ứng dụng trong các lĩnh vực này.

II. Phương pháp siêu phân giải video đơn frame

Phương pháp siêu phân giải video đơn frame tập trung vào việc nâng cao chất lượng hình ảnh từ một khung hình duy nhất. Tác giả đề xuất phương pháp kết hợp nội suy không gian trong các vùng kết cấu khác nhau với nội suy bồi hoàn lấy mẫu. Phương pháp này giúp cải thiện đáng kể chất lượng hình ảnh và thời gian xử lý. Tuy nhiên, phương pháp này vẫn có hạn chế khi áp dụng cho các hình ảnh có chuyển động.

2.1 Nội suy không gian kết hợp CSI

Phương pháp nội suy không gian kết hợp (CSI) được đề xuất để khắc phục các yếu điểm của các phương pháp hiện tại. Phương pháp này kết hợp nội suy không gian trong các vùng kết cấu khác nhau với nội suy bồi hoàn lấy mẫu. Kết quả thực nghiệm cho thấy phương pháp CSI cải thiện đáng kể chất lượng hình ảnh và thời gian xử lý so với các phương pháp truyền thống như Bicubic.

2.2 Thực nghiệm và đánh giá

Các thực nghiệm được thực hiện trên các chuỗi video chuẩn như Foreman và Soccer. Kết quả cho thấy phương pháp CSI cho chất lượng hình ảnh tốt hơn so với các phương pháp nội suy truyền thống. Đánh giá được thực hiện thông qua các chỉ số như PSNR và SSIM, cho thấy sự cải thiện rõ rệt về chất lượng hình ảnh.

III. Phương pháp siêu phân giải video đa frame

Phương pháp siêu phân giải video đa frame tập trung vào việc sử dụng thông tin từ nhiều khung hình để nâng cao chất lượng hình ảnh. Tác giả đề xuất phương pháp ước lượng dịch pha trong miền tần số để giải quyết bài toán siêu phân giải video tĩnh. Phương pháp này cho kết quả tốt với các hình ảnh tĩnh nhưng hạn chế khi áp dụng cho hình ảnh động.

3.1 Ước lượng dịch pha trong miền tần số PSEFD

Phương pháp ước lượng dịch pha trong miền tần số (PSEFD) được đề xuất để giải quyết bài toán siêu phân giải video tĩnh. Phương pháp này sử dụng lý thuyết toán học để ước lượng dịch pha và khôi phục hình ảnh. Kết quả thực nghiệm cho thấy phương pháp PSEFD hiệu quả với các hình ảnh tĩnh nhưng hạn chế khi áp dụng cho hình ảnh động.

3.2 Thực nghiệm và đánh giá

Các thực nghiệm được thực hiện trên các chuỗi video tĩnh như Res_chart. Kết quả cho thấy phương pháp PSEFD cho chất lượng hình ảnh tốt hơn so với các phương pháp truyền thống. Tuy nhiên, phương pháp này vẫn còn hạn chế khi áp dụng cho các hình ảnh có chuyển động.

IV. Phương pháp siêu phân giải video đa frame cải tiến

Để khắc phục hạn chế của phương pháp PSEFD, tác giả đề xuất phương pháp ước lượng tối thiểu hoá trung bình tuyệt đối vi phân mức xám (MMAD). Phương pháp này cho phép tách phần cảnh nền và ước lượng chuyển động chính xác hơn, từ đó cải thiện chất lượng hình ảnh. Tuy nhiên, phương pháp này vẫn còn hạn chế khi khôi phục chi tiết chuyển động.

4.1 Ước lượng tối thiểu hoá trung bình tuyệt đối vi phân mức xám MMAD

Phương pháp MMAD được đề xuất để cải thiện chất lượng hình ảnh bằng cách tách phần cảnh nền và ước lượng chuyển động chính xác hơn. Phương pháp này cho phép đồng thời tách phần cảnh nền và ước lượng chuyển động, từ đó cải thiện chất lượng hình ảnh. Tuy nhiên, phương pháp này vẫn còn hạn chế khi khôi phục chi tiết chuyển động.

4.2 Thực nghiệm và đánh giá

Các thực nghiệm được thực hiện trên các chuỗi video chuẩn. Kết quả cho thấy phương pháp MMAD cải thiện đáng kể chất lượng hình ảnh so với các phương pháp truyền thống. Tuy nhiên, phương pháp này vẫn còn hạn chế khi khôi phục chi tiết chuyển động.

V. Phương pháp siêu phân giải video đa frame dựa trên lý thuyết Bayesian MAP

Phương pháp siêu phân giải video đa frame dựa trên lý thuyết Bayesian MAP được đề xuất để khắc phục hạn chế của các phương pháp trước đó. Phương pháp này sử dụng lý thuyết xác suất thống kê để ước lượng chuyển động cục bộ của từng block pixel, từ đó cải thiện chất lượng hình ảnh động. Phương pháp này cho kết quả tốt với thời gian xử lý nhanh và hiệu quả cao.

5.1 Lý thuyết Bayesian MAP

Phương pháp Bayesian MAP sử dụng lý thuyết xác suất thống kê để ước lượng chuyển động cục bộ của từng block pixel. Phương pháp này cho phép khôi phục thông tin chi tiết của hình ảnh động với thời gian xử lý nhanh. Kết quả thực nghiệm cho thấy phương pháp Bayesian MAP hiệu quả hơn so với các phương pháp truyền thống.

5.2 Thực nghiệm và đánh giá

Các thực nghiệm được thực hiện trên các chuỗi video thực. Kết quả cho thấy phương pháp Bayesian MAP cải thiện đáng kể chất lượng hình ảnh so với các phương pháp truyền thống. Phương pháp này cũng cho thời gian xử lý nhanh và hiệu quả cao.

Trích đoạn nội dung tài liệu

Chương 1. Giới thiệu tổng quan 3 trên đối tượng trong ảnh bị dịch đi với độ dịch chuyển nhiều pixel theo chiều chuyển động, như Hình 1. Hình này minh họa ảnh chụp chiếc ô tô đang chạy trên phố. Ta dễ thấy, phần cảnh nền có chi tiết rõ.

Phần ảnh chiếc ô tô bị nhòe khi được chụp với máy quay camera tốc độ trung bình và rõ hơn khi được chụp với camera có tốc độ cao.3 Ảnh bị mờ do nhiễu Hình 1. Minh họa ảnh hưởng của nhiễu trên ảnh thu được, a) ảnh video bị nhiễu, b) ảnh video sau khi được giải nhiễu Nhiễu xuất hiện trong ảnh thu được có thể do nhiều nguyên nhân, như: nhiễu của bộ lấy mẫu (lỗi sensor), nhiễu phần cứng và nhiễu ngoài. Nếu hệ thống bị nhiễu thì tác động của nhiễu sẽ làm mờ và giảm chất lượng của ảnh, như minh họa ở Hình 1.4 Ảnh bị suy biến do độ phân giải thấp Hình 1. Minh họa sự suy biến của ảnh được lấy mẫu có độ phân giải thấp, a) ảnh Barbara gốc HR và b) ảnh Barbara được lấy mẫu xuống theo tỷ lệ 2x2 rồi được khôi phục siêu phân giải theo tỷ lệ 2x2 bằng nội suy Bicubic.

Giới thiệu tổng quan 4 Do đặc điểm, ảnh số được lấy mẫu về không gian trên một ma trận điểm ảnh là các photosensor, nên luôn bị giới hạn về tần số lấy mẫu. Chính điều này gây ra sự mất mát thông tin. Dẫn đến kết quả, nội dung của ảnh thu được suy biến sai lệch so với ảnh gốc HR.5 minh họa so sánh giữa ảnh Barbara được lấy mẫu có độ phân giải thấp (giảm mẫu theo tỷ lệ 2x2) và ảnh Barbara gốc HR. Quan sát kĩ chi tiết của chiếc khăn, ta dễ thấy ở hai vùng được khoanh tròn, đường kẻ in bị biến dạng, sai dạng hoàn toàn so với ảnh gốc.5 Các yếu tố ảnh hưởng đến chất lượng của ảnh video siêu phân giải ấy, khi ảnh video LR thu được Từ các phân tích trên ta th bị mờ do hiệu ứng quang học, mờ do hiệu ứng chuyển động và mờ do nhiễu chắc chắn sẽ làm ảnh hưởng rất lớn đến chất lượng của video HR được khôi phục siêu phân giải.3 Giới thiệu về siêu phân giải video Ảnh HR gốc Kết quả: ảnh video có độ phân giải thấp và bị mờ Ma trận photo-sensors Phần ảnh LR thu được Phần ảnh HR gốc Hình 1.

Minh họa mô hình hệ thống thu nhận ảnh video của một camera số. Quá trình lấy mẫu được thể hiện bằng việc đặt lưới ảnh HR gốc (màu xanh) vào lưới ma trận photo-sensor có độ phân giải thấp (màu đỏ). Giới thiệu tổng quan 5 Độ phân giải về không gian của hình ảnh thực là vô cùng lớn, trong khi camera luôn có độ phân giải ở một giá trị giới hạn nhất định. Do vậy ảnh video thu được từ camera luôn không thể r õ nét các chi tiết ảnh bằng hình ảnh thực tế được.

Siêu phân giải video là hình thức làm tái tạo lại hình ảnh gần giống với hình ảnh thực, có độ phân giải cao hơn và rõ nét các chi tiết ảnh hơn. Ta có thể mô hình hóa tổng quan hệ thống thu nhận ảnh của camera như Hình 1. Ảnh video HR gốc, thể hiện ở khung lưới màu xanh. Ma trận photo-sensor ảnh thể hiện ở vùng lưới màu đỏ.

Do đó, về mặt vật lý, giá trị mức xám của mỗi pixel độ phân giải thấp thu được là trung bình cộng giá trị mức xám của các pixel độ phân giải cao trong nội vùng của nó. Kết quả, với cảnh thực khi được quay camera, thì ảnh thu được bao giờ cũng có độ phân giải thấp và luôn bị mờ đi so với ảnh thực tế. 4x4 Ảnh được lấy mẫu LR (4x4) pixel Hình 1. Minh họa thuật toán lấy mẫu xuống U theo tỷ lệ (4x4) trong không gian ảnh Giải thiết, ta gọi chuỗi ảnh video LR thu được là 𝑓𝑓𝐿𝐿𝐿𝐿𝐿𝐿 , với i = {1.N} là đơn vị thời gian của frame được chụp.

Chuỗi ảnh HR gốc là 𝑓𝑓𝐻𝐻𝐻𝐻𝐻𝐻. Ta gọi U là toán hạng lấy ờ của camera, 𝑤𝑤𝑖𝑖 là nhiễu nội của hệ thống mẫu không gian của camera, K là lõi m camera và 𝑠𝑠 = 𝑠𝑠(𝑥𝑥, 𝑦𝑦) biến tọa độ không gian ảnh 2 chiều. Ta gọi frame video thu được thứ i là 𝑓𝑓𝐿𝐿𝐿𝐿𝐿𝐿 , là ma trận của các pixel điểm ảnh 2 chiều. Mô hình toán học đơn giản của hệ thống thu nhận ảnh video, cho frame thứ i, được thể hiện như sau: 𝑓𝑓𝐿𝐿𝐿𝐿𝐿𝐿 (𝑠𝑠) = 𝑈𝑈𝑈𝑈𝑓𝑓𝐻𝐻𝐻𝐻𝐻𝐻(𝑠𝑠) + 𝑤𝑤𝑖𝑖 (1.

Giới thiệu tổng quan 6 Trong đó U là toán hạng lấy mẫu xuống trong không gian ảnh, được minh họa như Hình 1. Lõi mờ K là thuật toán nhân chập ma trận lõi mờ K với ma trận điểm ảnh 𝑓𝑓𝐻𝐻𝐻𝐻𝐻𝐻. Nó được thể hiện ở phương trình (1.2), với 𝑛𝑛 × 𝑛𝑛 là kích thước của lõi mờ K.2) Trong thực tế, một cách tổng quát, luôn có sự chuyển động của camera và cảnh ết, đối tượng trong cảnh. Sự chuyển động này là sự chuyển dịch quay hay các chi ti theo phương ngang, phương thẳng đứng và xoay một cách tùy ý giữa các frame.

Ta gọi ∆𝑠𝑠𝑖𝑖 thông số dịch (theo phương ngang và phương thẳng đứng) với toán hạng dịch là ∆𝑠𝑠𝑖𝑖 , và 𝜃𝜃𝑖𝑖 là thông số góc xoay với toán hạng xoay là 𝑅𝑅𝜃𝜃 𝑖𝑖 của frame 𝑓𝑓𝐻𝐻𝐻𝐻𝐻𝐻 so với frame gốc 𝑓𝑓𝐻𝐻𝐻𝐻1. Vậy ta có phương trình quan hệ giữa frame 𝑓𝑓𝐻𝐻𝐻𝐻𝐻𝐻 so với frame gốc 𝑓𝑓𝐻𝐻𝐻𝐻1 là: 𝑓𝑓𝐻𝐻𝐻𝐻𝐻𝐻 = 𝑓𝑓𝐻𝐻𝐻𝐻1 (𝑅𝑅𝜃𝜃𝑖𝑖 (𝑠𝑠 + ∆𝑠𝑠𝑖𝑖 )) (1.3) ta rút ra được mô tả toán học tổng quát cho quan hệ giữa các ảnh video thu được là: 𝑓𝑓𝐿𝐿𝐿𝐿𝐿𝐿 (𝑠𝑠) = 𝑈𝑈𝑈𝑈𝑓𝑓𝐻𝐻𝐻𝐻1 (𝑅𝑅𝜃𝜃𝑖𝑖 (𝑠𝑠 + ∆𝑠𝑠𝑖𝑖 )) + 𝑤𝑤𝑖𝑖 (1.4) Do đó, ta thấy rằng siêu p hân giải video là giải bài toán ngược của pt (1.4), tìm ảnh gốc HR, 𝑓𝑓𝐻𝐻𝐻𝐻1 , từ tập các ảnh video LR thu được 𝑓𝑓𝐿𝐿𝐿𝐿𝐿𝐿. Vậy có thể nói, siêu phân giải video là hình thức sử dụng các thuật toán bằng phần mềm, khôi phục tạo ra ảnh HR từ ảnh ngõ vào video LR với mục tiêu gia tăng độ rõ nét của chi tiết ảnh.1 Phân loại các kỹ thuật siêu phân giải video Siêu phân giải video có hai dạng phương pháp: siêu phân giải video đơn frame và siêu phân giải video đa frame. Siêu phân giải đơn frame là hình thức xử lý nâng cao độ phân giải của một frame ảnh LR từ một frame ảnh LR ngõ vào.

Siêu phân gi ải đa frame là hình thức xử lý nâng cao độ phân giải cho một frame ảnh LR, từ nhiều frame LR ngõ vào. Do đặc điểm của thông tin hình ảnh video, người ta có thể kết hợp các thông tin chi tiết từ nhiều frame LR ngõ vào để khôi phục tạo ra một frame HR. Do đó siêu phân giải video đa frame có chất lượng tốt hơn siêu phân giải video đơn frame. Giới thiệu tổng quan 7 1.2 Siêu phân giải video đơn frame Khôi phục siêu phân giải video đơn frame thường được thực hiện ba bước: i.

Giảm nhiễu (denoising) bằng cách dùng các bộ lọc Gaussian, Wiener, và Median ii. Nội suy ảnh (interpolation) bằng cách kỹ thuật nội suy: Nearest neighbor, Linear, Cubic, và Cubic spline, v. Làm sắc nét ảnh (sharpening) bằng cách khuếch đại các chi tiết ảnh.2 Siêu phân giải video đa frame Phương pháp này lợi dụng chính sự rung động của camera khi chụp (quay), gây ra sự xê dịch giữa các frame ảnh, như minh họa ở Hình 1. Chính nhờ sự xê dịch này sẽ cung cấp lượng thông tin bổ khuyết ở phần không được lấy mẫu giữa các frame với nhau để có thể khôi phục tái tạo lại ảnh video HR với các chi tiết rõ nét hơn.

Do đó, kỹ thuật siêu phân giải video đa frame về mặt logic có thể đạt được kết quả tốt hơn nhiều so với siêu phân giải video đơn frame. Trong khi đó với phương pháp siêu phân giải đơn frame thì ta không thể có điều này. Minh họa quá trình siêu phân giải đa frame. Đặc điểm chung của phương pháp siêu phân giải đa frame ương pháp Nhìn chung các ph siêu phân giải đa frame đều thực hiện 2 bước chính, xác nhận ảnh (registration) và khôi phục ảnh (reconstruction) , như minh họa ở Hình 1.

Giới thiệu tổng quan 8  Xác nhận ảnh: xác định các thông số dịch (Δx, Δy ) và góc xoay ( φ ) giữa các frame tham khảo so với frame chính xét trên cùng một hệ trục tọa độ.  Khôi phục ảnh: dựa vào tập các thông số chuyển động (Δx, Δy, φ ), các frame LR ngõ vào được sắp xếp trên cùng một hệ trục tọa độ. Sau đó, các kỹ thuật nội suy không gian được sử dụng để khôi phục tạo ra frame HR chính.4 Tổng quan về hiện trạng nghiên cứu 1.1 Các nghiên cứu trong nước 1.1 Nghiên cứu theo hướng siêu phân giải ảnh đơn frame Trong nước hiện nay chưa có nhiều nghiên cứu liên quan đến vấn đề này. Điển hình là phương pháp đư ợc đề xuất bởi Nguyễn Lê Hồng Sinh [2], năm 2007.

Phương pháp này sử dụng nội suy không đồng dạng và băng bộ lọc để khôi phục ảnh HR ở các hướng nội suy khác nhau. Một phương pháp siêu phân giải ảnh đơn frame khác, dùng băng bộ lọc trong miền wavelets, đã được đề xuất bởi Lê Tiến Thường [3], năm 2009.2 Nghiên cứu theo hướng siêu phân giải ảnh đa frame Tiêu biểu, kể đến nghiên cứu của Lê Xuân Hiển [4] năm 2007. Ứng dụng tính chất tương quan pha trong miền tần số để xác nhận cho chuỗi ảnh chập. Giải thuật của đề tài chỉ thực hiện cho xác nhận chuyển dịch phẳng theo phương ngang và phương thẳng đứng.

Do đó, khi có sự chuyển động xoay giữa các ảnh, thì kết quả cho sai số lớn. Nguyễn Hồng Thịnh [5], năm 2009, thể hiện một báo cáo so sánh và đánh giá chất lượng của một số giải thuật siêu phân giải đa frame tiêu biểu. Một nghiên cứu khác, ứng dụng siêu phân giải cho thăm dò khai thác khoáng s ản của Nguyễn Quang Minh [6] năm 2009. Tác giả đã đề xuất phương pháp khôi phục siêu phân giải cho ảnh đa phổ cảm nhận từ xa.

Tuy nhiên phương pháp này chỉ thích hợp với đặc thù của thiết bị thu nhận ảnh cấu trúc của khoáng sản. Gần đây nhất, Nguyễn Cao Thái [7] năm 2010, đã thực nghiệm phương pháp siêu phân giải đơn ảnh trên miền Wavelets và xử lý nhúng trên kít ARM LM322965. Kết quả cũng đã đạt được những tiến bộ đáng kể.2 Các nghiên cứu nước ngoài 1.1 Nghiên cứu theo hướng siêu phân giải ảnh đơn frame Chương 1. Giới thiệu tổng quan 9 Với phương pháp đơn ảnh, về cơ bản sử dụng các kỹ thuật nội suy không gian: Bicubic, Bilinear hay nearest kết hợp với các kỹ thuật lọc, làm trơn và làm nét, để tăng độ phân giải ảnh.