Luận văn thạc sĩ kỹ thuật điện tử ứng dụng biến đổi curvelet xử lý ảnh siêu phân giải và triển khai trên kit arm 32 bit

Luận văn thạc sĩ nghiên cứu kỹ thuật điện tử ứng dụng biến đổi curvelet xử lý ảnh siêu phân giải và triển khai trên kit arm 32, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Lê Cao Khoa
• Người hướng dẫn: PGS. Lê Tiến Thường
• Trường học: Đại học Bách Khoa - ĐHQG TP. HCM
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Nghiên cứu xử lý ảnh siêu phân giải bằng biến đổi curvelet trên kit ARM 32 bit
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT ĐỀ TÀI
• LỜI CAM ĐOAN
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• BẢNG TỪ VIẾT TẮT
• GIỚI THIỆU ĐỀ TÀI
• 1. CHƯƠNG 1: ẢNH SIÊU PHÂN GIẢI
• 1.1. GIỚI THIỆU ẢNH SIÊU PHÂN GIẢI
• 1.1.1. Dự đoán chuyển động trên mặt phẳng
• 1.1.2. Dự đoán chuyển động xoay
• 1.1.3. Dự đoán chuyển động dịch
• 1.1.4. Ước lượng dịch chyển cho ảnh chồng lấn một phần
• 1.1.5. Tiêu chuẩn đánh giá chất lượng ảnh
• 2. CHƯƠNG 2: KHẢO SÁT CÁC NGHIÊN CỨU
• 2.1. PHƯƠNG PHÁP CỦA VANDELWALLE
• 2.1.1. Ước lượng xoay
• 2.1.2. Giải thuật tổng quát
• 2.2. PHƯƠNG PHÁP CỦA KAREN
• 2.2.1. Phương pháp ghi các pixels phụ
• 2.3. CÁC NGHIÊN CỨU KHÁC
• 2.3.1. Cách tiếp cận của
• 2.3.2. Cách tiếp cận của
• 3. CHƯƠNG 3: BIẾN ĐỔI CURVELETS
• 3.1. TỪ WAVELETS CỔ ĐIỂN TỚI CURVELETS
• 3.1.1. Quá trình phát triển
• 3.1.2. Tại sao cần curvelets
• 3.2. BIẾN ĐỔI CURVELETS LIÊN TỤC TRONG R2
• 3.2.1. Các hàm cửa sổ
• 3.2.2. Các hàm curvelets hệ thống
• 3.2.3. Support trong miền tần số
• 3.2.4. Support trong miền thời gian và tính dao động
• 3.2.5. Các moment biến mất
• 3.3. ĐỊNH NGHĨA BIẾN ĐỔI CURVELETS LIÊN TỤC
• 3.4. BIẾN ĐỔI CURVELETS NHANH
• 3.4.1. Tại sao là biến đổi Curvelets rời rạc
• 3.4.2. Một biến đổi curvelets rời rạc mới
• 3.4.3. Các biến đổi curvelets liên tục theo thời gian
• 3.4.4. Các biến đổi curvelets số
• 3.4.5. Biến đổi curvelets số thông qua UFFTs
• 3.4.6. Biến đổi curvelets số thông qua Wrapping
• 3.4.7. Kiến trúc FDCT
• 3.4.8. FDCT thông qua USFFTs
• 3.4.9. Các đại diện Riesz và lưới kép
• 3.4.10. Biến đổi liên hợp
• 3.4.11. Biến đổi ngược
• 3.4.12. Biến đổi Fourier nhanh không đều
• 3.4.13. Phân tích lỗi
• 3.4.14. Tích chập USFFT
• 3.4.15. Ma trận Gram
• 3.5. CÁC ỨNG DỤNG GẦN ĐÂY
• 3.5.1. Giảm nhiễu ảnh
• 3.5.1.1. Giảm nhiễu ảnh cho nhiễu cộng
• 3.5.1.2. Giảm nhiễu cho ảnh SAR (Synthetic Aperture Radar)
• 3.5.2. Tăng chất lượng ảnh
• 3.5.3. Nén cảm biến (Compressed Sensing)
• 3.6. CÁC THÁCH THỨC TRONG TƯƠNG LAI [2][7][8]
• 3.6.1. Giảm độ phức tạp
• 3.6.2. Hàm lấy ngưỡng tốt hơn
• 4. CHƯƠNG 4: GIỚI THIỆU KIT ARM AT91SAM9RL-EK
• 4.1. BOARD AT91SAM9RL-EK [22]
• 4.2. VI ĐIỀU KHIỂN AT91SAM9RL64 [22]
• 4.2.1. Truyền thông xa
• 4.2.2. Giao diện người dùng
• 4.2.3. Giao diện Debug
• 4.2.4. Khe cắm mở rộng
• 4.2.5. Sơ đồ mạch ở lớp Top
• 4.2.6. Nguồn cung cấp
• 4.2.7. Giao diện nối tiếp
• 4.2.8. Hiển thị TFT LCD
• 4.2.9. Bộ nhớ nối tiếp
• 5. CHƯƠNG 5: GIẢI THUẬT ĐỀ XUẤT
• 5.1. GIAO DIỆN CHƯƠNG TRÌNH
• 5.2. GIẢI THUẬT THỰC HIỆN
• 5.2.1. Tiền phân giải
• 5.2.2. Nội suy trên miền Curvelets
• 5.2.3. Giải thuật hiện thực
• 5.3. HƯỚNG PHÁT TRIỂN TƯƠNG LAI
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về ảnh siêu phân giải

Kỹ thuật siêu phân giải ảnh là một phương pháp nhằm nâng cao độ phân giải của hình ảnh từ các ảnh có độ phân giải thấp (ảnh LR) để tạo ra một ảnh có độ phân giải cao hơn (ảnh HR). Quá trình này bao gồm ba bước chính: dự đoán chuyển động, phục hồi ảnh và giảm mờ. Việc xử lý ảnh trong kỹ thuật này không chỉ đòi hỏi sự chính xác trong từng bước mà còn cần đến các phương pháp thuật toán hiệu quả. Nghiên cứu này tập trung vào việc sử dụng biến đổi curvelet để phục hồi ảnh, vì biến đổi này đã được chứng minh là có khả năng xử lý tốt các yếu tố như cạnh và đường cong, điều mà các phương pháp truyền thống như wavelets không làm được hiệu quả.

1.1 Khái niệm về ảnh siêu phân giải

Ảnh siêu phân giải là một kỹ thuật nhằm nâng cao chất lượng hình ảnh bằng cách kết hợp thông tin từ nhiều ảnh có độ phân giải thấp. Kỹ thuật này dựa vào giả định rằng các ảnh đầu vào có sự khác biệt nhỏ do dịch chuyển của camera, thường là theo chiều ngang và dọc. Để đạt được ảnh HR, cần phải thực hiện các bước như dự đoán chuyển động và hồi phục ảnh. Một trong những thách thức lớn nhất trong quá trình này là đảm bảo sự chính xác trong việc đăng ký các ảnh đầu vào. Việc sử dụng biến đổi curvelet trong phục hồi ảnh được kỳ vọng sẽ mang lại chất lượng hình ảnh tốt hơn so với các phương pháp truyền thống.

II. Biến đổi curvelet và ưu điểm

Biến đổi curvelet là một công cụ mạnh mẽ trong xử lý ảnh, đặc biệt trong các ứng dụng cần xử lý các yếu tố phi tuyến tính như cạnh và đường cong. So với các phương pháp như wavelets, curvelets cung cấp khả năng phân tích tốt hơn cho các hình ảnh có cấu trúc phức tạp. Sự phát triển của biến đổi curvelet đã mở ra hướng đi mới trong việc cải thiện chất lượng ảnh sau khi phục hồi. Đặc điểm nổi bật của curvelets là khả năng xử lý các chi tiết nhỏ trong ảnh mà không làm mất đi thông tin quan trọng. Điều này đặc biệt có ích trong các ứng dụng như khôi phục ảnh và giảm nhiễu.

2.1 So sánh giữa curvelets và wavelets

Khi so sánh giữa biến đổi curvelet và wavelets, có thể thấy rằng curvelets vượt trội hơn trong việc xử lý các cạnh và đường cong. Wavelets thường gặp khó khăn trong việc xử lý các chi tiết nhỏ và không liên tục trong ảnh. Việc áp dụng curvelets trong phục hồi ảnh siêu phân giải giúp cải thiện rõ rệt chất lượng hình ảnh cuối cùng. Nghiên cứu cho thấy rằng các thuật toán dựa trên curvelets có thể đạt được độ chính xác cao hơn trong việc phục hồi các chi tiết quan trọng của ảnh, từ đó nâng cao độ phân giải và chất lượng hình ảnh.

III. Triển khai trên kit ARM 32 bit

Việc triển khai giải thuật phục hồi ảnh siêu phân giải dựa trên biến đổi curvelet trên kit ARM 32 bit là một phần quan trọng của nghiên cứu này. Kit ARM được chọn vì tính linh hoạt và khả năng xử lý tốt các thuật toán phức tạp trong thời gian thực. Quá trình triển khai bao gồm việc phát triển phần mềm để thực hiện các phép toán cần thiết cho việc xử lý ảnh. Các kết quả thu được từ việc chạy trên kit ARM sẽ được so sánh với các kết quả từ phần mềm Matlab để đánh giá hiệu quả của giải thuật. Sự kết hợp giữa phần cứng và phần mềm không chỉ giúp tối ưu hóa quá trình xử lý mà còn mở ra khả năng ứng dụng trong các thiết bị di động và nhúng.

3.1 Đặc điểm của kit ARM

Kit ARM 32 bit AT91SAM9RL-EK cung cấp một nền tảng mạnh mẽ cho việc phát triển và thử nghiệm các giải thuật xử lý ảnh. Với khả năng xử lý nhanh và hiệu suất cao, kit này cho phép thực hiện các thuật toán phức tạp trong thời gian thực. Việc sử dụng kit ARM trong nghiên cứu này không chỉ giúp kiểm nghiệm tính khả thi của giải thuật mà còn mở ra cơ hội ứng dụng trong các lĩnh vực như giám sát an ninh và y tế, nơi mà việc xử lý ảnh nhanh chóng và hiệu quả là rất quan trọng.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và thị giác máy tính, nhu cầu trích xuất hình ảnh chất lượng cao ngày càng tăng trưởng mạnh mẽ, đặc biệt khi hơn 80% hệ thống quang học thương mại bị giới hạn bởi kích thước cảm biến vật lý và hiện tượng nhiễu hạt Rayleigh. Giải pháp nâng cao độ phân giải quang học bằng phần cứng thường dẫn đến chi phí sản xuất tăng gấp 3 đến 5 lần và làm giảm tỷ lệ tín hiệu trên nhiễu (SNR). Kỹ thuật xử lý ảnh siêu phân giải (Super Resolution - SR) ra đời như một phương thức phần mềm đột phá, cho phép kết hợp nhiều khung ảnh chất lượng thấp (Low Resolution - LR) để tái tạo nên một khung ảnh có độ phân giải cao (High Resolution - HR) giàu chi tiết.

Vấn đề cốt lõi của các thuật toán siêu phân giải cổ điển nằm ở giai đoạn phục hồi và nội suy ảnh. Phép biến đổi Wavelet truyền thống bộc lộ nhược điểm cố hữu là tính đẳng hướng, chỉ xấp xỉ tốt các điểm gián đoạn đơn lẻ mà làm mờ các cạnh cong và đường thẳng dị hướng. Đề tài tập trung nghiên cứu ứng dụng biến đổi Curvelet thế hệ thứ hai nhằm khai thác tối đa tính định hướng đa thang, kết hợp giải thuật nội suy 2 tầng và triển khai thử nghiệm trên vi điều khiển nhúng ARM 32-bit (kit AT91SAM9RL-EK).

Nghiên cứu được thực hiện trong khung thời gian 12 tháng (từ tháng 07/2012 đến tháng 06/2013) tại Trường Đại học Bách Khoa – ĐHQG TP.HCM. Phạm vi thực nghiệm tập trung vào các tập dữ liệu ảnh 8-bit chuẩn quốc tế như Mandrill, Cameraman và Lena. Kết quả nghiên cứu mang lại ý nghĩa học thuật và ứng dụng to lớn khi nâng cao tỷ số tín hiệu đỉnh trên nhiễu (PSNR) từ 2,45 dB đến 3,82 dB so với các phương pháp nội suy truyền thống, đồng thời rút ngắn thời gian xử lý thực thi trên phần cứng nhúng xuống dưới 5 phút.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng Phân tích Hình học Đa phân giải (Multiscale Geometric Analysis - MGA), khắc phục triệt để hạn chế của phép biến đổi Fourier và Wavelet truyền thống. Biến đổi Wavelet 2D thông thường chỉ hỗ trợ 3 hướng cố định (ngang, dọc, chéo) hoặc 6 hướng với Wavelet phức cây kép (DTCWT), dẫn đến tốc độ xấp xỉ biên cong $C^2$ chỉ đạt mức tiệm cận $O(m^{-1})$. Ngược lại, biến đổi Curvelet thế hệ thứ hai do Candès và Donoho phát triển sử dụng các cửa sổ hình nêm trong miền tần số tuân theo định luật tỷ lệ parabol (chiều dài $2^{-j/2}$, chiều rộng $2^{-j}$), nâng tốc độ xấp xỉ tiệm cận tối ưu lên mức $O(m^{-2} \log^3 m) \approx O(m^{-2})$.

Mô hình siêu phân giải tổng quát bao gồm 3 pha liên hoàn:

1. Dự đoán chuyển động và đăng ký ảnh (Motion Estimation).
2. Tái tạo và phục hồi ảnh thông qua nội suy (Image Restoration).
3. Lọc giảm mờ và làm sắc nét (Deblurring/Enhancement Filter).

Để xác định chuyển động dịch chuyển và góc xoay giữa các khung hình LR với độ dịch sub-pixel, đề tài áp dụng mô hình toán học của Keren dựa trên khai triển chuỗi Taylor bậc một kết hợp cấu trúc Kim tự tháp Gaussian (Gaussian Pyramid).

Các khái niệm chuyên ngành then chốt bao gồm: Biến đổi Curvelet rời rạc nhanh (Fast Discrete Curvelet Transform - FDCT) thông qua kỹ thuật Wrapping, Tỷ số tín hiệu đỉnh trên nhiễu (PSNR tính theo thang decibel dB), Sai số toàn phương trung bình (MSE), và Tính dị hướng của các cấu trúc cạnh cong trong không gian ảnh hai chiều.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm sử dụng tập ảnh chuẩn xám kích thước $256 \times 256$ và $512 \times 512$ pixel với 256 mức xám. Cỡ mẫu nghiên cứu gồm 3 bộ dữ liệu ảnh điển hình đại diện cho các đặc tính tần số không gian khác nhau: ảnh Mandrill (kết cấu phức tạp, mật độ cao tần dày đặc), ảnh Cameraman (đường biên hình học sắc nét) và ảnh Lena (chuyển tiếp bề mặt mịn màng). Mỗi mẫu ảnh gốc được tạo thành chuỗi 4 khung hình LR thông qua các phép biến đổi nhân tạo với độ dịch chuyển vi mô ngẫu nhiên 0,03 pixel và góc xoay dưới 0,1 độ để kiểm tra độ bền vững của giải thuật.

Phương pháp chọn mẫu có chủ đích được lựa chọn nhằm kiểm chứng toàn diện năng lực xử lý của biến đổi Curvelet trên cả cấu trúc trơn lẫn cấu trúc vi biên sắc nhọn. Phương pháp phân tích kết hợp giữa mô phỏng phần mềm bằng MATLAB R2012a và nhúng trực tiếp thuật toán nội suy Curvelet lên phần cứng vi điều khiển AT91SAM9RL64 (kiến trúc ARM926EJ-S, xung nhịp 200 MHz, 64KB SRAM nội).

Lý do lựa chọn giải thuật FDCT qua kỹ thuật Wrapping là nhờ độ phức tạp tính toán thấp chỉ $O(n^2 \log n)$, chạy nhanh gấp 6 đến 10 lần so với các biến đổi dạng bảng Fourier chuẩn và không tạo ra độ dư thừa dữ liệu lớn. Toàn bộ timeline nghiên cứu kéo dài liên tục từ ngày 02/07/2012 đến ngày 21/06/2013.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm nghiệm thực nghiệm đã mang lại 4 phát hiện khoa học quan trọng:

• Khả năng bảo toàn cấu trúc biên cong vượt trội: Biến đổi Curvelet chứng minh năng lực xấp xỉ vượt bậc so với Wavelet, giảm thiểu triệt để hiện tượng răng cưa và hiện tượng rò rỉ năng lượng giả tại các vùng biên có độ cong $C^2$.
• Cải thiện định lượng chỉ số chất lượng ảnh: Tỷ số PSNR của ảnh siêu phân giải tạo bởi thuật toán đề xuất đạt mức tăng trưởng từ 2,45 dB đến 3,82 dB so với phương pháp nội suy lân cận gần nhất (Nearest Neighbor) và Bilinear. Điển hình trên mẫu ảnh Lena, giá trị MSE giảm mạnh từ 124,5 xuống còn 48,2, phản ánh độ sai lệch hình học cực thấp so với ảnh gốc HR.
• Tối ưu hóa hiệu năng phần cứng nhúng: Triển khai thành công thuật toán nội suy trên kit ARM AT91SAM9RL-EK giúp giảm thời gian xử lý xuống còn 5 phút cho một quy trình hoàn chỉnh, nhanh hơn 70,6% so với thời gian 17 phút khi thực hiện các phép toán khoảng cách Euclid số thực đa biến trên cùng phần cứng.
• Độ chính xác cực cao trong khâu đăng ký ảnh: Thuật toán Keren kết hợp kim tự tháp Gaussian đạt sai số ước lượng vị trí dưới 0,03 pixel trên hai trục tọa độ và sai số góc xoay duy trì dưới 0,1 độ.

Thảo luận kết quả

Nguyên nhân chính giúp giải thuật đề xuất vượt trội là nhờ cơ chế phân chia cửa sổ tần số hình nêm đối xứng của FDCT kết hợp cùng thuật toán nội suy 2 tầng và mặt nạ lọc làm sắc nét Unsharp với hệ số tỷ lệ $k \approx 0,7$. Cơ chế này giúp giữ lại toàn bộ thành phần pha và năng lượng cao tần bị phân tán trong các khung ảnh LR.

Khi so sánh với các nghiên cứu công bố cùng thời kỳ, phương pháp Curvelet đề xuất cho chất lượng thị giác sắc nét hơn rõ rệt so với các giải thuật IBP (Iterated Back Projection), RSR (Robust Super Resolution) và POCS (Projection onto Convex Set). Dù thuật toán SANC (Structured Adaptive Normalized Convolution) có thể đạt chất lượng xấp xỉ, nhưng chi phí tính toán của SANC quá nặng nề, không thể triển khai trên các vi điều khiển nhúng tài nguyên hạn chế.

Dữ liệu thực nghiệm được trực quan hóa thông qua bảng so sánh đối chuẩn 6 giải thuật (Nearest, Bilinear, Bicubic, IBP, SANC và Curvelet đề xuất) cùng biểu đồ phân bố độ sáng Histogram. Biểu đồ Histogram của ảnh tái tạo từ phương pháp đề xuất cho thấy sự trùng khớp phổ sắc độ lên tới 96,4% so với ảnh gốc chuẩn, minh chứng cho độ trung thực hình ảnh cao.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và thúc đẩy ứng dụng thực tiễn của công nghệ xử lý ảnh siêu phân giải dựa trên Curvelet, 4 khuyến nghị chiến lược được đề xuất:

1. Nâng cấp nền tảng vi xử lý phần cứng nhúng: Chuyển đổi kiến trúc từ dòng vi điều khiển ARM9 (xung nhịp 200 MHz) sang các dòng chip ARM Cortex-M7 hoặc Cortex-A hỗ trợ tập lệnh xử lý tín hiệu số DSP/NEON với xung nhịp trên 600 MHz. Mục tiêu nhằm nâng tốc độ xử lý khung hình đạt mức thời gian thực 25 đến 30 fps trong vòng 6 đến 12 tháng tới (Chủ thể: Các kỹ sư thiết kế phần cứng và hệ thống nhúng).
2. Tối ưu hóa giải thuật lấy ngưỡng hệ số Curvelet: Nghiên cứu tích hợp các hàm ngưỡng thích nghi phi tuyến (như ngưỡng Bayes hoặc ngưỡng mềm cải tiến) nhằm triệt tiêu nhiễu cộng và nhiễu đốm mà không làm suy giảm chi tiết vi biên, đặt mục tiêu nâng thêm 1,5 dB PSNR trong lộ trình 3 đến 6 tháng (Chủ thể: Nhóm nghiên cứu thuật toán xử lý ảnh).
3. Mở rộng giải thuật siêu phân giải sang không gian 3D: Ứng dụng biến đổi Curvelet 3 chiều cho các chuỗi dữ liệu video giám sát đa chiều nhằm khai thác mối tương quan không gian - thời gian, hướng đến triển khai tại các trung tâm điều hành camera giao thông thông minh trong vòng 18 tháng (Chủ thể: Các viện nghiên cứu và doanh nghiệp công nghệ đô thị thông minh).
4. Chuẩn hóa giao thức truyền thông dữ liệu tốc độ cao: Thay thế giao tiếp nối tiếp USART (tốc độ 115.200 baud) bằng chuẩn USB High-Speed 480 Mbps hoặc Gigabit Ethernet để giảm độ trễ truyền dữ liệu ảnh giữa máy tính chủ và kit xử lý xuống dưới 0,5 giây trong vòng 3 tháng (Chủ thể: Đội ngũ phát triển phần mềm nhúng).

Đối tượng nên tham khảo luận văn

Công trình luận văn này là tài liệu tham khảo học thuật và kỹ thuật giá trị cho 4 nhóm đối tượng trọng tâm:

• Kỹ sư thiết kế hệ thống nhúng và thiết bị IoT: Tiếp cận phương pháp hiện thực hóa các giải thuật toán học phức tạp lên vi điều khiển 32-bit có dung lượng bộ nhớ SRAM giới hạn, ứng dụng trực tiếp vào chế tạo các module camera giám sát thông minh độc lập tại biên mạng.
• Nghiên cứu sinh và Giảng viên chuyên ngành Xử lý Tín hiệu - Điện tử Viễn thông: Nắm bắt toàn diện lý thuyết biến đổi Curvelet thế hệ 2 (FDCT Wrapping), làm cơ sở phát triển các công trình nghiên cứu chuyên sâu về nâng cao chất lượng ảnh y khoa (chụp cắt lớp CT, cộng hưởng từ MRI) và ảnh viễn thám radar khẩu độ tổng hợp (SAR).
• Kỹ sư phát triển phần mềm thị giác máy tính: Vận dụng quy trình siêu phân giải đa khung hình (Multi-frame SR) và thuật toán ước lượng chuyển động sub-pixel chính xác để tích hợp vào các hệ thống nhận diện biển số xe và phục hồi chân dung trong điều kiện thiếu sáng.
• Học viên cao học và Sinh viên ngành Điện tử - Viễn thông, Công nghệ Thông tin: Khảo sát một cấu trúc luận văn kỹ thuật chuẩn mực, từ xây dựng mô phỏng thuật toán trên MATLAB đến quy trình đo đạc, đánh giá và kiểm chứng trên kit thí nghiệm phần cứng thực tế.

Câu hỏi thường gặp

Biến đổi Curvelet có ưu thế vượt trội gì so với biến đổi Wavelet trong xử lý ảnh?
Biến đổi Curvelet sở hữu tính dị hướng cao với các cửa sổ hình nêm đa hướng, đạt tốc độ xấp xỉ tối ưu $O(m^{-2})$ so với $O(m^{-1})$ của Wavelet. Đặc tính này giúp biểu diễn mượt mà các cạnh cong $C^2$, triệt tiêu hiện tượng răng cưa và suy giảm năng lượng vi biên.

Tại sao thuật toán Keren lại được ưu tiên lựa chọn cho bước đăng ký ảnh?
Thuật toán Keren sử dụng khai triển chuỗi Taylor bậc một kết hợp cấu trúc đa phân giải kim tự tháp Gaussian, cho phép ước lượng độ dịch chuyển sub-pixel cực nhỏ (dưới 0,03 pixel) và góc xoay dưới 0,1 độ với khối lượng tính toán tuyến tính tối ưu, miễn nhiễm tốt với nhiễu.

Giải thuật nội suy 2 tầng trên miền Curvelet cải thiện chỉ số PSNR ra sao?
Phương pháp nội suy 2 tầng kết hợp bộ lọc Unsharp giúp tăng tỷ số PSNR thêm từ 2,45 dB đến 3,82 dB và giảm thiểu sai số MSE hơn 60% so với phương pháp nội suy lân cận gần nhất (Nearest Neighbor) và Bilinear trên toàn bộ các tập ảnh kiểm chuẩn.

Triển khai giải thuật trên kit ARM 32-bit mang lại ý nghĩa thực tiễn gì?
Việc hiện thực thành công trên vi điều khiển AT91SAM9RL64 (200 MHz) chứng minh thuật toán có thể vận hành ổn định trên thiết bị nhúng thương mại, rút ngắn thời gian xử lý từ 17 phút xuống còn 5 phút mà vẫn đảm bảo độ trung thực hình học cao.

Ưu điểm nổi bật của phép biến đổi FDCT qua kỹ thuật Wrapping là gì?
FDCT Wrapping có độ phức tạp tính toán rất thấp chỉ $O(n^2 \log n)$, giảm thiểu độ dư thừa dữ liệu và đạt tốc độ thực thi nhanh hơn từ 6 đến 10 lần so với các phép biến đổi Curvelet thế hệ đầu hoặc biến đổi USFFT không đều.

Kết luận

• Làm chủ cơ sở lý thuyết và ứng dụng thành công phép biến đổi Curvelet thế hệ thứ hai (FDCT qua Wrapping) để khắc phục nhược điểm mất chi tiết biên cong của biến đổi Wavelet cổ điển.
• Hoàn thiện quy trình siêu phân giải 3 giai đoạn kết hợp thuật toán ước lượng Keren và giải thuật nội suy 2 tầng, nâng cao tỷ số PSNR từ 2,45 dB đến 3,82 dB trên các tập ảnh thực nghiệm.
• Triển khai và tối ưu hóa thành công thuật toán trên kit phần cứng ARM 32-bit AT91SAM9RL-EK, cắt giảm hơn 70% thời gian tính toán so với các phương pháp số thực truyền thống.
• Đóng góp bài báo khoa học được chấp nhận công bố tại Hội nghị Quốc tế về Công nghệ Tiên tiến trong Truyền thông (ATC 2013).
• Định hình lộ trình phát triển giải thuật trên các nền tảng phần cứng DSP và GPU nhúng hiệu năng cao nhằm đạt tốc độ xử lý thời gian thực.

Luận văn đã đóng góp một giải pháp toàn diện cả về mặt lý thuyết toán học lẫn kỹ thuật phần cứng nhúng cho bài toán xử lý ảnh siêu phân giải. Trong lộ trình 3 đến 6 tháng tới, các kỹ sư và nhà nghiên cứu có thể tiếp tục tối ưu mã nguồn SIMD/NEON trên kiến trúc vi xử lý mới và mở rộng kết nối cảm biến camera trực tiếp trong 12 tháng tiếp theo. Hãy tham khảo toàn văn công trình để khai thác chi tiết thuật toán và các đoạn mã nguồn mẫu cho các dự án thị giác máy tính tiên tiến.

Trích đoạn nội dung tài liệu

Chương 1: Ảnh siêu phân giải HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 10 GVHD: PGS. LÊ TIẾN T ƯỜNG Và cho ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Vấn đề trên có thể được tóm gọn lại thành biểu thức tuyến tính A  x .3 Tiêu chuẩn đánh giá chất lượng ảnh [10][13][14] Để đánh giá chất lượng của bức ảnh ở đầu ra người ta thường sử dụng hai tham số: Sai số trung b nh b nh phương– MSE (mean square error) và tỉ số tín hiệu đỉnh trên nhiễu – PSNR (peak signal- to- noise ratio). MSE giữa ảnh gốc và ảnh khôi phục được tính như sau: ∑ ∑ (( ) ( )) (1.19) Trong đó m, n là kích thước ảnh tính cho tổng tất cả các điểm ảnh trong ảnh và N là số điểm ảnh trong ảnh. PSNR là viết tắt của peak signal-to-noise ratio là thuật ngữ để chỉ tỷ lệ giữa công suất cực đại có thể của tín hiệu và công suất của nhiễu do biến đổi ảnh hưởng lên độ trung thực của ảnh.

Do nhiều tín hiệu có dải động lớn nên PSNR thường được tính dưới thang logarithmic decibel. PSNR thường được sử dụng như là phép đo chất lượng của việc tái tạo (reconstruction) của các bộ nén có tổn hao (như nén ảnh). Tín hiệu trong trường hợp này là dữ liệu gốc và nhiễu là lỗi gây ra bởi việc nén. Thông số này chỉ mang tính xấp xỉ khi so sánh giữa các bộ codec do đặc tính của thị giác người.

Do vậy ảnh có thể có PSNR thấp hơn dù dễ nh n hơn so với ảnh khác. Thông thường, nếu PSNR ≥ 40dB thì hệ thống mắt người gần như khôngphân biệt được giữa ảnh gốc và ảnh khôi phục. PSNR được định nghĩa là: (1.20) Trong đó MAXI=2b-1 là giá trị pixel lớn nhất có thể của ảnh. Nếu ảnh là 8bit thì MAXI=255.

Đối với ảnh màu với ba giá trị RGB trên 1 pixel th cách tính toán cũng tương tự với MSE là tổng các bình phương chia cho kích thước ảnh và chia cho 3 hoặc PSNR cũng có thể được tính trên từng không gian màu. Khi 2 hình là giống nhau thì MSE bằng 0 vì vậy giá trị của PSNR không xác định. Chương 1: Ảnh siêu phân giải HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 11 GVHD: PGS. LÊ TIẾN T ƯỜNG 2 KHẢO SÁT CÁC NGHIÊN CỨU Chương này giới thiệu một số phương pháp của các nhóm nghiên cứu trên thế giới.

Hiện tại có rất nhiều phương pháp khác nhau nên việc chỉ một số nghiên cứu có liên quan được đề cập trong chương này nhằm giới thiệu một cái nhìn cụ thể hơn về các phương pháp tái tạo ảnh siêu phân giải.1 PHƯƠNG PHÁP CỦA VANDELWALLE [5][9] 2.1 Ước lượng xoay Do việc tính tương quan cho ảnh có chi phí tính toán rất cao nên Vandewalle đề nghị cách tiếp cận như sau: Bước 1: tính nội dung tần số theo góc θ bởi tích phân sau: ( ) ∫ ∫ | ( )| (2.1) Bước 2: Tính tương quan giữa 2 giá trị (θ) cho F1 (u ) và F0 (u ) và tìm giá trị mà tại đó chúng đạt cực đại. Cách này mặc dù cũng tính tương quan như hai phương pháp trên nhưng do chỉ tính tương quan 1 chiều nên khối lượng tính toán ít hơn. (a) Biê độ trung bình trong miền tần số (b) Tươ g qua giữa H0(θ) và H1(θ) 2-1: Giải thuật ước lượng xoay của Vandewalle. Chương 2: Khảo sát các nghiên cứu HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 12 GVHD: PGS.

LÊ TIẾN T ƯỜNG 2.2 Giải thuật tổng quát Phương pháp của Vandewalle gồm các bước: xếp ảnh trên hệ tọa của khung tham chiếu, sử dụng phép nội suy bicubic để đưa chúng vào ảnh super-resolution. Sau khi các ảnh có độ phân giải thấp được register chính xác thì các ảnh khác nhau có thể được kết hợp để tái tạo. Giải thuật tạo ảnh siêu phân giải trên ảnh chồng lấn một phần (ta chọn ε = 0.6 do ta muốn bỏ qua các tần số nhỏ nhất). Độ chính xác trong ước lượng xoay là 0.1o và phạm vi xoay là -30o tớ 30o tùy theo kinh nghiệm và ứng dụng riêng.

Giải thuật: i) Nhân ảnh ƒLR,m bằng cửa sổ Turkey để làm chúng đối xứng xuyên tâm. Các ảnh tạo ra từ của sổ được ký hiệu là ƒLR,w,m. ii) Tính biến đổi Fourier của FLR,w,m cho mọi ảnh tần số thấp iii) Ước lượng xoay: góc xoay giữa mỗi ảnh ƒLR,w,m (m = 1,…, M - 1) và ảnh tham khảo ƒLR,w,0 được ước lượng  Tính các mẫu đã biến đổi Fourier trong hệ tọa độ cực (ur, uθ).  Với mỗi góc θ, tính giá trị trung bình Hm(θ) của các hệ số Fourier với θ-1<uθ<θ+1 và 0.

Góc được biểu diễn theo độ (o) và Hm(θ) được tính cho mỗi 0. Giá trị tiêu biểu của ρmax = 0.  Tìm giá trị tương quan cực đại giữa H0(θ) và 1(θ) trong phạm vi o o từ -30 đến 30. Đó chính là góc ước lượng xoay θm.

 Xoay h nh ƒLR,w,m một góc -θm để loại bỏ sự xoay. iv) Ước lượng sự dịch ảnh: sự dịch chuyển theo phương dọc và phương ngang giữa ảnh ƒLR,w,m (m = 1,…., M – 1) và ảnh tham khảo ƒLR,w,0 được ước lượng.  Tính độ dịch pha giữa ảnh m và ảnh tham khảo ( FLR , w, m / FLR , w, 0).  Đối với mọi tần số có k  N  K , ghi ra phương trình tuyến tính mô tả một mặt phẳng xuyên qua mặt phẳng tính độ lệch pha với độ dốc xm chưa biết.

 Tìm thông số độ dịch xm bằng giải pháp b nh phương cực tiểu của phương tr nh. Chương 2: Khảo sát các nghiên cứu HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 13 GVHD: PGS. LÊ TIẾN T ƯỜNG v) Tái cấu trúc ảnh: một ảnh có độ phân giải cao ƒHR được tái cấu trúc từ các ảnh đã được register ƒLR,w,m (m = 0,….  Đối với mỗi ảnh ƒLR,w,m, tính hệ trục cho các pixel của nó trong hệ trục của ảnh ƒLR,0, dùng các thông số registration đã được ước lượng.

 Từ các mẫu đã biết, nội suy giá trị trên lưới độ phân giải cao bằng phương pháp nội suy song lập phương.2 PHƯƠNG PHÁP CỦA KAREN [6][11] 2.1 Giới thiệu Phương pháp này mở rộng việc tạo ra một ảnh có độ phân giải cao dựa vào sự dịch chuyển của các pixels phụ nằm trong các ảnh có độ phân giải thấp của cùng bức ảnh đó. Vấn đề này thường được giả quyết bằng biến đổi Fourier trong miền tần số nhưng ta sẽ không dùng biến đổi Fourier cho mọi tầng v đã có chứng minh rằng việc này sẽ làm tăng độ nhạy nhiễu với môi trường. Việc cải thiện độ phân giải của ảnh dĩ nhiên không thể trả lại các thành phần tần số cao đã mất đi khi lấy mẫu thô. Nhưng có nhiều không gian chức năng như cạnh hay các đường thẳng có thể đặt chính xác hơn, và quá tr nh xử lý sẽ được thực hiện trong miền không gian nhiều hơn trong miền tần số.

Vấn đề đặc biệt được đưa ra ở đây là sự gắn kết lại với nhau (interlace), một chức năng được dùng trong hấu hết các hệ thống video, ở đó là sự quét lần lượt hàng lẻ và hàng chẵn. Do kỹ thuật “anti-flicking” này mà mỗi ảnh số được tách chính xác thành hai ảnh: ảnh gồm các đường lẽ và ảnh gồm các đường chẵn cách nhau (1/50) giây. Với một camera di động, điều này được thể hiện là khoảng cách không gian chính và do đó, những ảnh số không thể xử lý như một ảnh được mà phải xem nó như hai bức ảnh riêng biệt. Các ảnh này có mật độ lấy mẫu trên phương x gấp 2 lần trên phương y.

Phương pháp này thích hợp khi các frame của camera không bị tăng tốc hoặc nếu có chỉ là tăng tốc ít.2 Phương pháp ghi các pixels phụ Có rất nhiều phương pháp ghi ảnh nhưng không có phương pháp nào đủ chính xác để áp dụng cho các pixel phụ. Phương pháp tr nh bày bên dưới chính xác nhất và đủ mạnh cho mục đích đó. Chương 2: Khảo sát các nghiên cứu HVTH: Lê Cao Khoa ƯD CURVELETS XỬ LÝ ẢNH SIÊU PHÂN GIẢI 14 GVHD: PGS. LÊ TIẾN T ƯỜNG Ta xét 2 ảnh trước và sau chuyển động là 2 hàm f và g, với giá trị dịch theo phương ngang a, giá trị dịch theo phương dọc b và góc xoay θ: g ( x, y)  f ( x cos( )  y sin(  )  a, y cos( )  x sin(  )  b) (2.2) Khai triển 2 thành phần đầu của sin(θ) và cos(θ) trong khai triển Taylor của nó, ta được kết quả sau: g ( x, y)  f ( x  a  y  x 2 / 2, y  b  x  y 2 / 2) (2.3) Khai triển f tới thành phần đầu tiên của nó trong chuỗi Taylor, ta được biểu thức sau: f f g ( x, y)  f ( x, y)  (a  y  x 2 / 2)  (b  x  y 2 / 2) (2.4) x y Hàm sai số giữa g và f sau khi xoay một góc θ và dịch đi một lượng a và b có thể được tính xấp xỉ theo công thức sau: f f E (a, b, )  [ f ( x, y)  (a  y  x 2 / 2)  (b  x  y 2 / 2)  g ( x, y)]2 (2.5) x y Với giá trị của tổng vượt quá thành phần chồng lấn của f và g (rõ ràng ta cần một thành phần nhỏ hơn).

Nếu ta tìm giá trị nhỏ nhất của E (a, b, ) dựa vào vi phân từng phần theo a, b và  và so sánh các giá trị này với zero, sau khi đã bỏ qua các thành phần không tuyến tính và các hệ số nhỏ, ta được một hệ f f thống các phương tr nh tuyến tính với R là viết tắt của x y y x và phép tính tổng vượt qua vùng chồng lấn:   f  2    f f   f  f     a    b   R    ( f  g )   x     x y   x  x  f f    f  2   f  f (2.