Tổng quan nghiên cứu

Bài toán khôi phục ảnh (Image Inpainting) là một lĩnh vực trọng yếu trong công nghệ xử lý ảnh số và thị giác máy tính, đóng vai trò quyết định trong việc phục dựng các vùng thông tin bị mất, hư hại hoặc loại bỏ các đối tượng không mong muốn trong ảnh tĩnh và video. Trong kỷ nguyên số hóa, nhu cầu xử lý các tệp dữ liệu đồ họa ngày càng tăng cao khi các hệ thống truyền thông đa phương tiện phải liên tục nén và giải nén dữ liệu qua mạng internet, dẫn đến tình trạng suy hao hoặc mất mát các khối điểm ảnh. Bên cạnh đó, các tư liệu lịch sử, tranh nghệ thuật cổ hay phim ảnh tư liệu lưu trữ qua hàng thập kỷ thường xuyên xuất hiện các vết xước, nếp gấp, khiến khoảng 30% đến 80% bề mặt cục bộ bị mất hoàn toàn thông tin gốc. Khác biệt cốt lõi giữa khôi phục ảnh và kỹ thuật khử nhiễu truyền thống nằm ở chỗ: khử nhiễu xử lý các điểm ảnh bị sai lệch nhưng vẫn còn lưu lại một phần giá trị gốc, trong khi khôi phục ảnh phải tái tạo lại các vùng biên và kết cấu bị khuyết hoàn toàn dữ liệu.

Luận văn thạc sĩ chuyên ngành Khoa học máy tính của tác giả Hoàng Xuân Trung, dưới sự hướng dẫn khoa học của Tiến sĩ Đào Nam Anh tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên, tập trung giải quyết bài toán khôi phục ảnh màu thông qua phương pháp tối ưu độ tương tự cục bộ dựa trên bản vá. Nghiên cứu xác lập mục tiêu xây dựng thuật toán tổng hợp thông tin từ các vùng lân cận có tính chất tương đồng cao, nhằm điền đầy các vùng khuyết thiếu trên ma trận ảnh kỹ thuật số 24-bit với không gian màu hiển thị lên tới 16,7 triệu sắc độ. Luận văn được triển khai thực nghiệm toàn diện trong giai đoạn năm 2015, mang lại giá trị học thuật và thực tiễn sâu sắc cho công tác số hóa tư liệu, phục chế điện ảnh và nâng cao chất lượng truyền dẫn hình ảnh đa phương tiện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng tích hợp giữa lý thuyết xử lý ảnh số cổ điển, lý thuyết biến phân và các mô hình tổng hợp kết cấu hiện đại:

  • Lý thuyết biến phân từng phần (Partial Differential Equations - PDE): Kế thừa mô hình lan truyền đường đẳng độ sáng (isophotes) của Bertalmio, Sapiro, Caselles và Ballester, giải phương trình đạo hàm riêng bậc hai để tiếp tục các đường biên từ ngoài vào trong vùng rỗng. Mô hình này kết hợp với phương trình dòng chảy Navier-Stokes và nguyên lý cực tiểu hóa tổng biến thể (Total Variation) của Chan và Shen.
  • Lý thuyết tổng hợp kết cấu dựa trên bản vá (Exemplar-based / Patch-based): Ứng dụng các nguyên lý của Efros và Leung, kết hợp mô hình ưu tiên biên cấu trúc của Criminisi và kỹ thuật tìm kiếm lân cận của Ashikhmin để tổng hợp các mảng điểm ảnh thay vì từng pixel đơn lẻ.
  • Lý thuyết biểu diễn thưa (Sparse Representation): Kế thừa mô hình phân tách ảnh của Elad và cộng sự, chia ảnh thành hai thành phần độc lập gồm cấu trúc hình học và kết cấu bề mặt thông qua các bộ từ điển chuyên biệt.
  • Các khái niệm cốt lõi: Điểm ảnh (Pixel) với 256 mức xám (từ 0 đến 255) được biểu diễn trên 8-bit; hệ thống lân cận 4 điểm và lân cận 8 điểm; khoảng cách Euclide trong không gian hai chiều; các chỉ số định lượng sai số bình phương trung bình MSE và tỷ lệ tín hiệu cực đại trên nhiễu PSNR tính trên kênh độ sáng Y của không gian màu YCbCr với ngưỡng chất lượng mắt người khó phân biệt đạt từ 37 dB trở lên.

Phương pháp nghiên cứu

Phương pháp nghiên cứu kết hợp giữa mô hình hóa toán học, tối ưu hóa thống kê cục bộ và thực nghiệm thuật toán trên môi trường máy tính:

  • Cỡ mẫu và nguồn dữ liệu: Nghiên cứu sử dụng tập dữ liệu thực nghiệm chuẩn gồm 50 bức ảnh số hóa đa dạng, bao gồm ảnh phong cảnh, chân dung, công trình kiến trúc và ảnh kết cấu phức tạp. Dữ liệu được chia thành hai nhóm độ phân giải tiêu chuẩn là 256x256 pixels và 512x512 pixels, đi kèm các mặt nạ nhị phân mô phỏng vùng hư hỏng với tỷ lệ tổn thất diện tích từ 10% đến hơn 87%.
  • Phương pháp chọn mẫu: Áp dụng phương pháp lấy mẫu phân tầng dựa trên đặc trưng bề mặt, phân loại ảnh thành các nhóm có kết cấu yếu (vùng trơn phẳng), kết cấu mạnh (các họa tiết lặp lại) và cấu trúc hình học phức tạp (chứa nhiều đường cong và cạnh xiên). Cách chọn mẫu này đảm bảo đánh giá toàn diện năng lực xử lý của thuật toán trong mọi tình huống thực tế.
  • Phương pháp phân tích và lý do lựa chọn: Thuật toán đề xuất lựa chọn phương pháp tối ưu hóa hàm tương đồng địa phương cực đại dạng phân phối mũ để tìm kiếm bản vá tối ưu. Lý do lựa chọn giải pháp này là nhằm khắc phục triệt để nhược điểm làm mờ nhòe của các bộ lọc Gaussian, hạn chế sự đứt gãy kết cấu của PDE trên diện tích rộng và giảm tải chi phí tính toán so với việc quét tìm kiếm trên toàn bộ không gian ảnh. Quá trình tiền xử lý phân tách ảnh màu được thực hiện theo không gian vector RGB ba chiều để bảo toàn tối đa tính chân thực của sắc độ. Timeline nghiên cứu được thực hiện đồng bộ từ khâu lập trình thuật toán trên C++ và MATLAB đến khâu kiểm thử trong năm 2015.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối chiếu giữa phương pháp đề xuất và các kỹ thuật truyền thống đã mang lại những phát hiện then chốt sau:

  • Khả năng tái tạo kết cấu vượt trội: Thuật toán tối ưu độ tương tự cục bộ xử lý hoàn hảo các vùng khuyết thiếu có kết cấu phức tạp. So với phương pháp PDE truyền thống vốn chỉ đạt chỉ số PSNR trung bình khoảng 28,4 dB, phương pháp mới nâng chỉ số PSNR lên vượt mức 38,2 dB, cải thiện chất lượng quang học khoảng 34,5% và vượt qua ngưỡng 37 dB khiến mắt người gần như không thể nhận ra vết vá.
  • Tiết kiệm chi phí tính toán và tối ưu tốc độ: Việc sử dụng kích thước bản vá linh hoạt từ 9x9 pixels đến 15x15 pixels kết hợp tìm kiếm có hướng dẫn trong không gian lân cận giúp giảm khoảng 45% thời gian xử lý so với các thuật toán tìm kiếm toàn ảnh của Efros và Leung, ngăn chặn triệt để hiện tượng lặp vô tận tại các vùng nhiễu ngẫu nhiên.
  • Bảo toàn tính liên tục của cấu trúc hình học: Nhờ cơ chế gán trọng số ưu tiên cho các điểm ảnh nằm trên đường biên và pháp tuyến gradient, thuật toán bảo toàn nguyên vẹn các cạnh cong sắc nét, kéo giảm sai số bình phương trung bình MSE từ mức 45,6 đơn vị xuống dưới 9,8 đơn vị trên kênh cường độ sáng Y.
  • Độ ổn định cao trên dữ liệu tổn thất lớn: Khi kiểm thử trên các mẫu ảnh bị loại bỏ các khối vuông kích thước 15x15 pixels với tỷ lệ mất mát bề mặt lên đến 87%, thuật toán vẫn khôi phục thành công các mảng họa tiết đồng nhất mà không làm sai lệch màu sắc tổng thể.

Thảo luận kết quả

Nguyên nhân chính giúp phương pháp tối ưu độ tương tự cục bộ đạt được hiệu năng vượt trội là nhờ sự kết hợp chặt chẽ giữa tính nhất quán không gian và độ đo tương quan thống kê. Khi giải quyết bài toán biên, thuật toán tối đa hóa hàm xác suất có điều kiện dựa trên khoảng cách giữa bản vá mục tiêu và các bản vá lân cận đã được điền trước đó. Điều này giúp loại bỏ hoàn toàn các lỗi mất kết cấu mà các phương pháp giải phương trình vi phân biến phân như Bertalmio hay Masnou - Morel thường gặp phải trên các vùng ảnh kích thước lớn.

Trong các báo cáo học thuật, dữ liệu thực nghiệm này có thể được trình bày trực quan thông qua bảng so sánh đa tiêu chí (đối chiếu MSE, PSNR và thời gian xử lý tính bằng giây) và biểu đồ cột thể hiện mức tăng trưởng dB của PSNR qua từng loại kết cấu ảnh. Khi so sánh với thuật toán của Criminisi, phương pháp của luận văn thể hiện sự mượt mà hơn tại các tiếp giáp biên nhờ bước tiền xử lý tách không gian vector màu RGB thành độ dài vector và hai góc định hướng. Điều này chứng minh rằng việc khai thác triệt để mối tương quan cục bộ mang lại hiệu quả cao hơn hẳn so với việc cố gắng mở rộng không gian tìm kiếm ra toàn bộ bức ảnh, vốn tiêu tốn tài nguyên bộ nhớ nhưng dễ dẫn đến việc chọn nhầm các mẫu không tương thích về mặt ngữ nghĩa.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được từ luận văn, bốn giải pháp trọng tâm được khuyến nghị nhằm ứng dụng và mở rộng thuật toán:

  1. Chuẩn hóa quy trình tiền xử lý phân tách không gian màu: Các nhóm phát triển phần mềm xử lý ảnh cần áp dụng quy trình phân tách không gian vector ba chiều thay vì chỉ chuyển đổi ảnh xám đơn thuần, hướng tới mục tiêu nâng cao độ trung thực màu sắc lên trên 95% trong các ứng dụng thương mại, hoàn thành thử nghiệm chuẩn hóa trong quý I năm 2016.
  2. Tích hợp cơ chế tự động thích ứng kích thước bản vá: Các viện nghiên cứu thị giác máy tính cần xây dựng module tự động điều chỉnh kích thước bản vá từ 7x7 đến 21x21 pixels dựa trên mật độ phân bố tần số không gian của ảnh, nhằm cắt giảm 30% thời gian xử lý trên các tệp ảnh độ phân giải siêu cao trong 6 tháng tiếp theo do các kỹ sư thuật toán đảm nhiệm.
  3. Mở rộng thuật toán cho luồng video thời gian thực: Đội ngũ kỹ sư hệ thống đa phương tiện cần phát triển các khối ước lượng chuyển động không gian - thời gian 3D kết hợp tối ưu cục bộ, đặt mục tiêu duy trì tốc độ xử lý ổn định từ 24 đến 30 khung hình trên giây (fps) cho các ứng dụng phục chế phim ảnh trong giai đoạn 2016 - 2018.
  4. Triển khai ứng dụng bảo tồn di sản văn hóa số: Các trung tâm lưu trữ và bảo tàng quốc gia cần đưa thuật toán vào phần mềm phục chế tranh ảnh cổ và tư liệu lịch sử, hướng tới mục tiêu khôi phục thành công trên 90% diện tích các bức ảnh bị rách, xước hoặc ố mốc thông qua kế hoạch triển khai định kỳ hàng năm do các chuyên gia công nghệ thông tin phụ trách.

Đối tượng nên tham khảo luận văn

Tài liệu luận văn mang lại giá trị thực tiễn và phương pháp luận sâu sắc cho bốn nhóm đối tượng chính:

  • Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Tài liệu cung cấp bức tranh toàn cảnh từ các mô hình toán học giải tích, phương trình đạo hàm riêng PDE đến các kỹ thuật xử lý ảnh nâng cao, phục vụ trực tiếp cho việc xây dựng các đề tài nghiên cứu liên quan đến thị giác máy tính và phục hồi dữ liệu số.
  • Kỹ sư phát triển phần mềm thị giác máy tính (Computer Vision Engineers): Các lập trình viên có thể khai thác trực tiếp mô hình toán học, lưu đồ thuật toán và đoạn mã nguồn C++/MATLAB đính kèm trong phụ lục để tích hợp tính năng xóa vật thể và vá ảnh tự động vào các phần mềm chỉnh sửa đồ họa chuyên nghiệp.
  • Chuyên gia phục chế kỹ thuật số tại các viện bảo tàng và đài truyền hình: Cung cấp giải pháp công nghệ đáng tin cậy để xử lý hàng loạt các tác phẩm hội họa cổ, phim nhựa bị trầy xước hoặc tài liệu lưu trữ bị hư hại vật lý, giúp tiết kiệm hàng trăm giờ lao động thủ công mà vẫn đảm bảo độ trung thực lịch sử.
  • Giảng viên và nhà nghiên cứu công nghệ thông tin: Nguồn tài liệu tham khảo giảng dạy chất lượng cao cho các học phần Xử lý ảnh số, Tối ưu hóa trong công nghệ thông tin và Nhập môn trí tuệ nhân tạo tại các trường đại học khối kỹ thuật.

Câu hỏi thường gặp

Khôi phục ảnh (Image Inpainting) khác gì so với kỹ thuật khử nhiễu (Denoising) thông thường? Khử nhiễu xử lý các điểm ảnh bị sai lệch giá trị do tác động của môi trường nhưng vẫn lưu giữ một phần dữ liệu gốc của ảnh. Ngược lại, khôi phục ảnh giải quyết bài toán tái tạo các vùng khuyết thiếu hoàn toàn dữ liệu, đòi hỏi thuật toán phải tự động ngoại suy và tổng hợp cả cấu trúc hình học lẫn kết cấu bề mặt từ các vùng ảnh nguyên vẹn xung quanh.

Tại sao chỉ số PSNR từ 37 dB trở lên lại được xem là ngưỡng chuẩn trong đánh giá khôi phục ảnh? Trong xử lý ảnh số với mức xám 8-bit (giá trị cực đại 255), chỉ số PSNR đo lường tỷ lệ tín hiệu trên nhiễu được tính theo thang đo decibel (dB). Thực nghiệm thị giác chỉ ra rằng khi PSNR đạt từ 37 dB trở lên, sai số bình phương trung bình MSE là cực nhỏ, khiến hệ thống thị giác của mắt người gần như không thể phân biệt được sự khác nhau giữa ảnh gốc và ảnh đã qua khôi phục.

Kích thước bản vá (Patch size) ảnh hưởng như thế nào đến chất lượng khôi phục vùng ảnh hỏng? Kích thước bản vá quyết định độ mịn và tính liên tục của kết cấu. Nếu chọn kích thước quá nhỏ như 3x3 pixels, thuật toán không thể bao hàm đủ đặc trưng kết cấu lớn, dễ gây mờ nhòe; nếu chọn quá lớn như 31x31 pixels, chi phí tính toán tăng vọt và dễ gây lỗi đè hình tại các góc hẹp. Kích thước tối ưu thường dao động từ 9x9 đến 15x15 pixels.

Phương pháp tối ưu độ tương tự cục bộ khắc phục được nhược điểm gì của phương trình vi phân đạo hàm riêng (PDE)? Phương pháp PDE của Bertalmio lan truyền thông tin theo từng điểm ảnh dọc theo đường đẳng độ sáng nên chỉ hoạt động tốt trên các vết xước mỏng và vùng trơn phẳng, nhưng hoàn toàn thất bại khi khôi phục các vùng rộng có hoa văn kết cấu lặp lại. Thuật toán tối ưu cục bộ khắc phục triệt để lỗi này bằng cách sao chép đồng thời cả khối điểm ảnh chứa đầy đủ thông tin mẫu.

Thuật toán trong luận văn có thể áp dụng trực tiếp cho video thời gian thực không? Thuật toán đề xuất trong luận văn đạt hiệu năng cao trên ảnh tĩnh và chuỗi khung hình độc lập. Tuy nhiên, để xử lý video thời gian thực đạt chuẩn 24 đến 30 khung hình trên giây, hệ thống cần được bổ sung thêm các vector ước lượng chuyển động không gian - thời gian 3D để đảm bảo tính nhất quán chuyển động giữa các khung hình liên tiếp và tối ưu hóa tính toán trên phần cứng chuyên dụng.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về bài toán khôi phục ảnh, phân tích chi tiết ưu nhược điểm của các hướng tiếp cận từ lọc Gaussian, lọc Median, phương trình vi phân biến phân PDE đến mô hình biểu diễn thưa.
  • Đề xuất và cài đặt thành công thuật toán khôi phục ảnh màu dựa trên bản vá kết hợp điều kiện tối ưu độ tương tự cục bộ, giúp xử lý hiệu quả cả cấu trúc cạnh và kết cấu bề mặt phức tạp.
  • Kết quả thực nghiệm chứng minh thuật toán vượt trội về mặt định lượng với chỉ số PSNR đạt trên 38,2 dB và kéo giảm sai số MSE xuống dưới 9,8 đơn vị trên kênh độ sáng Y.
  • Đóng góp giải pháp tiền xử lý phân tách ảnh màu trong không gian vector RGB ba chiều, bảo toàn độ sắc nét và tính chân thực của màu sắc trên dữ liệu tổn thất lên tới 87%.
  • Lộ trình phát triển tiếp theo tập trung vào việc tự động hóa kích thước bản vá thích ứng và mở rộng thuật toán sang xử lý video thời gian thực trong giai đoạn 2016 - 2018.

Hãy áp dụng ngay các phương pháp tiếp cận và thuật toán tối ưu độ tương tự cục bộ từ công trình nghiên cứu này để nâng cao chất lượng các dự án xử lý ảnh và hệ thống thị giác máy tính của bạn.