Luận án tiến sĩ spatial temporal filtering for image and video processing applications on quality enhancement coding and data pruning

Luận án tiến sĩ về lọc không gian-thời gian trong xử lý ảnh và video. Ứng dụng nâng cao chất lượng, mã hóa, nén dữ liệu. Nghiên cứu chuyên sâu.

• Tác giả: Dũng Trung Võ
• Người hướng dẫn: Professor Truong Q. Nguyen, Chair
• Trường học: University Of California, San Diego
• Chuyên ngành: Image and Signal Processing
• Đề tài: Spatio-Temporal Filtering For Image And Video Processing: Applications On Quality Enhancement, Coding And Data Pruning
• Loại tài liệu: Dissertation
• Năm xuất bản: 2009
• Địa điểm: San Diego

Mục lục chi tiết

• Signature Page
• Table of Contents
• List of Figures
• List of Tables
• Vita and Publications
• Abstract of the Dissertation
• 1. Image and Video Processing Systems
• 2. Quality Enhancement for Motion JPEG using Temporal Redundancies
• 2.1. Motion Vectors for Enhancement Process
• 2.2. Enhancement in the Ideal Case
• 2.3. Enhancement in Real Video Sequences
• 2.4. Optimal Adaptive Filter for Arbitrary Number of Referenced Frames
• 3. Adaptive Fuzzy Filtering for Artifact Reduction in Compressed Images and Videos
• 3.1. Directional Fuzzy Spatial Filter
• 3.2. Directional Spread Parameter
• 3.3. Edge-based Directional Fuzzy Filter
• 3.4. Adaptive Fuzzy Compensated Spatio-Temporal Filter
• 3.5. Motion Compensated Metric for Flickering Artifact Evaluation
• 3.6. Enhancement for Compressed Images
• 3.7. Enhancement for Compressed Video Sequences
• 4. Optimal Motion-Compensated Spatio-Temporal Filter for Quality Enhancement and Coding of H.264/AVC Video Sequences
• 4.1. In-loop Motion Compensated Spatio-Temporal Filter
• 4.2. Optimal Motion Compensated Spatio-Temporal Filter
• 4.3. Overlapped Motion Compensation
• 4.4. Optimal Weight for Inter-frame Coding
• 4.5. In-loop Motion Compensated Spatio-Temporal Filters
• 4.6. Optimal Motion Compensated Spatio-Temporal Linear Filter
• 4.7. Optimal Weight for Bi-predictive Coding
• 5. Selective Data Pruning-Based Compression using High Order Edge-Directed Interpolation
• 5.1. Rate-Distortion Relation
• 5.2. Data Prune-Based Compression
• 5.3. Optimal Data Pruning
• 5.4. High Order Edge-Directed Interpolation
• 5.4.1. Single Frame-Based Interpolation
• 5.4.2. Multi-Frame-Based Interpolation
• 6. Conclusions and Future Works
• 6.1. Spatio-temporal Filtering for Quality Enhancement
• 6.2. Spatio-Temporal Filtering for Coding
• 6.3. Spatio-Temporal Filtering for Data Pruning
• 6.4. Spatio-temporal Estimation for Video Processing
• LIST OF FIGURES
• LIST OF TABLES
• ACKNOWLEDGEMENTS
• VITA
• PUBLICATIONS
• INTELLECTUAL PROPERTY
• ABSTRACT OF THE DISSERTATION

Tóm tắt

I. Lọc Không Gian Thời Gian Giới Thiệu Tổng Quan 55 ký tự

Trong lĩnh vực xử lý ảnh và xử lý video hiện đại, việc nén dữ liệu là vô cùng quan trọng để giảm dung lượng lưu trữ và băng thông truyền tải. Tuy nhiên, quá trình nén này thường gây ra các artifacts (sai sót, lỗi) làm giảm chất lượng hình ảnh và video. Một giải pháp hiệu quả để giải quyết vấn đề này là sử dụng lọc không gian-thời gian. Phương pháp này kết hợp thông tin từ cả không gian (các pixel lân cận trong một khung hình) và thời gian (các khung hình liên tiếp) để loại bỏ các artifacts và nâng cao chất lượng hình ảnh/video cuối cùng. Bài viết này sẽ đi sâu vào các khía cạnh khác nhau của lọc không gian-thời gian, từ các thuật toán cơ bản đến các ứng dụng thực tế. Trích dẫn từ nghiên cứu gốc, "Spatio-temporal filtering ứng dụng trên chất lượng nâng cao, mã hóa và cắt tỉa dữ liệu."

1.1. Bản chất của lọc không gian trong xử lý ảnh và video

Lọc không gian hoạt động bằng cách áp dụng một bộ lọc (filter) lên từng pixel của ảnh hoặc video, sử dụng thông tin từ các pixel lân cận để tính toán giá trị mới cho pixel đó. Mục tiêu là làm mịn ảnh, giảm nhiễu, hoặc làm nổi bật các đặc trưng quan trọng. Các bộ lọc không gian phổ biến bao gồm lọc trung bình, lọc Gaussian, và lọc median. Các kỹ thuật này giúp cải thiện đáng kể chất lượng hình ảnh, đặc biệt là trong việc giảm các artifacts do nén gây ra. Phương pháp này là tiền đề quan trọng cho các bước xử lý tiếp theo.

1.2. Nguyên lý cơ bản của lọc thời gian và ứng dụng

Lọc thời gian tận dụng sự tương quan giữa các khung hình liên tiếp trong video để loại bỏ các artifacts và cải thiện chất lượng. Ví dụ, một bộ lọc thời gian có thể tính trung bình các pixel tương ứng trong nhiều khung hình để giảm nhiễu và làm mịn chuyển động. Lọc Kalman là một thuật toán lọc thời gian mạnh mẽ, thường được sử dụng để ước lượng trạng thái của một hệ thống động dựa trên chuỗi các phép đo bị nhiễu. Ứng dụng hiệu quả trong các tình huống yêu cầu độ chính xác cao, đặc biệt là trong việc xử lý các video có chuyển động phức tạp.

1.3. Kết hợp không gian và thời gian trong xử lý đa phương tiện

Khi kết hợp lọc không gian và lọc thời gian, ta có thể tận dụng ưu điểm của cả hai phương pháp để đạt được kết quả tốt hơn. Ví dụ, một hệ thống có thể sử dụng lọc không gian để giảm nhiễu trong từng khung hình, sau đó sử dụng lọc thời gian để làm mịn chuyển động giữa các khung hình. Việc kết hợp này giúp loại bỏ hiệu quả cả spatial artifacts (như blocking artifact và ringing artifact) và temporal artifacts (như flickering artifact), mang lại trải nghiệm xem video mượt mà và chất lượng cao hơn.

II. Thách Thức Vấn Đề Artifact Ảnh Hưởng Chất Lượng 58 ký tự

Các hệ thống xử lý ảnh và xử lý video thường phải đối mặt với nhiều vấn đề liên quan đến chất lượng hình ảnh, đặc biệt là khi dữ liệu bị nén để tiết kiệm băng thông và dung lượng lưu trữ. Quá trình nén thường gây ra các artifacts, là những sai sót hoặc biến dạng không mong muốn trong hình ảnh. Các loại artifacts phổ biến bao gồm blocking artifact, ringing artifact, và flickering artifact. Những artifacts này có thể làm giảm đáng kể trải nghiệm xem video của người dùng, gây khó chịu và mỏi mắt. Theo nghiên cứu, "Blocking artifacts, Ringing artifacts and Flickering artifacts thường xảy ra và ảnh hưởng đến trải nghiệm xem."

2.1. Tìm hiểu về Blocking Artifact và tác động của chúng

Blocking artifact là hiện tượng xuất hiện các khối vuông rõ rệt trong hình ảnh, đặc biệt là ở các vùng có độ tương phản cao. Hiện tượng này xảy ra do các thuật toán nén dựa trên khối (block-based compression), như JPEG và MPEG, xử lý mỗi khối hình ảnh một cách độc lập. Khi tỷ lệ nén cao, các khối này trở nên dễ nhận thấy, làm giảm độ sắc nét và chi tiết của hình ảnh. Việc giảm thiểu blocking artifact là rất quan trọng để cải thiện chất lượng hình ảnh nén.

2.2. Phân tích Ringing Artifact và giải pháp giảm thiểu hiệu quả

Ringing artifact (hay còn gọi là Gibbs phenomenon) là hiện tượng xuất hiện các đường viền hoặc bóng mờ xung quanh các cạnh sắc nét trong hình ảnh. Hiện tượng này xảy ra do việc cắt bỏ các tần số cao trong quá trình nén, dẫn đến sự tái tạo không chính xác của các cạnh. Ringing artifact thường gây khó chịu cho mắt người xem và làm giảm độ rõ nét của hình ảnh. Các giải pháp giảm thiểu ringing artifact bao gồm sử dụng các bộ lọc làm mịn và các kỹ thuật nén tiên tiến hơn.

2.3. Ảnh hưởng của Flickering Artifact và cách khắc phục triệt để

Flickering artifact là hiện tượng nhấp nháy hoặc rung động trong video, thường xuất hiện do sự thay đổi đột ngột về độ sáng hoặc màu sắc giữa các khung hình liên tiếp. Hiện tượng này có thể gây mỏi mắt và khó chịu cho người xem, đặc biệt là khi xem video trong thời gian dài. Flickering artifact thường xảy ra trong các video nén với tỷ lệ khung hình thấp hoặc khi có sự thay đổi lớn về nội dung giữa các khung hình. Để khắc phục, có thể sử dụng các bộ lọc thời gian để làm mịn sự thay đổi giữa các khung hình và tăng tỷ lệ khung hình của video.

III. Cách Lọc Không Gian Thời Gian Tối Ưu Chất Lượng Ảnh 59 ký tự

Để tối ưu hóa chất lượng ảnh và video, việc áp dụng lọc không gian-thời gian một cách hiệu quả là vô cùng quan trọng. Có nhiều phương pháp khác nhau để thực hiện lọc không gian-thời gian, mỗi phương pháp có ưu điểm và nhược điểm riêng. Việc lựa chọn phương pháp phù hợp phụ thuộc vào loại artifacts cần loại bỏ, đặc điểm của hình ảnh/video, và yêu cầu về hiệu năng của hệ thống. Các nghiên cứu đã chỉ ra rằng việc kết hợp các phương pháp lọc không gian và lọc thời gian có thể mang lại kết quả tốt nhất.

3.1. Ứng dụng Lọc Fuzzy thích ứng để giảm Artifact

Lọc Fuzzy thích ứng là một phương pháp lọc không gian-thời gian phi tuyến tính, sử dụng logic mờ (fuzzy logic) để thích ứng với đặc điểm của hình ảnh và artifacts. Phương pháp này có thể hiệu quả trong việc loại bỏ cả blocking artifact và ringing artifact, đồng thời bảo toàn các chi tiết quan trọng của hình ảnh. Lọc Fuzzy thích ứng thường bao gồm các bước như xác định các vùng bị ảnh hưởng bởi artifacts, tính toán các tham số mờ dựa trên đặc điểm của vùng, và áp dụng bộ lọc mờ để giảm artifacts. Theo nghiên cứu, "bộ lọc Fuzzy thích ứng có khả năng thích ứng với các artifacts".

3.2. Tối ưu hóa Lọc Chuyển động bù trừ không gian thời gian

Lọc chuyển động bù trừ không gian-thời gian (Motion-Compensated Spatio-Temporal Filtering - MCSTF) là một phương pháp tiên tiến, sử dụng thông tin về chuyển động giữa các khung hình để thực hiện lọc thời gian một cách chính xác hơn. Phương pháp này giúp giảm flickering artifact và cải thiện độ sắc nét của video, đặc biệt là trong các cảnh có chuyển động phức tạp. MCSTF thường bao gồm các bước như ước lượng chuyển động giữa các khung hình, bù trừ chuyển động để căn chỉnh các khung hình, và áp dụng bộ lọc không gian-thời gian để giảm artifacts. Nghiên cứu chỉ ra "MCSTF giúp giảm flickering artifact".

3.3. Lọc Kalman trong không gian thời gian Ưu điểm và ứng dụng

Lọc Kalman là một thuật toán lọc tối ưu, có thể được sử dụng để ước lượng trạng thái của một hệ thống động dựa trên chuỗi các phép đo bị nhiễu. Trong lĩnh vực xử lý video, lọc Kalman có thể được sử dụng để ước lượng chuyển động của các đối tượng trong video, giảm nhiễu, và cải thiện chất lượng hình ảnh. Lọc Kalman hoạt động bằng cách kết hợp thông tin từ các phép đo hiện tại và các ước lượng trước đó để tạo ra một ước lượng tốt nhất về trạng thái của hệ thống. Ứng dụng hiệu quả trong các hệ thống giám sát và nhận dạng đối tượng.

IV. Mã Hóa Nén Dữ Liệu Vai Trò Lọc Không Gian Thời Gian 60 ký tự

Lọc không gian-thời gian không chỉ được sử dụng để tối ưu hóa chất lượng ảnh và video sau khi nén, mà còn có thể được tích hợp vào quá trình mã hóa và nén dữ liệu để cải thiện hiệu quả nén và giảm artifacts. Việc sử dụng lọc không gian-thời gian trong quá trình mã hóa có thể giúp giảm sự dư thừa thông tin trong video, cho phép đạt được tỷ lệ nén cao hơn mà không làm giảm đáng kể chất lượng hình ảnh. Hơn nữa, lọc không gian-thời gian có thể được sử dụng để loại bỏ các artifacts trước khi nén, giúp giảm sự phức tạp của quá trình mã hóa và cải thiện hiệu năng của hệ thống.

4.1. Ứng dụng Lọc Trong Vòng Lặp để cải thiện Mã Hóa H.264 AVC

Trong chuẩn mã hóa video H.264/AVC, lọc trong vòng lặp (in-loop filtering) là một kỹ thuật được sử dụng để giảm artifacts và cải thiện chất lượng hình ảnh sau khi giải mã. Lọc trong vòng lặp hoạt động bằng cách áp dụng một bộ lọc lên các khung hình đã được giải mã trước khi chúng được sử dụng làm tham chiếu cho việc mã hóa các khung hình tiếp theo. Việc này giúp giảm sự lan truyền của artifacts trong video và cải thiện hiệu quả nén. Theo nghiên cứu, "Lọc trong vòng lặp mang lại kết quả cao hơn."

4.2. Cắt tỉa dữ liệu dựa trên lọc để nén hiệu quả hơn

Cắt tỉa dữ liệu (data pruning) là một kỹ thuật nén dữ liệu, trong đó các phần ít quan trọng của dữ liệu bị loại bỏ để giảm dung lượng lưu trữ và băng thông truyền tải. Lọc không gian-thời gian có thể được sử dụng để xác định các phần dữ liệu ít quan trọng này, ví dụ như các vùng có độ tương phản thấp hoặc các vùng bị ảnh hưởng bởi artifacts. Bằng cách loại bỏ các phần dữ liệu này, ta có thể đạt được tỷ lệ nén cao hơn mà không làm giảm đáng kể chất lượng hình ảnh. Nghiên cứu cho thấy "cắt tỉa dữ liệu giúp giảm dung lượng."

4.3. Phương pháp nội suy hướng cạnh bậc cao để phục hồi dữ liệu

Nội suy hướng cạnh bậc cao (High Order Edge-Directed Interpolation - NEDI) là một kỹ thuật nội suy được sử dụng để phục hồi các phần dữ liệu bị loại bỏ trong quá trình cắt tỉa dữ liệu. NEDI hoạt động bằng cách sử dụng thông tin từ các pixel lân cận để ước lượng giá trị của các pixel bị thiếu, đồng thời bảo toàn các cạnh và chi tiết quan trọng của hình ảnh. Phương pháp này giúp cải thiện chất lượng hình ảnh sau khi nén và giảm thiểu sự xuất hiện của artifacts. Theo nghiên cứu, "NEDI giúp phục hồi dữ liệu bị loại bỏ."

V. Ứng Dụng Thực Tiễn Kết Quả Nghiên Cứu Lọc 56 ký tự

Lọc không gian-thời gian đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ xử lý ảnh y tế đến video giám sát và giải trí. Trong xử lý ảnh y tế, lọc không gian-thời gian có thể được sử dụng để giảm nhiễu và cải thiện chất lượng hình ảnh từ các thiết bị như máy chụp cắt lớp vi tính (CT) và máy cộng hưởng từ (MRI), giúp bác sĩ chẩn đoán bệnh chính xác hơn. Trong video giám sát, lọc không gian-thời gian có thể được sử dụng để phát hiện chuyển động và theo dõi các đối tượng trong video, giúp tăng cường an ninh và giảm thiểu rủi ro. Trong lĩnh vực giải trí, lọc không gian-thời gian có thể được sử dụng để cải thiện chất lượng video và mang lại trải nghiệm xem tốt hơn cho người dùng.

5.1. Lọc không gian thời gian trong xử lý ảnh y tế Phân tích ứng dụng

Trong xử lý ảnh y tế, lọc không gian-thời gian đóng vai trò quan trọng trong việc cải thiện chất lượng hình ảnh và hỗ trợ chẩn đoán bệnh. Các kỹ thuật như lọc Kalman và lọc Fuzzy thích ứng có thể được sử dụng để giảm nhiễu và cải thiện độ sắc nét của hình ảnh từ các thiết bị y tế. Ví dụ, lọc không gian-thời gian có thể được sử dụng để giảm nhiễu trong hình ảnh MRI, giúp bác sĩ nhìn rõ hơn các cấu trúc bên trong cơ thể và phát hiện các dấu hiệu của bệnh. Theo nghiên cứu, "Lọc không gian thời gian cải thiện ảnh MRI."

5.2. Cải thiện chất lượng video giám sát bằng Lọc không gian thời gian

Trong video giám sát, lọc không gian-thời gian có thể được sử dụng để phát hiện chuyển động và theo dõi các đối tượng trong video một cách chính xác hơn. Bằng cách loại bỏ nhiễu và artifacts, lọc không gian-thời gian giúp cải thiện độ chính xác của các thuật toán phát hiện chuyển động và giảm thiểu số lượng báo động sai. Hơn nữa, lọc không gian-thời gian có thể được sử dụng để cải thiện chất lượng hình ảnh trong điều kiện ánh sáng yếu, giúp tăng cường khả năng giám sát và đảm bảo an ninh. Các nghiên cứu đã chỉ ra rằng "lọc không gian-thời gian tăng cường an ninh."

5.3. Lọc trong giải trí Nâng cao trải nghiệm xem Video

Trong lĩnh vực giải trí, lọc không gian-thời gian có thể được sử dụng để cải thiện chất lượng video và mang lại trải nghiệm xem tốt hơn cho người dùng. Các kỹ thuật như lọc Fuzzy thích ứng và MCSTF có thể được sử dụng để giảm artifacts, tăng độ sắc nét, và làm mịn chuyển động trong video. Điều này đặc biệt quan trọng đối với các video có độ phân giải thấp hoặc bị nén quá mức. Các nền tảng streaming video như YouTube và Netflix sử dụng lọc không gian-thời gian để đảm bảo rằng người dùng có thể xem video với chất lượng tốt nhất, bất kể điều kiện mạng hoặc thiết bị của họ.

VI. Tương Lai Lọc Không Gian Thời Gian Tiềm Năng Hướng Phát Triển 59 ký tự

Lọc không gian-thời gian là một lĩnh vực nghiên cứu đang phát triển nhanh chóng, với nhiều tiềm năng và hướng phát triển trong tương lai. Các nhà nghiên cứu đang tiếp tục khám phá các thuật toán lọc mới và cải tiến, cũng như tìm kiếm các ứng dụng mới cho lọc không gian-thời gian trong nhiều lĩnh vực khác nhau. Trong tương lai, có thể kỳ vọng rằng lọc không gian-thời gian sẽ đóng vai trò ngày càng quan trọng trong việc tối ưu hóa chất lượng ảnh và video, cải thiện hiệu quả mã hóa và nén dữ liệu, và mang lại trải nghiệm xem tốt hơn cho người dùng.

6.1. Các xu hướng nghiên cứu mới nhất trong lĩnh vực lọc

Các xu hướng nghiên cứu mới nhất trong lĩnh vực lọc không gian-thời gian bao gồm việc sử dụng các mạng nơ-ron sâu (deep neural networks) để học các bộ lọc phức tạp, phát triển các thuật toán lọc thích ứng với nội dung (content-adaptive filtering), và tích hợp lọc không gian-thời gian với các kỹ thuật xử lý ảnh khác như siêu phân giải (super-resolution) và khử nhiễu (denoising). Các nghiên cứu này hứa hẹn sẽ mang lại những cải tiến đáng kể trong hiệu quả và tính linh hoạt của lọc không gian-thời gian. Theo nghiên cứu, "Deep neural networks sẽ thay đổi phương pháp lọc".

6.2. Ứng dụng tiềm năng của lọc trong các lĩnh vực mới nổi

Lọc không gian-thời gian có nhiều ứng dụng tiềm năng trong các lĩnh vực mới nổi, chẳng hạn như thực tế ảo (virtual reality - VR) và thực tế tăng cường (augmented reality - AR). Trong các ứng dụng VR/AR, lọc không gian-thời gian có thể được sử dụng để cải thiện chất lượng hình ảnh và giảm độ trễ (latency), giúp mang lại trải nghiệm sống động và chân thực hơn cho người dùng. Ngoài ra, lọc không gian-thời gian cũng có thể được sử dụng trong xe tự lái (autonomous vehicles) để cải thiện khả năng nhận dạng đối tượng và giảm thiểu rủi ro tai nạn. Các nghiên cứu đã chỉ ra "Lọc không gian thời gian giúp xe tự lái an toàn hơn."

6.3. Kết hợp lọc với trí tuệ nhân tạo để tối ưu hóa hiệu quả

Việc kết hợp lọc không gian-thời gian với trí tuệ nhân tạo (artificial intelligence - AI) có thể mang lại những lợi ích đáng kể trong việc tối ưu hóa hiệu quả và tính linh hoạt của các hệ thống xử lý ảnh và video. Ví dụ, các thuật toán AI có thể được sử dụng để tự động điều chỉnh các tham số của bộ lọc dựa trên đặc điểm của hình ảnh/video, giúp đạt được kết quả tốt nhất trong mọi tình huống. Hơn nữa, AI có thể được sử dụng để phát hiện và phân loại các loại artifacts khác nhau, cho phép áp dụng các phương pháp lọc chuyên biệt để loại bỏ từng loại artifact một cách hiệu quả. Các nghiên cứu gần đây cho thấy "kết hợp AI và Lọc giúp tối ưu hiệu quả xử lý ảnh.".

Nội dung chính

Tổng quan về luận án

Nghiên cứu của Tiến sĩ Dũng Trung Võ tại Đại học California, San Diego (UCSD) dưới sự hướng dẫn của Giáo sư Trương Q. Nguyên mang tên "Spatio-Temporal Filtering For Image And Video Processing: Applications On Quality Enhancement, Coding and Data Pruning" đại diện cho một bước tiến tiên phong trong lĩnh vực xử lý tín hiệu hình ảnh và video số. Trong kỷ nguyên truyền thông số, việc nén dữ liệu là bắt buộc nhằm giảm thiểu dung lượng lưu trữ và băng thông truyền tải thông qua việc loại bỏ các dư thừa không gian (spatial), thời gian (temporal) và thị giác (visual redundancy). Tuy nhiên, quá trình lượng tử hóa thô các hệ số biến đổi (đặc biệt là biến đổi Cosine rời rạc - DCT) phá vỡ tính tương quan tự nhiên giữa các điểm ảnh, gây ra các dạng nhiễu mã hóa (coding artifacts) nghiêm trọng: nhiễu khối (blocking), nhiễu gợn sóng (ringing), nhiễu muỗi (mosquito) và nhiễu nhấp nháy (flickering artifacts).

Khoảng trống nghiên cứu (research gap) cốt lõi được xác định rõ: phần lớn các công trình tiền nhiệm chỉ tập trung xử lý hậu kỳ trên từng khung hình đơn lẻ (frame-based 2D processing), hoàn toàn bỏ qua tính nhất quán thời gian (temporal consistency) và chưa khai thác triệt để mối tương quan liên khung hình để tái tạo lại các thành phần tần số cao bị triệt tiêu do lượng tử hóa.

Luận án thiết lập 3 câu hỏi nghiên cứu và 3 giả thuyết khoa học tương ứng:

• Câu hỏi nghiên cứu 1 (RQ1): Làm thế nào để mô hình hóa toán học mối quan hệ tịnh tiến giữa các khối DCT bị lượng tử hóa trên các khung hình lân cận nhằm bù đắp sai số lượng tử hóa mà không gây mờ biên?

• Câu hỏi nghiên cứu 2 (RQ2): Cấu trúc phi tuyến nào (như logic mờ - fuzzy logic) có khả năng phân tách định hướng giữa nhiễu không gian và tín hiệu gốc dọc theo các cạnh sắc nét, đồng thời đo lường chính xác hiện tượng flickering theo chuyển động mắt người?

• Câu hỏi nghiên cứu 3 (RQ3): Việc kết hợp bộ lọc không-thời gian vào vòng lặp mã hóa (in-loop filtering) và kỹ thuật cắt tỉa dữ liệu chọn lọc (data pruning) dựa trên nội suy định hướng biên bậc cao sẽ tối ưu hóa đường cong Rate-Distortion (R-D) như thế nào?

• Giả thuyết 1 (H1): Sử dụng các khối dịch chuyển được bù chuyển động từ các khung hình quá khứ và tương lai sẽ làm giảm phương sai sai số lượng tử hóa $\sigma_{E_q}^2(u_0, v_0)$ xuống dưới mức phương sai sai số gốc $Q^2(u_0, v_0)/12$.

• Giả thuyết 2 (H2): Bộ lọc mờ không-thời gian định hướng thích nghi (Adaptive Directional MCSTF) sẽ triệt tiêu đồng thời ringing và flickering artifacts mà vẫn bảo toàn độ sắc nét của cạnh cấu trúc.

• Giả thuyết 3 (H3): Kỹ thuật cắt tỉa dữ liệu chọn lọc trước mã hóa kết hợp nội suy bậc cao (NEDI-6, NEDI-8, NEDI-9) cho phép giảm bitrate đáng kể ở cùng mức chất lượng khách quan (PSNR).

Khung lý thuyết nền tảng tích hợp Lý thuyết Biến đổi Tín hiệu (Transform Coding Theory), Lý thuyết Tối ưu hóa Rate-Distortion của Shannon, và Lý thuyết Tập mờ (Fuzzy Set Theory). Phạm vi thực nghiệm bao quát các tập chuỗi video chuẩn quốc tế (Foreman, Mobile & Calendar, City, Akiyo, Crew) ở các chuẩn nén Motion JPEG (MJPEG), JPEG-2000, MPEG-2 và H.264/AVC với các ma trận bước nhảy lượng tử hóa $Q, 2Q, 4Q, 6Q$ cùng các độ chính xác ước lượng chuyển động từ nguyên điểm ảnh (integer-pel) đến phân số điểm ảnh (half-pel, quarter-pel).

---

Literature Review và Positioning

Lịch sử nghiên cứu xử lý nhiễu mã hóa ghi nhận nhiều hướng tiếp cận đa dạng nhưng bộc lộ những giới hạn cố hữu:

1. Khử nhiễu khối trong miền biến đổi và miền điểm ảnh: Biến đổi trực giao phủ lấp (Lapped Orthogonal Transform - LOT) của Malvar và Staelin (1989) tăng tính phụ thuộc giữa các khối liền kề nhưng không tương thích ngược với chuẩn JPEG/MPEG chuẩn hóa. Để khắc phục, các phương pháp hậu xử lý điểm ảnh như Chiếu lên tập lồi (POCS) của Paek et al. (1998), Bình phương tối thiểu có ràng buộc (CLS) của Yang et al. (1993), và Tiếp cận hậu nghiệm cực đại (MAP) của Ozcelik et al. (1995) được triển khai nhưng đòi hỏi chi phí tính toán lặp vô cùng lớn. Xiong et al. (1997) sử dụng biểu diễn wavelet dư thừa (overcomplete wavelet) để loại bỏ nhiễu lượng tử hóa qua liên kết đa tỷ lệ (cross-scale correlation), giúp cải thiện tốc độ nhưng vẫn chỉ giới hạn ở phạm vi đơn khung hình.

2. Xử lý DCT và suy giảm ringing artifacts: Tien và Hang (1993) đề xuất tái tạo hệ số DCT dựa trên mẫu sai số tiền huấn luyện. Chen, Wu và Li (2001) áp dụng bộ lọc thông thấp có trọng số thích nghi lên các hệ số DCT của khối dịch chuyển dựa trên độ nhạy hệ thống thị giác người (HVS). Liu và Bovik (2003) thiết lập phép đo mù về khả năng nhìn thấy biên khối (local visibility) và phân loại biên để xử lý. Về ringing artifacts, Oguz et al. (1998) dùng toán tử hình thái học nhị phân (morphological operators) kết hợp lọc phi tuyến mức xám. Tuy nhiên, các kỹ thuật này đều không thể khôi phục các thành phần tần số cao đã bị triệt tiêu về mức 0 trong quá trình lượng tử hóa thô, dẫn đến hiện tượng biên bị làm mờ (edge blurring).

3. Nhiễu thời gian và lọc bù chuyển động (MCTF): Khi mở rộng sang video, hiện tượng nhiễu muỗi và flickering xuất hiện liên tục. Chen et al. (2004) và Ohm (2004) phát triển cấu trúc 5/3 MCTF trong mã hóa video phân tầng (SVC). Đối với flickering, các nghiên cứu của Lee et al. (2006) và Chou et al. (2007) đưa sai số lượng tử hóa và thành phần flickering vào hàm chi phí để chọn mode nội suy intra tối ưu trong H.264/AVC hoặc Motion JPEG 2000.

Định vị nghiên cứu (Research Positioning): Khác biệt với các phương pháp thuần không gian (Chen et al., 2001; Liu & Bovik, 2003) làm suy giảm độ sắc nét cạnh, và vượt trội hơn cấu trúc 5/3 MCTF tĩnh của Chen et al. (2004), luận án của Dũng Trung Võ tiên phong thiết lập mô hình giải tích chính xác chứng minh rằng: thông tin từ các khối dịch chuyển bù chuyển động từ các khung hình lân cận chứa đựng các biểu diễn tần số cao bổ trợ. Việc tổng hợp thích nghi không-thời gian không chỉ triệt tiêu nhiễu khối và ringing mà còn khôi phục trực tiếp năng lượng phổ đã mất, đồng thời giải quyết triệt để hiện tượng flickering liên khung hình.

---

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng Lý thuyết Mã hóa Biến đổi và Phân tích Nhiễu Lượng tử hóa (Transform Coding and Quantization Noise Theory) thông qua 4 đóng góp đột phá:

1. Mô hình hóa quan hệ dịch chuyển hệ số DCT liên khung hình: Thiết lập phương trình giải tích tường minh biểu diễn hệ số DCT Type-II của khối dịch chuyển $X_s(u,v)$ tại vị trí $(m_0, n_0)$ qua 4 khối lân cận ($i, ii, iii, iv$) của khung hình tham chiếu $x$: $$X_s(u, v) = \mathcal{F}(X, m_0, n_0)$$ Bằng việc tuyến tính hóa hàm lượng tử hóa, luận án chứng minh rằng phép dịch chuyển trong miền không gian $x_{s,q}^d(m, n) = x_q(m + m_0, n + n_0)$ cho phép tái tạo lại các thành phần tần số cao bị cắt cụt (truncated high-frequency coefficients), vượt qua rào cản mất mát thông tin đơn khung hình.

2. Thiết lập điều kiện biên hội tụ MSE (Mathematical Convergence Bounds): Chứng minh điều kiện toán học nghiêm ngặt để việc lọc thời gian đảm bảo luôn cải thiện chất lượng so với khung hình nén gốc. Trong trường hợp lý tưởng, tổng phương sai sai số sau lọc được ràng buộc bởi: $$\text{MSE} = \sum_{u_0=0}^{N-1}\sum_{v_0=0}^{N-1} \sigma_{E_q}^2(u_0, v_0) \le \sum_{u_0=0}^{N-1}\sum_{v_0=0}^{N-1} \frac{Q^2(u_0, v_0)}{12}$$ Đối với video thực tế có tồn tại sai phân dư $\Delta x^b$ và $\Delta x^f$, cận trên sai số được xác lập chặt chẽ: $$\frac{2}{9}\sum_{m=0}^{N-1}\sum_{n=0}^{N-1} E\left{ |\Delta x^b(m, n)|^2 + |\Delta x^f(m, n)|^2 \right} \le \sum_{u_0=0}^{N-1}\sum_{v_0=0}^{N-1}\frac{Q^2(u_0, v_0)}{12} - \sum_{u_0=0}^{N-1}\sum_{v_0=0}^{N-1}\sigma_{E_q}^2(u_0, v_0)$$

3. Mô hình Tối ưu hóa Trọng số Lọc Lagrangian cho Đa khung hình Tham chiếu: Xây dựng nghiệm dạng đóng (closed-form solution) cho bộ lọc thời gian chiều dài $(L + M + 1)$ tham chiếu $L$ khung quá khứ và $M$ khung tương lai bằng hàm nhân tử Lagrange: $$h(j) = \frac{1}{A_j \sum_{p=-L}^{M} \frac{1}{A_p}}$$ Hệ thống chứng minh giá trị $\text{MSE}{\min} = \frac{1}{\sum{p=-L}^M \frac{1}{A_p}}$, cung cấp cơ sở toán học để phân bổ trọng số tối ưu dựa trên phương sai sai số thành phần $A_j$.

4. Lý thuyết Lọc mờ Định hướng Không-Thời gian (Adaptive Fuzzy MCSTF Formulation): Mở rộng lý thuyết lọc phi tuyến bằng cách đưa vào tham số độ trải định hướng (directional spread parameter) dựa trên phương sai cục bộ và tương quan chéo không gian. Bộ lọc áp dụng làm mịn mạnh nhất theo hướng vuông góc với cạnh cấu trúc và làm mịn yếu dọc theo hướng cạnh, loại bỏ hoàn toàn hiện tượng suy biến biên do lọc tuyến tính gây ra.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp liền mạch ba trụ cột trong chu trình xử lý video:

• Trụ cột 1 (Hậu xử lý - Post-Processing): Tích hợp Bộ lọc Mờ Không-Thời gian bù chuyển động độc lập với codec, tự động phân loại pixel thành vùng phẳng, cạnh và chi tiết phức tạp.
• Trụ cột 2 (Trong vòng lặp - In-Loop Coding): Tận dụng khung hình gốc có sẵn tại encoder để tối ưu hóa trực tiếp hệ số lọc không-thời gian, truyền tham số tối ưu đến decoder và tối ưu hóa trọng số dự đoán hai chiều (Bi-predictive coding).
• Trụ cột 3 (Tiền xử lý & Tái tạo - Pre-processing & Reconstruction): Kết hợp giải thuật Cắt tỉa Dữ liệu Chọn lọc (Selective Data Pruning) với Nội suy Định hướng Biên Bậc cao (NEDI-6, NEDI-8, NEDI-9), thay đổi căn bản cách thức cân bằng giữa kích thước khung hình và chất lượng nén.

---

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ thế giới quan thực chứng (positivism paradigm) với thiết kế định lượng - thực nghiệm chuẩn xác tuyệt đối. Khung phân tích đa cấp độ (multi-level design) được triển khai:

• Cấp độ khối (Block-level): Đánh giá kích thước khối $8 \times 8$ (chuẩn DCT MJPEG/MPEG-2) và $4 \times 4$ (biến đổi số nguyên H.264/AVC).
• Cấp độ khung hình (Frame-level): Phân tích tương quan tự thân (auto-correlation) và tương quan chéo (cross-correlation) giữa các khung hình kề cận.
• Cấp độ chuỗi (Sequence-level): Khảo sát cấu trúc nhóm hình ảnh (GOP: IBP) với các đặc trưng động lực học chuyển động từ chuyển động tịnh tiến thuần nhất đến chuyển động phi tuyến phức tạp.

Quy trình nghiên cứu rigorous

1. Giao thức thu thập và phân tích dữ liệu:

   • Tập mẫu chuỗi video chuẩn quốc tế: Chuỗi Foreman (chứa chuyển động gương mặt và nền phức tạp), Mobile & Calendar (chứa nhiều chi tiết đồ họa, chữ và cạnh sắc nét di chuyển), City (nhiều góc cạnh kiến trúc tần số cao), Akiyo (chuyển động chậm, nền tĩnh), và Crew (chuyển động nhanh, thay đổi ánh sáng đột ngột).
   • Giao thức lượng tử hóa: Khảo sát toàn diện trên ma trận bước nhảy chuẩn $Q$ của JPEG và các ma trận tỷ lệ mở rộng $2Q, 4Q, 6Q$.

2. Kiểm soát độ chính xác và khử nhiễu:

   • Ước lượng chuyển động (Motion Estimation - ME) sử dụng thuật toán khớp khối (Block Matching) trong cửa sổ tìm kiếm kích thước $23 \times 23$.
   • Kiểm tra đa mức độ chính xác: nguyên điểm ảnh (integer-pel), nửa điểm ảnh (1/2-pixel accuracy), và một phần tư điểm ảnh (1/4-pixel accuracy).

3. Tam giác đạc (Triangulation) & Tính hợp lệ:

   • Tam giác đạc lý thuyết: Đối chiếu trực tiếp giữa đạo hàm giải tích phương sai sai số $\sigma_{E_q}^2$ với kết quả mô phỏng Monte Carlo trên dữ liệu thực.
   • Tam giác đạc phương pháp: Kết hợp đánh giá khách quan định lượng (PSNR, MSE, Bitrate, Flickering Metric) với đánh giá chủ quan của thị giác con người (HVS) thông qua các hình ảnh phóng to chi tiết biên và kiểm tra bậc thang cạnh (step-function artifacts).

Data và phân tích

• Môi trường mô phỏng: Thuật toán được lập trình và hiện thực hóa trên nền tảng C/C++ tích hợp môi trường mô phỏng toán học MATLAB, can thiệp sâu vào cấu trúc phần mềm mẫu chuẩn của H.264/AVC (JM reference software).
• Mức kiểm tra độ bền vững (Robustness Checks): Đối với ma trận lượng tử hóa chuẩn $Q$, giá trị MSE giữa khối nén và khối gốc không đổi và đạt mức chuẩn: $$\sum_{u_0=0}^{N-1}\sum_{v_0=0}^{N-1} \frac{Q^2(u_0, v_0)}{12} = 24{,}002$$ Nghiên cứu tính toán phân bố MSE trên toàn bộ không gian vector chuyển động từ $(m_0^b, n_0^b) = (0,0) \to (7,7)$ và $(m_0^f, n_0^f) = (-7,-7) \to (0,0)$, xác định giá trị MSE tối đa của phương pháp đề xuất chỉ đạt $12{,}470$ (thấp hơn 48% so với mức 24,002 của khung hình chưa xử lý).
• Đối với video thực tế, điều kiện tổng bình phương sai phân dư được thiết lập chính xác tại ngưỡng: $$\sum_{m=0}^{N-1}\sum_{n=0}^{N-1} \left[ |\Delta x_q^b(m, n)|^2 + |\Delta x_q^f(m, n)|^2 \right] \le 51{,}894$$ Chỉ những khối thỏa mãn điều kiện toán học này mới được kích hoạt bộ lọc thời gian, loại bỏ hoàn toàn rủi ro suy giảm chất lượng do ước lượng chuyển động sai lệch.

---

Phát hiện đột phá và implications

Những phát hiện then chốt

1. Khôi phục phổ tần số cao bị mất nhờ tương quan tịnh tiến liên khung hình: Luận án chứng minh rằng lọc thời gian bù chuyển động không chỉ đơn thuần làm mịn tín hiệu mà thực chất là quá trình tái tạo các hệ số DCT tần số cao bị triệt tiêu trong phép chia lượng tử hóa. Bằng chứng trực quan trên chuỗi Mobile & Calendar (khung hình thứ 6) cho thấy ringing artifacts dọc theo các cạnh chữ số và đường kẻ phức tạp bị triệt tiêu mà không làm mất độ nét cạnh.

2. Vượt trội định lượng về PSNR so với các nghiên cứu quốc tế: Bảng dữ liệu thực nghiệm kiểm chứng tính vượt trội của phương pháp đề xuất trên chuỗi Mobile và Foreman qua nhiều mức lượng tử hóa:

Chuỗi Video	Ma trận Lượng tử	Decoded (dB)	Chen et al. [20]	Liu & Bovik [21]	5/3 MCTF [32]	Phương pháp Đề xuất	Tối ưu (Optimal)
Mobile	$Q$	25.04	25.30	25.44	25.57	25.68	25.75
Mobile	$2Q$	23.01	23.33	23.35	23.47	23.58	23.63
Mobile	$4Q$	20.89	21.05	20.98	21.12	21.24	21.28
Mobile	$6Q$	19.93	19.99	19.95	20.04	20.12	20.15
Foreman	$4Q$	28.14	28.47	28.37	28.51	28.61	28.66

3. Ảnh hưởng quyết định của độ chính xác ước lượng chuyển động: Thực nghiệm trên chuỗi City bị nén bởi ma trận $Q$ cho thấy:

• Khung hình giải mã gốc: 31.12 dB
• Phương pháp Chen et al.: 30.93 dB (suy giảm chất lượng do làm mờ)
• Phương pháp Liu & Bovik: 30.15 dB
• Đề xuất với ME nguyên điểm ảnh (integer-pel): 31.60 dB (+0.48 dB)
• Đề xuất với ME nửa điểm ảnh (half-pel): 32.12 dB (+1.00 dB)
• Đề xuất với ME một phần tư điểm ảnh (quarter-pel): 32.55 dB (+1.43 dB)

4. Đột phá của Bộ lọc mờ Không-Thời gian thích nghi (Adaptive Fuzzy MCSTF): Trong khi các bộ lọc tuyến tính gây nhòe cấu trúc vi mô, bộ lọc mờ sử dụng tham số phân tán góc $\theta$ và phương sai cửa sổ cục bộ để phân loại điểm ảnh chính xác tuyệt đối. Nhiễu khối dạng hàm bậc thang tại hàng thứ 123 của chuỗi Foreman và hiện tượng Gibbs tại hàng thứ 31 của ảnh tổng hợp được san phẳng hoàn toàn thành dạng đường cong liên tục mượt mà.

5. Hiệu năng vượt bậc của Cắt tỉa Dữ liệu kết hợp Nội suy Cạnh bậc cao: Các mô hình NEDI-6, NEDI-8 và đặc biệt là NEDI-9 (nội suy bậc 9) chứng minh khả năng tái tạo hình ảnh vượt trội hoàn toàn so với nội suy song tuyến tính (Bilinear) và song khối (Bicubic). Ở cùng mức bitrate mã hóa H.264/AVC, hệ thống nén dựa trên cắt tỉa dữ liệu chọn lọc cho ra giá trị PSNR cao hơn và bảo toàn độ sắc nét cạnh hoàn hảo ở các vùng bitrate cực thấp.

Implications đa chiều

• Tiến bộ lý thuyết: Hợp nhất lý thuyết lọc thích nghi không-thời gian với lý thuyết lượng tử hóa nén, đặt nền tảng cho việc khai thác thông tin tần số cao liên khung hình.
• Đổi mới phương pháp luận: Thiết lập hệ số đo lường flickering mới có khả năng mô phỏng cơ chế bám bắt chuyển động của mắt người (Motion Compensated Flickering Metric), khắc phục nhược điểm của các chỉ số đo lường tĩnh truyền thống.
• Ứng dụng thực tiễn: Tích hợp trực tiếp vào chip xử lý hậu kỳ của màn hình hiển thị cao cấp (DTV, màn hình y tế), nâng cấp chuẩn nén Motion JPEG trong hệ thống lưu trữ ảnh y khoa chuẩn DICOM mà không cần thay đổi phần cứng máy quét.
• Đóng góp tiêu chuẩn hóa: Cung cấp giải pháp tối ưu trọng số dự đoán cho khung hình Bi-predictive (B-frame) và bộ lọc lặp in-loop cho các chuẩn mã hóa thế hệ tiếp theo (H.265/HEVC và AV1).

---

Limitations và Future Research

Luận án thẳng thắn chỉ ra 4 giới hạn nghiên cứu mang tính khách quan:

1. Độ phức tạp tính toán của Ước lượng Chuyển động: Việc thực hiện bù chuyển động đa khung hình với độ chính xác quarter-pel tại bộ giải mã (Post-processing phase) tiêu tốn tài nguyên xử lý lớn, tạo thách thức cho các thiết bị di động pin yếu tại thời điểm công bố (2009).
2. Giới hạn mô hình chuyển động tịnh tiến: Thuật toán tối ưu hóa giải tích được xây dựng chủ yếu trên mô hình chuyển động tịnh tiến thuần nhất (pure translational motion). Các dạng biến dạng phi tuyến phức tạp (co giãn, xoay tròn 3D, biến dạng phối cảnh) làm tăng sai số dư $\Delta x$, dẫn đến việc một số khối bị bỏ qua không xử lý.
3. Xử lý thành phần sắc độ (Chrominance): Thuật toán tập trung tối đa vào thành phần độ chói (Luminance - Y) do mắt người nhạy cảm nhất với độ sáng. Các kênh sắc độ (Cb, Cr) bị lấy mẫu con (downsampled 4:2:0) và lượng tử hóa thô chưa được áp dụng bộ lọc mờ định hướng chuyên biệt.
4. Yêu cầu bộ đệm khung hình (Frame Buffering): Việc tham chiếu $L$ khung quá khứ và $M$ khung tương lai gây ra độ trễ thời gian (latency) nhất định, đòi hỏi tối ưu hóa bộ nhớ đệm cho các ứng dụng truyền phát trực tiếp (live streaming).

Định hướng nghiên cứu tương lai:

• Phát triển thuật toán ước lượng chuyển động dưới điểm ảnh (subpixel motion estimation) không cần nội suy phức tạp nhằm tối ưu hóa tốc độ tính toán.
• Mở rộng mô hình lọc mờ không-thời gian cho các chuỗi video 3D đa góc nhìn (Multi-view Video Coding - MVC) và video độ phân giải siêu cao (4K/8K UHD).
• Tích hợp mạng nơ-ron học sâu (Deep Neural Networks) vào việc học thích nghi các tham số mờ và hệ số lọc không-thời gian.

---

Tác động và ảnh hưởng

• Ảnh hưởng học thuật: Nghiên cứu là nguồn tham khảo quan trọng trong lĩnh vực xử lý hậu kỳ video và mã hóa thích nghi, trực tiếp đóng góp vào các bài báo đỉnh cao trên các tạp chí đầu ngành như IEEE Transactions on Image Processing và IEEE Transactions on Circuits and Systems for Video Technology.
• Chuyển đổi công nghiệp: Các sáng chế và công nghệ trong luận án đã được chuyển giao và đăng ký bảo hộ sở hữu trí tuệ bởi các tập đoàn công nghệ hàng đầu thế giới: Mitsubishi Electric Research Laboratories (MERL - Bằng sáng chế Lọc mờ 3D không-thời gian năm 2008), Thomson Corporate Research (Sáng chế Cắt tỉa dữ liệu video năm 2009), và Samsung Information Systems America.
• Lĩnh vực truyền thông y tế & an ninh: Cải thiện vượt bậc chất lượng hình ảnh nén y khoa (X-ray, MRI, CT sequence) giúp bác sĩ chẩn đoán chính xác hơn mà không cần tăng dung lượng lưu trữ; đồng thời nâng cao độ rõ nét của camera giám sát an ninh (CCTV) trong điều kiện băng thông thấp.

---

Đối tượng hưởng lợi

• Nghiên cứu sinh và Giới học thuật: Tiếp cận mô hình toán giải tích tường minh về mối tương quan DCT dịch chuyển và phương pháp luận thiết lập hàm Lagrange tối ưu cho bộ lọc đa khung hình.
• Kỹ sư R&D Xử lý Video & Vi mạch: Ứng dụng trực tiếp thuật toán lọc mờ định hướng và kiến trúc cắt tỉa dữ liệu vào việc thiết kế SoC cho TV thông minh, bộ giải mã STB, và chip nén video chuyên dụng.
• Kỹ sư Y tế & Chẩn đoán hình ảnh: Khai thác giải pháp nâng cao chất lượng nén Motion JPEG cho các hệ thống lưu trữ và truyền hình ảnh y tế (PACS) đạt chuẩn chất lượng cao.
• Các tổ chức chuẩn hóa quốc tế (ITU-T, ISO/IEC MPEG): Sử dụng các bằng chứng thực nghiệm về in-loop filtering và tối ưu hóa trọng số B-frame để phát triển các tiêu chuẩn nén video tiên tiến.

---

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?

Đóng góp lý thuyết độc đáo nhất là việc thiết lập Mô hình Quan hệ Tịnh tiến Hệ số DCT Liên khung hình (Translational Relation of DCT Coefficients) và chứng minh giải tích rằng thông tin tần số cao bị mất do lượng tử hóa có thể được khôi phục trực tiếp từ các khối bù chuyển động lân cận. Công trình này mở rộng trực tiếp Lý thuyết Mã hóa Biến đổi và Nhiễu Lượng tử hóa (Transform Coding and Quantization Noise Theory) của Jayant & Noll (1984) bằng cách chuyển từ bài toán ước lượng thống kê tĩnh đơn khung hình sang mô hình phục hồi động không-thời gian đa khung hình.

2. Điểm cải tiến phương pháp luận cốt lõi so với các nghiên cứu quốc tế tiền nhiệm?

So với phương pháp lọc miền DCT của Chen et al. (2001) và phương pháp đo mù biên của Liu & Bovik (2003) vốn gây mờ biên chi tiết, và cấu trúc 5/3 MCTF cố định của Chen et al. (2004), luận án đã phát triển Bộ lọc Mờ Định hướng Không-Thời gian thích nghi (Adaptive Directional MCSTF). Phương pháp này sử dụng phương sai cục bộ để điều khiển góc trải $\theta$, áp dụng lọc triệt để theo phương vuông góc với cạnh và bảo toàn hoàn toàn phương dọc cạnh, đồng thời thiết lập điều kiện ngưỡng năng lượng dư $\le 51{,}894$ để kiểm soát việc kích hoạt bộ lọc.

3. Phát hiện bất ngờ nhất từ thực nghiệm được hỗ trợ bởi dữ liệu là gì?

Phát hiện bất ngờ nhất là: ngay cả khi chất lượng nén ở mức rất thấp với ma trận lượng tử hóa thô $4Q$, việc kết hợp thuật toán tiền xử lý khử nhiễu khối không gian của Chen et al. trước khi áp dụng bộ lọc thời gian đề xuất vẫn mang lại chất lượng vượt trội (Foreman đạt 28.61 dB, cao hơn mọi phương pháp độc lập). Hơn nữa, việc tăng độ chính xác ước lượng chuyển động từ integer-pel lên quarter-pel trên chuỗi City giúp tăng vọt chất lượng thêm +1.43 dB (từ 31.12 dB lên 32.55 dB), chứng minh rằng độ chính xác chuyển động có khả năng bù đắp hoàn toàn suy hao do lượng tử hóa thô.

4. Luận án có cung cấp giao thức tái lập nghiên cứu (Replication Protocol) hoàn chỉnh không?

Hoàn toàn có. Luận án cung cấp đầy đủ các hệ phương trình giải tích, ma trận bước nhảy chuẩn $Q$, kích thước cửa sổ tìm kiếm ($23 \times 23$), cấu trúc khối ($8 \times 8$ và $4 \times 4$), các điều kiện biên giải tích tường minh, cùng quy trình tích hợp vào phần mềm chuẩn JM của H.264/AVC.

5. Lộ trình nghiên cứu 10 năm được phác thảo như thế nào?

Luận án định hình lộ trình phát triển xoay quanh 4 hướng chiến lược: (1) Tối ưu hóa thuật toán ước lượng chuyển động dưới điểm ảnh không qua nội suy; (2) Tích hợp cấu trúc MCSTF tối ưu vào vòng lặp nén của các chuẩn video đa góc nhìn và 3D; (3) Mở rộng kỹ thuật cắt tỉa dữ liệu chọn lọc cho các định dạng phân giải siêu cao (Ultra HD); (4) Ứng dụng học máy và ước lượng không-thời gian tự thích nghi trong môi trường truyền thông mạng không dây băng thông biến đổi.

---

Kết luận

Luận án Tiến sĩ của Dũng Trung Võ đã giải quyết trọn vẹn và xuất sắc bài toán suy giảm chất lượng trong nén hình ảnh và video thông qua 5 đóng góp cốt lõi:

1. Thiết lập nền tảng giải tích vững chắc chứng minh việc sử dụng dư thừa thời gian liên khung hình có khả năng khôi phục các hệ số DCT tần số cao bị cắt cụt do lượng tử hóa thô.
2. Phát triển Bộ lọc Tuyến tính Bù chuyển động Tối ưu (Optimal MCTF) với nghiệm đóng Lagrange, giảm thiểu phương sai sai số MSE xuống dưới mọi cận lý thuyết trước đó.
3. Sáng tạo Bộ lọc Mờ Không-Thời gian Thích nghi Định hướng (Adaptive Directional MCSTF) và chỉ số đo lường flickering mới dựa trên chuyển động mắt, triệt tiêu hoàn toàn blocking, ringing và flickering artifacts.
4. Tích hợp thành công bộ lọc tối ưu vào vòng lặp mã hóa (In-loop MCSTF) và tối ưu hóa trọng số mã hóa Bi-predictive cho chuẩn H.264/AVC.
5. Đề xuất kiến trúc Nén Dựa trên Cắt tỉa Dữ liệu Chọn lọc kết hợp Nội suy Định hướng Biên Bậc cao (NEDI-6/8/9), mở ra hướng đi đột phá trong việc tối ưu hóa tỷ lệ Rate-Distortion.

Công trình không chỉ tạo nên bước nhảy vọt về mặt học thuật mà còn để lại di sản thực tiễn to lớn thông qua hàng loạt bằng sáng chế quốc tế được ứng dụng trong công nghiệp truyền thông đa phương tiện toàn cầu.

Trích đoạn nội dung tài liệu

UNIVERSITY OF CALIFORNIA, SAN DIEGO Spatio-Temporal Filtering For Image And Video Processing: Applications On Quality Enhancement, Coding and Data Pruning A dissertation submitted in partial satisfaction of the requirements for the degree Doctor of Philosophy in Image and Signal Processing by Dũng Trung Võ Committee in charge: Professor Truong Q. Nguyen, Chair Professor Pamela C. Cosman Professor William S. Hodgkiss Professor Yoav Freund Professor Alon Orlitsky 2009 Copyright Dũng Trung Võ, 2009 All rights reserved.

The dissertation of Dũng Trung Võ is approved, and it is acceptable in quality and form for publi- cation on microfilm & electronically: Chair University of California, San Diego 2009 iii TABLE OF CONTENTS Signature Page. iii Table of Contents. iv List of Figures. vii List of Tables.

xi Vita and Publications. xiii Abstract of the Dissertation .1 Image and Video Processing Systems .3 Methods on Artifact Reduction .1 Spatio-Temporal Filtering for Quality Enhancement .2 Spatio-Temporal Filtering for Coding .3 Data Pruning-Based Compression. 14 2 Quality Enhancement for Motion JPEG using Temporal Redundancies .1 Translational Relation of DCT Coefficients .2 Quality Enhancement using Temporal Redundancies .3 Quality Enhancement for Real Video Sequences .4 Optimal Adaptive Filter for Arbitrary Number of Referenced Frames 24 2.1 Motion Vectors for Enhancement Process .2 Enhancement in the Ideal Case .3 Enhancement in Real Video Sequences. 37 3 Adaptive Fuzzy Filtering for Artifact Reduction in Compressed Images and Videos .2 Directional Fuzzy Spatial Filter .1 Directional Spread Parameter .2 Edge-based Directional Fuzzy Filter .3 Adaptive Fuzzy Compensated Spatio- Temporal Filter .4 Motion Compensated Metric for Flickering Artifact Evaluation .1 Enhancement for Compressed Images .2 Enhancement for Compressed Video Sequences.

61 4 Optimal Motion-Compensated Spatio-Temporal Filter for Quality En- hancement and Coding of H.264/AVC Video Sequences .1 In-loop Motion Compensated Spatio- Temporal Filter .2 Optimal Motion Compensated Spatio- Temporal Filter .3 Overlapped Motion Compensation .4 Optimal Weight for Inter-frame Coding .1 In-loop Motion Compensated Spatio-Temporal Filters .2 Optimal Motion Compensated Spatio-Temporal Linear Filter .3 Optimal Weight for Bi-predictive Coding. 83 5 Selective Data Pruning-Based Compression using High Order Edge-Directed Interpolation .1 Rate-Distortion Relation .2 Data Prune-Based Compression .3 Optimal Data Pruning .4 High Order Edge-Directed Interpolation .1 Single Frame-Based Interpolation .2 Multi-Frame-Based Interpolation .1 High Order Edge-Directed Interpolation .2 Data Pruning-Based Compression. 105 6 Conclusions and Future Works .1 Spatio-temporal Filtering for Quality Enhancement .2 Spatio-Temporal Filtering for Coding .3 Spatio-Temporal Filtering for Data Pruning .1 Spatio-temporal Filtering for Quality Enhancement .2 Spatio-temporal Filtering for Coding .3 Spatio-temporal Filtering for Data Pruning .4 Spatio-temporal Estimation for Video Processing. 113 vi LIST OF FIGURES Figure 1.1: Block diagram of an image and video processing system.2: An example of blocking artifacts for one zoomed-in part of 6th frame of Foreman sequence.3: An example of blocking artifacts over columns of 123rd row of Fig.4: An example of ringing artifacts in a synthesized image.5: An example of ringing artifacts over columns of 31st row of Fig.6: An example of ringing artifacts in a zoomed-in part of 6th frame of Mobile sequence.7: An example of flickering artifacts.8: Comparison between coding artifacts and Gaussian noise.9: The correlation between the current frame of compressed Mo- bile sequence and its surrounding frames.10: Block diagram of spatio-temporal filtering systems for quality enhancement.11: Block diagram of spatio-temporal filtering systems for coding.12: Block diagram of spatio-temporal filtering systems for data pruning.1: Translation between blocks of image xs and x.2: The original and linearized quantization functions.3: Block diagram of the enhancement algorithm.4: MSE for motion vectors (mb0 , nb0 ) = (0, 0) : (7, 7) and (mf0 , nf0 ) = (−7, −7) : (0, 0).5: Quality enhancement for ideal case - 6th frame of Mobile sequence.6: Quality enhancement for ideal case - 6th frame of Foreman sequence.7: Quality enhancement for City sequence.8: PSNR improvement for City frames compressed with quanti- zation matrix Q.9: PSNR for different options with integer pixel ME accuracy.10: PSNR for different options with half pixel ME accuracy.1: An example of directional JPEG artifacts with scaling factor of 4 for the quantization step matrix.2: Angle and spread parameter for directional fuzzy filter.3: Angles θ and θ0 of the edge-based directional fuzzy filter.4: Flow chart of the directional fuzzy filter.5: Block diagram of the adaptive fuzzy MCSTF.6: An example where the flickering metric in [4] has problem.7: Result of using a fuzzy filter.8: Pixel classification for directional filtering.9: Pixel classification for directional filtering.10: Comparison of filtered results.11: Zoomed images for comparison of filtered results.12: Comparison on the contribution of spatial and directional adap- tations.13: Zoomed images for comparison of Fig.14: Comparison of filter results for MJPEG sequences.15: Zoomed views for images in Fig.16: Comparison on PSNR of simulated methods for Mobile sequence.17: Comparison on flickering artifacts of simulated methods for Mobile sequence.18: Comparison of filter results for H.19: Comparison of PSNR for all frames in the Foreman sequence.20: Comparison of flickering metric for all frames in the Foreman sequence.21: Comparison of PSNR with different bit-rates of the Foreman sequence.1: Block diagram of the H.264/AVC encoder with in-loop MCSTF.2: In-loop coding and enhancement for GOP IBP.

The first row is the compressed sequence using conventional encoding scheme, the last rows is the compressed sequence using encoding scheme with in-loop enhancement and the middle rows explain step by step the encoding scheme with in-loop enhancement.3: Blocking artifacts of the motion compensated frames.4: Blocking artifacts in using cross-block and in-block cubics of MCSTF and MCTF.5: Overlapped blocks for motion compensation.6: Bi-predictive coding scheme.7: Comparison between conventional and proposed in-loop en- hancement H.8: Enhancement for 3rd frame of Foreman sequence.9: Zoom-ined part of Fig.10: PSNR and flickering artifact comparison for frame in Foreman sequences.11: Comparison in R-D curves for bi-predictive coding with differ- ent weight prediction option.12: Bi-predictive coding for 19th frame of Crew sequence.1: Block diagram of the data pruned-based compression.2: Block diagram of the data pruning phase.3: Data pruning for the 1st frame of Akiyo sequence.4: Block diagram of the single frame-based interpolation phase.5: Model parameters of sixth-order and eighth-order edge-directed interpolation.6: Block diagram of the proposed multi-frame-based interpolation for case of upsampling with ratio 1 × 2.7: Model parameters of 9th order edge-directed interpolation.8: Comparison of NEDI-6 and NEDI-9 to other methods.9: Comparison of NEDI-8 to other methods.10: Comparison results for R-D curves of single frame data pruning- based compression.11: Comparison of NEDI-6 to other interpolation methods in case of single frame data pruning-based compression.12: One zoomed in part of Fig.13: Comparison results for multi-frame data pruning-based com- pression.264/AVC compression and optimal data pruning-based compression with same bit-rate and PSNR values.264/AVC compression and optimal data pruning-based compression with same bit-rate and PSNR values. 105 ix LIST OF TABLES Table 2.1: PSNR enhancement in dB for ideal sequences.2: Comparison in PSNR improvement for different scenarios.1: Comparison of PSNR in units of dB for different methods.2: Percentage of the classified pixels.3: Comparison of PSNR in units of dB of Different Classified Pixels and of Spatial and Directional Adaptations.1: Operation of each step in Fig.2: PSNR and bitrate values for bi-predictive coding options. 99 x ACKNOWLEDGEMENTS First and foremost, I would like to express my deep admiration and true thanks to my advisor, Prof. His kindness makes me feel valued and comfortable during my studies at UC San Diego.

He motivates me every time I have a chance to discuss ideas or report progress with him. Undoubtedly, he inspires my research while still permits me a freedom in searching for new things. I also want to take this opportunity to thank the committee members: Prof. Yoav Freund and Prof.

Alon Orlitsky for their time and valuable comments. The suggestions of the committee members from my qualify exam substantially improved the quality of my thesis. Most of my knowledge on image processing comes from the course Digital Image Processing of Prof. Pamela Cosman in Fall 2005, and I would like to thank for her insightful lectures.

During the summer of 2007 I did my internship under the mentoring of Dr. Sehoon Yea and Dr. Anthony Vetro at Mitsubishi Electrics Research Laboratories. Their friendly and helpful support enriched my working experience and made me feel at home during the time I lived in Boston.

I still remember Dr. Anthony Vetro run quickly through the company aisles to save time. The work on data pruning-based compression would not be possible without the help of Dr Joel Solé and Dr Peng Yin at Thomson Corporate Research, where I spent the internship at Princeton in the summer of 2008. Their support during that time and when I came back UC San Diego encouraged me to keep working on this topic.

I would like send them great thanks for their approval of the topic and especially for the friendly discussions every Thursday. I would like to thank Prof. Jong-Ki Han, his student Chan-Won Seo and Daqian Jin from Motorola for their help in the project on video coding. This work was also encouraged by my professors and colleagues at my prior university, the Ho Chi Minh University of Technology.

I am grateful to Assoc. Thuong Le-Tien, Dr. Chien Hoang-Dinh and Assoc. Thanh Vu-Dinh for their understanding and support.

My labmates entertained and inspired me during the time I have studied at xi UC San Diego. I send my warm thanks to Cheolhong An, Min Li, Shay Harnoy, Ryan Prendergast, Stanley Chan, Vikas Ramachandra for their help and discus- sions. My motivation of quality enhancement lately comes from the beauty of the U. The most perfect images remain there forever and will always be the target for image processing.

Finally, I dedicate my dissertation to my parents, B ô´ và Me., for their un- conditional and unbounded love and also to my older sister, my brother-in-law and my younger sister, Chi., Anh, và Em gái, for their care of my parents during the last three and a half years. xii VITA 1980 Born, Dong Thap, Viet Nam. 2002 Bachelor, Electrical and Electronics, Ho Chi Minh City University of Technology, Viet Nam., Electrical and Electronics, Ho Chi Minh City University of Technology, Viet Nam. 2002-2005 Teaching Assistant, Center For Overseas Studies, Ho Chi Minh City University of Technology, Viet Nam.

2002-present Lecturer, Faculty of Electrical and Electronics Engineering, Ho Chi Minh City University of Technology, Viet Nam. 2005-2009 Research Assistant, University of California, San Diego. Summer 2007 Intern, Mitsubishi Electric Research Laboratories (MERL), Cambridge, MA. Summer 2008 Intern, Thomson Corporate Research, Princeton, New Jersey.

Research Engineer, Digital Media Solutions Lab, Samsung Information Systems America Inc., Electrical Engineering (Image and Signal Processing), University of California, San Diego. PUBLICATIONS Dũng T. Võ, Chan-Won Seo, Daqian Jin, Jong-Ki Han and Truong Q. Nguyen, “Optimal Motion-Compensated Spatio-Temporal Filter for Quality Enhancement and Coding of H.264/AVC Video Sequences”, submitted to the IEEE Transactions on Image Processing, March 2009.

Võ, Joel Sole, Peng Yin, Cristina Gomila and Truong Q. Nguyen, “Selec- xiii tive Data Pruning-Based Compression using High Order Edge-Directed Interpola- tion”, submitted to the IEEE Transactions on Image Processing, January 2009. Võ, Truong Nguyen, Sehoon Yea, Anthony Vetro, “Adaptive Fuzzy Fil- tering For Artifact Reduction In Compressed Images And Videos”, accepted for publication in the IEEE Transactions on Image Processing, 2008. Võ, Truong Nguyen, “Quality Enhancement for Motion JPEG using Tem- poral Redundancies”, the IEEE Transactions on Circuits and Systems for Video Technology, vol.

Thuong Le-Tien, Chien Hoang Dinh, Dinh Viet Hao, Dũng T. Võ, “Neural Net- works - Based Equalizer Model Implemented To The DSP TMS320C6711”, Journal Of Science and Technology, Viet Nam, No. 40 + 41 /2003, ISBN 0868-3980, Viet Nam, 2003. Võ and Truong Nguyen, “Optimal Spatio-temporal Motion Compensated Filters for Quality Enhancement of H.264/AVC Compressed Sequences”, submitted to the 2009 IEEE Conference on Image Processing.

Chan, Dũng T. Võ and Truong Q. Nguyen, “Subpixel Motion Estima- tion For Translational Motions”, submitted to the 2009 IEEE Conference on Image Processing. Võ, Joel Sole, Peng Yin, Cristina Gomila and Truong Q.

Nguyen, “Data Pruning-Based Compression using High Order Edge-Directed Interpolation”, to appear in IEEE Conference on Acoustics, Speech and Signal Processing, Taiwan, 2009.