Luận án tiến sĩ spatial temporal filtering for image and video processing applications on quality enhancement coding and data pruning

Luận án tiến sĩ về lọc không gian-thời gian trong xử lý ảnh và video. Ứng dụng nâng cao chất lượng, mã hóa, nén dữ liệu. Nghiên cứu chuyên sâu.

• Tác giả: Dũng Trung Võ
• Người hướng dẫn: Professor Truong Q. Nguyen, Chair
• Trường học: University Of California, San Diego
• Chuyên ngành: Image and Signal Processing
• Đề tài: Spatio-Temporal Filtering For Image And Video Processing: Applications On Quality Enhancement, Coding And Data Pruning
• Loại tài liệu: Dissertation
• Năm xuất bản: 2009
• Địa điểm: San Diego

Mục lục chi tiết

• Signature Page
• Table of Contents
• List of Figures
• List of Tables
• Vita and Publications
• Abstract of the Dissertation
• 1. Image and Video Processing Systems
• 2. Quality Enhancement for Motion JPEG using Temporal Redundancies
• 2.1. Motion Vectors for Enhancement Process
• 2.2. Enhancement in the Ideal Case
• 2.3. Enhancement in Real Video Sequences
• 2.4. Optimal Adaptive Filter for Arbitrary Number of Referenced Frames
• 3. Adaptive Fuzzy Filtering for Artifact Reduction in Compressed Images and Videos
• 3.1. Directional Fuzzy Spatial Filter
• 3.2. Directional Spread Parameter
• 3.3. Edge-based Directional Fuzzy Filter
• 3.4. Adaptive Fuzzy Compensated Spatio-Temporal Filter
• 3.5. Motion Compensated Metric for Flickering Artifact Evaluation
• 3.6. Enhancement for Compressed Images
• 3.7. Enhancement for Compressed Video Sequences
• 4. Optimal Motion-Compensated Spatio-Temporal Filter for Quality Enhancement and Coding of H.264/AVC Video Sequences
• 4.1. In-loop Motion Compensated Spatio-Temporal Filter
• 4.2. Optimal Motion Compensated Spatio-Temporal Filter
• 4.3. Overlapped Motion Compensation
• 4.4. Optimal Weight for Inter-frame Coding
• 4.5. In-loop Motion Compensated Spatio-Temporal Filters
• 4.6. Optimal Motion Compensated Spatio-Temporal Linear Filter
• 4.7. Optimal Weight for Bi-predictive Coding
• 5. Selective Data Pruning-Based Compression using High Order Edge-Directed Interpolation
• 5.1. Rate-Distortion Relation
• 5.2. Data Prune-Based Compression
• 5.3. Optimal Data Pruning
• 5.4. High Order Edge-Directed Interpolation
• 5.4.1. Single Frame-Based Interpolation
• 5.4.2. Multi-Frame-Based Interpolation
• 6. Conclusions and Future Works
• 6.1. Spatio-temporal Filtering for Quality Enhancement
• 6.2. Spatio-Temporal Filtering for Coding
• 6.3. Spatio-Temporal Filtering for Data Pruning
• 6.4. Spatio-temporal Estimation for Video Processing
• LIST OF FIGURES
• LIST OF TABLES
• ACKNOWLEDGEMENTS
• VITA
• PUBLICATIONS
• INTELLECTUAL PROPERTY
• ABSTRACT OF THE DISSERTATION

Tóm tắt

I. Lọc Không Gian Thời Gian Giới Thiệu Tổng Quan 55 ký tự

Trong lĩnh vực xử lý ảnh và xử lý video hiện đại, việc nén dữ liệu là vô cùng quan trọng để giảm dung lượng lưu trữ và băng thông truyền tải. Tuy nhiên, quá trình nén này thường gây ra các artifacts (sai sót, lỗi) làm giảm chất lượng hình ảnh và video. Một giải pháp hiệu quả để giải quyết vấn đề này là sử dụng lọc không gian-thời gian. Phương pháp này kết hợp thông tin từ cả không gian (các pixel lân cận trong một khung hình) và thời gian (các khung hình liên tiếp) để loại bỏ các artifacts và nâng cao chất lượng hình ảnh/video cuối cùng. Bài viết này sẽ đi sâu vào các khía cạnh khác nhau của lọc không gian-thời gian, từ các thuật toán cơ bản đến các ứng dụng thực tế. Trích dẫn từ nghiên cứu gốc, "Spatio-temporal filtering ứng dụng trên chất lượng nâng cao, mã hóa và cắt tỉa dữ liệu."

1.1. Bản chất của lọc không gian trong xử lý ảnh và video

Lọc không gian hoạt động bằng cách áp dụng một bộ lọc (filter) lên từng pixel của ảnh hoặc video, sử dụng thông tin từ các pixel lân cận để tính toán giá trị mới cho pixel đó. Mục tiêu là làm mịn ảnh, giảm nhiễu, hoặc làm nổi bật các đặc trưng quan trọng. Các bộ lọc không gian phổ biến bao gồm lọc trung bình, lọc Gaussian, và lọc median. Các kỹ thuật này giúp cải thiện đáng kể chất lượng hình ảnh, đặc biệt là trong việc giảm các artifacts do nén gây ra. Phương pháp này là tiền đề quan trọng cho các bước xử lý tiếp theo.

1.2. Nguyên lý cơ bản của lọc thời gian và ứng dụng

Lọc thời gian tận dụng sự tương quan giữa các khung hình liên tiếp trong video để loại bỏ các artifacts và cải thiện chất lượng. Ví dụ, một bộ lọc thời gian có thể tính trung bình các pixel tương ứng trong nhiều khung hình để giảm nhiễu và làm mịn chuyển động. Lọc Kalman là một thuật toán lọc thời gian mạnh mẽ, thường được sử dụng để ước lượng trạng thái của một hệ thống động dựa trên chuỗi các phép đo bị nhiễu. Ứng dụng hiệu quả trong các tình huống yêu cầu độ chính xác cao, đặc biệt là trong việc xử lý các video có chuyển động phức tạp.

1.3. Kết hợp không gian và thời gian trong xử lý đa phương tiện

Khi kết hợp lọc không gian và lọc thời gian, ta có thể tận dụng ưu điểm của cả hai phương pháp để đạt được kết quả tốt hơn. Ví dụ, một hệ thống có thể sử dụng lọc không gian để giảm nhiễu trong từng khung hình, sau đó sử dụng lọc thời gian để làm mịn chuyển động giữa các khung hình. Việc kết hợp này giúp loại bỏ hiệu quả cả spatial artifacts (như blocking artifact và ringing artifact) và temporal artifacts (như flickering artifact), mang lại trải nghiệm xem video mượt mà và chất lượng cao hơn.

II. Thách Thức Vấn Đề Artifact Ảnh Hưởng Chất Lượng 58 ký tự

Các hệ thống xử lý ảnh và xử lý video thường phải đối mặt với nhiều vấn đề liên quan đến chất lượng hình ảnh, đặc biệt là khi dữ liệu bị nén để tiết kiệm băng thông và dung lượng lưu trữ. Quá trình nén thường gây ra các artifacts, là những sai sót hoặc biến dạng không mong muốn trong hình ảnh. Các loại artifacts phổ biến bao gồm blocking artifact, ringing artifact, và flickering artifact. Những artifacts này có thể làm giảm đáng kể trải nghiệm xem video của người dùng, gây khó chịu và mỏi mắt. Theo nghiên cứu, "Blocking artifacts, Ringing artifacts and Flickering artifacts thường xảy ra và ảnh hưởng đến trải nghiệm xem."

2.1. Tìm hiểu về Blocking Artifact và tác động của chúng

Blocking artifact là hiện tượng xuất hiện các khối vuông rõ rệt trong hình ảnh, đặc biệt là ở các vùng có độ tương phản cao. Hiện tượng này xảy ra do các thuật toán nén dựa trên khối (block-based compression), như JPEG và MPEG, xử lý mỗi khối hình ảnh một cách độc lập. Khi tỷ lệ nén cao, các khối này trở nên dễ nhận thấy, làm giảm độ sắc nét và chi tiết của hình ảnh. Việc giảm thiểu blocking artifact là rất quan trọng để cải thiện chất lượng hình ảnh nén.

2.2. Phân tích Ringing Artifact và giải pháp giảm thiểu hiệu quả

Ringing artifact (hay còn gọi là Gibbs phenomenon) là hiện tượng xuất hiện các đường viền hoặc bóng mờ xung quanh các cạnh sắc nét trong hình ảnh. Hiện tượng này xảy ra do việc cắt bỏ các tần số cao trong quá trình nén, dẫn đến sự tái tạo không chính xác của các cạnh. Ringing artifact thường gây khó chịu cho mắt người xem và làm giảm độ rõ nét của hình ảnh. Các giải pháp giảm thiểu ringing artifact bao gồm sử dụng các bộ lọc làm mịn và các kỹ thuật nén tiên tiến hơn.

2.3. Ảnh hưởng của Flickering Artifact và cách khắc phục triệt để

Flickering artifact là hiện tượng nhấp nháy hoặc rung động trong video, thường xuất hiện do sự thay đổi đột ngột về độ sáng hoặc màu sắc giữa các khung hình liên tiếp. Hiện tượng này có thể gây mỏi mắt và khó chịu cho người xem, đặc biệt là khi xem video trong thời gian dài. Flickering artifact thường xảy ra trong các video nén với tỷ lệ khung hình thấp hoặc khi có sự thay đổi lớn về nội dung giữa các khung hình. Để khắc phục, có thể sử dụng các bộ lọc thời gian để làm mịn sự thay đổi giữa các khung hình và tăng tỷ lệ khung hình của video.

III. Cách Lọc Không Gian Thời Gian Tối Ưu Chất Lượng Ảnh 59 ký tự

Để tối ưu hóa chất lượng ảnh và video, việc áp dụng lọc không gian-thời gian một cách hiệu quả là vô cùng quan trọng. Có nhiều phương pháp khác nhau để thực hiện lọc không gian-thời gian, mỗi phương pháp có ưu điểm và nhược điểm riêng. Việc lựa chọn phương pháp phù hợp phụ thuộc vào loại artifacts cần loại bỏ, đặc điểm của hình ảnh/video, và yêu cầu về hiệu năng của hệ thống. Các nghiên cứu đã chỉ ra rằng việc kết hợp các phương pháp lọc không gian và lọc thời gian có thể mang lại kết quả tốt nhất.

3.1. Ứng dụng Lọc Fuzzy thích ứng để giảm Artifact

Lọc Fuzzy thích ứng là một phương pháp lọc không gian-thời gian phi tuyến tính, sử dụng logic mờ (fuzzy logic) để thích ứng với đặc điểm của hình ảnh và artifacts. Phương pháp này có thể hiệu quả trong việc loại bỏ cả blocking artifact và ringing artifact, đồng thời bảo toàn các chi tiết quan trọng của hình ảnh. Lọc Fuzzy thích ứng thường bao gồm các bước như xác định các vùng bị ảnh hưởng bởi artifacts, tính toán các tham số mờ dựa trên đặc điểm của vùng, và áp dụng bộ lọc mờ để giảm artifacts. Theo nghiên cứu, "bộ lọc Fuzzy thích ứng có khả năng thích ứng với các artifacts".

3.2. Tối ưu hóa Lọc Chuyển động bù trừ không gian thời gian

Lọc chuyển động bù trừ không gian-thời gian (Motion-Compensated Spatio-Temporal Filtering - MCSTF) là một phương pháp tiên tiến, sử dụng thông tin về chuyển động giữa các khung hình để thực hiện lọc thời gian một cách chính xác hơn. Phương pháp này giúp giảm flickering artifact và cải thiện độ sắc nét của video, đặc biệt là trong các cảnh có chuyển động phức tạp. MCSTF thường bao gồm các bước như ước lượng chuyển động giữa các khung hình, bù trừ chuyển động để căn chỉnh các khung hình, và áp dụng bộ lọc không gian-thời gian để giảm artifacts. Nghiên cứu chỉ ra "MCSTF giúp giảm flickering artifact".

3.3. Lọc Kalman trong không gian thời gian Ưu điểm và ứng dụng

Lọc Kalman là một thuật toán lọc tối ưu, có thể được sử dụng để ước lượng trạng thái của một hệ thống động dựa trên chuỗi các phép đo bị nhiễu. Trong lĩnh vực xử lý video, lọc Kalman có thể được sử dụng để ước lượng chuyển động của các đối tượng trong video, giảm nhiễu, và cải thiện chất lượng hình ảnh. Lọc Kalman hoạt động bằng cách kết hợp thông tin từ các phép đo hiện tại và các ước lượng trước đó để tạo ra một ước lượng tốt nhất về trạng thái của hệ thống. Ứng dụng hiệu quả trong các hệ thống giám sát và nhận dạng đối tượng.

IV. Mã Hóa Nén Dữ Liệu Vai Trò Lọc Không Gian Thời Gian 60 ký tự

Lọc không gian-thời gian không chỉ được sử dụng để tối ưu hóa chất lượng ảnh và video sau khi nén, mà còn có thể được tích hợp vào quá trình mã hóa và nén dữ liệu để cải thiện hiệu quả nén và giảm artifacts. Việc sử dụng lọc không gian-thời gian trong quá trình mã hóa có thể giúp giảm sự dư thừa thông tin trong video, cho phép đạt được tỷ lệ nén cao hơn mà không làm giảm đáng kể chất lượng hình ảnh. Hơn nữa, lọc không gian-thời gian có thể được sử dụng để loại bỏ các artifacts trước khi nén, giúp giảm sự phức tạp của quá trình mã hóa và cải thiện hiệu năng của hệ thống.

4.1. Ứng dụng Lọc Trong Vòng Lặp để cải thiện Mã Hóa H.264 AVC

Trong chuẩn mã hóa video H.264/AVC, lọc trong vòng lặp (in-loop filtering) là một kỹ thuật được sử dụng để giảm artifacts và cải thiện chất lượng hình ảnh sau khi giải mã. Lọc trong vòng lặp hoạt động bằng cách áp dụng một bộ lọc lên các khung hình đã được giải mã trước khi chúng được sử dụng làm tham chiếu cho việc mã hóa các khung hình tiếp theo. Việc này giúp giảm sự lan truyền của artifacts trong video và cải thiện hiệu quả nén. Theo nghiên cứu, "Lọc trong vòng lặp mang lại kết quả cao hơn."

4.2. Cắt tỉa dữ liệu dựa trên lọc để nén hiệu quả hơn

Cắt tỉa dữ liệu (data pruning) là một kỹ thuật nén dữ liệu, trong đó các phần ít quan trọng của dữ liệu bị loại bỏ để giảm dung lượng lưu trữ và băng thông truyền tải. Lọc không gian-thời gian có thể được sử dụng để xác định các phần dữ liệu ít quan trọng này, ví dụ như các vùng có độ tương phản thấp hoặc các vùng bị ảnh hưởng bởi artifacts. Bằng cách loại bỏ các phần dữ liệu này, ta có thể đạt được tỷ lệ nén cao hơn mà không làm giảm đáng kể chất lượng hình ảnh. Nghiên cứu cho thấy "cắt tỉa dữ liệu giúp giảm dung lượng."

4.3. Phương pháp nội suy hướng cạnh bậc cao để phục hồi dữ liệu

Nội suy hướng cạnh bậc cao (High Order Edge-Directed Interpolation - NEDI) là một kỹ thuật nội suy được sử dụng để phục hồi các phần dữ liệu bị loại bỏ trong quá trình cắt tỉa dữ liệu. NEDI hoạt động bằng cách sử dụng thông tin từ các pixel lân cận để ước lượng giá trị của các pixel bị thiếu, đồng thời bảo toàn các cạnh và chi tiết quan trọng của hình ảnh. Phương pháp này giúp cải thiện chất lượng hình ảnh sau khi nén và giảm thiểu sự xuất hiện của artifacts. Theo nghiên cứu, "NEDI giúp phục hồi dữ liệu bị loại bỏ."

V. Ứng Dụng Thực Tiễn Kết Quả Nghiên Cứu Lọc 56 ký tự

Lọc không gian-thời gian đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ xử lý ảnh y tế đến video giám sát và giải trí. Trong xử lý ảnh y tế, lọc không gian-thời gian có thể được sử dụng để giảm nhiễu và cải thiện chất lượng hình ảnh từ các thiết bị như máy chụp cắt lớp vi tính (CT) và máy cộng hưởng từ (MRI), giúp bác sĩ chẩn đoán bệnh chính xác hơn. Trong video giám sát, lọc không gian-thời gian có thể được sử dụng để phát hiện chuyển động và theo dõi các đối tượng trong video, giúp tăng cường an ninh và giảm thiểu rủi ro. Trong lĩnh vực giải trí, lọc không gian-thời gian có thể được sử dụng để cải thiện chất lượng video và mang lại trải nghiệm xem tốt hơn cho người dùng.

5.1. Lọc không gian thời gian trong xử lý ảnh y tế Phân tích ứng dụng

Trong xử lý ảnh y tế, lọc không gian-thời gian đóng vai trò quan trọng trong việc cải thiện chất lượng hình ảnh và hỗ trợ chẩn đoán bệnh. Các kỹ thuật như lọc Kalman và lọc Fuzzy thích ứng có thể được sử dụng để giảm nhiễu và cải thiện độ sắc nét của hình ảnh từ các thiết bị y tế. Ví dụ, lọc không gian-thời gian có thể được sử dụng để giảm nhiễu trong hình ảnh MRI, giúp bác sĩ nhìn rõ hơn các cấu trúc bên trong cơ thể và phát hiện các dấu hiệu của bệnh. Theo nghiên cứu, "Lọc không gian thời gian cải thiện ảnh MRI."

5.2. Cải thiện chất lượng video giám sát bằng Lọc không gian thời gian

Trong video giám sát, lọc không gian-thời gian có thể được sử dụng để phát hiện chuyển động và theo dõi các đối tượng trong video một cách chính xác hơn. Bằng cách loại bỏ nhiễu và artifacts, lọc không gian-thời gian giúp cải thiện độ chính xác của các thuật toán phát hiện chuyển động và giảm thiểu số lượng báo động sai. Hơn nữa, lọc không gian-thời gian có thể được sử dụng để cải thiện chất lượng hình ảnh trong điều kiện ánh sáng yếu, giúp tăng cường khả năng giám sát và đảm bảo an ninh. Các nghiên cứu đã chỉ ra rằng "lọc không gian-thời gian tăng cường an ninh."

5.3. Lọc trong giải trí Nâng cao trải nghiệm xem Video

Trong lĩnh vực giải trí, lọc không gian-thời gian có thể được sử dụng để cải thiện chất lượng video và mang lại trải nghiệm xem tốt hơn cho người dùng. Các kỹ thuật như lọc Fuzzy thích ứng và MCSTF có thể được sử dụng để giảm artifacts, tăng độ sắc nét, và làm mịn chuyển động trong video. Điều này đặc biệt quan trọng đối với các video có độ phân giải thấp hoặc bị nén quá mức. Các nền tảng streaming video như YouTube và Netflix sử dụng lọc không gian-thời gian để đảm bảo rằng người dùng có thể xem video với chất lượng tốt nhất, bất kể điều kiện mạng hoặc thiết bị của họ.

VI. Tương Lai Lọc Không Gian Thời Gian Tiềm Năng Hướng Phát Triển 59 ký tự

Lọc không gian-thời gian là một lĩnh vực nghiên cứu đang phát triển nhanh chóng, với nhiều tiềm năng và hướng phát triển trong tương lai. Các nhà nghiên cứu đang tiếp tục khám phá các thuật toán lọc mới và cải tiến, cũng như tìm kiếm các ứng dụng mới cho lọc không gian-thời gian trong nhiều lĩnh vực khác nhau. Trong tương lai, có thể kỳ vọng rằng lọc không gian-thời gian sẽ đóng vai trò ngày càng quan trọng trong việc tối ưu hóa chất lượng ảnh và video, cải thiện hiệu quả mã hóa và nén dữ liệu, và mang lại trải nghiệm xem tốt hơn cho người dùng.

6.1. Các xu hướng nghiên cứu mới nhất trong lĩnh vực lọc

Các xu hướng nghiên cứu mới nhất trong lĩnh vực lọc không gian-thời gian bao gồm việc sử dụng các mạng nơ-ron sâu (deep neural networks) để học các bộ lọc phức tạp, phát triển các thuật toán lọc thích ứng với nội dung (content-adaptive filtering), và tích hợp lọc không gian-thời gian với các kỹ thuật xử lý ảnh khác như siêu phân giải (super-resolution) và khử nhiễu (denoising). Các nghiên cứu này hứa hẹn sẽ mang lại những cải tiến đáng kể trong hiệu quả và tính linh hoạt của lọc không gian-thời gian. Theo nghiên cứu, "Deep neural networks sẽ thay đổi phương pháp lọc".

6.2. Ứng dụng tiềm năng của lọc trong các lĩnh vực mới nổi

Lọc không gian-thời gian có nhiều ứng dụng tiềm năng trong các lĩnh vực mới nổi, chẳng hạn như thực tế ảo (virtual reality - VR) và thực tế tăng cường (augmented reality - AR). Trong các ứng dụng VR/AR, lọc không gian-thời gian có thể được sử dụng để cải thiện chất lượng hình ảnh và giảm độ trễ (latency), giúp mang lại trải nghiệm sống động và chân thực hơn cho người dùng. Ngoài ra, lọc không gian-thời gian cũng có thể được sử dụng trong xe tự lái (autonomous vehicles) để cải thiện khả năng nhận dạng đối tượng và giảm thiểu rủi ro tai nạn. Các nghiên cứu đã chỉ ra "Lọc không gian thời gian giúp xe tự lái an toàn hơn."

6.3. Kết hợp lọc với trí tuệ nhân tạo để tối ưu hóa hiệu quả

Việc kết hợp lọc không gian-thời gian với trí tuệ nhân tạo (artificial intelligence - AI) có thể mang lại những lợi ích đáng kể trong việc tối ưu hóa hiệu quả và tính linh hoạt của các hệ thống xử lý ảnh và video. Ví dụ, các thuật toán AI có thể được sử dụng để tự động điều chỉnh các tham số của bộ lọc dựa trên đặc điểm của hình ảnh/video, giúp đạt được kết quả tốt nhất trong mọi tình huống. Hơn nữa, AI có thể được sử dụng để phát hiện và phân loại các loại artifacts khác nhau, cho phép áp dụng các phương pháp lọc chuyên biệt để loại bỏ từng loại artifact một cách hiệu quả. Các nghiên cứu gần đây cho thấy "kết hợp AI và Lọc giúp tối ưu hiệu quả xử lý ảnh.".

Trích đoạn nội dung tài liệu

UNIVERSITY OF CALIFORNIA, SAN DIEGO Spatio-Temporal Filtering For Image And Video Processing: Applications On Quality Enhancement, Coding and Data Pruning A dissertation submitted in partial satisfaction of the requirements for the degree Doctor of Philosophy in Image and Signal Processing by Dũng Trung Võ Committee in charge: Professor Truong Q. Nguyen, Chair Professor Pamela C. Cosman Professor William S. Hodgkiss Professor Yoav Freund Professor Alon Orlitsky 2009 Copyright Dũng Trung Võ, 2009 All rights reserved.

The dissertation of Dũng Trung Võ is approved, and it is acceptable in quality and form for publi- cation on microfilm & electronically: Chair University of California, San Diego 2009 iii TABLE OF CONTENTS Signature Page. iii Table of Contents. iv List of Figures. vii List of Tables.

xi Vita and Publications. xiii Abstract of the Dissertation .1 Image and Video Processing Systems .3 Methods on Artifact Reduction .1 Spatio-Temporal Filtering for Quality Enhancement .2 Spatio-Temporal Filtering for Coding .3 Data Pruning-Based Compression. 14 2 Quality Enhancement for Motion JPEG using Temporal Redundancies .1 Translational Relation of DCT Coefficients .2 Quality Enhancement using Temporal Redundancies .3 Quality Enhancement for Real Video Sequences .4 Optimal Adaptive Filter for Arbitrary Number of Referenced Frames 24 2.1 Motion Vectors for Enhancement Process .2 Enhancement in the Ideal Case .3 Enhancement in Real Video Sequences. 37 3 Adaptive Fuzzy Filtering for Artifact Reduction in Compressed Images and Videos .2 Directional Fuzzy Spatial Filter .1 Directional Spread Parameter .2 Edge-based Directional Fuzzy Filter .3 Adaptive Fuzzy Compensated Spatio- Temporal Filter .4 Motion Compensated Metric for Flickering Artifact Evaluation .1 Enhancement for Compressed Images .2 Enhancement for Compressed Video Sequences.

61 4 Optimal Motion-Compensated Spatio-Temporal Filter for Quality En- hancement and Coding of H.264/AVC Video Sequences .1 In-loop Motion Compensated Spatio- Temporal Filter .2 Optimal Motion Compensated Spatio- Temporal Filter .3 Overlapped Motion Compensation .4 Optimal Weight for Inter-frame Coding .1 In-loop Motion Compensated Spatio-Temporal Filters .2 Optimal Motion Compensated Spatio-Temporal Linear Filter .3 Optimal Weight for Bi-predictive Coding. 83 5 Selective Data Pruning-Based Compression using High Order Edge-Directed Interpolation .1 Rate-Distortion Relation .2 Data Prune-Based Compression .3 Optimal Data Pruning .4 High Order Edge-Directed Interpolation .1 Single Frame-Based Interpolation .2 Multi-Frame-Based Interpolation .1 High Order Edge-Directed Interpolation .2 Data Pruning-Based Compression. 105 6 Conclusions and Future Works .1 Spatio-temporal Filtering for Quality Enhancement .2 Spatio-Temporal Filtering for Coding .3 Spatio-Temporal Filtering for Data Pruning .1 Spatio-temporal Filtering for Quality Enhancement .2 Spatio-temporal Filtering for Coding .3 Spatio-temporal Filtering for Data Pruning .4 Spatio-temporal Estimation for Video Processing. 113 vi LIST OF FIGURES Figure 1.1: Block diagram of an image and video processing system.2: An example of blocking artifacts for one zoomed-in part of 6th frame of Foreman sequence.3: An example of blocking artifacts over columns of 123rd row of Fig.4: An example of ringing artifacts in a synthesized image.5: An example of ringing artifacts over columns of 31st row of Fig.6: An example of ringing artifacts in a zoomed-in part of 6th frame of Mobile sequence.7: An example of flickering artifacts.8: Comparison between coding artifacts and Gaussian noise.9: The correlation between the current frame of compressed Mo- bile sequence and its surrounding frames.10: Block diagram of spatio-temporal filtering systems for quality enhancement.11: Block diagram of spatio-temporal filtering systems for coding.12: Block diagram of spatio-temporal filtering systems for data pruning.1: Translation between blocks of image xs and x.2: The original and linearized quantization functions.3: Block diagram of the enhancement algorithm.4: MSE for motion vectors (mb0 , nb0 ) = (0, 0) : (7, 7) and (mf0 , nf0 ) = (−7, −7) : (0, 0).5: Quality enhancement for ideal case - 6th frame of Mobile sequence.6: Quality enhancement for ideal case - 6th frame of Foreman sequence.7: Quality enhancement for City sequence.8: PSNR improvement for City frames compressed with quanti- zation matrix Q.9: PSNR for different options with integer pixel ME accuracy.10: PSNR for different options with half pixel ME accuracy.1: An example of directional JPEG artifacts with scaling factor of 4 for the quantization step matrix.2: Angle and spread parameter for directional fuzzy filter.3: Angles θ and θ0 of the edge-based directional fuzzy filter.4: Flow chart of the directional fuzzy filter.5: Block diagram of the adaptive fuzzy MCSTF.6: An example where the flickering metric in [4] has problem.7: Result of using a fuzzy filter.8: Pixel classification for directional filtering.9: Pixel classification for directional filtering.10: Comparison of filtered results.11: Zoomed images for comparison of filtered results.12: Comparison on the contribution of spatial and directional adap- tations.13: Zoomed images for comparison of Fig.14: Comparison of filter results for MJPEG sequences.15: Zoomed views for images in Fig.16: Comparison on PSNR of simulated methods for Mobile sequence.17: Comparison on flickering artifacts of simulated methods for Mobile sequence.18: Comparison of filter results for H.19: Comparison of PSNR for all frames in the Foreman sequence.20: Comparison of flickering metric for all frames in the Foreman sequence.21: Comparison of PSNR with different bit-rates of the Foreman sequence.1: Block diagram of the H.264/AVC encoder with in-loop MCSTF.2: In-loop coding and enhancement for GOP IBP.

The first row is the compressed sequence using conventional encoding scheme, the last rows is the compressed sequence using encoding scheme with in-loop enhancement and the middle rows explain step by step the encoding scheme with in-loop enhancement.3: Blocking artifacts of the motion compensated frames.4: Blocking artifacts in using cross-block and in-block cubics of MCSTF and MCTF.5: Overlapped blocks for motion compensation.6: Bi-predictive coding scheme.7: Comparison between conventional and proposed in-loop en- hancement H.8: Enhancement for 3rd frame of Foreman sequence.9: Zoom-ined part of Fig.10: PSNR and flickering artifact comparison for frame in Foreman sequences.11: Comparison in R-D curves for bi-predictive coding with differ- ent weight prediction option.12: Bi-predictive coding for 19th frame of Crew sequence.1: Block diagram of the data pruned-based compression.2: Block diagram of the data pruning phase.3: Data pruning for the 1st frame of Akiyo sequence.4: Block diagram of the single frame-based interpolation phase.5: Model parameters of sixth-order and eighth-order edge-directed interpolation.6: Block diagram of the proposed multi-frame-based interpolation for case of upsampling with ratio 1 × 2.7: Model parameters of 9th order edge-directed interpolation.8: Comparison of NEDI-6 and NEDI-9 to other methods.9: Comparison of NEDI-8 to other methods.10: Comparison results for R-D curves of single frame data pruning- based compression.11: Comparison of NEDI-6 to other interpolation methods in case of single frame data pruning-based compression.12: One zoomed in part of Fig.13: Comparison results for multi-frame data pruning-based com- pression.264/AVC compression and optimal data pruning-based compression with same bit-rate and PSNR values.264/AVC compression and optimal data pruning-based compression with same bit-rate and PSNR values. 105 ix LIST OF TABLES Table 2.1: PSNR enhancement in dB for ideal sequences.2: Comparison in PSNR improvement for different scenarios.1: Comparison of PSNR in units of dB for different methods.2: Percentage of the classified pixels.3: Comparison of PSNR in units of dB of Different Classified Pixels and of Spatial and Directional Adaptations.1: Operation of each step in Fig.2: PSNR and bitrate values for bi-predictive coding options. 99 x ACKNOWLEDGEMENTS First and foremost, I would like to express my deep admiration and true thanks to my advisor, Prof. His kindness makes me feel valued and comfortable during my studies at UC San Diego.

He motivates me every time I have a chance to discuss ideas or report progress with him. Undoubtedly, he inspires my research while still permits me a freedom in searching for new things. I also want to take this opportunity to thank the committee members: Prof. Yoav Freund and Prof.

Alon Orlitsky for their time and valuable comments. The suggestions of the committee members from my qualify exam substantially improved the quality of my thesis. Most of my knowledge on image processing comes from the course Digital Image Processing of Prof. Pamela Cosman in Fall 2005, and I would like to thank for her insightful lectures.

During the summer of 2007 I did my internship under the mentoring of Dr. Sehoon Yea and Dr. Anthony Vetro at Mitsubishi Electrics Research Laboratories. Their friendly and helpful support enriched my working experience and made me feel at home during the time I lived in Boston.

I still remember Dr. Anthony Vetro run quickly through the company aisles to save time. The work on data pruning-based compression would not be possible without the help of Dr Joel Solé and Dr Peng Yin at Thomson Corporate Research, where I spent the internship at Princeton in the summer of 2008. Their support during that time and when I came back UC San Diego encouraged me to keep working on this topic.

I would like send them great thanks for their approval of the topic and especially for the friendly discussions every Thursday. I would like to thank Prof. Jong-Ki Han, his student Chan-Won Seo and Daqian Jin from Motorola for their help in the project on video coding. This work was also encouraged by my professors and colleagues at my prior university, the Ho Chi Minh University of Technology.

I am grateful to Assoc. Thuong Le-Tien, Dr. Chien Hoang-Dinh and Assoc. Thanh Vu-Dinh for their understanding and support.

My labmates entertained and inspired me during the time I have studied at xi UC San Diego. I send my warm thanks to Cheolhong An, Min Li, Shay Harnoy, Ryan Prendergast, Stanley Chan, Vikas Ramachandra for their help and discus- sions. My motivation of quality enhancement lately comes from the beauty of the U. The most perfect images remain there forever and will always be the target for image processing.

Finally, I dedicate my dissertation to my parents, B ô´ và Me., for their un- conditional and unbounded love and also to my older sister, my brother-in-law and my younger sister, Chi., Anh, và Em gái, for their care of my parents during the last three and a half years. xii VITA 1980 Born, Dong Thap, Viet Nam. 2002 Bachelor, Electrical and Electronics, Ho Chi Minh City University of Technology, Viet Nam., Electrical and Electronics, Ho Chi Minh City University of Technology, Viet Nam. 2002-2005 Teaching Assistant, Center For Overseas Studies, Ho Chi Minh City University of Technology, Viet Nam.

2002-present Lecturer, Faculty of Electrical and Electronics Engineering, Ho Chi Minh City University of Technology, Viet Nam. 2005-2009 Research Assistant, University of California, San Diego. Summer 2007 Intern, Mitsubishi Electric Research Laboratories (MERL), Cambridge, MA. Summer 2008 Intern, Thomson Corporate Research, Princeton, New Jersey.

Research Engineer, Digital Media Solutions Lab, Samsung Information Systems America Inc., Electrical Engineering (Image and Signal Processing), University of California, San Diego. PUBLICATIONS Dũng T. Võ, Chan-Won Seo, Daqian Jin, Jong-Ki Han and Truong Q. Nguyen, “Optimal Motion-Compensated Spatio-Temporal Filter for Quality Enhancement and Coding of H.264/AVC Video Sequences”, submitted to the IEEE Transactions on Image Processing, March 2009.

Võ, Joel Sole, Peng Yin, Cristina Gomila and Truong Q. Nguyen, “Selec- xiii tive Data Pruning-Based Compression using High Order Edge-Directed Interpola- tion”, submitted to the IEEE Transactions on Image Processing, January 2009. Võ, Truong Nguyen, Sehoon Yea, Anthony Vetro, “Adaptive Fuzzy Fil- tering For Artifact Reduction In Compressed Images And Videos”, accepted for publication in the IEEE Transactions on Image Processing, 2008. Võ, Truong Nguyen, “Quality Enhancement for Motion JPEG using Tem- poral Redundancies”, the IEEE Transactions on Circuits and Systems for Video Technology, vol.

Thuong Le-Tien, Chien Hoang Dinh, Dinh Viet Hao, Dũng T. Võ, “Neural Net- works - Based Equalizer Model Implemented To The DSP TMS320C6711”, Journal Of Science and Technology, Viet Nam, No. 40 + 41 /2003, ISBN 0868-3980, Viet Nam, 2003. Võ and Truong Nguyen, “Optimal Spatio-temporal Motion Compensated Filters for Quality Enhancement of H.264/AVC Compressed Sequences”, submitted to the 2009 IEEE Conference on Image Processing.

Chan, Dũng T. Võ and Truong Q. Nguyen, “Subpixel Motion Estima- tion For Translational Motions”, submitted to the 2009 IEEE Conference on Image Processing. Võ, Joel Sole, Peng Yin, Cristina Gomila and Truong Q.

Nguyen, “Data Pruning-Based Compression using High Order Edge-Directed Interpolation”, to appear in IEEE Conference on Acoustics, Speech and Signal Processing, Taiwan, 2009.