Tổng quan luận án

Luận án tiến sĩ mang tên "Spatio-Temporal Filtering For Image And Video Processing: Applications On Quality Enhancement, Coding and Data Pruning" (Lọc không - thời gian trong xử lý ảnh và video: Ứng dụng trong nâng cao chất lượng, mã hóa và cắt tỉa dữ liệu) do nghiên cứu sinh Dũng Trung Võ (Dũng Trung Võ) thực hiện tại Đại học California, San Diego (UCSD) năm 2009, dưới sự hướng dẫn của Giáo sư Trương Q. Nguyễn (Truong Q. Nguyen) cùng hội đồng đánh giá gồm các Giáo sư: Pamela C. Cosman, William S. Hodgkiss, Yoav Freund và Alon Orlitsky. Luận án thuộc chuyên ngành Xử lý Ảnh và Tín hiệu (Image and Signal Processing) trong khuôn khổ ngành Kỹ thuật Điện và Điện tử.

Tính cấp thiết và khoảng trống nghiên cứu

Trong các hệ thống xử lý ảnh và video số, việc nén dữ liệu là bắt buộc nhằm loại bỏ dư thừa không gian (spatial), dư thừa thời gian (temporal) và dư thừa thị giác (visual) để giảm dung lượng lưu trữ cũng như băng thông truyền tải. Tuy nhiên, quá trình lượng hóa thô (coarse quantization) trong các bộ mã hóa dựa trên khối (block-based compression) đã phá vỡ sự tương quan tự nhiên giữa các điểm ảnh, gây ra các hiện tượng méo dạng mã hóa (coding artifacts). Các biến dạng này gồm biến dạng không gian như hiệu ứng khối (blocking artifacts), hiệu ứng gợn sóng (ringing artifacts), và biến dạng thời gian như hiệu ứng muỗi (mosquito artifacts) cùng hiệu ứng nhấp nháy (flickering artifacts).

Khoảng trống nghiên cứu được tác giả xác định cụ thể như sau:

  1. Phần lớn các phương pháp nâng cao chất lượng hậu xử lý (post-processing) trước đây chỉ tập trung xử lý độc lập từng khung hình đơn lẻ (single-frame based), bỏ qua tính nhất quán thời gian (temporal consistency) giữa các khung hình liên tiếp.
  2. Các đặc tính định hướng (directional) và phụ thuộc dữ liệu (data-dependent) của méo dạng mã hóa chưa được khai thác triệt để; méo dạng nén thường bị đồng nhất sai lệch với nhiễu Gauss cộng (additive Gaussian noise), dẫn đến hiện tượng làm mờ (blurring) các chi tiết cạnh quan trọng khi lọc.
  3. Việc đánh giá hiệu ứng nhấp nháy thời gian còn thiếu một thước đo định lượng phản ánh đúng đặc tính bám vết chuyển động của mắt người (human visual tracking).
  4. Các giải pháp lọc hậu xử lý chưa được tích hợp tối ưu ngược trở lại vòng lặp mã hóa (in-loop filtering) hoặc kết hợp với các kỹ thuật giảm kích thước dữ liệu trước mã hóa (pre-processing data pruning).

Mục tiêu và câu hỏi nghiên cứu

Luận án giải quyết ba mục tiêu nghiên cứu chính được cấu trúc theo 3 ứng dụng:

  1. Mục tiêu 1 (Nâng cao chất lượng hậu xử lý): Xây dựng các mô hình lọc thời gian tuyến tính và lọc mờ không - thời gian phi tuyến có bù chuyển động nhằm loại bỏ đồng thời méo dạng không gian và thời gian.
  2. Mục tiêu 2 (Mã hóa trong vòng lặp): Tích hợp bộ lọc không - thời gian bù chuyển động tối ưu vào bộ mã hóa H.264/AVC để tạo khung hình tham chiếu nâng cao và tối ưu hóa trọng số dự đoán cho khung hình song hướng (B-frame).
  3. Mục tiêu 3 (Cắt tỉa dữ liệu trước mã hóa): Phát triển kỹ thuật cắt tỉa dữ liệu chọn lọc kết hợp thuật toán nội suy định hướng cạnh bậc cao (High Order Edge-Directed Interpolation) để cải thiện đường cong tỷ suất - độ méo dạng (Rate-Distortion).

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Tín hiệu ảnh tĩnh và chuỗi video số nén theo các chuẩn khối: JPEG, Motion JPEG (MJPEG), MPEG-2 và H.264/AVC; các thuật toán lọc không gian, lọc thời gian và nội suy tái tạo tín hiệu.
  • Phạm vi không gian: Các khối kích thước $8 \times 8$ điểm ảnh (chuẩn JPEG/MJPEG), các khối $4 \times 4$ và $16 \times 16$ (chuẩn H.264/AVC); các mức độ phân giải chuẩn của chuỗi video thử nghiệm (như Mobile, Foreman, City, Akiyo, Crew).
  • Phạm vi thời gian: Khảo sát các khung hình lân cận trong cửa sổ thời gian trượt (từ 2 khung hình lân cận $t-1, t+1$ đến cấu hình tùy ý $L$ khung hình quá khứ và $M$ khung hình tương lai).

Tổng quan tài liệu và vị trí của luận án

Tác giả hệ thống hóa toàn diện các công trình nghiên cứu đi trước liên quan đến việc xử lý từng loại méo dạng mã hóa:

1. Các nghiên cứu về giảm hiệu ứng khối (Blocking Artifacts)

  • Biến đổi trực giao chồng lấn (LOT): Malvar và Staelin [8] đề xuất tăng mức độ phụ thuộc giữa các khối liền kề nhưng không tương thích với chuẩn giải mã JPEG thông thường.
  • Xử lý trong miền không gian điểm ảnh: Kỹ thuật lọc thông thấp [9], lọc trung vị thích nghi [10], lọc phi tuyến biến đổi không gian [11]; các phương pháp tối ưu hóa như bình phương tối thiểu có ràng buộc (CLS) [12] và ước lượng cực đại xác suất hậu nghiệm (MAP) [13] có độ phức tạp tính toán rất cao; phương pháp chiếu lên tập lồi (POCS) đa khung hình của Choi et al. [14] đòi hỏi trích xuất thông tin chuyển động và lượng hóa từ dòng bit; Xiong et al. [15] dùng biểu diễn wavelet dư thừa để khử nhiễu lượng hóa tại ranh giới khối dựa trên tương quan đa tỷ lệ; List et al. [16] phát triển bộ lọc deblocking thích nghi trong vòng lặp của chuẩn H.264/AVC.
  • Xử lý trong miền hệ số DCT: Tien và Hang [17] khớp hệ số DCT với tập mẫu được huấn luyện trước; Jeon và Jeong [18] bù trừ hệ số DCT để giảm thiểu độ gián đoạn biên khối; Nosratinia [19] lấy trung bình ảnh giải mã với 15 phiên bản dịch chuyển; Chen et al. [20] dùng bộ lọc thông thấp có trọng số thích nghi dựa trên độ nhạy hệ thị giác người (HVS); Liu và Bovik [21] xây dựng cấu trúc khối dịch chuyển ngang qua hai khối lân cận và đo lường độ hiển thị cục bộ của biên khối.

2. Các nghiên cứu về giảm hiệu ứng gợn sóng (Ringing Artifacts)

  • Hu et al. [22] dùng toán tử Sobel phát hiện cạnh rồi áp dụng lọc thông thấp cục bộ; Kong et al. [23] phân loại bản đồ cạnh thành khối phẳng, khối cạnh và khối vân bề mặt bằng phương sai của cửa sổ $3 \times 3$; Oguz et al. [24] dùng toán tử hình thái học nhị phân (binary morphological) để xác định vùng gợn sóng nổi bật và áp dụng lọc làm mịn phi tuyến mức xám; phương pháp định hình nhiễu (noise shaping) tại bộ mã hóa của [25] nhằm tìm hệ số DCT tối ưu thích nghi phương sai nhiễu.

3. Các nghiên cứu về méo dạng thời gian (Mosquito và Flickering Artifacts)

  • Đối với hiệu ứng muỗi, [26] dùng bộ lọc trung vị không - thời gian trong miền biến đổi cho các khối $8 \times 8$ lân cận nhưng hiệu quả bị giới hạn do thiếu bù chuyển động.
  • Đối với hiệu ứng nhấp nháy, các nghiên cứu tập trung ở chế độ mã hóa nội khung (intra-frame): [5] tối ưu hóa chế độ dự đoán nội khung dựa trên sai số lượng hóa; [6] đưa số hạng nhấp nháy vào hàm mục tiêu chi phí; [4] giảm nhấp nháy trong chuẩn Motion JPEG 2000.

Vị trí và khoảng trống luận án giải quyết

Luận án định vị trọng tâm vào việc khắc phục các giới hạn của phương pháp tiền nhiệm: thay vì xử lý đơn khung hình hoặc áp dụng các bộ lọc tuyến tính tĩnh gây nhòe cạnh, tác giả tận dụng triệt để tương quan thời gian giữa các khung hình liên tiếp thông qua bù chuyển động; thiết kế các bộ lọc mờ (fuzzy filter) thích nghi định hướng theo cạnh không gian và tương quan thời gian; đồng thời mở rộng mô hình lọc vào tối ưu hóa mã hóa trong vòng lặp và kết hợp kỹ thuật nén dựa trên cắt tỉa dữ liệu.

Cơ sở lý thuyết và phương pháp nghiên cứu

1. Cơ sở lý thuyết và các khái niệm cốt lõi

  • Mô hình hệ thống xử lý ảnh và video: Chu trình tín hiệu gồm: Tín hiệu gốc $\rightarrow$ Tiền xử lý (Pre-Process) $\rightarrow$ Mã hóa (Encode) $\rightarrow$ Truyền dẫn (Transmit) $\rightarrow$ Giải mã (Decode) $\rightarrow$ Hậu xử lý (Post-Process) $\rightarrow$ Hiển thị (Displayed Signal).
  • Bản chất của méo dạng mã hóa so với nhiễu Gauss: Nhiễu Gauss được mô hình hóa là nhiễu trắng cộng có phân phối đều trên toàn bộ điểm ảnh. Ngược lại, méo dạng mã hóa có tính chất phụ thuộc dữ liệu và có hướng: hiệu ứng khối xuất hiện tại biên ngang và dọc của khối $8 \times 8$; hiệu ứng gợn sóng xuất hiện dọc theo các cạnh có độ tương phản mạnh do mất thành phần tần số cao (tương tự hiện tượng Gibbs); hiệu ứng nhấp nháy xảy ra theo chiều thời gian tại cùng một vị trí không gian do bước lượng hóa không đồng nhất giữa các khung hình liên tiếp ($\Delta I(t, m, n) \neq \Delta O(t, m, n)$).
  • Quan hệ tịnh tiến của hệ số DCT: Với khối ảnh dịch chuyển $x_s(m, n) = x(m+m_0, n+n_0)$ phân bố trên 4 khối lân cận ($i, ii, iii, iv$), hệ số biến đổi DCT Loại II $X_s(u, v)$ liên hệ phi tuyến với hệ số $X(u, v)$ thông qua toán tử hàm $F(X, m_0, n_0)$ và các biến đổi DCT/DST phụ trợ ($X^{CS}, X^{SC}, X^{SS}$).
  • Lý thuyết tập mờ (Fuzzy Logic) trong lọc phi tuyến: Sử dụng hàm mờ có quan hệ thứ hạng không gian thực (real-valued spatial-rank) và tham số độ trải rộng (spread parameter) điều khiển mức độ làm mịn, giúp lấy trung bình ở vùng phẳng nhưng bảo toàn điểm ảnh tại vùng cạnh.

2. Phương pháp nghiên cứu

Luận án áp dụng phương pháp nghiên cứu thực nghiệm định lượng kết hợp với mô hình hóa toán học giải tích:

  • Mô hình giải tích: Tuyến tính hóa hàm lượng hóa để ước lượng sai số kỳ vọng $\sigma_{Eq}^2(u_0, v_0) = \frac{Q^2(u_0, v_0)}{12}$; thiết lập bài toán tối ưu hóa Lagrange có ràng buộc $\sum h(j) = 1$ để tìm hệ số lọc tối ưu.
  • Thuật toán ước lượng chuyển động (Motion Estimation - ME): Phương pháp khớp khối (block matching) trong miền điểm ảnh với kích thước cửa sổ tìm kiếm $23 \times 23$, khảo sát các mức độ chính xác: số nguyên điểm ảnh (integer pixel), nửa điểm ảnh (half pixel, $1/2$) và một phần tư điểm ảnh (quarter pixel, $1/4$).
  • Nguồn dữ liệu thực nghiệm: Các chuỗi video chuẩn quốc tế: Mobile, Foreman, City, Akiyo, Crew ở các định dạng nén MJPEG, JPEG, JPEG 2000, MPEG-2 và H.264/AVC, với các ma trận bước lượng hóa $Q, 2Q, 4Q, 6Q$.
  • Chỉ số đánh giá định lượng: Tỷ số tín hiệu trên nhiễu đỉnh (PSNR tính bằng dB), Sai số toàn phương trung bình (MSE), và Thước đo đánh giá hiện tượng nhấp nháy có bù chuyển động (Motion Compensated Flickering Metric).

Nội dung chính theo từng chương

Chương 1: Image and Video Processing Systems (Hệ thống xử lý ảnh và video)

Chương 1 thiết lập bức tranh tổng thể về các khối chức năng trong hệ thống xử lý ảnh và video số từ tiền xử lý, mã hóa, truyền dẫn, giải mã đến hậu xử lý. Tác giả phân tích nguồn gốc hình thành của 4 loại méo dạng nén cốt lõi (khối, gợn sóng, muỗi, nhấp nháy), đồng thời so sánh cấu trúc thống kê giữa méo dạng nén và nhiễu Gauss. Chương 1 làm rõ động lực nghiên cứu: đồ thị tương quan chéo giữa khung hình hiện tại và các khung hình lân cận của chuỗi Mobile cho thấy mức độ tương quan thời gian còn lại là rất lớn. Do đó, việc khai thác thông tin từ các khung hình xung quanh kết hợp với phân loại vùng chi tiết và vùng phẳng là cơ sở để phát triển các kỹ thuật lọc không - thời gian.

Chương 2: Quality Enhancement for Motion JPEG using Temporal Redundancies (Nâng cao chất lượng Motion JPEG sử dụng dư thừa thời gian)

Chương 2 phân tích giải tích sai số lượng hóa thời gian cho chuẩn MJPEG. Bằng cách tuyến tính hóa hàm lượng hóa, một khối dịch chuyển $\hat{x}_{s,q}^d(m, n) = x_q(m+m_0, n+n_0)$ được ước lượng để tái tạo các hệ số DCT tần số cao bị cắt cụt.

  • Mô hình lọc thời gian 3 khung hình: Lấy trung bình khối hiện tại và hai khối bù chuyển động lùi ($x_q^b$) và tiến ($x_q^f$): $$\bar{x}_q(t, m, n) = \frac{1}{3} \left[ x_q^b(t, m, n) + x_q(t, m, n) + x_q^f(t, m, n) \right]$$
  • Điều kiện nâng cao chất lượng: Với ma trận lượng hóa chuẩn $Q$, tổng sai số lượng hóa gốc là $\sum \sum \frac{Q^2(u_0, v_0)}{12} = 24.002$. Giá trị MSE tái tạo lớn nhất ứng với vector chuyển động $(m_0^b, n_0^b) = (7, 7)$ và $(m_0^f, n_0^f) = (-7, -7)$ đạt $12.470 < 24.002$. Đối với chuỗi video thực tế có tín hiệu sai lệch dư $\Delta x^b, \Delta x^f$, điều kiện để phép lọc cải thiện chất lượng được xác lập qua ngưỡng tổng bình phương sai số: $$\sum_{m=0}^{N-1}\sum_{n=0}^{N-1} \left[ |\Delta x_q^b(m, n)|^2 + |\Delta x_q^f(m, n)|^2 \right] \le \frac{9}{2}(24.002 - 12.470) = 51.894$$
  • Bộ lọc tối ưu cho $L$ khung hình quá khứ và $M$ khung hình tương lai: Sử dụng nhân tử Lagrange giải phương trình tối ưu, tìm ra hệ số lọc thích nghi: $$h(j) = \frac{1}{A_j \sum_{p=-L}^M \frac{1}{A_p}}$$ trong đó $A_0 = \sum_{u_0=0}^{N-1}\sum_{v_0=0}^{N-1} \frac{Q^2(u_0, v_0)}{12}$, và $A_j$ ($j \neq 0$) là hàm phụ thuộc vào ma trận trọng số $K_l^j$ của 4 khối lân cận.

Dữ liệu thực nghiệm so sánh chất lượng tái tạo (PSNR, tính bằng dB) cho khung hình thứ 6 của chuỗi Mobile được tổng hợp trong bảng sau:

Ma trận lượng hóa Ảnh giải mã (Decoded) Phương pháp Chen [20] Phương pháp Liu [21] Phương pháp 5/3 MCTF [33] Phương pháp đề xuất (Proposed) Bộ lọc tối ưu (Optimal)
Ma trận chuẩn $Q$ 25,10 dB 25,30 dB 25,44 dB 25,54 dB 25,88 dB 25,99 dB
Ma trận $2Q$ 23,23 dB 23,36 dB 23,47 dB 23,50 dB 23,77 dB 23,83 dB
Ma trận $4Q$ 20,89 dB 20,87 dB 20,91 dB 21,05 dB 21,28 dB 21,33 dB
Ma trận $6Q$ 19,46 dB 19,40 dB 19,38 dB 19,57 dB 19,86 dB 19,93 dB

Đối với chuỗi Foreman (khung hình 6, ma trận $4Q$), phương pháp đề xuất đạt 28,84 dB so với ảnh giải mã gốc 28,32 dB, Chen (28,47 dB), Liu (28,37 dB) và 5/3 MCTF (28,53 dB). Đối với chuỗi City nén với ma trận $Q$ (ảnh giải mã đạt 31,12 dB), việc tăng độ chính xác của ước lượng chuyển động giúp nâng cao PSNR rõ rệt: số nguyên điểm ảnh đạt 31,60 dB, nửa điểm ảnh ($1/2$) đạt 32,12 dB và một phần tư điểm ảnh ($1/4$) đạt 32,35 dB.

Chương 3: Adaptive Fuzzy Filtering for Artifact Reduction in Compressed Images and Videos (Lọc mờ thích nghi để giảm méo dạng trong ảnh và video nén)

Chương 3 giải quyết hiện tượng nhòe cạnh của bộ lọc tuyến tính khi nén ở tỷ số cao bằng cách phát triển bộ lọc mờ không - thời gian thích nghi (Adaptive Fuzzy MCSTF):

  • Lọc không gian mờ định hướng cho ảnh tĩnh: Tính toán góc $\theta, \theta_0$ và tham số độ trải rộng định hướng. Bộ lọc áp dụng cường độ làm mịn mạnh nhất theo hướng vuông góc với cạnh (nơi méo dạng gợn sóng không tương quan với cấu trúc gốc) và làm mịn yếu hơn dọc theo hướng cạnh để bảo tồn đường nét. Biên độ tham số trải rộng được điều khiển tự động theo độ lệch chuẩn cục bộ của cửa sổ điểm ảnh.
  • Lọc mờ không - thời gian có bù chuyển động cho video: Sử dụng giá trị tương quan chéo giữa cửa sổ trung tâm của điểm ảnh quan tâm và cửa sổ của các điểm ảnh lân cận để xác định hệ số co giãn phụ thuộc vị trí của tham số trải rộng.
  • Thước đo đánh giá nhấp nháy có bù chuyển động: Xây dựng công thức định lượng mức độ biến thiên thời gian có tính đến quỹ đạo chuyển động nhằm khắc phục nhược điểm của các thước đo nhấp nháy tĩnh trước đó.

Chương 4: Optimal Motion-Compensated Spatio-Temporal Filter for Quality Enhancement and Coding of H.264/AVC Video Sequences (Bộ lọc không - thời gian bù chuyển động tối ưu cho nâng cao chất lượng và mã hóa chuỗi video H.264/AVC)

Chương 4 đưa bộ lọc không - thời gian từ hậu xử lý vào trực tiếp trong vòng lặp mã hóa (in-loop MCSTF) của chuẩn H.264/AVC:

  • Khung hình tham chiếu được nâng cao chất lượng trước khi dùng cho dự đoán chuyển động của các khung hình tiếp theo (cấu trúc GOP IBP), giúp giảm sai số phần dư (residual signal).
  • Tác giả giải bài toán tìm bộ lọc tuyến tính không - thời gian tối ưu tại bộ mã hóa bằng cách cực tiểu hóa sai số MSE giữa khung hình tái tạo và khung hình gốc chưa nén; các hệ số lọc tối ưu này sau đó được truyền tới bộ giải mã.
  • Ứng dụng kỹ thuật bù chuyển động chồng lấn (Overlapped Motion Compensation - OBMC) để triệt tiêu hiệu ứng khối phát sinh do dịch chuyển khối.
  • Trường hợp đặc biệt: Khi hệ số lọc của điểm ảnh trung tâm được gán bằng 0, bộ lọc trở thành bộ ước lượng/nội suy tối ưu, cung cấp trọng số tối ưu (optimal weight prediction) cho các khối mã hóa song hướng (Bi-predictive / B-frame).

Chương 5: Selective Data Pruning-Based Compression using High Order Edge-Directed Interpolation (Nén dựa trên cắt tỉa dữ liệu chọn lọc sử dụng nội suy định hướng cạnh bậc cao)

Chương 5 đề xuất kỹ thuật nén dựa trên cắt tỉa dữ liệu (Data Pruning-Based Compression):

  • Nguyên lý cắt tỉa: Chủ động loại bỏ một phần dữ liệu không gian (downsampling) trước khi nén để giảm kích thước khung hình, cho phép bộ mã hóa hoạt động ở mức lượng hóa mịn hơn với cùng một mức bitrate mục tiêu, từ đó hạn chế sinh ra méo dạng nén.
  • Nội suy định hướng cạnh bậc cao: Phát triển các mô hình nội suy bậc 6 (NEDI-6), bậc 8 (NEDI-8) và bậc 9 (NEDI-9) áp dụng cho tái tạo đơn khung hình và đa khung hình (upsampling tỷ lệ $1 \times 2$ và $2 \times 2$). Các tham số mô hình ước lượng gradient cục bộ giúp phục hồi sắc nét các cạnh xiên và chi tiết hình học phức tạp ở phía hậu xử lý.

Chương 6: Conclusions and Future Works (Kết luận và hướng nghiên cứu tương lai)

Chương 6 tổng kết các kết quả đạt được trên 3 trục ứng dụng: nâng cao chất lượng, mã hóa tối ưu và cắt tỉa dữ liệu; đồng thời vạch ra 4 hướng nghiên cứu mở rộng:

  1. Tiếp tục cải tiến bộ lọc không - thời gian hậu xử lý cho các chuẩn video mới.
  2. Tối ưu hóa thuật toán lọc trong vòng lặp mã hóa với độ phức tạp thấp hơn.
  3. Nghiên cứu chiến lược cắt tỉa dữ liệu thích nghi nội dung theo vùng không gian.
  4. Mở rộng lý thuyết ước lượng không - thời gian cho các bài toán xử lý video nâng cao khác.

Kết quả và những đóng góp mới

Các đóng góp khoa học mới của luận án được tác giả tự xác định bao gồm:

1. Đóng góp về mặt lý luận và mô hình toán học

  • Thiết lập công thức giải tích mô tả mối quan hệ tịnh tiến của các hệ số biến đổi DCT Loại II giữa các khối dịch chuyển qua biên trong miền DCT ($F(X, m_0, n_0)$).
  • Chứng minh điều kiện giải tích về mặt toán học đối với sai số lượng hóa và vector chuyển động để đảm bảo việc kết hợp thông tin thời gian từ các khung hình lân cận luôn giảm MSE so với khung hình nén đơn lẻ.
  • Xây dựng nghiệm giải tích đóng bằng phương pháp nhân tử Lagrange cho bộ lọc thời gian tuyến tính thích nghi tối ưu với số lượng khung hình tham chiếu $L+M+1$ tùy ý.
  • Đề xuất thước đo đánh giá méo dạng nhấp nháy có bù chuyển động mới, mô phỏng đúng cơ chế bám vết của mắt người.

2. Đóng góp về mặt thực tiễn và giải thuật

  • Đề xuất bộ lọc mờ không gian định hướng (Directional Fuzzy Spatial Filter) và bộ lọc mờ không - thời gian thích nghi (Adaptive Fuzzy MCSTF), xử lý chọn lọc theo hướng cạnh và mức độ hoạt động cục bộ, triệt tiêu hiệu ứng gợn sóng và nhấp nháy mà không gây nhòe ảnh.
  • Tích hợp thành công bộ lọc không - thời gian tối ưu vào vòng lặp mã hóa H.264/AVC, cải thiện chất lượng khung hình tham chiếu và tối ưu hóa trọng số dự đoán cho khung hình B.
  • Phát triển thành công kỹ thuật nén cắt tỉa dữ liệu chọn lọc kết hợp các thuật toán nội suy cạnh bậc cao (NEDI-6, NEDI-8, NEDI-9), nâng cao chất lượng tái tạo tín hiệu trên đường cong R-D.
  • Kết quả nghiên cứu đã được chuyển hóa thành các phát minh sáng chế và công bố quốc tế: 04 bằng sáng chế/tiết lộ sáng chế (Invention Disclosures / Patents) tại UCSD, Thomson Corporate Research và Mitsubishi Electric Research Laboratories (MERL); 04 bài báo trên các tạp chí IEEE (IEEE Transactions on Image Processing, IEEE Transactions on Circuits and Systems for Video Technology) và nhiều bài báo hội nghị quốc tế (ICIP, VCIP, ICASSP, Asilomar).

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích và trình bày trong văn bản luận án, các hạn chế và hướng phát triển được xác định như sau:

Hạn chế được ghi nhận

  • Độ phức tạp tính toán: Bộ lọc tối ưu với số lượng khung hình tùy ý có hệ số lọc phụ thuộc phi tuyến vào từng cặp vector chuyển động của từng khối, dẫn đến chi phí tính toán cao, gây khó khăn cho việc triển khai thực tế trên các hệ thống thời gian thực nếu không có phần cứng chuyên dụng.
  • Phụ thuộc vào độ chính xác ước lượng chuyển động: Trong các phân cảnh có chuyển động phi tịnh tiến phức tạp, biến dạng phi tuyến, độ tương phản thay đổi nhanh hoặc mức lượng hóa quá thô làm sai lệch vector chuyển động, hiệu quả cải thiện PSNR của bộ lọc thời gian bị suy giảm.
  • Phạm vi áp dụng: Thuật toán lọc thời gian trong Chương 2 được thiết kế và kiểm chứng chủ yếu trên kênh độ chói (luminance), chưa áp dụng trực tiếp cho các kênh màu (chrominance) do các kênh màu bị giảm mẫu và lượng hóa với ma trận lớn hơn.

Hướng nghiên cứu tiếp

  • Tối ưu hóa cấu trúc tính toán của bộ lọc không - thời gian trong vòng lặp mã hóa để giảm thiểu độ trễ xử lý.
  • Mở rộng các phương pháp lọc mờ thích nghi cho các định dạng mã hóa video thế hệ mới.
  • Nghiên cứu cơ chế cắt tỉa dữ liệu thích nghi tự động (adaptive pruning) theo đặc trưng nội dung không gian và thời gian của từng phân đoạn video.
  • Áp dụng các mô hình ước lượng không - thời gian vào các bài toán xử lý video khác như chuyển đổi tốc độ khung hình (frame rate up-conversion) và siêu phân giải (super-resolution).

Giá trị tham khảo

Luận án mang lại giá trị tham khảo cụ thể cho các nhóm đối tượng học thuật và kỹ thuật:

  • Nghiên cứu sinh và học viên cao học ngành Xử lý Tín hiệu/Thị giác Máy tính: Có thể tham khảo trực tiếp Chương 2 để nắm vững phương pháp dẫn xuất giải tích sai số lượng hóa trong miền DCT, cũng như Chương 3 để học hỏi cách áp dụng lý thuyết logic mờ vào thiết kế các bộ lọc phi tuyến thích nghi bảo toàn cạnh.
  • Kỹ sư phát triển phần mềm/thuật toán nén video: Chương 4 cung cấp chi tiết thiết kế bộ lọc vòng lặp và tối ưu hóa trọng số dự đoán B-frame cho chuẩn H.264/AVC; Chương 5 cung cấp tài liệu kỹ thuật chi tiết về thuật toán nội suy cạnh bậc cao (NEDI-6, NEDI-8, NEDI-9) phục vụ các hệ thống chuyển đổi độ phân giải (up-scaling/transcoding).
  • Các nhà phát triển hệ sinh thái thiết bị hiển thị và hậu xử lý (Display Post-processing): Có thể áp dụng các thuật toán khử méo dạng hậu xử lý độc lập tại Chương 3 và thước đo đánh giá hiện tượng nhấp nháy thời gian để kiểm chuẩn chất lượng hình ảnh trên các bộ xử lý video của màn hình kỹ thuật số.

Câu hỏi thường gặp

1. Tại sao méo dạng nén (coding artifacts) không thể xử lý bằng các phương pháp khử nhiễu Gauss thông thường?

Nhiễu Gauss là nhiễu cộng độc lập, có giá trị trung bình bằng 0 và phân phối đều trên toàn bộ các điểm ảnh của khung hình. Ngược lại, méo dạng nén có tính chất phụ thuộc dữ liệu và có hướng rõ rệt: xuất hiện nhiều ở vùng chi tiết hơn vùng phẳng, định hướng theo biên khối ngang/dọc (hiệu ứng khối), định hướng dọc theo cạnh mạnh (hiệu ứng gợn sóng) hoặc định hướng theo trục thời gian (hiệu ứng nhấp nháy). Việc dùng bộ khử nhiễu Gauss sẽ làm mờ các chi tiết cạnh thực và không loại bỏ được cấu trúc méo dạng định hướng.

2. Điều kiện định lượng để phép lọc bù chuyển động 3 khung hình nâng cao được chất lượng khung hình MJPEG là gì?

Đối với ma trận lượng hóa chuẩn $Q$, tổng sai số lượng hóa gốc là $24.002$ và MSE tối đa của bộ lọc khi dịch chuyển khối là $12.470$. Phép lọc đảm bảo nâng cao chất lượng khi tổng bình phương sai số của các khối bù chuyển động lùi và tiến thỏa mãn điều kiện thực nghiệm: $$\sum_{m=0}^{N-1}\sum_{n=0}^{N-1} \left[ |\Delta x_q^b(m, n)|^2 + |\Delta x_q^f(m, n)|^2 \right] \le 51.894$$

3. Bộ lọc mờ định hướng trong Chương 3 bảo toàn cạnh ảnh bằng nguyên lý nào?

Bộ lọc mờ tính toán góc của cạnh $\theta$ và tham số trải rộng định hướng. Khi thực hiện làm mịn, bộ lọc áp dụng cường độ lọc mạnh nhất theo hướng vuông góc với cạnh (nơi méo dạng gợn sóng không tương quan với điểm ảnh quan tâm) và áp dụng cường độ lọc yếu dọc theo hướng của cạnh. Đồng thời, độ trải rộng được điều chỉnh tỷ lệ thuận với độ lệch chuẩn của cửa sổ cục bộ, giúp làm mịn mạnh ở vùng phẳng và giữ nguyên các điểm ảnh biên cạnh sắc nét.

4. Kỹ thuật cắt tỉa dữ liệu (Data Pruning) trong Chương 5 cải thiện hiệu suất nén như thế nào?

Bằng cách chủ động loại bỏ bớt dữ liệu điểm ảnh (downsampling) ở giai đoạn tiền xử lý, kích thước khung hình gửi vào bộ mã hóa giảm đi, cho phép bộ mã hóa nén ở bước lượng hóa nhỏ hơn (mịn hơn) với cùng một mức bitrate. Sau khi giải mã, thuật toán nội suy định hướng cạnh bậc cao (NEDI-6, NEDI-8, NEDI-9) sẽ khôi phục lại độ phân giải ban đầu với độ sắc nét cạnh cao, giúp toàn bộ hệ thống đạt chất lượng R-D cao hơn so với việc nén trực tiếp khung hình gốc ở bước lượng hóa thô.

Kết luận

Luận án tiến sĩ của Dũng Trung Võ đã giải quyết một cách có hệ thống bài toán giảm thiểu các méo dạng nén không gian và thời gian trong xử lý ảnh và video số thông qua kỹ thuật lọc không - thời gian. Tác giả đã kết hợp chặt chẽ giữa phân tích mô hình toán học giải tích sai số lượng hóa với việc phát triển các thuật toán thực nghiệm như lọc mờ thích nghi bù chuyển động, lọc tối ưu trong vòng lặp mã hóa H.264/AVC và nén dựa trên cắt tỉa dữ liệu sử dụng nội suy cạnh bậc cao. Các kết quả thực nghiệm định lượng trên các chuỗi video chuẩn đã chứng minh tính hiệu quả vượt trội về chỉ số PSNR và độ trung thực thị giác so với các phương pháp tiền nhiệm.