Tổng quan luận án

Luận án tiến sĩ chuyên ngành Khoa học máy tính (mã số 62 48 01 01) của tác giả Lê Thị Kim Nga với đề tài "Nghiên cứu phát hiện mẫu chất liệu trong ảnh", được thực hiện tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội và Viện Công nghệ thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam dưới sự hướng dẫn của PGS. Đỗ Năng Toàn và PGS. Đinh Mạnh Tường vào năm 2014.

Tính cấp thiết và khoảng trống nghiên cứu

Trong lĩnh vực thị giác máy tính (computer vision), thông tin thị giác chiếm gần 80% lượng thông tin con người thu nhận từ thế giới quan. Nhận dạng tự động, mô tả đối tượng và phân loại mẫu là các vấn đề trọng tâm được ứng dụng trong nhiều hệ thống thực tế như giám sát an ninh vào ra, giám sát giao thông, phòng chống hỏa hoạn, xây dựng rô-bốt thông minh và thực tại ảo. Theo quan điểm tra cứu ảnh dựa trên nội dung (Content-Based Image Retrieval – CBIR), Eakins và Graham đã phân chia hệ thống tra cứu thành ba mức độ phức tạp tăng dần:

  • Mức 1: Tìm kiếm dựa trên các đặc trưng mức thấp cơ bản như màu sắc, hình dạng, kết cấu và phân bố không gian (các hệ thống tiêu biểu gồm QBIC của Flickner et al. 1995, SIMBA của Siggelkow et al. 2001, VIPER/GIFT của Muller 2001, FIRE của Deselaers et al. 2004).
  • Mức 2: Tra cứu dựa trên các đặc trưng logic hoặc suy diễn theo lớp đối tượng (ví dụ nhận dạng danh mục như xe đạp, xe máy theo nghiên cứu của Alexandra Teynor năm 2009, hoặc tìm kiếm vùng chứa chất liệu cụ thể như da, gỗ, lông thú).
  • Mức 3: Tra cứu dựa trên ngữ nghĩa bậc cao, các sự kiện phức tạp (như trận thi đấu thể thao, cảm xúc nghệ thuật) – mức độ này chưa có giải pháp toán học hoàn chỉnh.

Khoảng trống nghiên cứu được tác giả xác định xuất phát từ thực tế: người sử dụng có nhu cầu tìm kiếm trực tiếp sự hiện diện của một mẫu chất liệu cụ thể trong ảnh thay vì tìm kiếm độ tương đồng phân bố màu sắc tổng quát. Hơn nữa, việc phát hiện mẫu chất liệu đóng vai trò tiền đề cho việc định vị đối tượng (chẳng hạn nhận diện vùng da mặt hỗ trợ phát hiện khuôn mặt, nhận diện lông hổ hỗ trợ phát hiện loài thú). Tuy nhiên, hầu hết các công trình nghiên cứu trước đây chỉ tập trung vào bài toán nhận dạng chất liệu (texture classification) trên các tập dữ liệu đóng với giả định các điều kiện chụp ảnh cố định. Ngược lại, bài toán phát hiện mẫu chất liệu (texture pattern detection) – tức là xác định vị trí tọa độ và kích thước của một mẫu chất liệu $\mathcal{M}$ chưa biết trước tỉ lệ, góc quay và độ rọi sáng trong một bức ảnh đầu vào $\mathcal{I}$ bất kỳ – vẫn chưa có một hệ thống giải pháp hoàn chỉnh nào được đề xuất trong thực tế. Khó khăn cốt lõi bắt nguồn từ việc biến thể bên ngoài quá lớn (cùng một chất liệu nhưng khi góc chiếu sáng, góc thu nhận thay đổi sẽ tạo ra ảnh biểu diễn rất khác biệt do bóng đổ và che khuất) trong khi biến thể bên trong lại nhỏ (hai chất liệu khác nhau lại có thể cho kết cấu ảnh tương đồng).

Mục tiêu nghiên cứu

Luận án tập trung giải quyết 3 mục tiêu cụ thể, được đánh số theo văn bản:

  1. Tìm các dạng thay đổi ảnh về mặt hình học và quang học đối với các điều kiện thu nhận khác nhau. Nghiên cứu những thuộc tính bề mặt của mẫu chất liệu, từ đó nghiên cứu các kỹ thuật biểu diễn hay mô hình hóa chất liệu thông qua mẫu chất liệu bất biến hoặc ít ảnh hưởng với một số phép biến đổi ảnh.
  2. Nghiên cứu và đề xuất một số kỹ thuật phát hiện mẫu chất liệu trong ảnh dựa vào các biểu diễn mẫu chất liệu trong những trường hợp có sự thay đổi của môi trường thu nhận ảnh như: nhiễu, ánh sáng, tỉ lệ, bóp méo, che khuất.
  3. Nghiên cứu và đề xuất ứng dụng của phát hiện mẫu chất liệu trong ảnh vào một số bài toán có tính thời sự trong giám sát tự động: Phát hiện ảnh số giả mạo.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Mẫu chất liệu trong ảnh số; các mô hình biểu diễn chất liệu toán học và thống kê; các đặc trưng bất biến hình học và quang học (đặc trưng bất biến địa phương SIFT, đặc trưng nhiễu cảm biến và nhiễu bề mặt, đặc trưng hình học Fractal).
  • Phạm vi không gian dữ liệu: Không gian ảnh hai chiều (2D). Dữ liệu thực nghiệm bao gồm tập ảnh tự nhiên (chất liệu gỗ, cỏ, vải), tập dữ liệu video giám sát phân tích hoạt động của đám đông trên đường phố từ MIT-CSAIL, cơ sở dữ liệu vật liệu Flickr Materials Database (FMD), và tập dữ liệu thử nghiệm phát hiện giả mạo ảnh số dạng cắt dán (với các định dạng ảnh 24-bit màu, ảnh đa mức xám và ảnh nén).
  • Phạm vi thời gian: Luận án hoàn thành năm 2014, tiếp cận và kế thừa hệ thống tư liệu khoa học quốc tế giai đoạn từ năm 1978 đến năm 2013.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu được tác giả điểm lại

Tác giả Lê Thị Kim Nga hệ thống hóa các hướng tiếp cận phát hiện và nhận dạng chất liệu trong thị giác máy tính thành ba nhóm chính:

  1. Hướng tiếp cận dựa vào mô hình phản xạ ánh sáng bề mặt: Mẫu chất liệu được mô hình hóa thông qua các hàm toán học như hàm phân phối phản xạ hai chiều BRDF (Bidirectional Reflectance Distribution Function), hàm kết cấu hai chiều BTF (Bidirectional Texture Function) và các biến thể tham số hóa theo góc chiếu và góc thu nhận ảnh. Hướng nghiên cứu này được phát triển qua các công trình của Dana, Nayar, van Doorn, Koenderink (1999) cùng các nghiên cứu tiếp nối về sau. Tuy nhiên, hạn chế lớn của BRDF/BTF là đòi hỏi tập huấn luyện khổng lồ chụp lại mẫu dưới mọi góc rọi sáng và góc nhìn, điều này không khả thi trong môi trường thực tế; ngoài ra chỉ dựa vào thuộc tính phản xạ không thể phân biệt được các chất liệu trong suốt như kính, sáp ong hay nhựa dẻo.

  2. Hướng tiếp cận dựa vào các đặc trưng ảnh (toàn cục và địa phương):

    • Đặc trưng toàn cục: Khảo sát các phương pháp biến đổi miền không gian và tần số (bộ lọc Gabor, biến đổi Wavelet, Fourier); các phương pháp thống kê mức xám bậc hai như Ma trận đồng hiện mức xám GLCM (Grey Level Co-occurrence Matrix) do Haralick và cộng sự đề xuất năm 1973; phương pháp mẫu nhị phân địa phương LBP (Local Binary Patterns) của Ojala, Pietikainen và Maenpaa (2002), phiên bản LBP-HF (2006). Nhược điểm của GLCM và các kỹ thuật thống kê toàn cục là rất nhạy cảm với sự thay đổi hướng chiếu sáng và không có tính bất biến hình học (affine).
    • Đặc trưng địa phương: Tiếp cận dựa trên trích chọn các điểm nổi bật (keypoints) và xây dựng mô tả cục bộ. Điển hình là phương pháp dựa vào ma trận Hessian của Beaudet (1978); phương pháp phát hiện góc Harris của Harris và Stephens (1988); các mở rộng đa tỉ lệ Harris-Laplace, Hessian-Laplace của Mikolajczyk và Schmid (2001, 2005); phương pháp biến đổi đặc trưng bất biến tỉ lệ SIFT của David Lowe (1999, 2004); các nghiên cứu dựa trên tỉ lệ chu vi và diện tích $r = P^2 / (4\pi S)$. Đánh giá của Schmid và cộng sự cho thấy SIFT có khả năng phân biệt cao, bất biến đối với phép quay, co giãn tỉ lệ và ít bị ảnh hưởng bởi thay đổi độ rọi sáng nhẹ.

  3. Hướng tiếp cận dựa vào mô hình toán học:

    • Mô hình tự hồi quy đồng thời (SAR): Nghiên cứu của Mao và Jain (1992) phát triển mô hình SAR thành mô hình CSAR (Circular SAR của Kashyap và Khotanzad) và RISAR (Rotation Invariant SAR) nhằm tạo ra các tham số bất biến với phép quay thông qua việc lấy mẫu trên các đường tròn đồng tâm.
    • Mô hình trường Markov ngẫu nhiên (MRF): Cohen và cộng sự sử dụng trường Markov Gauss với kỹ thuật ước lượng hợp lý cực đại (MLE); Chen và Kundu ứng dụng mô hình Markov ẩn (HMM) để phân lớp bề mặt kết cấu.
    • Mô hình hình học Fractal: Đặt nền móng từ lý thuyết của Mandelbrot (1982), nghiên cứu của Hutchinson (1981) về hệ hàm lặp IFS và Michael Barnsley (1988) với Định lý Collage. Sau đó, Arnaud Jacquin (1989) đề xuất thuật toán mã hóa ảnh fractal tự động dựa trên hệ hàm lặp phân hoạch PIFS (Partitioned Iterated Function Systems).

Tác giả cũng điểm lại nghiên cứu của nhóm Edward H. Adelson, Ce Liu và Lavanya Sharan (2013) về nhận dạng chất liệu dựa trên đặc trưng nhận thức con người qua cơ sở dữ liệu Flickr Materials Database (FMD), chỉ ra rằng độ chính xác phân loại của mô hình này vẫn dưới 50% do chưa giải quyết tốt các biến thể thu nhận thực tế.

Khoảng trống luận án lựa chọn giải quyết

Luận án xác định khoảng trống nghiên cứu nằm ở việc chuyển dịch từ bài toán phân loại chất liệu thuần túy (vốn chỉ xét nhãn lớp trên ảnh đơn lẻ đã cắt gọn) sang bài toán phát hiện mẫu chất liệu trực tiếp trong ảnh phức tạp (xác định tọa độ khối bao và kích thước mẫu con). Luận án lựa chọn khai thác 3 cơ chế biểu diễn và đối sánh tương ứng với các đặc tính vật lý và cấu trúc khác nhau của mẫu chất liệu:

  • Bổ sung cấu trúc tương quan hình học vào đặc trưng bất biến địa phương SIFT để định vị cụm mẫu chất liệu thô, có độ tương phản cao, giải quyết đồng thời bài toán phát hiện ảnh giả mạo dạng cắt dán (copy-move).
  • Khai thác thành phần nhiễu chất liệu (noise) sinh ra từ bộ cảm biến và bề mặt phản xạ – vốn thường bị loại bỏ trong xử lý ảnh truyền thống – để làm đặc trưng nhận dạng các chất liệu có cấu trúc bề mặt thấp hoặc mịn dưới điều kiện ánh sáng thay đổi.
  • Sử dụng tính chất tự tương tự của hình học Fractal và hệ hàm lặp PIFS để biểu diễn và phát hiện mẫu chất liệu khi có sự thay đổi tỉ lệ toàn cục.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

Luận án xây dựng trên nền tảng kết hợp giữa quang học hình ảnh, xử lý tín hiệu số và toán học giải tích:

  1. Mô hình biến đổi hình học ảnh: Mối quan hệ tọa độ giữa điểm $x = (x, y)^T \in \mathbb{R}^2$ trên mẫu ban đầu và điểm $x'$ trên ảnh chứa mẫu chịu tác động của phép biến đổi affine: $$x' = T x + t$$ Trong đó $t \in \mathbb{R}^2$ là vec-tơ dịch chuyển, $T \in \mathbb{R}^{2 \times 2}$ là ma trận biến đổi. Khi $T = I_2$, hệ thống mô tả phép dịch chuyển thuần túy; khi $T$ trực giao, mô tả phép biến đổi Euclid; khi $T = \kappa I_2$, mô tả phép co giãn tỉ lệ; và tổng quát khi $\det(T) \neq 0$, mô tả biến đổi affine đầy đủ do góc chụp của thiết bị thu nhận.

  2. Mô hình nhiễu tín hiệu ảnh: Tín hiệu điểm ảnh thô $x = (x_{ij})$ với kích thước ảnh $m \times n$. Tín hiệu quan sát đầu ra $y = (y_{ij})$ tại kênh cảm biến được mô hình hóa theo công thức: $$y_{ij} = f_{ij}(x_{ij} + n_{ij} + \eta_{ij}) + c_{ij} + \epsilon_{ij}$$ Trong đó:

    • $n_{ij}$: Nhiễu chất liệu – thành phần chủ yếu mang tính phân biệt đặc trưng cho từng loại vật liệu cụ thể.
    • $\eta_{ij}$: Nhiễu do tác động từ môi trường bên ngoài.
    • $c_{ij}$: Đốm đen hiện thời (hiệu ứng cảm biến).
    • $\epsilon_{ij}$: Tín hiệu nhiễu ngẫu nhiên. Giá trị điểm ảnh số lưu trữ cuối cùng $P_{ij} \in [0, 255]$ được xác định qua hàm phi tuyến: $$P_{ij} = T(y_{ij}, \mathcal{N}(y_{ij}), i, j)$$ với $\mathcal{N}(y_{ij})$ là lân cận không gian của điểm ảnh.

  3. Lý thuyết hệ hàm lặp Fractal (IFS và PIFS): Thiết lập trên không gian metric đầy đủ $(\mathcal{M}, d)$. Ánh xạ co $w: \mathcal{M} \rightarrow \mathcal{M}$ có hệ số co $s \in [0, 1)$ thỏa mãn $d(w(x), w(y)) < s \cdot d(x, y)$.

    • Định lý điểm bất động: Tồn tại duy nhất một điểm bất động $x_f \in \mathcal{M}$ sao cho $w(x_f) = x_f$ và $\lim_{n \to \infty} w^n(x) = x_f$.
    • Định lý Collage: $$d(x, x_f) \le \frac{1}{1-s} d(x, w(x))$$
    • Hệ hàm lặp PIFS của Jacquin: Phân hoạch ảnh thành tập các khối dãy không chồng lấn $R_i$ và tập các khối miền lớn hơn $D_j$. Phép biến đổi affine ba chiều kết hợp giữa hình học không gian và cường độ xám $z$: $$W \begin{bmatrix} x \ y \ z \end{bmatrix} = \begin{bmatrix} a & b & 0 \ c & d & 0 \ 0 & 0 & s \end{bmatrix} \begin{bmatrix} x \ y \ z \end{bmatrix} + \begin{bmatrix} e \ f \ o \end{bmatrix}$$ Trong đó $a, b, c, d, e, f$ kiểm soát phép quay, co giãn tỉ lệ và dịch chuyển hình học; $s$ biểu thị độ tương phản bức xạ và $o$ là độ dịch chuyển độ sáng.

Phương pháp nghiên cứu thực tế và kỹ thuật xử lý

Luận án áp dụng phương pháp định lượng thực nghiệm thuật toán, xây dựng quy trình tính toán trên máy tính và đánh giá qua các chỉ số định lượng:

  • Phương pháp trích chọn đặc trưng địa phương: Sử dụng giải thuật biến đổi đặc trưng bất biến tỉ lệ (SIFT) trên không gian tỉ lệ sai phân Gauss (DoG) để trích xuất vec-tơ đặc trưng 128 chiều.
  • Phương pháp phân cụm và đối sánh hình học: Ứng dụng giải thuật tìm kiếm lân cận gần nhất (Nearest Neighbor) kết hợp thuật toán phân cụm ISODATA và kiểm tra tương quan không gian để nhóm các điểm ứng cử viên trung tâm, loại trừ các điểm đối sánh sai ngẫu nhiên.
  • Phương pháp mô hình hóa thống kê nhiễu: Sử dụng thuật toán học tích lũy các mẫu nhiễu từ các thể hiện khác nhau của chất liệu, tính toán ma trận hiệp phương sai và áp dụng hàm phân phối chuẩn Gauss để phân lớp mức độ tương quan giữa mẫu nhiễu và vùng ảnh khảo sát.
  • Phương pháp phân hoạch và đối sánh Fractal: Thực hiện phân hoạch khối ảnh theo cấu trúc lưới đều hoặc cây tứ phân (quadtree), tính toán sai số xấp xỉ bình phương tối thiểu giữa khối dãy $R_i$ và các khối miền co $w(D_j)$ để tìm tập hệ số IFS tối ưu đại diện cho mẫu.
Hướng tiếp cận Cơ sở toán học / Kỹ thuật chính Thuật toán đề xuất Thuộc tính bề mặt phù hợp
Đặc trưng bất biến địa phương Không gian tỉ lệ DoG, vec-tơ SIFT 128 chiều, phân cụm hình học ISODATA DMBLIF, ứng dụng KPFImage Bề mặt thô, gồ ghề, tương phản cao (gỗ, cỏ, vải)
Đặc trưng nhiễu Mô hình nhiễu cảm biến $n_{ij}$, hàm phân phối chuẩn Gauss RMBN (biểu diễn), DMBNF (phát hiện) Bề mặt cấu trúc thấp, mịn, chịu biến đổi ánh sáng
Hình học Fractal Không gian metric, ánh xạ co, hệ hàm lặp PIFS, biến đổi affine 3D RMBF (biểu diễn), DMBF (phát hiện) Bề mặt có tính tự tương tự, thay đổi tỉ lệ toàn cục

Nội dung chính theo từng chương

Chương 1: Tổng quan về phát hiện mẫu chất liệu trong ảnh

Chương 1 thiết lập khung lý thuyết cơ sở cho toàn bộ luận án:

  • Phân tích bản chất vật lý của chất liệu trong tự nhiên và thể hiện của nó dưới dạng ảnh số. Tác giả phân tích hai cơ chế phản xạ ánh sáng cơ bản: phản xạ định hướng (Specular Reflection) và phản xạ khuếch tán (Diffuse Reflection).
  • Phân loại mẫu chất liệu thành hai nhóm: nhóm có mô hình toán học giải tích xác định (quy tắc, công thức) và nhóm không có mô hình biểu diễn giải tích (chiếm đa số trong thực tế, chỉ được biểu diễn qua tập hợp các ảnh quan sát).
  • Định nghĩa bài toán tổng quát: Cho một bức ảnh đầu vào $\mathcal{I}$ và một mẫu chất liệu chuẩn $\mathcal{M}$, cần xác định vị trí tọa độ khối bao $Rec(\Re_i)$ và kích thước của tất cả các vùng $\Re_i \subset \mathcal{I}$ chứa mẫu $\mathcal{M}$.
  • Phân loại toàn diện các thách thức kỹ thuật: ảnh hưởng của điều kiện chiếu sáng, góc quay thiết bị, sự không tương thích về tỉ lệ giữa mẫu và đối tượng nền, và việc thiếu vắng một mô hình giải tích toàn năng mô tả các bề mặt không phẳng trong không gian ba chiều.
  • Khảo sát có hệ thống ba nhóm tiếp cận kinh điển: tiếp cận theo đặc trưng địa phương (độ cong đường biên, gradient cường độ, Haralick, SIFT), tiếp cận theo đặc trưng toàn cục (lược đồ màu, GLCM, LBP, mô hình nhiễu), và tiếp cận theo mô hình (SAR, CSAR, RISAR, trường Markov ngẫu nhiên MRF, hình học Fractal).

Chương 2: Phát hiện mẫu chất liệu dựa vào đặc trưng bất biến địa phương

Chương này tập trung vào việc nghiên cứu và đề xuất kỹ thuật phát hiện mẫu chất liệu dựa trên đặc trưng cục bộ bất biến với các biến đổi hình học:

  • Nguyên lý trích chọn đặc trưng: Áp dụng biến đổi SIFT để tìm các điểm cực trị trên không gian tỉ lệ, xác định vị trí, tỉ lệ và hướng cục bộ, sau đó tạo vec-tơ mô tả gradient 128 chiều cho từng điểm bất biến (Keypoint).
  • Thuật toán DMBLIF (Detection of Material Based on Local Invariant Feature): Tác giả chỉ ra rằng đối sánh trực tiếp từng điểm SIFT đơn lẻ sẽ dẫn đến sai số lớn khi mẫu chất liệu lặp lại nhiều lần. Thuật toán DMBLIF giải quyết vấn đề này qua các bước:
    1. Trích chọn tập đặc trưng cục bộ của mẫu chất liệu $\mathcal{M}$ và ảnh khảo sát $\mathcal{I}$.
    2. Xác định các cặp điểm tương ứng bằng thuật toán lân cận gần nhất (Nearest Neighbor).
    3. Tính toán vec-tơ định vị tương đối giữa các điểm đặc trưng tới tâm hình học của mẫu.
    4. Thực hiện thuật toán phân cụm ISODATA trên tập hợp các điểm ứng cử trung tâm để xác định mật độ tập trung không gian, từ đó khoanh vùng khối bao $Rec(\Re_i)$ của mẫu chất liệu trên ảnh $\mathcal{I}$.
  • Thực nghiệm thuật toán DMBLIF: Đánh giá trên tập dữ liệu video hoạt động đám đông MIT-CSAIL và ảnh tự nhiên. Kết quả thể hiện khả năng phát hiện mẫu chất liệu cỏ và gỗ khi mẫu bị quay các góc khác nhau, thay đổi độ co giãn tỉ lệ và trong điều kiện ánh sáng thay đổi nhẹ.
Mẫu chất liệu thử nghiệm Biến đổi hình học thử nghiệm Kết quả định vị của thuật toán DMBLIF
Mẫu chất liệu cỏ Mẫu gốc, mẫu bị quay, mẫu thay đổi đồng thời quay và tỉ lệ Xác định chính xác vùng bao chất liệu trên ảnh cảnh quan
Mẫu chất liệu gỗ Mẫu bị thay đổi tỉ lệ, mẫu bị quay, mẫu vừa quay vừa đổi tỉ lệ Khoanh vùng chính xác biên khối gỗ tương ứng
  • Ứng dụng phát hiện ảnh số giả mạo – Thuật toán KPFImage: Luận án đề xuất thuật toán KPFImage nhằm phát hiện dạng giả mạo cắt dán nhân bản (copy-move forgery) trên cùng một bức ảnh. Đối sánh thuật toán KPFImage với giải thuật kinh điển Exact Match (dựa trên phân tích khối lân cận) và Exact Match* trên ba nhóm ảnh: ảnh màu 24-bit, ảnh đa mức xám và ảnh nén JPEG. Kết quả chứng minh: trong khi thuật toán Exact Match thất bại hoàn toàn khi vùng cắt dán bị xoay góc hoặc co giãn tỉ lệ trước khi dán, thuật toán KPFImage định vị chính xác vùng bị can thiệp nhờ tính bất biến của cấu trúc tương quan cụm điểm địa phương.

Chương 3: Phát hiện mẫu chất liệu dựa vào đặc trưng nhiễu

Chương 3 trình bày giải pháp nhận diện chất liệu dựa trên phân tích lượng nhiễu dư:

  • Cơ sở hình thành nhiễu chất liệu: Tác giả phân tích rằng quá trình thu nhận ảnh số luôn sinh ra nhiễu từ bộ cảm biến quang điện và sự tán xạ trên vi cấu trúc bề mặt vật liệu. Thành phần nhiễu $n_{ij}$ mang tính chất đặc trưng ổn định cho từng loại chất liệu cụ thể.
  • Thuật toán RMBN (Representation of Material Based on Noise):
    • Thực hiện thu thập tập các thể hiện khác nhau của cùng một chất liệu dưới các điều kiện chụp khác nhau.
    • Sử dụng các bộ lọc khử nhiễu để trích xuất thành phần tín hiệu dư (nhiễu chất liệu).
    • Tích lũy và chuẩn hóa thống kê để xây dựng vec-tơ mô tả đặc trưng nhiễu chuẩn cho mô hình chất liệu.
  • Thuật toán DMBNF (Detection of Material Based on Noise Feature):
    • Tính toán ảnh nhiễu của bức ảnh đầu vào $\mathcal{I}$.
    • Trượt cửa sổ cục bộ và tính độ tương quan giữa đặc trưng nhiễu của mẫu chuẩn và nhiễu tại từng vùng ảnh con.
    • Áp dụng hàm phân phối chuẩn Gauss để phân lớp: các vùng có giá trị tương quan vượt qua ngưỡng xác suất Gauss xác định sẽ được kết luận là vùng chứa mẫu chất liệu.
  • Kết quả thực nghiệm: Đánh giá trên các mẫu gỗ (mẫu gỗ 1, mẫu gỗ 2, mẫu gỗ 3) và chất liệu cỏ cây. Phương pháp cho kết quả tốt trong các trường hợp ảnh bị thay đổi chiếu sáng mạnh và bề mặt vật liệu có cấu trúc hình học thấp, mịn – vốn là trường hợp mà giải thuật dựa trên điểm SIFT ở Chương 2 gặp khó khăn do thiếu điểm đặc trưng ranh giới.

Chương 4: Phát hiện mẫu chất liệu dựa vào hình học Fractal

Chương 4 nghiên cứu việc ứng dụng giải tích Fractal nhằm giải quyết vấn đề co giãn tỉ lệ toàn cục:

  • Cơ sở toán học IFS/PIFS: Xây dựng hệ hàm lặp phân hoạch PIFS trên không gian metric $(\mathcal{M}, d)$. Các phép biến đổi affine được xác định bao gồm cả dịch chuyển tọa độ và biến đổi tương phản, độ sáng.
  • Thuật toán RMBF (Representation of Material Based on Fractal):
    • Phân chia mẫu chất liệu thành tập các khối dãy $R_i$ kích thước nhỏ và khối miền $D_j$ kích thước lớn hơn.
    • Tìm kiếm phép biến đổi co $w_i$ sao cho khoảng cách metric $d(R_i, w_i(D_j))$ đạt cực tiểu theo nguyên lý định lý Collage.
    • Lưu trữ tập hợp các tham số biến đổi affine ${a_i, b_i, c_i, d_i, e_i, f_i, s_i, o_i}$ làm mã Fractal đặc trưng cho mẫu chất liệu.
  • Thuật toán DMBF (Detection of Material Based on Fractal):
    • Tiến hành quét trên ảnh đầu vào $\mathcal{I}$, giải mã lặp các toán tử affine từ mô hình Fractal đã lưu trữ.
    • Tận dụng tính chất bất biến tỉ lệ tự nhiên của fractal: do cấu trúc lặp lại ở mọi thang đo phóng đại, thuật toán DMBF có khả năng nhận diện các vùng chứa chất liệu bị thay đổi tỉ lệ lớn mà không cần quét đa tỉ lệ (multi-scale brute-force search) tốn kém tài nguyên tính toán.

Kết quả và những đóng góp mới

Các đóng góp mới về mặt khoa học và kỹ thuật

Luận án đã công bố và bảo vệ các kết quả mới sau:

  1. Phương pháp phát hiện mẫu chất liệu dựa trên đặc trưng bất biến địa phương kết hợp cấu trúc hình học (Thuật toán DMBLIF): Đề xuất giải pháp định vị mẫu chất liệu trong ảnh thông qua phân cụm tương quan không gian của các điểm đặc trưng SIFT. Thuật toán khắc phục được các biến đổi hình học (phép quay, thay đổi tỉ lệ) và thay đổi độ rọi sáng nhẹ. Kết quả nghiên cứu được công bố tại Kỷ yếu Hội nghị Quốc gia về Công nghệ Thông tin và Truyền thông năm 2009.
  2. Ứng dụng phát hiện ảnh số giả mạo dạng cắt dán (Thuật toán KPFImage): Đề xuất thuật toán phát hiện vùng ảnh bị sao chép - dán nhân bản (copy-move) ngay cả khi đối tượng bị xoay và thay đổi kích thước. Kết quả thực nghiệm chứng minh tính vượt trội so với các thuật toán truyền thống (Exact Match), công trình được công bố trên Tạp chí Tin học và Điều khiển học năm 2010.
  3. Mô hình biểu diễn và thuật toán phát hiện dựa vào đặc trưng nhiễu chất liệu (Thuật toán RMBN và DMBNF): Đưa ra cách tiếp cận mới trong việc khai thác lượng nhiễu cảm biến và nhiễu bề mặt như một dấu hiệu nhận dạng đặc trưng. Giải pháp sử dụng mô hình học tích lũy và hàm phân phối Gauss, phát hiện tốt các chất liệu có kết cấu bề mặt thấp dưới các điều kiện chiếu sáng phức tạp. Kết quả được công bố trên Tạp chí Khoa học và Công nghệ (2010) và Kỷ yếu Hội nghị Quốc gia FAIR (2009).
  4. Mô hình biểu diễn và thuật toán phát hiện dựa vào hình học Fractal (Thuật toán RMBF và DMBF): Đề xuất việc sử dụng hệ hàm lặp phân hoạch (PIFS) để mã hóa tính chất tự tương tự của mẫu chất liệu, giải quyết thách thức về sự thay đổi tỉ lệ toàn cục trong xử lý ảnh. Công trình được công bố tại Hội nghị quốc tế ACM iiWAS-MoMM năm 2011.

Kiến nghị và đề xuất giải pháp

  • Kết hợp linh hoạt các kỹ thuật biểu diễn tùy theo tính chất bề mặt: áp dụng DMBLIF cho chất liệu có độ tương phản và độ thô ráp cao (gỗ, đá, vải dày); áp dụng DMBNF cho chất liệu mịn, đồng nhất và chịu thay đổi độ sáng (da, sơn, mặt phẳng nhẵn); và áp dụng DMBF cho các kết cấu có tính lặp lại tự tương tự đa tỉ lệ.
  • Ứng dụng thuật toán KPFImage vào các hệ thống kiểm định bản quyền số, giám định pháp y kỹ thuật số (digital forensics) nhằm xác minh tính toàn vẹn của bằng chứng hình ảnh.
  • Tích hợp các thuật toán phát hiện mẫu chất liệu vào các hệ thống thị giác máy tính giám sát tự động (theo dõi vào ra, phát hiện chướng ngại vật trong giao thông, rô-bốt tự hành).

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được xác định từ văn bản

  • Phụ thuộc vào loại bề mặt: Thuật toán DMBLIF dựa trên SIFT bị giảm hiệu quả rõ rệt khi xử lý các bề mặt chất liệu mịn, có độ tương phản thấp hoặc đồng nhất do không trích xuất đủ số lượng điểm bất biến địa phương cần thiết để thực hiện phân cụm.
  • Yêu cầu pha học tích lũy mẫu nhiễu: Thuật toán DMBNF đòi hỏi phải có tập mẫu ban đầu đủ đa dạng để trích xuất mô hình nhiễu tích lũy; giả định phân phối Gauss đối với độ tương quan nhiễu có thể bị sai lệch nếu ảnh chịu tác động của các nguồn nhiễu phi tuyến tính phức tạp.
  • Độ phức tạp tính toán của thuật toán Fractal: Thuật toán DMBF và RMBF yêu cầu không gian tìm kiếm lớn khi đối sánh các khối dãy và khối miền trong hệ hàm lặp PIFS, gây tiêu tốn thời gian tính toán nếu không có các kỹ thuật phân vùng tối ưu hóa.

Hướng nghiên cứu tiếp

  • Tối ưu hóa cấu trúc dữ liệu và giải thuật nhằm giảm thiểu thời gian tính toán, hướng tới xử lý dữ liệu video thời gian thực trong các hệ thống giám sát tự động quy mô lớn.
  • Mở rộng nghiên cứu kết hợp đa đặc trưng (kết hợp đồng thời đặc trưng địa phương, đặc trưng nhiễu và mô hình Fractal) trên cùng một kiến trúc phân lớp để xử lý các bối cảnh môi trường phức tạp hỗn hợp.
  • Phát triển các giải thuật nhận dạng và phát hiện mẫu chất liệu trên không gian dữ liệu ảnh ba chiều (3D) thu nhận từ các cảm biến đo chiều sâu hiện đại.

Giá trị tham khảo

Luận án mang lại tài liệu tham khảo có giá trị trong lĩnh vực Khoa học máy tính và Xử lý ảnh:

  • Đối với nghiên cứu sinh và học viên cao học: Cung cấp tài liệu tổng quan toàn diện về lý thuyết chất liệu, các mô hình biểu diễn kết cấu (BRDF, GLCM, LBP, MRF, SAR, Fractal) và kỹ thuật phân cụm đối sánh hình học không gian.
  • Đối với giảng viên và nhà nghiên cứu thị giác máy tính: Cung cấp chi tiết các thuật toán đã được kiểm chứng bằng thực nghiệm (DMBLIF, DMBNF, DMBF) cùng mã nguồn/ý tưởng cài đặt giải thuật phân cụm ISODATA trên vec-tơ tương quan.
  • Đối với chuyên gia an toàn thông tin và giám định kỹ thuật số: Phần nghiên cứu thực nghiệm của thuật toán KPFImage ở Chương 2 là tài liệu tham khảo trực tiếp cho bài toán phát hiện ảnh số giả mạo cắt dán có biến đổi quay và co giãn tỉ lệ.

Câu hỏi thường gặp

1. Bài toán phát hiện mẫu chất liệu trong ảnh khác với bài toán nhận dạng chất liệu như thế nào? Bài toán nhận dạng chất liệu (texture classification) giả định ảnh đầu vào chỉ chứa một chất liệu duy nhất và mục tiêu là phân loại ảnh đó vào nhãn lớp định trước. Bài toán phát hiện mẫu chất liệu (texture pattern detection) do luận án đặt ra có độ phức tạp cao hơn: cho trước một mẫu $\mathcal{M}$ và ảnh lớn $\mathcal{I}$, hệ thống phải tự động tìm kiếm, xác định tọa độ khối bao $Rec(\Re_i)$ và kích thước của tất cả các vùng chứa mẫu $\mathcal{M}$ xuất hiện trong ảnh $\mathcal{I}$ mà không biết trước tỉ lệ, hướng quay hay vị trí của chúng.

2. Tại sao thuật toán Exact Match thất bại trước các ảnh giả mạo mà thuật toán KPFImage lại phát hiện được? Thuật toán Exact Match hoạt động dựa trên việc chia ảnh thành các khối vuông cố định và sắp xếp đối sánh từ điển mức xám; do đó giải thuật này chỉ tìm được các vùng sao chép nguyên bản. Khi kẻ giả mạo thực hiện thao tác xoay (rotation) hoặc thay đổi tỉ lệ (scaling) vùng ảnh trước khi dán, các giá trị pixel trong khối bị biến đổi, khiến Exact Match mất dấu. Thuật toán KPFImage dựa trên các điểm bất biến SIFT và cấu trúc tương quan cụm hình học, vốn có tính bất biến tự nhiên với phép biến đổi affine, nên vẫn định vị chính xác vùng giả mạo.

3. Tại sao luận án lại sử dụng đặc trưng nhiễu để phát hiện chất liệu trong khi thông thường nhiễu bị coi là thành phần cần lọc bỏ? Trong xử lý ảnh thông thường, nhiễu được coi là sai số ngẫu nhiên không mong muốn. Tuy nhiên, luận án phân tích rằng tín hiệu ảnh thu nhận phản ánh mối quan hệ vi mô giữa cấu trúc bề mặt vật liệu và bộ cảm biến. Thành phần nhiễu chất liệu $n_{ij}$ tồn tại khách quan và mang tính đặc trưng ổn định cho từng loại vật chất. Do đó, việc trích xuất và mô hình hóa nhiễu qua phân phối chuẩn Gauss cho phép nhận diện các chất liệu mịn, đồng nhất dưới các điều kiện chiếu sáng biến đổi mạnh – trường hợp mà các phương pháp phân tích biên cạnh hay điểm đặc trưng truyền thống bị mất tác dụng.

4. Tính tự tương tự của hình học Fractal giải quyết thách thức nào trong bài toán phát hiện mẫu chất liệu? Thách thức lớn khi tìm mẫu chất liệu trong ảnh là sự sai lệch tỉ lệ (scale) giữa mẫu con và ảnh nền. Phương pháp truyền thống phải quét vét cạn nhiều mức tỉ lệ (scale-space pyramid) rất tốn kém. Hình học Fractal thông qua hệ hàm lặp phân hoạch PIFS mô tả cấu trúc vật liệu dưới dạng các ánh xạ co tự tương tự ở các mức phóng đại khác nhau. Nhờ vậy, mô hình Fractal đại diện cho cấu trúc ở mọi thang đo, hỗ trợ phát hiện mẫu khi bị biến đổi tỉ lệ toàn cục mà không làm bùng nổ không gian tính toán.

Kết luận

Luận án tiến sĩ của tác giả Lê Thị Kim Nga đã giải quyết bài toán phát hiện mẫu chất liệu trong ảnh thông qua ba hướng tiếp cận bổ trợ lẫn nhau: đặc trưng bất biến địa phương kết hợp phân cụm hình học (DMBLIF), mô hình hóa đặc trưng nhiễu chất liệu (DMBNF), và mô tả cấu trúc tự tương tự bằng hình học Fractal (DMBF). Công trình đóng góp các giải thuật cụ thể giải quyết những thách thức do biến đổi góc quay, co giãn tỉ lệ và chiếu sáng, đồng thời mở rộng ứng dụng thành công sang bài toán phát hiện ảnh số giả mạo dạng cắt dán (KPFImage). Các kết quả lý thuyết và thực nghiệm được công bố trên các tạp chí và kỷ yếu hội nghị chuyên ngành giai đoạn 2009–2011, cung cấp cơ sở khoa học cho việc phát triển các ứng dụng thị giác máy tính trong hệ thống giám sát tự động và giám định an toàn thông tin hình ảnh.