Tổng quan luận án

Luận án tiến sĩ "Nghiên cứu phát hiện mẫu chất liệu trong ảnh" do nghiên cứu sinh Lê Thị Kim Nga thực hiện năm 2014 tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, dưới sự hướng dẫn khoa học của PGS. Đinh Mạnh Tường và PGS. Đỗ Năng Toàn, thuộc chuyên ngành Khoa học máy tính (mã số: 62 48 01 01).

Về tính cấp thiết, trong thị giác máy tính và xử lý ảnh, thông tin thị giác chiếm gần 80% lượng thông tin con người tiếp nhận. Việc phát hiện đối tượng hoặc vùng chất liệu trong ảnh đóng vai trò thiết yếu trong các hệ thống giám sát tự động (giám sát giao thông, kiểm soát vào/ra tại các tòa nhà, giám sát hỏa hoạn), thực tại ảo và điều khiển robot thông minh. Theo phân loại của Eakins và Graham, bài toán tra cứu ảnh dựa trên nội dung (CBIR) gồm ba mức: mức 1 dựa trên các đặc trưng mức thấp (màu sắc, hình dạng, kết cấu cơ bản); mức 2 dựa trên các đặc trưng logic/suy diễn để tìm các thành phần cụ thể của đối tượng (như "hoa", "gỗ", "da mặt", "xe đạp"); mức 3 tra cứu theo ngữ nghĩa và sự kiện trừu tượng. Bài toán phát hiện mẫu chất liệu trong luận án thuộc nhóm bài toán mức 2.

Khoảng trống nghiên cứu cốt lõi được tác giả chỉ ra là:

  1. Thể hiện ảnh của mẫu chất liệu chịu ảnh hưởng lớn từ điều kiện chiếu sáng, cấu trúc hình học bề mặt 3D, tỉ lệ và hướng thu nhận của camera. Điều này dẫn đến hiện tượng biến thể bên ngoài lớn (cùng một chất liệu nhưng chụp ở các điều kiện khác nhau sẽ có biểu hiện bề mặt rất khác nhau) và biến thể bên trong nhỏ (hai chất liệu khác nhau lại có thể trông tương tự nhau trên ảnh 2D).
  2. Chưa có mô hình toán học tổng quát nào mô tả trọn vẹn các thay đổi do môi trường thu nhận. Các mô hình phản xạ quang học truyền thống như hàm phân phối phản xạ hai chiều (BRDF) hay hàm kết cấu hai chiều (BTF) đòi hỏi tập huấn luyện khổng lồ dưới mọi góc chiếu/góc chụp, không khả thi trong môi trường thực tế. Trong khi đó, các phương pháp nhận dạng kết cấu (texture) sẵn có chỉ phân lớp trên các cơ sở dữ liệu đóng mà chưa giải quyết trọn vẹn việc định vị trực tiếp vị trí và kích thước của mẫu chất liệu khi xuất hiện trong ảnh lớn với tỉ lệ và góc quay chưa biết trước.

Mục tiêu nghiên cứu của luận án được cụ thể hóa thành 3 nội dung:

  1. Tìm các dạng thay đổi ảnh về mặt hình học và quang học đối với các điều kiện thu nhận khác nhau; nghiên cứu các thuộc tính bề mặt của mẫu chất liệu nhằm xây dựng kỹ thuật biểu diễn mẫu chất liệu bất biến hoặc ít nhạy với các phép biến đổi.
  2. Nghiên cứu và đề xuất các kỹ thuật phát hiện mẫu chất liệu trong ảnh dựa trên các biểu diễn đó trong các điều kiện môi trường thay đổi (nhiễu, ánh sáng, tỉ lệ, quay, méo, che khuất).
  3. Nghiên cứu và đề xuất ứng dụng kỹ thuật phát hiện mẫu chất liệu vào bài toán thực tiễn: phát hiện ảnh số giả mạo (dạng cắt dán copy-move có biến đổi hình học).

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các mẫu chất liệu trong ảnh số 2D (chất liệu tự nhiên và nhân tạo như gỗ, cỏ cây, vải, đá, da mặt) và các thuật toán phát hiện vùng chất liệu.
  • Phạm vi không gian và dữ liệu: Không gian ảnh số 2D đa mức xám và 24-bit màu; dữ liệu kiểm nghiệm từ tập video giám sát đám đông trên đường phố MIT-CSAIL, cơ sở dữ liệu Flickr Materials Database (khảo sát lý thuyết), cùng các ảnh chất liệu thu nhận thực tế.

Tổng quan tài liệu và vị trí của luận án

Tác giả hệ thống hóa các công trình nghiên cứu trước đây theo ba nhóm tiếp cận chính:

  1. Tiếp cận dựa vào mô hình phản xạ ánh sáng:

    • Các công trình sử dụng hàm phân phối phản xạ hai chiều BRDF và hàm texture hai chiều BTF (Dana et al., Leung et al.). Hướng tiếp cận này tham số hóa ảnh chất liệu theo hướng chiếu sáng và hướng camera.
    • Nhược điểm: Bắt buộc phải học tất cả biến thể dưới mọi điều kiện ánh sáng và góc nhìn; hơn nữa, thuộc tính phản xạ không đủ để phân biệt các chất liệu có cùng độ trong suốt/phản xạ nhưng cấu tạo từ vật chất khác nhau.

  2. Tiếp cận dựa vào đặc trưng ảnh (toàn cục và địa phương):

    • Đặc trưng toàn cục: Phương pháp lược đồ màu (Histogram) trích xuất thống kê bậc một; phương pháp Ma trận đồng hiện mức xám GLCM (Haralick et al.) trích xuất các thống kê bậc hai như độ tương phản, năng lượng, độ thô, tính đồng đều; phương pháp mẫu nhị phân địa phương LBP (Ojala et al., 2003, 2006). Các phương pháp này nhạy cảm với sự biến đổi ánh sáng và không bất biến với biến đổi affine tổng quát.
    • Đặc trưng địa phương: Phương pháp dựa trên độ cong đường biên; phương pháp dựa trên ma trận Hessian (Beaudet), góc Harris (Harris & Stephens); phương pháp kết hợp không gian tỉ lệ Harris-Laplace, Hessian-Laplace (Mikolajczyk & Schmid); phương pháp biến đổi đặc trưng bất biến tỉ lệ SIFT (David Lowe, 1999, 2004). Đặc trưng địa phương có tính phân biệt cao, cho phép giảm số lượng mẫu huấn luyện.
    • Phân tích lượng nhiễu: Nhóm nghiên cứu của Fridrich (2009) sử dụng lượng nhiễu dư của cảm biến camera để phát hiện ảnh giả mạo. Luận án mở rộng hướng tiếp cận này bằng việc xác định rằng mỗi loại chất liệu tự nhiên tạo ra một lượng nhiễu đặc trưng khi tương tác với ánh sáng.

  3. Tiếp cận dựa vào mô hình toán học và hình học:

    • Mô hình tự hồi quy đồng thời: SAR, mô hình SAR đồng tâm CSAR (Kashyap & Khotanzad), mô hình SAR bất biến quay đa biến RISAR (Mao & Jain).
    • Mô hình xác suất: Trường ngẫu nhiên Markov MRF kết hợp ước lượng hợp lý cực đại MLE (Cohen et al.), mô hình Markov ẩn HMM (Chen & Kundu).
    • Mô hình hình học Fractal: Lý thuyết tập Fractal (Mandelbrot), hệ hàm lặp IFS (Hutchinson, 1981), định lý Collage (Barnsley, 1988), thuật toán nén Fractal phân hoạch PIFS (Jacquin, 1989).

Khoảng trống luận án lựa chọn giải quyết: Luận án không đi theo hướng tái tạo 3D phức tạp mà khai thác thể hiện ảnh 2D thông qua ba kỹ thuật: cấu trúc tương quan hình học của đặc trưng bất biến địa phương (xử lý biến đổi quay, tỉ lệ), đặc trưng nhiễu chất liệu kết hợp phân phối Gauss (xử lý biến đổi ánh sáng trên bề mặt ít gồ ghề), và mô hình hệ hàm lặp Fractal (xử lý biến đổi tỉ lệ toàn cục nhờ tính tự tương tự).

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và mô hình toán học

  1. Mô hình biến đổi Affine của bề mặt ảnh: Tọa độ điểm ảnh $x = (x, y)^T \in \mathbb{R}^2$ được biến đổi thành $x'$ trong ảnh khác theo công thức: $$x' = \mathcal{T}x + t$$ Trong đó $t \in \mathbb{R}^2$ là vectơ dịch chuyển, $\mathcal{T} \in \mathbb{R}^{2 \times 2}$ là ma trận biến đổi:
  • Phép dịch chuyển thuần túy: $\mathcal{T} = \mathbf{1}_2$
  • Phép biến đổi Euclid (quay và dịch chuyển): $\mathcal{T}^T \mathcal{T} = \mathbf{1}_2$
  • Phép biến đổi tương tự (quay, dịch chuyển, tỉ lệ $\kappa$): $\mathcal{T}^T \mathcal{T} = \kappa \mathbf{1}_2$
  • Phép biến đổi affine tổng quát: $\det(\mathcal{T}) \neq 0$

  1. Mô hình hình thành tín hiệu và nhiễu trong ảnh: Tín hiệu ảnh thô $x = (x_{i,j})$ kích thước $m \times n$. Tín hiệu đầu ra $y = (y_{ij})$ được mô hình hóa qua phương trình: $$y_{ij} = f_{ij}(x_{ij} + n_{ij} + \eta_{ij}) + c_{ij} + \epsilon_{ij}$$ Trong đó: $n_{ij}$ là nhiễu chất liệu, $\eta_{ij}$ là nhiễu ngẫu nhiên do môi trường ngoài, $c_{ij}$ là đốm đen hiện thời, $\epsilon_{ij}$ là nhiễu hệ thống. Giá trị điểm ảnh cuối cùng sau xử lý phi tuyến $T$ trên lân cận $N(y_{ij})$: $$P_{ij} = T(y_{ij}, N(y_{ij}), i, j), \quad 0 \le P_{ij} \le 255$$

  2. Lý thuyết hệ hàm lặp Fractal (IFS và PIFS):

  • Không gian metric đầy đủ $(\mathcal{M}, d)$. Ánh xạ co $w: \mathcal{M} \rightarrow \mathcal{M}$ với hệ số co $s \in [0, 1)$ thỏa mãn $d(w(x), w(y)) < s \cdot d(x, y)$.
  • Định lý điểm bất động: Tồn tại duy nhất $x_f \in \mathcal{M}$ sao cho $w(x_f) = x_f$ và $\lim_{n \to \infty} w^n(x) = x_f$.
  • Định lý Collage: Cho $x \in \mathcal{M}$, khoảng cách tới điểm bất động thỏa mãn $d(x, x_f) \le \frac{1}{1-s} d(x, w(x))$.
  • Biến đổi Affine mở rộng trong nén Fractal cho cường độ điểm ảnh $z$: $$\mathcal{W}\begin{bmatrix} x \ y \ z \end{bmatrix} = \begin{bmatrix} a & b & 0 \ c & d & 0 \ 0 & 0 & s \end{bmatrix} \begin{bmatrix} x \ y \ z \end{bmatrix} + \begin{bmatrix} e \ f \ o \end{bmatrix}$$ với $a, b, c, d, e, f$ là các tham số hình học; $s$ là hệ số co tương phản; $o$ là độ dịch chuyển độ sáng.

Phương pháp nghiên cứu thực tế

Phương pháp tiếp cận Kỹ thuật & Công cụ xử lý Dữ liệu & Mẫu áp dụng
Đặc trưng bất biến địa phương Trích chọn điểm cực trị trên không gian tỉ lệ DoG, mô tả SIFT 128 chiều, đối sánh Nearest Neighbor, phân cụm tương quan hình học ISODATA Mẫu chất liệu có kết cấu thô, tương phản cao (gỗ, cỏ, vải); tập dữ liệu MIT-CSAIL
Đặc trưng nhiễu chất liệu Khử thành phần tần số thấp, tách tín hiệu nhiễu dư, học tích lũy mẫu nhiễu, phân lớp dựa trên hàm phân phối xác suất Gauss Mẫu chất liệu có cấu trúc bề mặt thấp, ảnh chụp trong điều kiện ánh sáng biến đổi
Hình học Fractal Phân hoạch ảnh thành khối miền $D_j$ và khối dãy $R_i$ (cây tứ phân, ngang-dọc), tìm ánh xạ co xấp xỉ theo hệ hàm lặp PIFS Mẫu chất liệu có cấu trúc tự lặp lại (lá cây, vân đá, chất liệu tự nhiên) chịu biến đổi tỉ lệ toàn cục
Phát hiện ảnh giả mạo Thuật toán KPFImage kết hợp phân tích mẫu chất liệu và đối sánh đặc trưng vùng cắt dán Ảnh số 24-bit màu, ảnh đa mức xám, ảnh nén chứa vùng giả mạo bị quay/thay đổi tỉ lệ

Nội dung chính theo từng chương

Chương 1: Tổng quan về phát hiện mẫu chất liệu trong ảnh

Chương 1 thiết lập khung lý thuyết nền tảng cho toàn bộ luận án:

  • Định nghĩa bản chất vật lý và biểu diễn thị giác của chất liệu: Chất liệu trong xử lý ảnh là ảnh 2D phản ánh sự tương tác của bề mặt cấu tạo với ánh sáng (gồm phản xạ định hướng - Specular Reflection và phản chiếu khuyếch tán - Diffuse Reflection). Phân loại mẫu chất liệu thành hai nhóm: nhóm có mô hình toán học biểu diễn tường minh và nhóm không có mô hình (biểu diễn bằng tập ảnh mẫu).
  • Phát biểu hình thức bài toán phát hiện mẫu chất liệu: Cho ảnh đầu vào $\mathcal{I}$ và mẫu chất liệu $\mathcal{M}$, cần xác định vị trí và khối bao $Rec(\Re_i)$ của tất cả các vùng trong $\mathcal{I}$ chứa chất liệu tương đồng với $\mathcal{M}$.
  • Phân tích chi tiết các thách thức: Biến thể chiếu sáng, hướng chụp dẫn đến phép biến đổi affine, sự thiếu hụt mô hình toán học tổng quát 3D, và hiện tượng mất cân đối tỉ lệ khi mẫu chất liệu xuất hiện quá nhỏ trong nền ảnh phức tạp.
  • Khảo sát có hệ thống các kỹ thuật trích xuất đặc trưng: Phân tích ưu nhược điểm của các phương pháp đường biên, độ cong tỉ lệ chu vi - diện tích ($r = \frac{P^2}{4\pi S}$), cường độ sai phân/gradient (Hessian, Harris), ma trận đồng hiện GLCM, mẫu nhị phân LBP, mô hình SAR/CSAR/RISAR, mô hình trường ngẫu nhiên Markov (MRF/HMM), và mô hình hình học Fractal.

Chương 2: Phát hiện mẫu chất liệu dựa vào đặc trưng bất biến địa phương

Chương 2 trình bày giải pháp phát hiện chất liệu đối với các bề mặt có độ tương phản cao và kết cấu thô:

  • Quy trình trích chọn đặc trưng bất biến địa phương: Xác định các điểm bất biến tỉ lệ (Keypoints) trên không gian tỉ lệ xây dựng từ hiệu các hàm Gauss (DoG), gán hướng chính và xây dựng vectơ mô tả SIFT 128 chiều cho từng điểm.
  • Đề xuất thuật toán DMBLIF (Detecting Material Based on Local Invariant Feature): Sau khi đối sánh các điểm đặc trưng giữa mẫu chất liệu và ảnh đầu vào bằng kỹ thuật lân cận gần nhất (Nearest Neighbor), thuật toán không kết luận đơn lẻ mà tiến hành phân cụm các điểm ứng cử trung tâm dựa trên mối quan hệ tương quan cấu trúc hình học (sử dụng thuật toán phân cụm ISODATA). Khối bao $Rec(\Re_i)$ được xác lập từ tập điểm có cấu trúc hình học tương đồng.
  • Đánh giá thực nghiệm thuật toán DMBLIF: Thử nghiệm trên các mẫu chất liệu gỗ, cỏ, vải bị quay các góc khác nhau và thay đổi tỉ lệ. Kết quả định lượng được tổng hợp trong Bảng 2.1 của luận án:
Thuật toán Loại chất liệu thử nghiệm Điều kiện biến đổi hình học / quang học Đánh giá định tính & khả năng định vị
DMBLIF Cỏ cây, gỗ, vải Thay đổi tỉ lệ, quay góc bất kỳ, biến đổi ánh sáng nhẹ Định vị chính xác vùng chất liệu dựa trên phân cụm điểm tương quan hình học
  • Ứng dụng phát hiện ảnh số giả mạo – Thuật toán KPFImage: Luận án phân tích các dạng làm giả ảnh cơ bản (ghép 2 ảnh, che phủ đối tượng, bổ sung đối tượng, sao chép - cắt dán copy-move). Tác giả đề xuất thuật toán KPFImage nhằm khắc phục nhược điểm của thuật toán truyền thống Exact Match. Thuật toán Exact Match chỉ tìm được các vùng sao chép nguyên bản giống hệt nhau; khi vùng bị cắt dán bị xoay hoặc thay đổi tỉ lệ, Exact Match và bản cải tiến Exact Match* thất bại. KPFImage phát hiện chính xác các vùng giả mạo cắt dán trên cả ảnh 24-bit màu, ảnh đa mức xám và ảnh định dạng nén JPEG có biến đổi quay và co dãn tỉ lệ.

Chương 3: Phát hiện mẫu chất liệu dựa vào đặc trưng nhiễu

Chương 3 giải quyết bài toán phát hiện chất liệu cho các bề mặt có kết cấu mịn, độ lồi lõm hình học thấp và chịu biến đổi ánh sáng mạnh:

  • Chứng minh vai trò của đặc trưng nhiễu: Mỗi chất liệu cấu tạo khi tương tác với ánh sáng và hệ thống quang học của thiết bị thu nhận sẽ tạo ra một phổ nhiễu đặc trưng $n_{ij}$. Tín hiệu nhiễu này mang tính ổn định cao hơn so với giá trị cường độ sáng tuyệt đối khi môi trường chiếu sáng thay đổi.
  • Thuật toán RMBN (Representation Material Based on Noise): Xây dựng mô hình biểu diễn đặc trưng nhiễu bằng phương pháp học tích lũy trên một tập các ảnh thể hiện của cùng một mẫu chất liệu dưới các góc chiếu sáng khác nhau, loại bỏ các thành phần tần số thấp và nhiễu ngẫu nhiên không tương quan.
  • Thuật toán DMBNF (Detecting Material Based on Noise Feature): Trích xuất ảnh nhiễu từ ảnh đầu vào $\mathcal{I}$, sau đó tiến hành phân lớp và đối sánh tương quan với mẫu nhiễu đã học thông qua hàm phân phối xác suất Gauss. Các vùng có hàm mật độ xác suất vượt ngưỡng sẽ được khoanh vùng là chất liệu mục tiêu.
  • Đánh giá thực nghiệm: Thử nghiệm trên các chất liệu gỗ, cỏ cây trong điều kiện chiếu sáng thay đổi mạnh. Thuật toán DMBNF chứng minh khả năng phát hiện ổn định các vùng chất liệu mục tiêu ngay cả khi cường độ sáng của ảnh đầu vào bị suy giảm hoặc thay đổi hướng chiếu.

Chương 4: Phát hiện mẫu chất liệu dựa vào hình học Fractal

Chương 4 đề xuất giải pháp phát hiện mẫu chất liệu dựa trên thuộc tính tự tương tự thống kê ở nhiều tỉ lệ:

  • Cơ sở toán học Fractal ứng dụng trong biểu diễn ảnh: Dựa trên hệ hàm lặp IFS và hệ hàm lặp phân hoạch PIFS, mô hình hóa chất liệu thành tập hợp các phép biến đổi co affine $\mathcal{W}_i$.
  • Thuật toán RMBF (Representation Material Based on Fractal): Phân hoạch ảnh mẫu thành tập các khối dãy $R_i$ (không chồng lấn) và tập các khối miền $D_j$ (có thể chồng lấn, kích thước lớn hơn khối dãy). Thuật toán tìm kiếm các ánh xạ co $w_i: D_{R_i} \rightarrow R_i$ sao cho sai số xấp xỉ $d(R_i, w_i(D_{R_i}))$ đạt giá trị cực tiểu. Bộ tham số biến đổi affine thu được chính là mô tả Fractal đặc trưng cho mẫu chất liệu.
  • Thuật toán DMBF (Detecting Material Based on Fractal): Sử dụng tập các ánh xạ co đã xác định ở pha RMBF để quét và phát hiện vùng chất liệu trên ảnh đầu vào $\mathcal{I}$. Do nguyên lý ánh xạ co bảo toàn cấu trúc tự tương tự qua các tỉ lệ khác nhau, thuật toán DMBF giải quyết hiệu quả bài toán mẫu chất liệu bị thay đổi tỉ lệ toàn cục lớn.

Kết quả và những đóng góp mới

Luận án đã đạt được các đóng góp khoa học và thực tiễn cụ thể:

Đóng góp về mặt lý luận và phương pháp

  1. Đề xuất kỹ thuật phát hiện mẫu chất liệu dựa trên đặc trưng bất biến địa phương kết hợp phân cụm quan hệ tương quan hình học (Thuật toán DMBLIF): Khắc phục hạn chế của việc đối sánh điểm SIFT rời rạc, cho phép phát hiện chính xác vùng mẫu chất liệu thô trong điều kiện bị quay góc bất kỳ, co giãn tỉ lệ và thay đổi ánh sáng nhẹ.
  2. Đề xuất kỹ thuật biểu diễn và phát hiện mẫu chất liệu dựa trên đặc trưng nhiễu (Thuật toán RMBN và DMBNF): Khai thác thành phần nhiễu chất liệu nội tại kết hợp mô hình phân loại xác suất Gauss, giải quyết bài toán phát hiện chất liệu khi điều kiện chiếu sáng thay đổi đối với các bề mặt có độ gồ ghề thấp.
  3. Đề xuất kỹ thuật mô tả và phát hiện mẫu chất liệu dựa trên hình học Fractal (Thuật toán RMBF và DMBF): Ứng dụng hệ hàm lặp phân hoạch PIFS để mô hình hóa tính tự tương tự của chất liệu, giải quyết thành công bài toán biến đổi tỉ lệ toàn cục.

Đóng góp về mặt ứng dụng thực tiễn

  1. Đề xuất thuật toán KPFImage ứng dụng kỹ thuật phát hiện chất liệu vào bài toán phát hiện ảnh số giả mạo dạng cắt dán (copy-move forgery): Phát hiện được các vùng ảnh bị chỉnh sửa sao chép ngay cả khi vùng giả mạo đã bị xử lý quay góc, thay đổi kích thước tỉ lệ, áp dụng hiệu quả trên cả ảnh màu 24-bit, ảnh mức xám và ảnh nén JPEG.
  2. Đóng góp giải pháp kỹ thuật phục vụ các hệ thống thị giác máy thực tế: Mở ra hướng tiếp cận mới cho bài toán tra cứu ảnh theo nội dung ở mức 2 (CBIR mức logic/suy diễn) và hỗ trợ tiền xử lý cho các hệ thống giám sát tự động (giám sát đám đông, nhận dạng mặt người qua chất liệu da, phát hiện mục tiêu qua chất liệu bề mặt).

Danh mục công trình khoa học đã công bố của tác giả liên quan đến luận án

  • Kỷ yếu Hội nghị Quốc gia về Công nghệ Thông tin và Truyền thông (2009).
  • Báo cáo tại Hội nghị Quốc gia FAIR (2009).
  • Bài báo trên Tạp chí Tin học và Điều khiển học (2010).
  • Bài báo trên Tạp chí Khoa học và Công nghệ (2010).
  • Báo cáo tại Hội nghị Quốc tế ACM iiWAS-MoMM (2011).

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung công bố trong văn bản luận án, các hạn chế và hướng phát triển được xác định như sau:

Hạn chế:

  • Mỗi phương pháp đề xuất tối ưu cho một nhóm thuộc tính bề mặt nhất định: Thuật toán DMBLIF phát huy hiệu quả cao trên chất liệu có kết cấu thô và độ tương phản lớn (gỗ, cỏ, vải) nhưng bị hạn chế trên các chất liệu mịn, đồng nhất; ngược lại, thuật toán DMBNF dựa trên nhiễu phù hợp với bề mặt có cấu trúc hình học thấp nhưng phụ thuộc vào quá trình ước lượng nhiễu; thuật toán DMBF đòi hỏi mẫu chất liệu phải có tính tự tương tự rõ rệt.
  • Khả năng thích ứng với biến đổi quang học của thuật toán địa phương chỉ duy trì trong một phạm vi thay đổi ánh sáng nhất định.
  • Chưa xây dựng một mô hình toán học đơn nhất có thể bao quát đồng thời mọi biến thể 3D phức tạp (che khuất lớn, biến dạng phi tuyến mạnh, bề mặt gồ ghề ngẫu nhiên).

Hướng nghiên cứu tiếp:

  • Tích hợp các thuật toán đề xuất (DMBLIF, DMBNF, DMBF) thành một hệ thống tổng hợp có khả năng tự động lựa chọn đặc trưng phù hợp tùy theo loại chất liệu đầu vào.
  • Tối ưu hóa tốc độ xử lý của các thuật toán mã hóa Fractal và phân tích nhiễu để đáp ứng yêu cầu xử lý thời gian thực trong các hệ thống giám sát video quy mô lớn.
  • Mở rộng ứng dụng thuật toán KPFImage trong các bài toán giám định kỹ thuật số chuyên sâu và an ninh thông tin.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên ngành hữu ích cho:

  • Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Khoa học máy tính, Công nghệ thông tin, Thị giác máy tính: Tham khảo khung lý thuyết toán học hoàn chỉnh về biến đổi Affine, trích chọn đặc trưng bất biến địa phương (SIFT), cơ chế lọc nhiễu cảm biến/chất liệu và lý thuyết hệ hàm lặp Fractal (IFS/PIFS).
  • Kỹ sư phát triển hệ thống thị giác máy và xử lý ảnh: Tham khảo chi tiết thiết kế và mã giả các thuật toán DMBLIF, RMBN, DMBNF, RMBF, DMBF để triển khai trong các bài toán nhận dạng, phân đoạn ảnh và tra cứu ảnh theo nội dung (CBIR mức 2).
  • Chuyên gia an toàn thông tin và giám định số: Tham khảo cấu trúc thuật toán KPFImage trong Chương 2 để xây dựng các công cụ tự động phát hiện gian lận hình ảnh, giả mạo tài liệu số dạng copy-move bị biến đổi hình học.

Câu hỏi thường gặp

  1. Sự khác biệt cốt lõi giữa nhận dạng chất liệu và phát hiện mẫu chất liệu trong luận án là gì? Nhận dạng chất liệu thường giả định vùng ảnh đã được phân đoạn sẵn hoặc thực hiện phân lớp trên các tập dữ liệu đóng với kích thước cố định. Phát hiện mẫu chất liệu trong luận án là bài toán tìm kiếm trực tiếp: xác định cả vị trí tọa độ và kích thước khối bao $Rec(\Re_i)$ của mẫu chất liệu $\mathcal{M}$ chưa biết trước tỉ lệ và góc quay bên trong một bức ảnh lớn $\mathcal{I}$.

  2. Tại sao các phương pháp mô hình hóa phản xạ bề mặt như BRDF và BTF không được lựa chọn làm giải pháp chính trong luận án? Mô hình BRDF và BTF yêu cầu phải huấn luyện trước tất cả các biến thể của mẫu chất liệu dưới mọi điều kiện chiếu sáng và góc chụp camera, điều này bất khả thi khi thu thập dữ liệu thế giới thực. Ngoài ra, việc chỉ biết thuộc tính phản xạ không đủ để phân biệt các chất liệu khác nhau nhưng có bề mặt quang học tương tự (ví dụ: kính, nhựa dẻo, sáp ong).

  3. Thuật toán DMBLIF giải quyết vấn đề biến đổi tỉ lệ và quay của mẫu chất liệu bằng cơ chế nào? Thuật toán DMBLIF trích chọn các điểm bất biến tỉ lệ bằng DoG và mô tả SIFT 128 chiều (vốn bất biến với tỉ lệ và phép quay). Sau đó, thay vì đối sánh điểm đơn lẻ, thuật toán áp dụng thuật toán phân cụm ISODATA để gom cụm các mối tương quan cấu trúc hình học giữa các điểm đặc trưng, từ đó xác định chính xác khối bao của chất liệu.

  4. Tại sao đặc trưng nhiễu lại được sử dụng để phát hiện chất liệu trong Chương 3 khi môi trường chiếu sáng thay đổi? Khi camera thu nhận ảnh, mỗi chất liệu cấu tạo khi tương tác với ánh sáng sẽ sinh ra một lượng nhiễu xác định đặc trưng $n_{ij}$. Trong khi giá trị mức xám tuyệt đối bị thay đổi mạnh theo cường độ sáng, phổ nhiễu chất liệu tích lũy qua mô hình phân loại Gauss vẫn duy trì được tính ổn định, cho phép phát hiện hiệu quả các bề mặt ít gồ ghề.

  5. Thuật toán KPFImage vượt trội hơn thuật toán Exact Match như thế nào trong phát hiện ảnh giả mạo? Thuật toán Exact Match chỉ tìm được các khối ảnh giống nhau nguyên bản và thất bại khi vùng cắt dán bị xoay hoặc thay đổi kích thước. KPFImage sử dụng tiếp cận phát hiện mẫu chất liệu dựa trên đặc trưng bất biến địa phương, cho phép phát hiện chính xác vùng bị cắt dán ngay cả khi đối tượng giả mạo đã bị quay góc hoặc co dãn tỉ lệ trên ảnh màu 24-bit, ảnh xám và ảnh nén JPEG.

Kết luận

Luận án tiến sĩ của tác giả Lê Thị Kim Nga đã giải quyết bài toán phát hiện mẫu chất liệu trong ảnh số thông qua việc đề xuất ba nhóm thuật toán tương ứng với ba hướng tiếp cận: đặc trưng bất biến địa phương (DMBLIF), đặc trưng nhiễu chất liệu (DMBNF) và hình học Fractal (DMBF). Các giải pháp kỹ thuật này đã khắc phục hiệu quả những khó khăn do biến đổi tỉ lệ, góc quay và sự thay đổi điều kiện chiếu sáng của môi trường thu nhận ảnh. Kết quả nghiên cứu không chỉ đóng góp về mặt lý thuyết cho lĩnh vực thị giác máy tính và tra cứu ảnh mức 2, mà còn được chứng minh tính ứng dụng thực tiễn thông qua thuật toán phát hiện ảnh giả mạo KPFImage và định hướng triển khai trong các hệ thống giám sát tự động.