Bối cảnh và vấn đề nghiên cứu

Đồ án tốt nghiệp "Ứng dụng kỹ thuật SFM để tái tạo ảnh 3D" được thực hiện bởi sinh viên Trần Văn Hà (lớp K23EVT, MSSV 2321122012), dưới sự hướng dẫn của ThS. Nguyễn Lê Mai Duyên tại Khoa Điện - Điện tử, Trường Đại học Duy Tân (Đà Nẵng, năm 2022). Công trình thuộc chuyên ngành Điện tử - Viễn thông, tập trung vào lĩnh vực xử lý ảnh số và thị giác máy tính thực nghiệm.

Bối cảnh và lý do chọn đề tài: Nhu cầu hiển thị và mô phỏng các vật thể trong không gian ba chiều ngày càng gia tăng trong các lĩnh vực điện ảnh, trò chơi điện tử, thăm dò địa chất, bản đồ số, tham quan ảo, thiết bị di động, chẩn đoán hình ảnh y khoa và hệ thống xe tự lái. Kỹ thuật tái tạo 3D cho phép khôi phục cấu trúc không gian của đối tượng thực từ tập hợp các ảnh chụp 2D ở nhiều góc nhìn khác nhau thông qua các phép biến đổi hình học và phép chiếu phối cảnh. Với mục tiêu tiếp cận và làm chủ quy trình công nghệ mới phục vụ học tập và nghiên cứu kỹ thuật, tác giả lựa chọn nghiên cứu phương pháp Cấu trúc từ chuyển động (Structure from Motion - SFM).

Mục tiêu nghiên cứu: Văn bản xác định 3 nhiệm vụ trọng tâm:

  1. Mô hình hóa và hiển thị đối tượng 3D theo phương pháp SFM.
  2. Giảm thiểu các yếu tố nhiễu trên dữ liệu ảnh 3D sau khi tái tạo.
  3. Quan sát, hiệu chỉnh đối tượng 3D và kết xuất mô hình mẫu ra định dạng tệp tin tiêu chuẩn nhằm phục vụ các bước xử lý tiếp theo.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các thuật toán xử lý ảnh số; nguyên lý và phương pháp biểu diễn đối tượng trong không gian 3D; thuật toán trích chọn đặc trưng SIFT; thuật toán ước lượng RANSAC; lý thuyết hình học Epipolar; phép đạc tam giác và thuật toán tối ưu hóa điều chỉnh nhóm (Bundle Adjustment).
  • Phạm vi nghiên cứu:
    • Về mặt lý thuyết: Giới hạn trong kỹ thuật tái tạo 3D thụ động dựa trên thị giác máy tính từ chuỗi ảnh 2D tĩnh chụp từ các góc nhìn khác nhau.
    • Về công cụ thực nghiệm: Ngôn ngữ và môi trường tính toán số MATLAB, sử dụng bộ công cụ hiệu chuẩn Camera Calibration Toolbox for Matlab.
    • Về nguồn dữ liệu: Tập hợp các hình ảnh thực tế được chụp từ máy ảnh kỹ thuật số (Nikon D60, Nikon D90, Canon EOS 1000D, Casio EX-S5) và điện thoại thông minh (Oppo CPH1605, Xiaomi 2201116SC) tại khu vực thành phố Đà Nẵng năm 2022.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình toán học: Khóa luận xây dựng trên mô hình toán học của hệ thống thị giác máy tính và hình học xạ ảnh:

  • Mô hình máy ảnh lỗ kim (Pinhole Camera Model): Mối quan hệ giữa tọa độ điểm thực $X = [X, Y, Z, 1]^T$ trong không gian 3D và điểm ảnh $x = [x, y, 1]^T$ trên mặt phẳng 2D được biểu diễn qua phương trình: $x = K[R|t]X$. Trong đó, ma trận thông số nội vi $K$ chứa tiêu cự ($f_x, f_y$), điểm chính quang học ($x_0, y_0$) và hệ số xiên $\gamma$; ma trận thông số ngoại vi $[R|t]$ xác định phép quay $R$ (kích thước $3 \times 3$) và phép tịnh tiến $t$ (vector dịch chuyển $3 \times 1$) giữa hệ tọa độ thế giới và tọa độ máy ảnh.
  • Ma trận cơ bản ($F$) và Ma trận thiết yếu ($E$): Thiết lập ràng buộc hình học giữa các cặp điểm tương ứng $(y, y')$ qua phương trình $(y')^T E y = 0$, được giải bằng phương pháp phân tích giá trị suy biến (SVD) với điều kiện tối thiểu 8 cặp điểm tương ứng.
  • Thuật toán trích chọn đặc trưng SIFT (Scale-Invariant Feature Transform): Do David G. Lowe đề xuất (2004), tạo ra các vector mô tả 128 chiều bất biến với phép co giãn, phép quay, góc nhìn, nhiễu và sự thay đổi cường độ sáng thông qua hàm sai khác Gauss (Difference-of-Gaussian - DoG) và ma trận Hessian.
  • Hình học Epipolar và Phép đạc tam giác (Triangulation): Tận dụng mặt phẳng epipolar và đường epipolar để giới hạn không gian tìm kiếm điểm khớp từ hai chiều xuống một chiều; tính toán giao điểm của các tia chiếu ngược để xác định tọa độ 3D.
  • Điều chỉnh nhóm (Bundle Adjustment - BA): Tối ưu hóa phi tuyến đồng thời toàn bộ tọa độ điểm 3D và tham số tư thế máy ảnh dựa trên thuật toán Levenberg-Marquardt (LM) nhằm cực tiểu hóa sai số chiếu lại (reprojection error).

Phương pháp nghiên cứu thực tế:

  • Phương pháp nghiên cứu lý thuyết: Phân tích, tổng hợp tài liệu học thuật về xử lý ma trận ảnh, hình học lập thể và các thuật toán thị giác máy tính.
  • Phương pháp thực nghiệm: Chụp ảnh thực tế các vật thể tĩnh trong điều kiện ánh sáng tự nhiên đồng đều; xử lý chuỗi ảnh bằng các kịch bản chạy trên phần mềm MATLAB.
  • Nguồn dữ liệu: Bộ dữ liệu gồm 12 mẫu vật với số lượng từ 2 đến 53 ảnh/mẫu, được chụp với góc lệch giữa các góc nhìn kề nhau nhỏ hơn $15^\circ$.

Nội dung chính theo từng chương

Chương 1: Tổng quan về đề tài

Chương 1 hệ thống hóa các định nghĩa cơ bản về xử lý ảnh số và các hướng tiếp cận tái tạo không gian ba chiều:

  • Định nghĩa cơ sở: Định nghĩa điểm ảnh (pixel), độ phân giải không gian, cấu trúc ảnh số dưới dạng ma trận hai chiều $f(x, y)$, thang mức xám $[0, 255]$ tương ứng bộ nhớ 1 byte (8 bit) và hệ màu RGB 24 bit. Tác giả trình bày công thức chuyển đổi từ ảnh màu RGB sang ảnh mức xám đơn sắc.
  • Nguyên lý tạo ảnh 3D: Phân tích cơ chế nhận thức chiều sâu của hệ thống thị giác người nhờ khoảng cách giữa hai mắt tạo ra hai góc nhìn khác nhau.
  • Phân loại các phương pháp tái tạo 3D:
    • Phương pháp thụ động (Passive methods): Thu nhận bức xạ tự nhiên bằng cảm biến quang học mà không phát tín hiệu chủ động lên bề mặt vật thể.
    • Phương pháp một góc nhìn (Shape-From-X): Khôi phục hình học từ bóng râm (Shape from shading), âm thanh nổi trắc quang (Photometric Stereo), kết cấu bề mặt (Shape from texture).
    • Thị giác lập thể (Stereo vision): Khôi phục thông tin hình học từ cặp ảnh chụp đồng thời hoặc tuần tự từ hai vị trí.
  • Ứng dụng thực tiễn: Tổng quan ứng dụng của SFM trong trắc địa bản đồ, đo đạc mô hình độ cao số (DEM), tính toán sinh khối cây trồng, điều hướng xe tự lái, hỗ trợ y tế và bảo tồn di sản văn hóa.

Chương 2: Kỹ thuật tạo ảnh 3D

Chương 2 trình bày chi tiết cơ sở toán học và thuật toán thực thi của quy trình Structure from Motion:

  • Hiệu chỉnh máy ảnh (Camera Calibration): Sử dụng hộp công cụ Camera Calibration Toolbox for Matlab để trích xuất các tham số ma trận nội vi (Intrinsic matrix), ngoại vi (Extrinsic matrix) và hệ số biến dạng quang học (biến dạng xuyên tâm và tiếp tuyến).
  • Thuật toán trích chọn đặc trưng SIFT: Triển khai quy trình thác lọc gồm 4 giai đoạn:
    1. Phát hiện điểm cực trị trong không gian tỉ lệ bằng hàm $D(x, y, \sigma) = (G(x, y, k\sigma) - G(x, y, \sigma)) * I(x, y)$, so sánh giá trị điểm ảnh với 26 điểm lân cận trong cấu trúc tháp DoG.
    2. Định vị điểm nổi bật: Dùng khai triển Taylor bậc hai loại bỏ các điểm có độ tương phản thấp ($D(\hat{X}) < 0.03$) và dùng ma trận đạo hàm riêng Hessian $2 \times 2$ loại bỏ các điểm không ổn định nằm dọc theo đường biên.
    3. Gán hướng chính dựa trên gradient cục bộ $m(x, y)$ và góc pha của vùng lân cận.
    4. Tạo vector mô tả đặc trưng gồm 128 phần tử từ ma trận $4 \times 4$ vùng con xung quanh điểm khóa.
  • Thuật toán RANSAC (Random Sample Consensus): Khử bỏ các cặp điểm tương ứng sai (nhiễu/outliers). Số vòng lặp tối thiểu $k$ được xác định theo công thức: $$k = \frac{\log(1 - p)}{\log(1 - (1 - v)^m)}$$ Trong đó $p$ là xác suất mong muốn, $v$ là tỉ lệ mẫu nhiễu và $m$ là số điểm tối thiểu cần để thiết lập mô hình.
  • Hình học Epipolar: Thiết lập quan hệ giữa hai tâm chiếu $S_1, S_2$, đường đáy ảnh $B$, các điểm epipole $e', e''$ và đường epipolar $l', l''$. Mối quan hệ đồng phẳng giúp giới hạn vùng tìm kiếm điểm khớp trên một đường thẳng thay vì toàn bộ mặt phẳng ảnh.
  • Phép đạc tam giác: Xác định tọa độ không gian $X$ bằng cách tìm giao điểm của các tia chiếu ngược tương ứng từ ma trận camera $C_1, C_2$ và các điểm ảnh $y_1', y_2'$.
  • Điều chỉnh nhóm (Bundle Adjustment - BA): Tối ưu hóa sai số tích lũy bằng cách giải bài toán phi tuyến: $$\min_{a_j, b_i} \sum_{i=1}^n \sum_{j=1}^m v_{ij} d(Q(a_j, b_i), x_{ij})^2$$ Sử dụng thuật toán Levenberg-Marquardt để tinh chỉnh tọa độ đám mây điểm 3D $b_i$ và tham số máy ảnh $a_j$.

Chương 3: Kết quả

Chương 3 công bố môi trường thử nghiệm, quy trình thuật toán tổng quát và kết quả tái tạo thực nghiệm trên các tập dữ liệu ảnh:

  • Môi trường thực hiện: Môi trường tính toán số MATLAB, tận dụng các hàm đại số ma trận và gói công cụ hiệu chuẩn máy ảnh để lập trình chuỗi xử lý khép kín.
  • Sơ đồ giải thuật tái tạo 3D: Tiếp nhận chuỗi ảnh $\rightarrow$ Trích chọn và khớp điểm đặc trưng (SIFT) $\rightarrow$ Ước tính ma trận Essential $\rightarrow$ Ước tính tư thế máy ảnh $\rightarrow$ Phép đạc tam giác $\rightarrow$ Điều chỉnh nhóm $\rightarrow$ Tái tạo các ảnh bị bỏ qua $\rightarrow$ Hợp nhất và điều chỉnh mô hình $\rightarrow$ Xuất mô hình 3D hoàn chỉnh.
  • Mô tả mẫu vật thực nghiệm: Thu thập 12 mẫu vật với các thông số thiết bị chi tiết (Bảng 3.1).
  • Kết quả thực nghiệm: Bảng so sánh 4 giai đoạn xử lý (ảnh gốc, trích chọn SIFT, đạc tam giác, điều chỉnh nhóm BA) và bảng số liệu thống kê định lượng về tỷ lệ khớp điểm, thời gian tính toán và số lượng điểm ảnh 3D thu được.

Kết quả và đóng góp

Kết quả định lượng từ thực nghiệm: Tác giả đã tiến hành thử nghiệm trên 12 đối tượng thực tế với thông số thiết bị thu thập như sau:

Tên mẫu vật Thiết bị chụp Tiêu cự Kích thước ảnh (pixel) Số lượng ảnh
Tượng đá công viên 29/3 Oppo CPH1605 4 mm 1200 x 1600 19
Quả bí ngô NIKON D60 30 mm 1936 x 1296 4
Tượng sư tử đá Oppo CPH1605 4 mm 1200 x 1600 11
Hòn đá NIKON D90 35 mm 2155 x 1324 53
Gốc cây Canon EOS 1000D 32 mm 3888 x 2592 43
Tượng đá cầu Sông Hàn Xiaomi 2201116SC 6 mm 720 x 1280 22
Tượng chú bộ đội Oppo CPH1605 4 mm 1200 x 1600 13
Chai nước ngọt Oppo CPH1605 4 mm 1200 x 1600 10
Bình hoa Casio EX-S5 6 mm 1200 x 1600 2
Chim cánh cụt Oppo CPH1605 4 mm 1200 x 1600 11
Giày trắng Oppo CPH1605 4 mm 1200 x 1600 11
Giày nâu Oppo CPH1605 4 mm 1200 x 1600 12

Kết quả thực nghiệm tái tạo và thời gian xử lý ghi nhận trong văn bản:

Tên mẫu Thiết bị Tiêu cự Tỉ lệ khớp TB (%) Số lượng ảnh Thời gian xử lý Số điểm 3D tái tạo
Tượng chú bộ đội Oppo CPH1605 4 mm 67,3% 13 3 giờ 192.663 điểm
Chai nước ngọt Oppo CPH1605 4 mm 78,7% 10 3 giờ 79.354 điểm
Quả bí ngô NIKON D60 30 mm — 4 20 phút —
Tượng sư tử đá Oppo CPH1605 4 mm — 11 3 giờ —
Tượng 29/3 Oppo CPH1605 4 mm — 19 4 giờ —
Tượng đá cầu Sông Hàn Xiaomi 2201116SC 6 mm — 22 4 giờ —
Gốc cây Canon EOS 1000D 32 mm — 43 6 giờ —
Hòn đá NIKON D90 35 mm — 53 8 giờ —

Đánh giá kết quả:

  • Mô hình tái tạo phản ánh màu sắc chân thực, hình dáng tương đồng với vật thể thực tế trong điều kiện ánh sáng ổn định và không bị đổ bóng.
  • Thực nghiệm chỉ ra mối tương quan: các tập ảnh có tỷ lệ khớp điểm đặc trưng trung bình cao (như mẫu Chai nước ngọt đạt 78,7%) cho kết quả mô hình hoàn thiện hơn, mật độ điểm tái tạo đồng đều hơn so với các mẫu có tỷ lệ khớp thấp.

Đóng góp của khóa luận:

  • Hệ thống hóa đầy đủ khung toán học của quy trình SFM: từ biểu diễn ma trận máy ảnh nội vi/ngoại vi, thuật toán SIFT, lọc nhiễu RANSAC, hình học epipolar, phép đạc tam giác đến tối ưu hóa điều chỉnh nhóm Bundle Adjustment.
  • Ứng dụng thành công phần mềm MATLAB cùng hộp công cụ hiệu chuẩn máy ảnh để tái tạo không gian 3D từ các chuỗi ảnh chụp bằng thiết bị phổ thông (điện thoại cá nhân và máy ảnh bán chuyên).
  • Chỉ ra các nguyên nhân thực tế gây lỗi trong quá trình tái tạo 3D: số lượng ảnh thu thập quá ít, góc chụp giữa các ảnh kề nhau quá lớn ($>15^\circ$), thiếu sáng, hoặc đối tượng có hình thái bề mặt quá phức tạp.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được tác giả chỉ ra:

  • Dữ liệu đầu ra của hệ thống mới chỉ dừng lại ở dạng mô hình đám mây điểm 3D (Point Cloud), chưa thực hiện được bước phủ lưới tam giác (Mesh) và dán vân bề mặt (Texture mapping) để tạo mô hình vật thể rắn hoàn chỉnh.
  • Đối với các vật thể có cấu trúc hình học phức tạp hoặc độ chi tiết cao, giải thuật chỉ tái tạo được khung dạng khái quát, còn xuất hiện các vùng khuyết điểm và điểm nhiễu cô lập.
  • Thời gian tính toán còn dài đối với các tập ảnh có kích thước lớn hoặc số lượng ảnh nhiều (điển hình mẫu Hòn đá 53 ảnh mất 8 giờ, mẫu Gốc cây 43 ảnh mất 6 giờ).
  • Một số mẫu vật thu thập không hoàn thiện do sai lệch trong thao tác chụp ảnh, dẫn đến việc thiếu hụt số điểm khớp tương ứng giữa các ảnh kề nhau.

Hướng nghiên cứu và phát triển tiếp theo:

  • Nghiên cứu tối ưu hóa giải thuật trong từng bước xử lý để rút ngắn thời gian tính toán và hoàn thiện thuật toán xây dựng bề mặt lưới (Mesh surface).
  • Phát triển và đóng gói ứng dụng tái tạo 3D trực tiếp trên các thiết bị di động thông minh chạy hệ điều hành Android, iOS hoặc Windows Phone.
  • Bổ sung các tính năng xử lý tự động nâng cao nhằm tăng khả năng tương thích của hệ thống với nhiều môi trường thực tế tại Việt Nam.

Giá trị tham khảo

Báo cáo đồ án có giá trị tham khảo chuyên môn rõ ràng cho sinh viên, học viên và cán bộ nghiên cứu:

  • Đối tượng thụ hưởng: Sinh viên các ngành Kỹ thuật Điện tử - Viễn thông, Công nghệ Thông tin, Kỹ thuật Máy tính, Đo ảnh và Viễn thám (Photogrammetry), Cơ điện tử có định hướng nghiên cứu về thị giác máy tính và xử lý ảnh 3D.
  • Nội dung có giá trị tham khảo cao:
    • Phần trình bày lý thuyết tại Chương 2 đóng vai trò như tài liệu hệ thống hóa toán học chặt chẽ về thuật toán SIFT (chi tiết cách tính DoG, ma trận Hessian khử biên) và cơ chế tối ưu hóa Bundle Adjustment bằng giải thuật Levenberg-Marquardt.
    • Các thông số thực nghiệm trong Chương 3 cung cấp cơ sở tham chiếu thực tế về tiêu cự, độ phân giải, yêu cầu góc chụp giữa hai ảnh kề nhau (dưới $15^\circ$) và đánh giá tương quan giữa thời gian xử lý với số lượng ảnh đầu vào trên nền tảng MATLAB.

Câu hỏi thường gặp

1. Kỹ thuật SFM được tác giả định nghĩa như thế nào trong đồ án?
Trong văn bản, Cấu trúc từ chuyển động (Structure from Motion - SFM) được định nghĩa là kỹ thuật tái tạo đối tượng ở dạng 3D từ một tập hợp các hình ảnh 2D được chụp từ nhiều góc độ khác nhau của cùng một vật thể, từ đó suy ra tọa độ không gian 3D của đối tượng.

2. Thuật toán SIFT thực hiện loại trừ các điểm đặc trưng kém ổn định bằng cách nào?
Thuật toán SIFT trong đồ án loại trừ điểm kém ổn định qua hai bước: (1) Loại bỏ các điểm có độ tương phản kém và nhạy cảm với nhiễu nếu giá trị hàm kiểm tra $D(\hat{X}) < 0.03$; (2) Loại bỏ các điểm dư thừa dọc theo đường biên bằng cách sử dụng tỷ số các giá trị riêng của ma trận Hessian cấp hai ($2 \times 2$) để xác định hệ số độ cong chính.

3. Tại sao cần sử dụng thuật toán RANSAC trong quy trình SFM của tác giả?
RANSAC (Random Sample Consensus) được sử dụng để lọc nhiễu giữa các tập điểm tương ứng. Thuật toán lặp ngẫu nhiên để phân tách tập dữ liệu thành hai nhóm: dữ liệu đúng (inlier) và dữ liệu nhiễu (outlier), từ đó ước lượng mô hình hình học chuẩn xác nhất mà không bị sai lệch bởi các điểm đối sánh sai.

4. Giai đoạn Điều chỉnh nhóm (Bundle Adjustment) sử dụng thuật toán nào và nhằm mục đích gì?
Điều chỉnh nhóm sử dụng thuật toán Levenberg-Marquardt (LM) để giải bài toán bình phương nhỏ nhất phi tuyến. Mục đích của giai đoạn này là tinh chỉnh đồng thời tọa độ các điểm 3D và thông số hiệu chuẩn của máy ảnh nhằm giảm thiểu sai số chiếu lại, ngăn ngừa sai số tích lũy từ phép đạc tam giác và ước lượng tư thế máy ảnh.

5. Điều kiện chụp ảnh thực nghiệm được tác giả quy định như thế nào để đảm bảo mô hình tái tạo thành công?
Các mẫu thực nghiệm phải được chụp trong điều kiện ánh sáng tự nhiên đầy đủ và đồng đều, không bị đổ bóng mạnh, bề mặt có kết cấu nhận diện được, và góc dịch chuyển giữa các góc chụp kề nhau phải tương đối nhỏ, đảm bảo bé hơn $15^\circ$.

Kết luận

Đồ án tốt nghiệp của sinh viên Trần Văn Hà đã ứng dụng thành công kỹ thuật Cấu trúc từ chuyển động (SFM) trên nền tảng MATLAB để tái tạo mô hình đám mây điểm 3D từ chuỗi ảnh 2D chụp thực tế. Tác giả đã hệ thống hóa chặt chẽ cơ sở toán học của toàn bộ quy trình xử lý thị giác máy tính, từ hiệu chỉnh camera, giải thuật SIFT, RANSAC, hình học Epipolar, phép đạc tam giác đến tối ưu hóa Bundle Adjustment. Các kết quả thực nghiệm trên 12 tập mẫu vật đã minh chứng tính khả thi của phương pháp trên thiết bị chụp thông dụng, đồng thời xác lập rõ các hạn chế về thời gian tính toán và định hướng mở rộng sang tái tạo bề mặt lưới đa giác trong tương lai.