Luận Án Tiến Sĩ: Phương Pháp Nhận Dạng Khuôn Mặt Trong Điều Kiện Đơn Mẫu Sử Dụng Độ Đo LTMHD

Luận án tiến sĩ kỹ thuật nghiên cứu kỹ thuật viễn thông phương pháp nhận dạng khuôn mặt trong điều kiện đơn mẫu dựa trên độ đo ltmhd, phân tích chuyên sâu, xây dựng mô hình lý

• Tác giả: Đặng Nguyên Châu
• Người hướng dẫn: PGS. Đỗ Hồng Tuấn
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh - Trường Đại học Bách Khoa
• Chuyên ngành: Kỹ thuật Viễn Thông
• Đề tài: Phương Pháp Nhận Dạng Khuôn Mặt Trong Điều Kiện Đơn Mẫu Dựa Trên Độ Đo LT-MHD
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2022
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. GIỚI THIỆU
• 1.1. Giới thiệu về nhận dạng khuôn mặt và bài toán SSPP trong nhận dạng khuôn mặt
• 1.2. Lý do chọn đề tài
• 1.3. Mục tiêu đề tài
• 1.4. Các đóng góp chính của nghiên cứu
• 1.5. Bố cục luận án
• 2. CÁC PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT TRONG ĐIỀU KIỆN SSPP
• 2.1. Các phương pháp nhận dạng khuôn mặt sử dụng các đặc trưng toàn cục
• 2.2. Các phương pháp nhận dạng khuôn mặt sử dụng các đặc trưng cục bộ
• 2.3. Các phương pháp nhận dạng khuôn mặt dựa trên việc tạo thêm ảnh ảo
• 2.4. Các phương pháp nhận dạng khuôn mặt dựa trên việc sử dụng thêm tập dữ liệu chung
• 3. KHOẢNG CÁCH LT-MHD VÀ PHƯƠNG PHÁP LT-NMHD CHO NHẬN DẠNG KHUÔN MẶT
• 3.1. Khoảng cách mới được đề xuất - Least trimmed Modified Hausdorff distance (LT-MHD)
• 3.2. Phương pháp NMHD cho nhận dạng khuôn mặt
• 3.2.1. Phương pháp trích đặc trưng ảnh khuôn mặt
• 3.2.2. Phương pháp NMHD
• 3.2.3. Phương pháp LT-NMHD cho nhận dạng khuôn mặt
• 3.2.4. Giảm độ phức tạp cho phương pháp LT-NMHD
• 3.2.4.1. Áp dụng phương pháp Local Start Search để giảm độ phức tạp cho phép tính khoảng cách trực tiếp LT-NMHD
• 3.2.4.2. Tính toán độ phức tạp của phương pháp LT-NMHD
• 3.2.5. Ảnh hưởng của tỷ số f đến phương pháp LT-NMHD
• 4. PHƯƠNG PHÁP LT-LHD CHO NHẬN DẠNG KHUÔN MẶT
• 4.1. Phương pháp LHD cho nhận khuôn mặt
• 4.2. Các cải tiến cho phương pháp LHD
• 4.2.1. Phương pháp đề xuất MLHD
• 4.2.2. Phương pháp đề xuất RLHD
• 4.2.3. Phương pháp LT-LHD cho nhận dạng khuôn mặt
• 4.2.4. Giảm độ phức tạp tính toán cho phương pháp LT-LHD
• 4.2.4.1. Áp dụng phương pháp EARLYBREAK để giảm độ phức tạp cho phép tính khoảng cách trực tiếp LT-LHD
• 4.2.4.2. Tính toán độ phức tạp của phương pháp LT-LHD
• 4.2.5. Ảnh hưởng của tỷ số f đến phương pháp LT-LHD
• 5. KẾT QUẢ MÔ PHỎNG
• 5.1. Mô tả cơ sở dữ liệu
• 5.2. Khảo sát ảnh hưởng của hệ số k lên chất lượng của phương pháp RLHD và phương pháp LT-LHD
• 5.3. Khảo sát ảnh hưởng của tỷ số f lên chất lượng của phương pháp LT-LHD và LT-NMHD
• 5.4. Chứng minh giảm độ phức tạp tính toán của phương pháp LT-NMHD và phương pháp LT-LHD
• 5.5. Nhận dạng khuôn mặt trong điều kiện bình thường
• 5.6. Nhận dạng khuôn mặt trong các điều kiện khác nhau của ảnh đầu vào
• 5.6.1. Nhận dạng khuôn mặt trong các điều kiện ánh sáng khác nhau
• 5.6.2. Nhận dạng khuôn mặt với các góc chụp khác nhau
• 5.6.3. Nhận dạng khuôn mặt với các cảm xúc khác nhau của khuôn mặt
• 5.7. So sánh tỷ lệ nhận dạng chính xác của phương pháp LT-NMHD và LT-LHD với các phương pháp khác trong điều kiện bài toán SSPP
• 6. KẾT HỢP PHÉP ĐO LT-MHD VỚI CÁC MÔ HÌNH HỌC SÂU
• 6.1. Các phương pháp nhận dạng khuôn mặt trong điều kiện SSPP dựa trên học sâu
• 6.2. Kết hợp khoảng cách LT-MHD cùng mô hình học sâu để trích đặc trưng ảnh khuôn mặt
• 6.2.1. Các kết quả đạt được trong nghiên cứu
• 6.2.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về nhận dạng khuôn mặt và bài toán SSPP

Nhận dạng khuôn mặt là một lĩnh vực quan trọng trong công nghệ nhận dạng, đặc biệt là trong điều kiện chỉ có một ảnh cho mỗi người trong cơ sở dữ liệu, được gọi là single sample per person (SSPP). Bài toán này đặt ra thách thức lớn cho các phương pháp nhận dạng khuôn mặt, vì tỷ lệ nhận dạng thường giảm mạnh khi chỉ có một mẫu duy nhất. Các phương pháp truyền thống thường dựa vào các đặc trưng toàn cục, nhưng trong trường hợp SSPP, việc sử dụng các đặc trưng cục bộ như pixel cạnh trở nên cần thiết. Các pixel cạnh không chỉ phản ánh cấu trúc khuôn mặt mà còn có khả năng chịu đựng các điều kiện không lý tưởng như ánh sáng khác nhau. Do đó, việc phát triển các phương pháp nhận dạng khuôn mặt hiệu quả trong điều kiện SSPP là rất cần thiết.

1.1 Lý do chọn đề tài

Lý do chọn đề tài này xuất phát từ thực tế rằng các phương pháp nhận dạng khuôn mặt hiện tại gặp khó khăn trong việc xử lý các tình huống SSPP. Việc nghiên cứu và phát triển các phương pháp mới có thể cải thiện tỷ lệ nhận dạng trong các điều kiện này là rất quan trọng. Đặc biệt, việc áp dụng kỹ thuật viễn thông trong nhận dạng khuôn mặt có thể mở ra nhiều cơ hội mới cho các ứng dụng thực tế, từ an ninh đến thương mại điện tử.

1.2 Mục tiêu đề tài

Mục tiêu chính của nghiên cứu này là phát triển một phương pháp nhận dạng khuôn mặt mới dựa trên đo LTMHD. Phương pháp này không chỉ cải thiện tỷ lệ nhận dạng mà còn giảm độ phức tạp tính toán, giúp ứng dụng dễ dàng hơn trong thực tế. Việc sử dụng công nghệ nhận dạng khuôn mặt trong các ứng dụng thực tế sẽ được tối ưu hóa thông qua nghiên cứu này.

II. Các phương pháp nhận dạng khuôn mặt trong điều kiện SSPP

Trong lĩnh vực nhận dạng khuôn mặt, có nhiều phương pháp khác nhau được phát triển để giải quyết bài toán SSPP. Các phương pháp này có thể được chia thành nhiều nhóm, bao gồm các phương pháp sử dụng đặc trưng toàn cục, đặc trưng cục bộ, và các phương pháp tạo ảnh ảo. Các phương pháp dựa trên đặc trưng cục bộ thường được ưa chuộng hơn vì tính đơn giản và khả năng triển khai dễ dàng trong thực tế. Đặc biệt, việc sử dụng đo LTMHD trong các phương pháp này đã chứng minh được hiệu quả cao trong việc cải thiện tỷ lệ nhận dạng. Các nghiên cứu trước đây đã chỉ ra rằng việc áp dụng các phương pháp này có thể giúp tăng tỷ lệ nhận dạng từ 2-10% so với các phương pháp truyền thống.

2.1 Các phương pháp sử dụng đặc trưng toàn cục

Các phương pháp sử dụng đặc trưng toàn cục thường dựa vào việc phân tích toàn bộ hình ảnh khuôn mặt để nhận diện. Tuy nhiên, trong điều kiện SSPP, các phương pháp này thường không đạt hiệu quả cao. Việc áp dụng các phương pháp này trong thực tế gặp nhiều khó khăn do sự biến đổi lớn trong các điều kiện ánh sáng và góc chụp. Do đó, cần thiết phải phát triển các phương pháp mới có khả năng xử lý tốt hơn trong các tình huống này.

2.2 Các phương pháp sử dụng đặc trưng cục bộ

Các phương pháp dựa trên đặc trưng cục bộ, như pixel cạnh, đã cho thấy hiệu quả cao trong việc nhận dạng khuôn mặt trong điều kiện SSPP. Những đặc trưng này không chỉ phản ánh cấu trúc khuôn mặt mà còn có khả năng chịu đựng các điều kiện không lý tưởng. Việc sử dụng công nghệ nhận dạng khuôn mặt dựa trên các đặc trưng cục bộ đã mở ra nhiều cơ hội mới cho việc cải thiện tỷ lệ nhận dạng trong các ứng dụng thực tế.

III. Phương pháp LT MHD và ứng dụng trong nhận dạng khuôn mặt

Phương pháp Least Trimmed Modified Hausdorff Distance (LT-MHD) được đề xuất trong nghiên cứu này nhằm cải thiện tỷ lệ nhận dạng trong điều kiện SSPP. LT-MHD không chỉ giúp đo lường sự khác biệt giữa các tập hợp đặc trưng khuôn mặt mà còn giảm thiểu ảnh hưởng của các điểm ngoại lai. Kết quả thực nghiệm cho thấy rằng việc sử dụng LT-MHD có thể tăng tỷ lệ nhận dạng từ 2-10% so với các phương pháp truyền thống. Điều này chứng tỏ rằng LT-MHD là một công cụ mạnh mẽ trong lĩnh vực nhận dạng khuôn mặt.

3.1 Phương pháp LT NMHD cho nhận dạng khuôn mặt

Phương pháp Least Trimmed New Modified Hausdorff Distance (LT-NMHD) được phát triển dựa trên LT-MHD nhằm tối ưu hóa quá trình nhận dạng khuôn mặt. LT-NMHD cho phép đo lường sự khác biệt giữa các tập hợp đặc trưng một cách chính xác hơn, từ đó cải thiện tỷ lệ nhận dạng. Kết quả thực nghiệm cho thấy rằng LT-NMHD có thể đạt được tỷ lệ nhận dạng cao hơn so với các phương pháp khác trong điều kiện SSPP.

3.2 Giảm độ phức tạp tính toán cho phương pháp LT MHD

Độ phức tạp tính toán là một trong những thách thức lớn trong việc áp dụng LT-MHD trong thực tế. Nghiên cứu này đã áp dụng các phương pháp như EARLYBREAK và Local Start Search (LSS) để giảm độ phức tạp tính toán cho LT-MHD. Kết quả cho thấy rằng độ phức tạp tính toán của LT-MHD giảm đáng kể, giúp phương pháp này trở nên khả thi hơn trong các ứng dụng thực tế.

Nội dung chính

Tổng quan luận án

Bài toán nhận dạng khuôn mặt trong điều kiện đơn mẫu (Single Sample Per Person - SSPP) là trường hợp cơ sở dữ liệu của hệ thống chỉ lưu trữ duy nhất một ảnh mẫu cho mỗi đối tượng cần nhận dạng. Trong thực tế ứng dụng sinh trắc học phục vụ an ninh, kiểm soát nhập cảnh, cấp phát hộ chiếu, bằng lái xe hay thẻ ngân hàng, việc thu thập nhiều ảnh mẫu của một cá nhân thường gặp nhiều trở ngại do chi phí lưu trữ, sự bất tiện của người dùng hoặc các quy định pháp lý không cho phép. Khi chuyển từ điều kiện đa mẫu sang đơn mẫu, tỷ lệ nhận dạng của hầu hết các thuật toán nhận dạng khuôn mặt truyền thống bị suy giảm nghiêm trọng do thiếu hụt thông tin về sự biến thiên nội lớp (intra-class variations) gây ra bởi sự thay đổi góc chụp, điều kiện chiếu sáng và biểu cảm khuôn mặt.

Nhóm phương pháp nhận dạng khuôn mặt dựa trên đặc trưng cục bộ, đặc biệt là các pixel cạnh và các điểm trội trên cạnh, có ưu điểm phản ánh cấu trúc hình học của khuôn mặt, bền vững trước sự thay đổi chiếu sáng và dễ triển khai thực tế. Khoảng cách Hausdorff trung bình (Modified Hausdorff Distance - MHD) thường được sử dụng để đo lường độ sai khác giữa hai tập hợp đặc trưng điểm. Tuy nhiên, độ đo MHD tồn tại hai hạn chế lớn: độ phức tạp tính toán cao và độ nhạy cảm với các điểm nhiễu ngoại lai, làm hạn chế hiệu năng nhận dạng. Nhằm khắc phục các khoảng trống nghiên cứu này, luận án tập trung thực hiện các mục tiêu và nhiệm vụ sau:

1. Đề xuất một độ đo khoảng cách mới dựa trên khoảng cách Hausdorff, đặt tên là khoảng cách Hausdorff trung bình các giá trị lớn nhất (Least Trimmed Modified Hausdorff Distance - LT-MHD), nhằm loại bỏ các giá trị khoảng cách cực trị gây ra bởi sai lệch cục bộ hoặc nhiễu.
2. Xây dựng hai phương pháp nhận dạng khuôn mặt trong điều kiện SSPP dựa trên độ đo LT-MHD: phương pháp Least Trimmed New Modified Hausdorff Distance (LT-NMHD) và phương pháp Least Trimmed Line Hausdorff Distance (LT-LHD), cải tiến tương ứng từ hai phương pháp NMHD và LHD.
3. Ứng dụng các kỹ thuật giảm độ phức tạp tính toán từ lĩnh vực CAD/CAM/CAE gồm giải thuật Local Start Search (LSS) cho phương pháp LT-NMHD và giải thuật EARLYBREAK cho phương pháp LT-LHD.
4. Xây dựng mô hình trích đặc trưng khuôn mặt kết hợp mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs) với độ đo LT-MHD làm hàm mất mát ngõ ra thay thế cho hàm cross-entropy truyền thống.

Đối tượng nghiên cứu của luận án là các thuật toán nhận dạng khuôn mặt trong điều kiện SSPP dựa trên đặc trưng hình học cục bộ và các giải thuật tối ưu hóa phép tính khoảng cách Hausdorff. Phạm vi thực nghiệm của luận án được thực hiện trên các cơ sở dữ liệu khuôn mặt chuẩn bao gồm BERN University face database, AR face database và ORL (Olivetti Research Laboratory) face database, khảo sát dưới các điều kiện chiếu sáng, góc quay và biểu cảm khác nhau.

Tổng quan tài liệu và vị trí của luận án

Luận án thực hiện hệ thống hóa các nghiên cứu nhận dạng khuôn mặt trong điều kiện SSPP thành bốn nhóm phương pháp tiếp cận chính:

Nhóm phương pháp dựa trên đặc trưng toàn cục (Global feature based methods): Biểu diễn toàn bộ bức ảnh thành một vector đặc trưng có số chiều lớn. Các công trình tiêu biểu gồm: phương pháp kết hợp phân tích giá trị kỳ dị (Singular Value Decomposition - SVD), Fisher Linear Discriminant Analysis (FLDA) và bộ phân loại Nearest Neighbor (NN); phương pháp trích đặc trưng trong miền tần số bằng 2D-DFT kết hợp biến đổi Wavelet hoặc bản đồ hình chiếu; phương pháp phân tích thừa số hai chiều (2DFA); phương pháp Adaptively Weighted Orthogonal Gradient Binary Pattern (AWOGBP) kết hợp PCA. Gần đây, các phương pháp biểu diễn thưa và biểu diễn kết hợp được áp dụng rộng rãi như Sparse Representation Classifier (SRC) với từ điển mẫu, SRC với hàm mục tiêu tối ưu chuẩn $l_1$, Collaborative Representation Classifier (CRC) kết hợp khoảng cách Procrustes và khoảng cách Euclidean, Collaborative-Competitive Representation based Classifier (CCRC), Sparse and Collaborative-Competitive Representation based Classification (SCCRC), Noisy Label based Discriminative Least squares Regression (NLDLSR), Linear Regression Classification (LRC) cải tiến, và Nonnegative Representation Classification (NRC). Nhóm này có hạn chế là vector đặc trưng số chiều lớn dẫn đến độ phức tạp cao và rất nhạy cảm với các biến đổi phi lý tưởng của ảnh.

Nhóm phương pháp dựa trên đặc trưng cục bộ (Local feature based methods): Trích xuất đặc trưng từ các vùng ảnh nhỏ hoặc các điểm đặc trưng. Hướng chia ảnh thành các khối nhỏ bao gồm: chia 4 phần kết hợp $(2\text{D})^2\text{PCA}$ và phân lớp mờ; chia khối hình bình hành kết hợp Dual-tree Complex Wavelet Transform (DT-CWT); chia 15 phần kết hợp Local Binary Pattern (LBP) và khoảng cách Chi-square; cấu trúc Grid tree kết hợp LBP; phân loại hình tháp quyết định (Decision Pyramid Classifier - DPC); ma trận đồng xuất mức xám (Gray Level Co-Occurrence Matrix - GLCM); Ensemble of Randomized Linear Discriminant Analysis (ERLDA); kết hợp 40 bộ lọc Gabor với FLDA; chia 4 phần kết hợp Maximum Scatter Difference (MSD); biểu diễn không gian nhãn kết hợp phân loại hồi quy; và SRC trên hai nửa ảnh phân tách. Hướng tiếp cận dựa trên điểm đặc trưng sử dụng các pixel cạnh hoặc các điểm trội trên cạnh kết hợp độ đo MHD như phương pháp New Modified Hausdorff Distance (NMHD) và Line Hausdorff Distance (LHD). Hướng này giữ được cấu trúc hình học và bền vững với ánh sáng, nhưng độ đo MHD có độ phức tạp tính toán lớn.

Nhóm phương pháp tạo ảnh ảo (Virtual sample generation based methods): Mở rộng tập huấn luyện bằng cách tạo thêm các mẫu nhân tạo để chuyển bài toán SSPP về bài toán đa mẫu. Các kỹ thuật bao gồm: lấy mẫu lại theo chiều dọc/ngang; phân rã QR; biến đổi Wavelet và Curvelet; xoay và dịch chuyển ảnh; áp dụng bộ lọc Gabor kết hợp 2D-PCA; chuẩn hóa mức xám trung bình kết hợp CRC; lấy đối xứng gương trái/phải kết hợp CRC hoặc MSD; tối ưu hóa giảm chênh lệch mức xám giữa hai nửa khuôn mặt kết hợp SRC; và lấy trung bình các đối xứng kết hợp LRC. Nhược điểm của nhóm này là làm gia tăng đáng kể dung lượng lưu trữ của hệ thống và các ảnh ảo có độ tương quan cao với ảnh gốc nên không cung cấp thêm nhiều thông tin phân biệt mới giữa các lớp.

Nhóm phương pháp sử dụng tập dữ liệu chung (Generic dataset based methods): Sử dụng một tập dữ liệu phụ trợ độc lập để học không gian đặc trưng biến thiên nội lớp, sau đó áp dụng cho tập dữ liệu SSPP. Các công trình bao gồm: học phép chiếu FLDA từ tập chung; xây dựng từ điển biến thiên ánh sáng bằng SRC; phân rã hạng thấp (low-rank decomposition) kết hợp SRC; Kernel Extended Dictionary (KED); bộ lọc Gabor kết hợp SRC xây dựng từ điển điều kiện phi lý tưởng; Adaptive Linear Regression Classifier (ALRC) kết hợp KNN; và ánh xạ đặc trưng biến thiên về gốc tọa độ. Hạn chế cốt lõi của nhóm này là tỷ lệ nhận dạng phụ thuộc chặt chẽ vào mức độ tương đồng giữa các biến thiên trong tập dữ liệu chung và tập dữ liệu kiểm tra, làm mất đi tính tổng quát trong môi trường thực tế.

Tổng quan về các phương pháp giảm độ phức tạp phép tính khoảng cách Hausdorff: Khoảng cách Hausdorff trực tiếp giữa hai tập hợp điểm $A$ (có $P$ điểm) và $B$ (có $Q$ điểm) có độ phức tạp tính toán cơ bản là $O(PQ)$. Các nghiên cứu tối ưu hóa bao gồm:

• Phương pháp Aggregate Nearest Neighbor (ANN) của Papadias sử dụng cấu trúc R-Tree trên tập $B$ với hàm đệ quy RecurANN để cắt tỉa các nút không thỏa điều kiện khoảng cách nhỏ nhất.
• Các cải tiến của Nutanong áp dụng cấu trúc R-Tree trên cả hai tập hợp $A$ và $B$, thiết lập giới hạn dưới (HausDistLB) và giới hạn trên (HausDistUB), xây dựng các giải thuật Depth-First Hausdorff distance (DF-HD), Best-First Hausdorff distance (BF-HD) và Incremental Hausdorff distance (I-HD) phối hợp duyệt hai hàng đợi ưu tiên $MPQ$ và $SPQ$.
• Trong lĩnh vực CAD/CAM/CAE, hai phương pháp tối ưu hóa khoảng cách Hausdorff gồm giải thuật EARLYBREAK (sử dụng điều kiện dừng sớm vòng lặp khi giá trị khoảng cách vượt ngưỡng) và giải thuật Local Start Search (LSS) (sử dụng vị trí lân cận cục bộ và mã hóa Morton code để sắp xếp không gian điểm).

Luận án lựa chọn giải quyết khoảng trống về hiệu năng nhận dạng và chi phí tính toán của các phương pháp SSPP dựa trên đặc trưng điểm trội và cạnh hình học bằng cách thiết lập độ đo LT-MHD, đồng thời chuyển giao các giải thuật EARLYBREAK và LSS vào bài toán nhận dạng khuôn mặt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khoảng cách Hausdorff cổ điển giữa hai tập hợp điểm $A = {a_1, a_2, \dots, a_P}$ và $B = {b_1, b_2, \dots, b_Q}$ được định nghĩa:

$$H(A, B) = \max {h(A, B), h(B, A)}$$

Trong đó, khoảng cách trực tiếp $h(A, B)$ từ tập $A$ đến tập $B$ là:

$$h(A, B) = \max_{a_i \in A} \min_{b_j \in B} \text{dist}(a_i, b_j)$$

Trong bài toán nhận dạng khuôn mặt, khoảng cách Hausdorff trung bình (MHD) thay thế hàm $\max$ bằng hàm trung bình cộng để giảm độ nhạy với nhiễu. Độ đo đề xuất của luận án, Least Trimmed Modified Hausdorff Distance (LT-MHD), thực hiện sắp xếp các khoảng cách cực tiểu từ từng điểm thuộc tập $A$ đến tập $B$, sau đó loại bỏ một tỷ lệ $f$ các giá trị khoảng cách lớn nhất trước khi tính trung bình. Cơ chế cắt tỉa này giúp loại bỏ ảnh hưởng của các điểm cạnh sai lệch do bóng đổ, che khuất hoặc biến dạng biểu cảm.

Về phương pháp thực tế và nguồn dữ liệu, luận án áp dụng quy trình nghiên cứu định lượng thực nghiệm có kiểm soát:

Yếu tố thực nghiệm	Chi tiết thông số và phương pháp
Cơ sở dữ liệu khuôn mặt	ORL database (40 đối tượng, 10 ảnh/người), AR database (126 đối tượng, đa dạng biểu cảm, ánh sáng, phụ kiện), BERN University database (30 đối tượng, đa dạng góc nhìn).
Biểu diễn đặc trưng	Bản đồ cạnh (Line Edge Map - LEM), tập hợp pixel cạnh và tập hợp các điểm trội (salient points). Trích xuất điểm trội giúp giảm 85% dung lượng lưu trữ so với toàn bộ pixel cạnh.
Độ đo và phương pháp đề xuất	Độ đo LT-MHD; Phương pháp LT-NMHD (kết hợp NMHD và LT-MHD); Phương pháp LT-LHD (kết hợp LHD, MLHD, RLHD và LT-MHD).
Kỹ thuật tối ưu tính toán	Giải thuật Local Start Search (LSS) kết hợp Morton code tích hợp vào LT-NMHD; Giải thuật EARLYBREAK tích hợp vào LT-LHD.
Mô hình học sâu kết hợp	Mạng InceptionV3; hàm mất mát ngõ ra sử dụng độ đo khoảng cách LT-MHD thay thế hàm cross-entropy loss.
Tiêu chí đánh giá	Tỷ lệ nhận dạng chính xác (Recognition Rate - %), số vòng lặp tính toán trung bình và thời gian tính toán trung bình (giây/cặp ảnh).

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập bối cảnh ứng dụng sinh trắc học và định nghĩa bài toán nhận dạng khuôn mặt trong điều kiện đơn mẫu (SSPP). Tác giả so sánh chi tiết các đặc tính kỹ thuật giữa hệ thống nhận dạng một ảnh trong một lớp và nhiều ảnh trong một lớp:

Tiêu chí so sánh	Một ảnh trong một lớp (SSPP)	Nhiều ảnh trong một lớp
Ứng dụng điển hình	An ninh, nhận dạng thẻ ngân hàng, bằng lái xe, hộ chiếu.	Giải trí, tương tác người - máy.
Ưu điểm	Việc thu thập, lưu trữ ảnh tốn ít chi phí.	Tỷ lệ nhận dạng chính xác cao, bền vững trong nhiều điều kiện.
Nhược điểm	Tỷ lệ nhận dạng chính xác thấp, ít bền vững trong các điều kiện thực tế.	Chi phí thu thập và lưu trữ cao; một số trường hợp pháp luật không cho phép.

Chương này phân tích lý do lựa chọn hướng tiếp cận dựa trên đặc trưng cục bộ điểm cạnh và điểm trội, xác định mục tiêu nghiên cứu và cấu trúc 7 chương của luận án.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày tổng quan chi tiết về 4 nhóm phương pháp nhận dạng khuôn mặt SSPP (toàn cục, cục bộ, tạo ảnh ảo, dữ liệu chung) và phân tích toán học độ phức tạp của khoảng cách Hausdorff. Chương khảo sát sâu các giải thuật tối ưu hóa cây R-Tree của Papadias (giải thuật ANN, hàm đệ quy RecurANN), các giải thuật của Nutanong (DF-HD, BF-HD, I-HD với các hàm phụ trợ TraverseA, TraverseB), cùng các kỹ thuật tiên tiến từ CAD/CAM/CAE là EARLYBREAK và Local Start Search (LSS).

Chương 3: Khoảng cách LT-MHD và phương pháp LT-NMHD cho nhận dạng khuôn mặt

Chương 3 xây dựng công thức giải tích cho độ đo LT-MHD và tích hợp vào phương pháp nhận dạng New Modified Hausdorff Distance để hình thành phương pháp LT-NMHD. Chương trình bày phương pháp trích đặc trưng điểm trội từ bản đồ cạnh của ảnh khuôn mặt, thuật toán tính khoảng cách trực tiếp và cách thức áp dụng giải thuật LSS nhằm định vị nhanh điểm xuất phát tìm kiếm lân cận thay vì duyệt toàn bộ không gian điểm. Đồng thời, chương phân tích sự ảnh hưởng của tỷ số cắt tỉa $f$ đến độ phức tạp và độ chính xác của phương pháp.

Chương 4: Phương pháp LT-LHD cho nhận dạng khuôn mặt

Chương 4 tập trung vào biểu diễn cạnh dạng đoạn thẳng (Line Edge Map - LEM) và phương pháp Line Hausdorff Distance (LHD). Tác giả phát triển hai phương pháp cải tiến trung gian gồm Modified Line Hausdorff Distance (MLHD) và Robust Line Hausdorff Distance (RLHD) nhằm xử lý góc lệch và quan hệ song song giữa các đoạn thẳng, trước khi hoàn thiện phương pháp Least Trimmed Line Hausdorff Distance (LT-LHD). Để khắc phục chi phí tính toán lớn, giải thuật EARLYBREAK được thiết kế tích hợp vào cấu trúc dữ liệu của bản đồ cạnh, cho phép kết thúc sớm vòng lặp tính khoảng cách khi điều kiện chặn trên bị phá vỡ. Chương phân tích chi tiết tác động của hệ số khoảng cách $k$ và tỷ số $f$ đến mô hình.

Chương 5: Kết quả mô phỏng

Chương 5 trình bày toàn bộ kết quả thực nghiệm trên 3 tập cơ sở dữ liệu BERN, AR và ORL. Các kết quả số liệu chính được tổng hợp như sau:

1. Hiệu quả giảm độ phức tạp tính toán và thời gian thực thi:
   • Phương pháp LT-NMHD khi áp dụng LSS giúp giảm 17% số vòng lặp tính toán và giảm 16% thời gian tính khoảng cách giữa hai ảnh so với phương pháp NMHD gốc.
   • Phương pháp LT-LHD khi áp dụng EARLYBREAK giúp giảm 67% số vòng lặp tính toán và giảm từ 63% đến 65% thời gian tính toán so với phương pháp LHD gốc.

Phương pháp so sánh	Cơ sở dữ liệu	Mức giảm độ phức tạp (vòng lặp)	Mức giảm thời gian tính toán
LT-NMHD so với NMHD	AR & BERN	Giảm ~17%	Giảm ~16%
LT-LHD so với LHD	AR & BERN	Giảm ~67%	Giảm 63% – 65%

2. Đánh giá tỷ lệ nhận dạng chính xác trong các điều kiện môi trường:
   • Việc sử dụng độ đo LT-MHD thay thế cho MHD giúp tăng tỷ lệ nhận dạng từ 2% đến 10% tùy thuộc vào điều kiện chiếu sáng, góc quay và biểu cảm.
   • Khảo sát tham số xác định giá trị tối ưu của tỷ số cắt tỉa $f$ và hệ số $k$ duy trì sự ổn định của hệ thống trong điều kiện bình thường và biến đổi phi lý tưởng.
   • Khi so sánh đối chuẩn trên tập dữ liệu chuẩn ORL, phương pháp LT-LHD đạt tỷ lệ nhận dạng cao hơn từ 2% đến 11% so với các phương pháp nhận dạng khuôn mặt SSPP được công bố trong 5 năm gần nhất.

Chương 6: Kết hợp phép đo LT-MHD với các mô hình học sâu

Chương 6 mở rộng phạm vi ứng dụng của độ đo LT-MHD sang lĩnh vực học sâu. Luận án xây dựng kiến trúc trích đặc trưng dựa trên mạng nơ-ron tích chập InceptionV3. Trong quá trình huấn luyện lại (fine-tuning), hàm mất mát phân loại cross-entropy chuẩn được thay thế bằng hàm mất mát xây dựng dựa trên độ đo khoảng cách LT-MHD giữa các vector đặc trưng. Kết quả mô phỏng cho thấy việc sử dụng hàm mất mát LT-MHD giúp nâng cao tỷ lệ nhận dạng chính xác của mô hình lên đến 43% so với khi sử dụng hàm mất mát cross-entropy.

Chương 7: Kết luận và hướng phát triển

Chương 7 tổng kết các kết quả đạt được về mặt thuật toán, độ đo và tối ưu hóa tính toán, đồng thời vạch ra hướng phát triển mở rộng độ đo LT-MHD cho các kỹ thuật trích đặc trưng cạnh khác.

Kết quả và những đóng góp mới

Các đóng góp mới của luận án được trình bày cụ thể như sau:

Về mặt lý thuyết và phương pháp:

1. Đề xuất độ đo khoảng cách Hausdorff trung bình các giá trị lớn nhất (Least Trimmed Modified Hausdorff Distance - LT-MHD), giải quyết hiện tượng suy giảm độ chính xác do nhiễu và sai lệch cục bộ trong phép so khớp đặc trưng điểm.
2. Phát triển hai phương pháp nhận dạng khuôn mặt trong điều kiện đơn mẫu: LT-NMHD (dựa trên điểm trội) và LT-LHD (dựa trên đoạn thẳng cạnh), cùng hai biến thể trung gian MLHD và RLHD.
3. Chuyển giao và tích hợp thành công hai giải thuật giảm độ phức tạp từ lĩnh vực CAD/CAM/CAE (EARLYBREAK và Local Start Search) vào bài toán tính khoảng cách Hausdorff cho nhận dạng khuôn mặt.
4. Đề xuất mô hình kết hợp mạng nơ-ron tích chập InceptionV3 với hàm mất mát ngõ ra dựa trên độ đo LT-MHD.

Về mặt thực nghiệm và công bố khoa học:

• Cải thiện tỷ lệ nhận dạng khuôn mặt từ 2% đến 10% so với độ đo MHD truyền thống và vượt từ 2% đến 11% so với các phương pháp SSPP trong vòng 5 năm gần nhất trên tập dữ liệu chuẩn ORL.
• Giảm thiểu đáng kể chi phí tính toán: LT-NMHD giảm 17% độ phức tạp và 16% thời gian; LT-LHD giảm 67% độ phức tạp và 63%–65% thời gian thực thi.
• Nâng cao tỷ lệ nhận dạng của mạng CNN lên đến 43% khi sử dụng hàm mất mát LT-MHD.
• Các kết quả nghiên cứu của luận án đã được công bố trong 2 bài báo trên các tạp chí quốc tế thuộc danh mục Scopus, 3 bài báo trên các tạp chí khoa học chuyên ngành trong nước thuộc danh mục tính điểm của Hội đồng Giáo sư Nhà nước, và 1 bài báo tại kỷ yếu hội nghị quốc tế có chỉ số ISBN.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

• Luận án lựa chọn tập dữ liệu ORL làm chuẩn đánh giá so sánh trung tâm do tính phổ biến của tập dữ liệu này; tuy nhiên, điều này dẫn đến hạn chế là chưa thể so sánh đối chuẩn trực tiếp với tất cả các phương pháp SSPP thuộc nhóm sử dụng tập dữ liệu chung, do nhóm phương pháp này thường yêu cầu tập dữ liệu phụ trợ và tập kiểm tra có cấu trúc biến thiên tương đồng tuyệt đối.
• Mặc dù độ phức tạp tính toán đã được cắt giảm đáng kể nhờ EARLYBREAK và LSS, bản chất của các phép toán so khớp khoảng cách trên tập hợp điểm vẫn đòi hỏi tài nguyên tính toán lớn hơn so với các phép phân loại vector đơn giản khi kích thước tập dữ liệu tăng cao.

Hướng phát triển tiếp theo:

• Mở rộng ứng dụng độ đo LT-MHD và các giải thuật tối ưu hóa tính toán cho các phương pháp nhận dạng khuôn mặt sử dụng đặc trưng cục bộ pixel cạnh khác trong tài liệu chuyên ngành.
• Nghiên cứu tối ưu hóa sâu hơn kiến trúc mạng học sâu kết hợp hàm mất mát LT-MHD trên các tập dữ liệu khuôn mặt quy mô lớn và trong các môi trường giám sát thời gian thực.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên môn cho các đối tượng và lĩnh vực sau:

Đối tượng tham khảo:

• Nghiên cứu sinh, học viên cao học và giảng viên thuộc các chuyên ngành Kỹ thuật Viễn thông, Công nghệ Thông tin, Khoa học Máy tính, Xử lý Ảnh và Thị giác Máy tính.
• Các kỹ sư phát triển phần mềm và chuyên gia kỹ thuật trong lĩnh vực thiết kế hệ thống sinh trắc học, kiểm soát an ninh, xác thực danh tính điện tử (eKYC) và giám sát thông minh.

Nội dung tham khảo trọng tâm:

• Chương 2 cung cấp bức tranh tổng quan phân loại toàn diện các kỹ thuật SSPP và các giải thuật tối ưu khoảng cách Hausdorff (R-Tree, ANN, DF-HD, BF-HD, I-HD).
• Chương 3 và Chương 4 cung cấp quy trình toán học thiết lập độ đo LT-MHD, cách xử lý cấu trúc dữ liệu bản đồ cạnh và mã nguồn giải thuật tối ưu EARLYBREAK, LSS.
• Chương 5 cung cấp khung phương pháp thực nghiệm đánh giá đối chuẩn trên các bộ dữ liệu chuẩn quốc tế (ORL, AR, BERN).
• Chương 6 cung cấp kỹ thuật kết hợp độ đo hình học vào hàm mất mát của kiến trúc mạng tích chập (CNN).

Câu hỏi thường gặp

1. Bài toán SSPP trong nhận dạng khuôn mặt là gì và tại sao lại gặp nhiều thách thức?
Bài toán SSPP (Single Sample Per Person) là bài toán nhận dạng khi cơ sở dữ liệu chỉ có duy nhất một ảnh mẫu cho mỗi người. Thách thức lớn nhất là sự thiếu hụt thông tin về sự biến thiên nội lớp của cùng một đối tượng (do ánh sáng, góc chụp, biểu cảm), khiến tỷ lệ nhận dạng của các phương pháp đa mẫu thông thường bị suy giảm nghiêm trọng.

2. Độ đo LT-MHD được đề xuất nhằm mục đích gì và có ưu điểm gì so với độ đo MHD?
Độ đo LT-MHD (Least Trimmed Modified Hausdorff Distance) được đề xuất để đo khoảng cách giữa hai tập hợp đặc trưng điểm. Khác với MHD tính trung bình toàn bộ khoảng cách, LT-MHD thực hiện cắt tỉa một tỷ lệ $f$ các giá trị khoảng cách lớn nhất (thường là các điểm nhiễu ngoại lai hoặc sai lệch do bóng đổ, che khuất), giúp tăng tỷ lệ nhận dạng chính xác từ 2% đến 10% so với MHD.

3. Luận án đã sử dụng những phương pháp nào từ lĩnh vực CAD/CAM/CAE để giảm độ phức tạp tính toán?
Tác giả đã ứng dụng giải thuật Local Start Search (LSS) kết hợp mã hóa Morton code cho phương pháp LT-NMHD (giúp giảm 17% độ phức tạp, 16% thời gian tính toán) và giải thuật dừng sớm EARLYBREAK cho phương pháp LT-LHD (giúp giảm 67% độ phức tạp, 63%–65% thời gian tính toán so với phương pháp gốc).

4. Vì sao phương pháp dựa trên điểm trội (salient points) lại được ưu tiên nghiên cứu?
Phương pháp trích xuất đặc trưng điểm trội trên các đường cạnh giữ được cấu trúc hình học của khuôn mặt, có tính bền vững trước biến đổi chiếu sáng và giúp tiết kiệm khoảng 85% dung lượng lưu trữ so với việc lưu trữ toàn bộ các pixel cạnh, tạo điều kiện thuận lợi cho việc triển khai thực tế.

5. Việc tích hợp độ đo LT-MHD vào mô hình học sâu CNN đem lại kết quả thực nghiệm ra sao?
Trong Chương 6, độ đo LT-MHD được sử dụng làm hàm mất mát ngõ ra cho mạng CNN InceptionV3 thay thế hàm mất mát cross-entropy thông thường. Kết quả thực nghiệm cho thấy sự thay đổi này giúp nâng cao tỷ lệ nhận dạng của mô hình lên đến 43%.

Kết luận

Luận án tiến sĩ của tác giả Đặng Nguyên Châu đã giải quyết bài toán nhận dạng khuôn mặt trong điều kiện đơn mẫu (SSPP) thông qua việc đề xuất độ đo hình học mới Least Trimmed Modified Hausdorff Distance (LT-MHD) và hai phương pháp nhận dạng LT-NMHD, LT-LHD. Bằng việc tích hợp các giải thuật tối ưu hóa EARLYBREAK và Local Start Search từ lĩnh vực CAD/CAM/CAE, nghiên cứu đã khắc phục nhược điểm về độ phức tạp tính toán lớn của các phương pháp dựa trên khoảng cách Hausdorff truyền thống. Đồng thời, việc ứng dụng thành công độ đo LT-MHD vào hàm mất mát của mạng nơ-ron tích chập InceptionV3 đã chứng minh tính linh hoạt và tiềm năng kết hợp giữa các độ đo hình học cục bộ với các kiến trúc học sâu.

Trích đoạn nội dung tài liệu

Chương 1 GIỚI THIỆU 1.1 Giới thiệu về nhận dạng khuôn mặt và bài toán SSPP trong nhận dạng khuôn mặt Với sự phát triển ngày càng nhanh của khoa học và công nghệ, các ứng dụng về sinh trắc học để phục vụ cho việc bảo mật, an ninh đang rất phát triển và ngày càng trở nên quan trọng. Các hệ thống sinh trắc học dựa trên các đặc điểm về sinh học của con người để định danh người đó. Các phương pháp nhận dạng sinh trắc học đang được ứng dụng cho các hệ thống xác thực có thể kể đến như phương pháp nhận dạng khuôn mặt [1], nhận dạng vân tay [2], nhận dạng giọng nói [3] hay nhận dạng mống mắt [4]. Các phương pháp xác thực này đang dần thay thế cho các phương pháp xác thực truyền thống như sử dụng mật khẩu hoặc các câu hỏi bảo mật.

Trong đó, việc xác thực dựa trên nhận dạng khuôn mặt được xem như một phương pháp rất thân thiện với người dùng nhưng vẫn có độ chính xác đáng tin cậy. Các hệ thống sử dụng nhận dạng khuôn mặt phục vụ trong cuộc sống rất nhiều, từ mục đích cá nhân như xác thực điện thoại, xác thực ngân hàng; cho đến phục vụ trong các hệ thống công cộng như các hệ thống giám sát, các hệ thống an ninh, các hệ thống xác minh hộ chiếu, nhập cảnh. Một hệ thống nhận dạng khuôn mặt, như hình 1.1, sẽ bao gồm ba bước chính là: phát hiện khuôn mặt, trích đặc trưng và nhận dạng khuôn mặt [5]. Bước phát hiện khuôn mặt sẽ được sử dụng để phát hiện và xác định vị trí của khuôn mặt người trong một bức ảnh thu nhận vào từ hệ thống.

Bước trích đặc trưng sẽ được dùng để biểu diễn khuôn mặt người có được thành các vector đặc trưng. Bước cuối cùng của hệ thống là nhận dạng khuôn mặt sẽ dùng các vector đặc trưng được trích để so sánh với các ảnh khác trong cơ sở dữ liệu. Trong khoảng 30 năm qua, đã có rất nhiều các nghiên cứu về nhận dạng khuôn mặt được đề xuất với các kết quả đáng khích lệ. Tuy nhiên lĩnh vực nhận dạng khuôn mặt vẫn còn rất nhiều bài toán cần giải quyết [6, 7] khi tỷ lệ nhận dạng của các phương pháp vẫn còn bị ảnh hưởng bởi những điều kiện khác nhau của ảnh đầu vào.

Bài toán lớn nhất 1 Hình 1.1: Cấu trúc hệ thống nhận dạng khuôn mặt Bảng 1.1: So sánh giữa việc nhận dạng khuôn mặt trong điều kiện có một ảnh cho một người với có nhiều ảnh cho một người trong cơ sở dữ liệu Một ảnh trong một lớp Nhiều ảnh trong một lớp Các ứng dụng Các hệ thống an ninh, nhận dạng Các hệ thống giải trí, tương tác thẻ ngân hàng, bằng lái xe, hộ người - máy. Ưu điểm Việc thu thập, lưu trữ ảnh tốn ít Tỷ lệ nhận dạng chính xác cao, chi phí. bền vững trong nhiều điều kiện. Nhược điểm Tỷ lệ nhận dạng chính xác thấp, Việc thu thập, lưu trữ ảnh đòi hỏi ít bền vững trong các điều kiện chi phí cao.

Một số trường hợp khác nhau của thực tế. pháp luật không cho phép mà các phương pháp nhận dạng khuôn mặt cần giải quyết đó là việc tỷ lệ nhận dạng của các phương pháp bị suy giảm nghiêm trọng trong điều kiện chỉ có một ảnh cho mỗi cá nhân trong cơ sở dữ liệu [8, 9] hay điều kiện đơn mẫu. Việc nhận dạng khuôn mặt trong điều kiện đơn mẫu, hay được gọi là bài toán nhận dạng khuôn mặt trong điều kiện Single Sample Per Person (SSPP) [9, 10], là một yêu cầu được rất nhiều các ứng dụng trong thực tế đòi hỏi: hệ thống về xác thực hộ chiếu, các hệ thống về an ninh, xác thực thẻ ngân hàng .