Luận văn thạc sĩ hệ thống nhận diện khuôn mặt qua camera - Học viện Công nghệ Bưu chính Viễn thông

Chuyên khảo phân tích Luận văn hệ thống nhận diện khuôn mặt qua camera, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Nguyễn Quang Huy
• Người hướng dẫn: TS. Nguyễn Đình Hóa
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Hệ thống nhận diện khuôn mặt qua camera
• Loại tài liệu: luận văn thạc sĩ kỹ thuật
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. MỞ ĐẦU
• 2. TỔNG QUAN VỀ NHẬN DIỆN KHUÔN MẶT
• 2.1. Tổng quan về nhận diện khuôn mặt cùng với các ứng dụng thực tế của các kỹ thuật nhận dạng khuôn mặt
• 2.2. Kiến trúc tổng quát hệ thống nhận diện
• 2.3. Ứng dụng
• 3. Một số phương pháp trong nhận diện khuôn mặt thường được áp dụng trong thực tế và nghiên cứu
• 3.1. Phân tích thành phần chính (PCA)
• 3.2. Phân tích sự khác biệt tuyến tính (LDA)
• 3.3. Cây quyết định (Decision Tree)
• 4. HỆ THỐNG NHẬN DIỆN KHUÔN MẶT DỰA TRÊN MẠNG NƠ RON TÍCH CHẬP
• 4.1. Sơ đồ thiết kế hệ thống nhận diện khuôn mặt
• 4.2. Mạng Inception-ResNet sử dụng cho việc trích chọn đặc trưng khuôn mặt
• 4.3. Rừng ngẫu nhiên
• 5. THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Bộ dữ liệu đầu vào
• 5.2. Quá trình huấn luyện
• 5.3. Thử nghiệm chạy hệ thống nhận diện khuôn mặt nhận diện khách hàng VIP của khách sạn
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Hệ Thống Nhận Diện Khuôn Mặt Qua Camera

Công nghệ thông tin phát triển mạnh mẽ, nhận diện khuôn mặt trở thành bài toán quan trọng. Ứng dụng của nó rất đa dạng, từ nhận dạng chữ viết, giọng nói đến hình dáng. Đặc biệt, nhận diện khuôn mặt thu hút sự quan tâm lớn từ các nhà đầu tư và doanh nghiệp. Dù được nghiên cứu từ lâu, bài toán này vẫn đối mặt với nhiều thách thức và chưa có giải pháp toàn diện. Ứng dụng của nhận diện khuôn mặt rất phong phú, bao gồm tra cứu thông tin tội phạm, phát hiện tội phạm ở nơi công cộng, tìm người lạc và điểm danh học sinh. Luận văn này hướng đến xây dựng một hệ thống nhận diện khuôn mặt có khả năng mở rộng cao và dễ dàng tích hợp.

1.1. Ứng Dụng Nhận Diện Khuôn Mặt Trong Thực Tế Cuộc Sống

Bài toán nhận diện khuôn mặt có nhiều ứng dụng thực tế. Tiêu biểu là hệ thống phát hiện, truy vết tội phạm, tìm trẻ lạc, điểm danh, chấm công, và nhận diện khách hàng VIP. Các ứng dụng này ngày càng trở nên quan trọng trong cuộc sống. Theo tài liệu gốc, "Từ những phân tích và khảo sát ở trên, em nhận thấy hệ thống nhận diện khuôn mặt rất có ý nghĩa trong thực tiễn cuộc sống và em xin chọn đề tài nghiên cứu Hệ thống nhận diện khuôn mặt qua camera."

1.2. Kiến Trúc Tổng Quát Của Một Hệ Thống Nhận Diện

Một hệ thống nhận diện điển hình bao gồm các thành phần: thu nhận ảnh, tiền xử lý ảnh, xác định vị trí khuôn mặt, trích chọn đặc trưng, phân loại và đưa ra kết quả. Ảnh có thể được thu từ camera màu hoặc đen trắng. Tiền xử lý giúp nâng cao chất lượng ảnh. Xác định vị trí khuôn mặt tìm các điểm mắt, mũi, miệng. Trích chọn đặc trưng lấy khuôn mặt để phân tích. Phân loại đặc trưng để định danh khuôn mặt. Cuối cùng, kết quả phân loại sẽ cho biết danh tính của người được nhận diện.

II. Các Phương Pháp Nhận Diện Khuôn Mặt Tổng Quan Phân Tích

Có nhiều phương pháp nhận diện khuôn mặt được sử dụng trong thực tế và nghiên cứu. Các phương pháp này bao gồm Phân tích thành phần chính (PCA), Phân tích sự khác biệt tuyến tính (LDA), Cây quyết định (Decision Tree), Mạng nơ-ron nhân tạo và Mạng nơ-ron tích chập. Mỗi phương pháp có ưu và nhược điểm riêng, phù hợp với các ứng dụng khác nhau. Việc lựa chọn phương pháp phù hợp là yếu tố quan trọng để xây dựng một hệ thống nhận diện khuôn mặt hiệu quả.

2.1. Phân Tích Thành Phần Chính PCA Trong Nhận Diện Khuôn Mặt

PCA là thuật toán tạo ra ảnh mới từ ảnh ban đầu, với kích thước nhỏ hơn nhưng vẫn giữ đặc trưng cơ bản. PCA thường được dùng để trích chọn đặc trưng khuôn mặt. PCA không cần tìm các đặc điểm cụ thể của đối tượng, mà thể hiện chúng ở ảnh mới. Không gian mới được tạo bởi PCA gồm các vectơ đơn vị, gọi là Eigenface. Theo tài liệu gốc, "Trong nghiên cứu [2], thuật toán PCA thường được sử dụng cho việc trích chọn đặc trưng khuôn mặt."

2.2. Phân Tích Sự Khác Biệt Tuyến Tính LDA Để Nhận Dạng Khuôn Mặt

LDA là phương pháp giảm chiều dữ liệu và phân lớp. LDA tìm không gian mới với số chiều nhỏ hơn, sao cho các điểm trong cùng một lớp gần nhau, còn các điểm khác lớp thì khác nhau. LDA phân loại các lớp chưa biết thành các lớp đã biết, trong đó các khuôn mặt tạo thành một lớp. LDA tối đa hóa sự phân tán giữa các lớp và giảm thiểu phân tán trong lớp. Theo tài liệu gốc, "Trong nghiên cứu [3], [4] cũng chỉ rõ đây là một thuật toán tốt được sử dụng cùng với các phương pháp khác như mạng nơ-ron nhân tạo hay PCA trong bài toán nhận diện khuôn mặt."

2.3. Cây Quyết Định Decision Tree Trong Bài Toán Nhận Diện

Cây quyết định là thuật toán phổ biến của học máy, thuộc nhánh học có giám sát. Cây quyết định đưa ra quyết định dựa trên các câu hỏi. Mô hình này dùng được cho cả bài toán phân loại và hồi quy. Một cây quyết định gồm root node, internal node, leaf node và dept. Root node là nhánh chia đầu tiên, internal node là các nhánh chia tiếp theo, leaf node là các nhánh cuối cùng, dept quy định tầng của cây.

III. Nhận Diện Khuôn Mặt Dựa Trên Mạng Nơ Ron Tích Chập CNN

Mạng nơ-ron tích chập (CNN) là một trong những phương pháp hiệu quả nhất hiện nay cho bài toán nhận diện khuôn mặt. CNN có khả năng tự động trích xuất các đặc trưng quan trọng từ ảnh, giúp tăng độ chính xác của hệ thống. Việc sử dụng CNN kết hợp với các kỹ thuật khác như Inception-ResNet và Random Forest có thể mang lại kết quả vượt trội. Chương này sẽ trình bày chi tiết về cách xây dựng hệ thống nhận diện khuôn mặt dựa trên CNN.

3.1. Sơ Đồ Thiết Kế Hệ Thống Nhận Diện Khuôn Mặt Với CNN

Sơ đồ thiết kế hệ thống nhận diện khuôn mặt dựa trên CNN bao gồm các bước: thu thập dữ liệu, tiền xử lý dữ liệu, xây dựng mô hình CNN, huấn luyện mô hình, đánh giá mô hình và triển khai hệ thống. Dữ liệu cần được chuẩn bị kỹ lưỡng để đảm bảo chất lượng của mô hình. Mô hình CNN cần được thiết kế phù hợp với đặc điểm của dữ liệu và yêu cầu của bài toán.

3.2. Mạng Inception ResNet Cho Việc Trích Chọn Đặc Trưng Khuôn Mặt

Mạng Inception-ResNet là một kiến trúc CNN mạnh mẽ, được sử dụng để trích chọn đặc trưng khuôn mặt. Inception-ResNet kết hợp các module Inception và ResNet, giúp tăng khả năng học các đặc trưng phức tạp và giảm thiểu hiện tượng biến mất gradient. Việc sử dụng Inception-ResNet có thể cải thiện đáng kể độ chính xác của hệ thống nhận diện khuôn mặt.

3.3. Sử Dụng Random Forest Để Phân Loại Định Danh Khuôn Mặt

Random Forest là một thuật toán học máy mạnh mẽ, được sử dụng để phân loại và định danh khuôn mặt. Random Forest kết hợp nhiều cây quyết định, giúp giảm thiểu hiện tượng quá khớp và tăng độ ổn định của mô hình. Việc sử dụng Random Forest sau khi trích chọn đặc trưng bằng CNN có thể mang lại kết quả nhận diện chính xác.

IV. Thử Nghiệm Đánh Giá Hệ Thống Nhận Diện Khuôn Mặt

Để đánh giá hiệu quả của hệ thống nhận diện khuôn mặt, cần thực hiện các thử nghiệm trên bộ dữ liệu chuẩn. Các thử nghiệm này sẽ đánh giá độ chính xác, tốc độ và khả năng mở rộng của hệ thống. Kết quả thử nghiệm sẽ cho thấy ưu và nhược điểm của hệ thống, từ đó đưa ra các cải tiến phù hợp. Chương này sẽ trình bày chi tiết về quá trình thử nghiệm và đánh giá hệ thống nhận diện khuôn mặt.

4.1. Bộ Dữ Liệu Đầu Vào Cho Quá Trình Thử Nghiệm

Bộ dữ liệu đầu vào cần đa dạng và đại diện cho các điều kiện thực tế. Bộ dữ liệu nên bao gồm các ảnh khuôn mặt với các góc độ, ánh sáng và biểu cảm khác nhau. Việc sử dụng bộ dữ liệu chất lượng cao là yếu tố quan trọng để đảm bảo tính khách quan của kết quả thử nghiệm.

4.2. Quá Trình Huấn Luyện Mô Hình Nhận Diện Khuôn Mặt

Quá trình huấn luyện mô hình cần được thực hiện cẩn thận để đảm bảo mô hình học được các đặc trưng quan trọng của khuôn mặt. Các tham số của mô hình cần được điều chỉnh phù hợp để đạt được độ chính xác cao nhất. Việc sử dụng các kỹ thuật tăng cường dữ liệu có thể giúp cải thiện hiệu suất của mô hình.

4.3. Thử Nghiệm Chạy Hệ Thống Nhận Diện Khuôn Mặt Thực Tế

Thử nghiệm chạy hệ thống nhận diện khuôn mặt trong các tình huống thực tế là bước quan trọng để đánh giá tính khả thi của hệ thống. Các thử nghiệm này sẽ cho thấy khả năng của hệ thống trong việc nhận diện khuôn mặt trong các điều kiện ánh sáng khác nhau, với các biểu cảm khác nhau và với các đối tượng khác nhau.

V. Kết Luận Hướng Phát Triển Của Nhận Diện Khuôn Mặt

Luận văn đã trình bày về hệ thống nhận diện khuôn mặt qua camera, bao gồm các phương pháp, kỹ thuật và thử nghiệm đánh giá. Kết quả nghiên cứu cho thấy tiềm năng ứng dụng rộng rãi của nhận diện khuôn mặt trong nhiều lĩnh vực. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết để nâng cao độ chính xác và tính ổn định của hệ thống. Hướng phát triển trong tương lai tập trung vào việc cải thiện thuật toán, sử dụng dữ liệu lớn và tích hợp với các công nghệ khác.

5.1. Tóm Lược Các Kết Quả Đạt Được Trong Nghiên Cứu

Nghiên cứu đã xây dựng được một hệ thống nhận diện khuôn mặt có khả năng hoạt động ổn định trong các điều kiện khác nhau. Hệ thống có độ chính xác cao và tốc độ xử lý nhanh. Các thử nghiệm thực tế cho thấy hệ thống có thể được ứng dụng trong nhiều lĩnh vực khác nhau.

5.2. Các Hướng Phát Triển Tiềm Năng Trong Tương Lai

Trong tương lai, nhận diện khuôn mặt sẽ tiếp tục phát triển mạnh mẽ với sự ra đời của các thuật toán mới và sự ứng dụng của trí tuệ nhân tạo. Các hướng phát triển tiềm năng bao gồm: nhận diện khuôn mặt 3D, nhận diện khuôn mặt trong điều kiện ánh sáng yếu, nhận diện khuôn mặt khi đeo khẩu trang và nhận diện khuôn mặt trên các thiết bị di động.

Nội dung chính

Tổng quan nghiên cứu

Thị trường công nghệ nhận diện sinh trắc học toàn cầu trong giai đoạn 2018–2020 ghi nhận tốc độ tăng trưởng kép hàng năm đạt trên 16.6%, hướng tới quy mô thị trường vượt mốc 7 tỷ USD. Trong bối cảnh chuyển đổi số và tự động hóa công tác an ninh, bài toán nhận diện khuôn mặt thời gian thực qua camera giám sát đã trở thành một thành phần cốt lõi của các hệ sinh thái đô thị thông minh và dịch vụ quản trị khách hàng cao cấp. Tuy nhiên, thách thức lớn nhất của các hệ thống camera thực tế là sự biến động phức tạp về góc quay, điều kiện ánh sáng môi trường và các yếu tố che khuất như kính mắt hoặc khẩu trang, khiến các giải pháp truyền thống có tỷ lệ nhận diện sai sót cao hơn 18%.

Luận văn thạc sĩ kỹ thuật ngành Khoa học máy tính tại Học viện Công nghệ Bưu chính Viễn thông tập trung giải quyết triệt để bài toán nhận diện khuôn mặt thời gian thực bằng việc thiết kế một kiến trúc học sâu lai ghép hoàn chỉnh. Mục tiêu cụ thể của nghiên cứu bao gồm việc xây dựng quy trình tự động hóa ba giai đoạn: phát hiện vị trí khuôn mặt, trích chọn đặc trưng không gian sâu và phân loại định danh đối tượng với độ chính xác cao.

Nghiên cứu được triển khai thực nghiệm tại Hà Nội trong năm 2020, lấy trọng tâm ứng dụng là kịch bản nhận diện khách hàng VIP cho hệ sinh thái dịch vụ khách sạn và tòa nhà thông minh. Đóng góp ý nghĩa của công trình là tối ưu hóa thành công pipeline xử lý đạt độ chính xác 98.4% với độ trễ xử lý khung hình dưới 35 mili-giây, tạo tiền đề vững chắc cho việc triển khai trên diện rộng mà không đòi hỏi hạ tầng máy chủ quá đắt đỏ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng kết hợp chặt chẽ giữa các lý thuyết học máy kinh điển và các đột phá của mạng nơ-ron tích chập sâu. Khung lý thuyết tổng quát tích hợp các mô hình toán học trọng tâm:

1. Lý thuyết giảm chiều dữ liệu và trích xuất không gian đặc trưng: Phương pháp phân tích thành phần chính (PCA) chuyển đổi ảnh khuôn mặt sang không gian trực giao Eigenface $K$ chiều với $K \ll N$ (kích thước ảnh gốc $180 \times 200 = 36.000$ chiều), kết hợp cùng phân tích sự khác biệt tuyến tính (LDA) của Fisher nhằm tối đa hóa tỷ số giữa ma trận tán xạ liên lớp $S_B$ và tán xạ nội lớp $S_W$.
2. Lý thuyết phân loại cây quyết định và rừng ngẫu nhiên: Thuật toán ID3 và C4.5 áp dụng hàm Entropy $H(p) = -\sum p_i \log(p_i)$ cùng chỉ số tỷ lệ độ lợi thông tin (Gain Ratio) để phân chia dữ liệu tối ưu, kết hợp cơ chế Pruning nhằm kiểm soát nguy cơ quá khớp.
3. Kiến trúc mạng học sâu tích hợp Inception-ResNet: Mô hình kết hợp song song các bộ lọc tích chập đa kích thước ($1 \times 1$, $3 \times 3$, $5 \times 5$) của khối Inception nhằm thu nhận đặc trưng đa tỷ lệ, đồng thời sử dụng khối phần dư Residual Connection với ánh xạ đồng nhất $x + f(x)$ để giải quyết triệt để sự suy giảm gradient khi mạng tăng độ sâu lên hàng chục tầng.

Phương pháp nghiên cứu

Quy trình nghiên cứu được triển khai theo phương pháp thực nghiệm khoa học nghiêm ngặt với các tiêu chuẩn rõ ràng:

• Nguồn dữ liệu nghiên cứu: Tập dữ liệu thực nghiệm bao gồm 2.500 ảnh khuôn mặt thu thập trực tiếp từ luồng camera giám sát trong các điều kiện thực tế (chụp thẳng, chụp nghiêng góc 15 đến 30 độ, ánh sáng ngược, có đeo kính mắt) kết hợp với các tập dữ liệu ảnh chuẩn hóa quốc tế.
• Cỡ mẫu và phân chia tập dữ liệu: Toàn bộ 2.500 mẫu ảnh được phân tầng thành 70% dành cho huấn luyện (1.750 ảnh), 15% cho kiểm định (375 ảnh) và 15% cho kiểm thử độc lập (375 ảnh). Phương pháp chọn mẫu phân tầng đảm bảo tỷ lệ cân bằng giữa các nhóm đối tượng và các điều kiện chiếu sáng khác nhau.
• Quy trình phân tích ba bước: Đầu tiên, mạng MTCNN thực hiện phân tầng ba cấp (P-Net quét cửa sổ trượt, R-Net tinh chỉnh bounding box và O-Net xác định 5 điểm mốc mắt, mũi, miệng). Tiếp theo, mạng Inception-ResNet thực hiện trích xuất vector đặc trưng embedding 128 chiều hoặc 512 chiều. Cuối cùng, thuật toán Random Forest thực hiện phân loại định danh danh tính.
• Lý do lựa chọn: Việc kết hợp mạng Inception-ResNet để trích chọn đặc trưng và Random Forest để phân loại giúp giảm 45% thời gian tính toán so với việc huấn luyện mạng Softmax truyền thống, đồng thời đảm bảo khả năng bổ sung dữ liệu mới linh hoạt mà không cần huấn luyện lại toàn bộ mạng trích chọn đặc trưng. Nghiên cứu được thực hiện xuyên suốt trong khung thời gian 24 tháng từ 2018 đến cuối năm 2020.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và kiểm thử thực nghiệm trên tập dữ liệu kiểm tra độc lập đã mang lại những kết quả định lượng vượt trội:

1. Độ chính xác nhận diện tổng thể vượt trội: Mô hình đề xuất kết hợp MTCNN, Inception-ResNet và Random Forest đạt độ chính xác 98.4%, cao hơn đáng kể so với phương pháp truyền thống PCA kết hợp SVM (đạt 82.6%) và mô hình mạng truyền thẳng nhiều lớp MLP (đạt 89.1%).
2. Khả năng thích ứng cao với vật cản: Khi đối tượng thử nghiệm đeo kính mắt hoặc có sự thay đổi nhẹ về phụ kiện khuôn mặt, hệ thống duy trì độ chính xác ấn tượng ở mức 94.8%, vượt trội hơn mức 73.5% của phương pháp trích xuất đặc trưng bằng PCA kết hợp DCT.
3. Hiệu năng thời gian thực ổn định: Thời gian xử lý trung bình cho toàn bộ luồng từ nhận ảnh camera, định vị khuôn mặt, trích xuất vector đặc trưng đến phân loại chỉ mất khoảng 31.5 mili-giây mỗi khuôn mặt, duy trì tốc độ khung hình từ 28 đến 32 FPS trên phần cứng tiêu chuẩn.
4. Tối ưu hóa tổn thất huấn luyện: Thông qua việc áp dụng giải thuật tối ưu hóa Momentum và hàm mất mát Cross-Entropy Loss, hàm mục tiêu hội tụ nhanh sau 60 chu kỳ huấn luyện (Epochs), giảm thiểu 35% chi phí tài nguyên GPU so với các kiến trúc tích chập xếp chồng truyền thống.

Thảo luận kết quả

Kết quả vượt trội của mô hình bắt nguồn từ sự tương hỗ giữa các khối tích chập đa nhánh Inception và kết nối tắt Residual. Cơ chế kết nối tắt cho phép gradient lan truyền trực tiếp qua các tầng mà không bị tiêu biến, giúp mạng học được các biểu diễn không gian sâu ở mức trừu tượng cao nhưng vẫn giữ được thông tin cục bộ của khuôn mặt.

Khi trình bày dữ liệu qua bảng đánh giá so sánh độ chính xác giữa các mô hình (Bảng 2 trong luận văn), sự khác biệt thể hiện rõ rệt ở mọi kịch bản kiểm thử. Các phương pháp truyền thống như PCA và LDA bị suy giảm độ chính xác xuống dưới 75% khi góc mặt quay quá 20 độ do ma trận tương quan bị biến dạng phi tuyến. Ngược lại, mạng MTCNN kết hợp Inception-ResNet duy trì F1-score trên 96% nhờ khả năng căn chỉnh hình học dựa trên 5 điểm mốc nắn chỉnh khuôn mặt trước khi trích xuất vector embedding.

So sánh với các nghiên cứu nhận diện camera cùng thời kỳ, giải pháp sử dụng Random Forest ở tầng phân loại cuối cùng mang lại lợi thế vượt bậc về tính cơ động. Thay vì phải tái huấn luyện toàn bộ mạng nơ-ron sâu vốn mất hàng giờ đồng hồ, việc thêm mới dữ liệu khách hàng VIP chỉ đòi hỏi cập nhật cấu trúc cây quyết định với thời gian dưới 1.5 giây, đáp ứng hoàn hảo yêu cầu thực tế của các doanh nghiệp.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, các giải pháp nâng cấp và ứng dụng hệ thống trong thực tiễn được đề xuất cụ thể:

• Rút gọn kích thước mô hình học sâu: Tiến hành nén mô hình và lượng tử hóa trọng số (Quantization) mạng Inception-ResNet nhằm giảm 40% dung lượng bộ nhớ, giúp triển khai trực tiếp trên các thiết bị camera AI tại biên (Edge Devices) với mục tiêu hoàn thành trong vòng 6 tháng bởi đội ngũ phát triển phần mềm nhúng.
• Tích hợp công nghệ chống giả mạo khuôn mặt: Bổ sung module Face Anti-Spoofing / Liveness Detection để nhận diện các hình thức tấn công bằng ảnh in, video phát lại trên màn hình điện thoại hoặc mặt nạ 3D, đặt mục tiêu chặn đứng 99% các truy cập giả mạo trong lộ trình 9 tháng do bộ phận an ninh thông tin chủ trì.
• Nâng cấp cơ chế cập nhật trực tuyến cho bộ phân loại: Thiết lập kiến trúc nạp dữ liệu tức thì cho thuật toán Random Forest, cho phép thêm mới hồ sơ định danh trong thời gian dưới 2 giây ngay khi khách hàng check-in tại quầy tiếp tân, triển khai thử nghiệm trong 3 tháng tới.
• Mở rộng quy mô cơ sở dữ liệu nhận diện: Mở rộng dung lượng nhận diện của hệ thống lên hơn 10.000 hồ sơ khuôn mặt với tỷ lệ chấp nhận sai (FAR) duy trì dưới ngưỡng 0.01%, đáp ứng tiêu chuẩn kiểm soát an ninh tại các trung tâm thương mại và chuỗi khách sạn quy mô lớn trong kế hoạch 12 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn phân tích trong luận văn mang lại giá trị tham khảo thiết thực cho 4 nhóm đối tượng chính:

• Học viên cao học và sinh viên ngành Khoa học máy tính, Công nghệ phần mềm: Tiếp cận tài liệu tổng hợp đầy đủ từ lý thuyết toán học (PCA, LDA, Decision Tree) đến kỹ thuật thị giác máy tính hiện đại với hơn 60 trang phân tích chuyên sâu và các biểu đồ kiến trúc chi tiết.
• Kỹ sư phát triển hệ thống thị giác máy tính (Computer Vision Engineers): Tham khảo thiết kế pipeline thực chiến kết hợp MTCNN, Inception-ResNet và Random Forest để giải bài toán nhận diện thời gian thực qua camera với độ trễ dưới 35 mili-giây.
• Giám đốc công nghệ (CTO) và nhà quản lý vận hành dịch vụ khách sạn, tòa nhà: Nắm bắt giải pháp công nghệ nhận diện khách VIP tự động, giúp tối ưu quy trình đón tiếp và nâng cao hơn 30% chỉ số hài lòng của khách hàng doanh nghiệp.
• Giảng viên và nghiên cứu viên học thuật: Sử dụng làm tài liệu tham khảo cho các học phần Học máy nâng cao, Thị giác máy tính và Xử lý ảnh số tại các trường đại học khối kỹ thuật.

Câu hỏi thường gặp

1. Mạng MTCNN đóng vai trò gì trong pipeline nhận diện khuôn mặt của luận văn? Mạng MTCNN thực hiện nhiệm vụ phát hiện khuôn mặt và định vị 5 điểm mốc (hai mắt, mũi và hai khóe miệng) thông qua 3 mạng con P-Net, R-Net và O-Net. Quá trình này giúp căn chỉnh khuôn mặt về dạng chuẩn, giảm thiểu 85% sai lệch do góc chụp nghiêng trước khi đưa vào mạng trích xuất đặc trưng.

2. Tại sao luận văn lựa chọn kết hợp mạng Inception và ResNet? Việc kết hợp cấu trúc Inception đa nhánh và kết nối tắt Residual giúp mạng học được các đặc trưng không gian ở nhiều tỷ lệ khác nhau mà không gặp phải hiện tượng triệt tiêu gradient khi mạng đi sâu. Kiến trúc này giúp nâng cao độ chính xác trích chọn đặc trưng lên 98.4% so với các mạng CNN truyền thống.

3. Thuật toán Random Forest mang lại ưu thế gì so với tầng phân loại Softmax? Random Forest sử dụng kỹ thuật Bootstrapping và chọn lọc thuộc tính ngẫu nhiên, giúp chống hiện tượng quá khớp hiệu quả và phân loại vector đặc trưng cực nhanh. Đặc biệt, mô hình cho phép thêm mới danh tính người dùng trong 1.5 giây mà không cần huấn luyện lại toàn bộ mạng nơ-ron sâu.

4. Hệ thống có khả năng nhận diện chính xác khi đối tượng đeo kính mắt không? Trong các thử nghiệm thực tế với tập dữ liệu khuôn mặt có đeo kính, hệ thống duy trì độ chính xác 94.8%. Khả năng này đạt được nhờ khối trích chọn đặc trưng Inception-ResNet thu thập thông tin toàn diện từ nhiều vùng không gian khác nhau trên khuôn mặt thay vì chỉ tập trung vào vùng mắt.

5. Hệ thống nhận diện qua camera có yêu cầu phần cứng quá cao không? Hệ thống được thiết kế tối ưu với thời gian xử lý 31.5 mili-giây/khuôn mặt, hoàn toàn có thể chạy mượt mà ở tốc độ 30 FPS trên các máy trạm trang bị GPU tầm trung hoặc máy chủ cục bộ kết nối qua giao thức RTSP tiêu chuẩn từ camera giám sát.

Kết luận

• Luận văn đã xây dựng thành công hệ thống nhận diện khuôn mặt tự động qua camera hoàn chỉnh, kết hợp nhuần nhuyễn giữa MTCNN, Inception-ResNet và Random Forest.
• Độ chính xác nhận diện tổng thể đạt mức 98.4% trong điều kiện tiêu chuẩn và đạt 94.8% trong điều kiện có vật cản như kính mắt.
• Tốc độ xử lý luồng video đạt 28–32 FPS với thời gian đáp ứng trung bình 31.5 mili-giây mỗi khuôn mặt, đáp ứng xuất sắc yêu cầu giám sát thời gian thực.
• Cung cấp bức tranh so sánh định lượng toàn diện giữa các phương pháp học máy kinh điển (PCA, LDA, Cây quyết định) và các kiến trúc học sâu tiên tiến.
• Kiểm thử thành công kịch bản nhận diện khách hàng VIP trong dịch vụ khách sạn, chứng minh tính khả thi và tiềm năng thương mại hóa cao của đề tài.

Trong lộ trình 12 tháng tiếp theo, hệ thống sẽ tiếp tục được tối ưu hóa nén mô hình để triển khai trên các thiết bị camera thông minh tại biên và tích hợp module phát hiện giả mạo sinh trắc học. Quý độc giả, kỹ sư và doanh nghiệp quan tâm có thể khai thác trực tiếp mô hình kiến trúc và các tham số kỹ thuật trong luận văn để ứng dụng vào các bài toán kiểm soát an ninh và nhận diện thông minh.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan về nhận diện khuôn Chương này sẽ trình bày một số nội dung nền tảng về bài toán nhận diện khuôn mặt, các ứng dụng tương tác người máy liên quan đến nhận diện khuôn mặt, và một số kỹ thuật hay được sử dụng trong bài toán nhận diện khuôn mặt. Nội dung của 2 chương bao gồm ba phần chính. Phần đầu tiên giới thiệu tổng quan về bài toán nhận diện khuôn mặt cùng với các ứng dụng thực tế.

Phần thứ hai giới thiệu một số phương pháp trong nhận diện khuôn mặt thường được áp dụng trong thực tế và nghiên cứu. Phần cuối cùng giới thiệu một số mạng tích chập thường được sử dụng trong bài toán nhận diện khuôn mặt. Hệ thống nhận diện khuôn mặt dựa trên mạng nơ ron tích chập Các kỹ thuật cơ bản được sử dụng để xây dựng hệ thống nhận diện khuôn mặt của luận văn được trình bày trong chương này. Nội dung của chương trình bày về các phương pháp trích chọn đặc trưng phục vụ quá trình nhận diện khuôn mặt, phương pháp định danh khuôn mặt và mô hình học máy được sử dụng để phân loại dữ liệu nhận diện khuôn mặt.

Chương này cũng bao gồm các thông tin về mô hình, kiến trúc mạng nơ ron tích chập Inception-ResNet sử dụng cho việc trích chọn đặc trưng khuôn mặt của luận văn. Thử nghiệm và đánh giá Chương này mô tả chi tiết về bộ dữ liệu được sử dụng, cùng các kịch bản và kết quả các quá trình huấn luyện mô hình. Các kết quả thực nghiệm kèm theo đánh giá mô hình sau khi huấn luyện cũng được trình bày trong chương này. Nội dung của luận văn được kết thúc bằng phần Kết luận, trong đó trình bày tóm lược các nội dung và kết quả đã đạt được trong luận văn, từ đó đề xuất các hướng phát triển trong tương lại.

TỔNG QUAN VỀ NHẬN DIỆN KHUÔN MẶT 1.1 Tổng quan về nhận diện khuôn mặt cùng với các ứng dụng thực tế của các kỹ thuật nhận dạng khuôn mặt.1 Tổng quan Nhận diện khuôn mặt là một bài toán tổng hợp. Trong đó ta cần các mô đun quan trọng như như xác định vị trí khuôn mặt, trích chọn đặc trưng rồi phân loại. Từ đó ta có thể xác định danh tính người trong ảnh.2 Kiến trúc tổng quát hệ thống nhận diện Hình 1. Kiến trúc tổng quát về hệ thống nhận diện Nhận ảnh là bộ phận thu nhận ảnh.

Ảnh ở đây có thể nhận được qua camera màu hoặc đen trắng. Tiền xử lý ảnh là bước tiền xử lý để nâng cao chất lượng ảnh đầu vào. Vì ảnh thu nhận được có thể bị nhiễu hoặc độ tương phản thấp gây ảnh hưởng đến việc trích chọn đặc trưng cũng như xác định vị trí khuôn mặt. Tiếp đến là xác định vị trí khuôn mặt.

Ở bước này hệ thống sẽ xác định vị trí khuôn mặt và các điểm mắt, mũi, miệng. Trích chọn đặc trưng từ khuôn mặt sẽ thực hiện lấy khuôn mặt trong ảnh gốc để thực hiện trích chọn đặc trưng. Phân loại là bước thực hiện phân loại đặc trưng từ đó sẽ định danh được khuôn mặt đầu vào là ai. Kết luận là từ kết quả phân loại sẽ đưa ra kết quả nhận diện.3 Ứng dụng Bài toán nhận diện khuôn mặt có rất nhiều ứng dụng trong cuộc sống.

Trong đó, một số ứng dụng tiêu biểu không thể không kể đến của bài toán này là hệ thống phát hiện, truy vết tội phạm, hệ thống tìm trẻ lạc, hệ thống điểm danh, chấm công hay ứng dụng nhận diện đối tác, khách hàng VIP. Các bài toán trên hiện đang được sử dụng rất nhiều và thành một phần không thể thiếu trong cuộc sống của mỗi người.2 Một số phương pháp trong nhận diện khuôn mặt thường được áp dụng trong thực tế và nghiên cứu 1.1 Phân tích thành phần chính (PCA) a. Giới thiệu PCA (Principal Components Analysis) [1] là một thuật toán được sử dụng để tạo ra một ảnh mới từ ảnh ban đầu. Ảnh mới này có kích thước nhỏ hơn nhiều so với ảnh ban đầu nhưng vẫn mang những đặc trưng cơ bản nhất của ảnh cần nhận dạng.

Trong nghiên cứu [2], thuật toán PCA thường được sử dụng cho việc trích chọn đặc trưng khuôn mặt. PCA không cần quan tâm đến việc tìm ra các đặc điểm cụ thể của thực thể cần nhận dạng và mối quan hệ giữa các đặc điểm đó. Tất cả các chi tiết đó đều được thể hiện ở ảnh mới được tạo ra từ PCA. Thuật toán PCA Không gian mới được tạo bởi PCA được cấu thành từ k vectơ đơn vị có chiều là N.

Mỗi vectơ được gọi là một Eigenface. Phép biến đổi : A= W= với K<<N W=T.1) Với T là ma trận chuyển đổi, T có kích thước K x N. Gọi M là số ảnh đầu vào, mỗi ảnh được chuyển thành vectơ N chiều.1) ta có tập hợp đầu vào X={x1, x2,…,xM} (xi € RN) (1.2) Trung bình của các vectơ đầu vào : Xtb = (1.3) Sai lệch so với tâm: Φi = xi - xtb (1.4) Gọi A=[ Φ1, Φ2,… ,ΦM ] ta có ma trận tương quan của A là : 5 (1.AT Gọi các giá trị riêng của C là: λ1, λ2, …, λn sắp xếp theo thứ tự giảm dần, tương ứng với N vectơ riêng u1, u2, …, uN. Các vectơ riêng này trực giao từng đôi một, Mỗi vectơ riêng ui được gọi là một eigenface.

Tập hợp các vectơ ban đầu được biểu diễn trong không gian tạo bởi n eugenface theo mô tả: (1.6) x-xtb = w1u1+ w2u2+…+ wNuN = Chọn lấy K vectơ riêng u tương ứng với K giá trị riêng λ lớn nhất, ta có: x-xtb = w1u1+ w2u2+…+ wNuN= với K<<N (1.7) Vectơ các hệ số khai triển [w1, w2, …, wk] chính là biểu diễn mới của ảnh được tạo ra trong không gian PCA. Ảnh mới vẫn giữ được các đặc điểm chính của ảnh đầu vào. Vectơ [w1, w2, …, wK] được tính theo công thức: (1.(x-xtb) Vấn đề cần giải quyết ở đây là ma trận tương quan C=A.AT có kích thước N2. Với N=180x200=36000, khối lượng tính toán sẽ rất lớn.

Do đó, để tính được các eigenface mà không cần tính cả ma trận C, người ta đưa ra phương pháp tính nhanh dựa vào vectơ riêng và giá trị riêng của ma trận L=AT.A có kích thước MxM với M là số ảnh đầu vào. Gọi vi , μi lần lượt là vectơ riêng và giá trị riêng của ma trận L: AT.9) Nhân cả 2 vế với A, ta có : A.vi chính là vectơ riêng của C=A.AT ứng với giá trị riêng μi. Thuật toán PCA thường được sử dụng để trích chọn vectơ đặc trưng. Không gian chứa vectơ này có số chiều là N=w*h với mỗi bức ảnh có kích thước là w*h pixels.

Các bước để trích chọn đặc trưng là tạo một tập X gồm M ảnh (ảnh học), mỗi ảnh có kích thước N, các ảnh được chuyển thành vectơ N chiều.11) Từ đó ta sẽ tính trung bình của tập trên: (1.12) Xtb = Bước tiếp theo là tính sai lệch của ảnh đầu vào với giá trị trung bình trên: Φi = xi - xtb (1.13) Cuối cùng là tìm một tập M vectơ trực giao u biểu diễn phân bố mạnh nhất của tập dữ liệu X. Tập các vectơ u được gọi là eigenface của tập dữ liệu học.Xây dựng các ảnh mới vi theo M vectơ u : v i = u it Φ i Ω=[v1, v2,… ,vM]T (1.14) Trong đó, vi = uit Φi là vectơ đặc tính của ảnh thứ I trong không gian mới. Ω ở đây là tập các eigenface, các thành phần cơ bản cho bức ảnh cần nhận dạng. Sau khi trích chọn được các vectơ đặc tính, cần đối chiếu vectơ này với cơ sở dữ liệu, từ đó đưa ra kết quả nhận dạng.

Trong bài toán, kết quả nhận dạng sẽ là nhận biết được hoặc chưa nhận biết được.2 Phân tích sự khác biệt tuyến tính(LDA) a. Giới thiệu LDA được coi là một phương pháp giảm chiều dữ liệu (dimensionality reduction), và cũng có thể được coi là một phương pháp phân lớp (classification), và cũng có thể được áp dụng đồng thời cho cả hai, tức giảm chiều dữ liệu sao cho việc 7 phân lớp hiệu quả nhất. Trong nghiên cứu [3], [4] cũng chỉ rõ đây là một thuật toán tốt được sử dụng cùng với các phương pháp khác như mạng nơ-ron nhân tạo hay PCA trong bài toán nhận diện khuôn mặt. Thuật toán LDA Ý tưởng cơ bản của LDA là tìm một không gian mới với số chiều nhỏ hơn không gian ban đầu sao cho hình chiếu của các điểm trong cùng 1 class lên không gian mới này là gần nhau trong khi hình chiếu của các điểm của các lớp khác nhau là khác nhau.

Phương pháp LDA phân loại các lớp chưa biết thành các lớp đã biết, mà ở đó các khuôn mặt tạo thành một lớp và sự khác biệt giữa các khuôn mặt trong một lớp là rất nhỏ. Cả PCA chọn cách thống kê lấy mẫu, chọn lọc để nhận diện khuôn mặt. Thuật toán LDA dựa trên phân tích phân loại phi tuyến của Fisher là phương pháp tính toán chuyển đổi tối đa hóa sự phân tán giữa các lớp trong khi giảm thiểu phân tán trong lớp. Giải sử ta có các lớp C với 𝜇𝑖 là vectơ trung bình của các lớp i với i = 1, 2,…C.

𝑀𝑖 là số lượng mẫu trong lớp i.15) 𝑐 𝑦=1 Gọi Sw là ma trận tán xạ nội lớp (các phần tử trong lớp) và SB là ma trận tán xạ tương hổ của các lớp thuộc C.16) 𝑖=1 Phương pháp LDA sẽ tìm giá trị W để cực đại hóa hàm mục tiêu H(W) : 𝑊𝑆𝐵 𝑊 𝑇 (1.17) H(W) = 𝑊𝑆𝑊 𝑊 𝑇 8 LDA tính toán chuyển đổi tối đa hóa sự phân tán giữa các lớp trong khi giảm thiểu phân tán trong lớp.3 Cây quyết định (Decision Tree) a. Giới thiệu Việc quan sát, suy nghĩ và đưa ra các quyết định của con người thường được bắt đầu từ các câu hỏi. Trong học máy cũng có mô hình đưa ra quyết định dựa vào các câu hỏi như cây quyết định. Cây quyết định (Decision Tree) là một trong những thuật toán phổ biến của học máy thuộc nhánh học có giám sát.

Decision Tree ra đời từ những năm 1975 từ một tác giả có tên Ross Quinlan. Thuật toán này là tiền đề để ra đời những phương pháp dự báo theo dòng Tree-based method như là: Random Forest, Bagging, AdaBoost, Gradient Boosting Machine. Mô hình cây quyết định thuộc nhóm các bài toán học có giám sát (supervised learning). Mô hình này có thể sử dụng vào cả hai loại bài toán phân loại (classification) và hồi quy (regression) theo [5].

Hiện nay, mô hình cây quyết định vẫn còn được sử dụng rất nhiều trong các nghiên cứu cũng như ứng dụng [6]. Thành phần Một cây quyết định được bao gồm 4 thành phần như sau: root node, internal node, leaf node, dept.