Luận văn thạc sĩ HCMUTE về nhận dạng và định danh khuôn mặt người thời gian thực

• Tác giả: Lê Nguyễn Anh Huy
• Người hướng dẫn: TS. Nguyễn Văn Thái
• Trường học: Đại học Sư Phạm Kỹ Thuật TP HCM
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Nhận dạng khuôn mặt thời gian thực với camera 2D giá rẻ
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: TP Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tổng quan về đề tài
• 1.2. Mục đích của đề tài
• 1.3. Nhiệm vụ và giới hạn của đề tài
• 1.3.1. Nhiệm vụ của đề tài
• 1.3.2. Giới hạn của đề tài
• 1.4. Phương pháp nghiên cứu
• 1.5. Giới thiệu thuật toán
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT THUẬT TOÁN
• 2.1. Đặc trưng Haar Like
• 2.2. Phương pháp AdaBoost
• 2.3. Mô hình phân tầng cascade
• 2.4. Thuật toán SIFT
• 2.4.1. Các nghiên cứu liên quan
• 2.4.2. Phát hiện cực trị trong không gian tỉ lệ
• 2.4.3. Phát hiện cực trị địa phương
• 2.4.4. Tần suất lấy mẫu tỉ lệ
• 2.4.5. Tần suất lấy mẫu trong miền không gian
• 2.4.6. Định vị các Keypoint
• 2.4.6.1. Loại trừ các điểm có tính tương phản kém
• 2.4.6.2. Loại bỏ điểm dư thừa theo biên
• 2.4.7. Bộ mô tả hình ảnh cục bộ
• 2.4.7.1. Bộ mô tả
• 2.4.7.2. Kiểm thử bộ mô tả
• 2.4.7.3. Độ nhạy với biến đổi Affine
• 2.4.7.4. So khớp với cơ sở dữ liệu lớn
• 2.4.8. Đối sánh đặc trưng SIFT
• 2.4.8.1. Độ đo tương tự và độ đo khoảng cách
• 2.4.8.2. Đối sánh đặc trưng cục bộ bất biến
• 2.4.8.3. Độ đo tương đồng cho đặc trưng cục bộ bất biến
• 2.4.9. Ứng dụng cho nhận dạng đối tượng
• 2.4.9.1. So khớp Keypoint
• 2.4.9.2. Hiệu quả của việc đánh số các điểm lân cận gần
• 2.4.9.3. Cụm biến đổi Hough
• 2.4.9.4. Giải pháp cho các thông số Affine
• 2.4.9.5. Ví dụ nhận dạng
• 2.5. Thuật toán SURF
• 2.5.1. Bộ mô tả SURF
• 2.5.2. Bộ dò Fast-Hessian
• 2.5.3. Gán hướng cho điểm nổi bật và mô tả đặc trưng SURF
• 2.5.4. So khớp đặc trưng
• 2.6. Thuật toán RANSAC
• 2.6.1. Phương pháp
• 2.6.2. Bài toán thử nghiệm
• 3. CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH
• 3.1. Quá trình nhận dạng và định danh khuôn mặt
• 3.2. Thuật toán phát hiện đối tượng
• 3.3. Cài đặt chương trình
• 3.4. Chương trình mô phỏng
• 3.5. Định danh khuôn mặt
• 4. CHƯƠNG 4: KẾT LUẬN
• 4.1. Kết luận chung
• DANH MỤC TÀI LIỆU THAM KHẢO

I. Tổng quan về nhận dạng khuôn mặt

Nhận dạng khuôn mặt là một lĩnh vực quan trọng trong công nghệ xử lý ảnh, với ứng dụng rộng rãi trong nhiều lĩnh vực như an ninh, thương mại và giải trí. Hệ thống nhận dạng khuôn mặt thường bao gồm hai bước chính: phát hiện khuôn mặt và định danh đối tượng. Việc phát hiện khuôn mặt sử dụng các kỹ thuật như Haar-like features và AdaBoost để xác định vị trí khuôn mặt trong ảnh. Sau đó, các đặc trưng của khuôn mặt được rút trích và so sánh với cơ sở dữ liệu để xác định danh tính. Độ chính xác của hệ thống phụ thuộc vào chất lượng của các phương pháp rút trích và so sánh đặc trưng. Theo nghiên cứu, việc sử dụng camera 2D giá rẻ có thể mang lại hiệu quả cao trong việc nhận dạng khuôn mặt, đặc biệt trong các ứng dụng yêu cầu tính linh hoạt và chi phí thấp.

1.1. Ứng dụng của nhận dạng khuôn mặt

Nhận dạng khuôn mặt được ứng dụng trong nhiều lĩnh vực như an ninh, giám sát, và thương mại. Trong an ninh, công nghệ này giúp phát hiện và nhận diện tội phạm, trong khi trong thương mại, nó hỗ trợ trong việc cá nhân hóa trải nghiệm khách hàng. Hệ thống nhận dạng khuôn mặt có thể được tích hợp vào các thiết bị như camera 2D để thực hiện giám sát thời gian thực. Việc sử dụng camera 2D giá rẻ giúp giảm chi phí đầu tư cho các hệ thống an ninh mà vẫn đảm bảo hiệu quả trong việc nhận diện. Điều này mở ra cơ hội cho nhiều doanh nghiệp và tổ chức có thể áp dụng công nghệ này mà không cần đầu tư lớn.

II. Cơ sở lý thuyết thuật toán

Các thuật toán nhận dạng khuôn mặt thường dựa trên các phương pháp học máy như machine learning để cải thiện độ chính xác và hiệu suất. Một trong những thuật toán phổ biến là SIFT (Scale-Invariant Feature Transform), cho phép rút trích các đặc trưng cục bộ bất biến từ ảnh. Thuật toán này giúp nhận diện khuôn mặt ngay cả khi có sự thay đổi về kích thước, góc nhìn hoặc ánh sáng. Việc áp dụng SIFT trong hệ thống nhận dạng khuôn mặt giúp tăng cường khả năng nhận diện trong các điều kiện khác nhau. Ngoài ra, các phương pháp như SURF (Speeded Up Robust Features) cũng được sử dụng để cải thiện tốc độ và độ chính xác của quá trình nhận dạng.

2.1. Các thuật toán chính

Các thuật toán chính trong nhận dạng khuôn mặt bao gồm Haar-like features, AdaBoost, và SIFT. Haar-like features là một phương pháp hiệu quả để phát hiện khuôn mặt trong ảnh, trong khi AdaBoost giúp tối ưu hóa quá trình phân loại. SIFT cung cấp một cách tiếp cận mạnh mẽ để rút trích đặc trưng từ ảnh, cho phép so sánh và nhận diện khuôn mặt một cách chính xác. Việc kết hợp các thuật toán này trong một hệ thống duy nhất có thể tạo ra một giải pháp mạnh mẽ cho việc nhận dạng khuôn mặt trong thời gian thực.

III. Xây dựng chương trình

Quá trình xây dựng chương trình nhận dạng khuôn mặt bao gồm việc phát triển các thuật toán và tích hợp chúng vào một hệ thống hoàn chỉnh. Chương trình này sử dụng camera 2D để thu thập dữ liệu hình ảnh và áp dụng các thuật toán đã được phát triển để thực hiện nhận dạng. Việc cài đặt chương trình yêu cầu kiến thức về lập trình và xử lý ảnh, cũng như khả năng tối ưu hóa thuật toán để đảm bảo hiệu suất cao. Hệ thống cần được kiểm thử với các tập dữ liệu khác nhau để đánh giá độ chính xác và khả năng hoạt động trong các điều kiện thực tế.

3.1. Quy trình phát triển

Quy trình phát triển chương trình nhận dạng khuôn mặt bao gồm các bước như thu thập dữ liệu, rút trích đặc trưng, và so sánh với cơ sở dữ liệu. Đầu tiên, dữ liệu hình ảnh được thu thập từ camera 2D và sau đó được xử lý để phát hiện khuôn mặt. Các đặc trưng của khuôn mặt được rút trích và lưu trữ trong cơ sở dữ liệu. Cuối cùng, khi có một khuôn mặt mới được phát hiện, chương trình sẽ so sánh các đặc trưng của nó với các đặc trưng đã lưu trữ để xác định danh tính. Quy trình này cần được tối ưu hóa để đảm bảo thời gian xử lý nhanh chóng và chính xác.

IV. Kết luận

Luận văn đã trình bày một cái nhìn tổng quan về công nghệ nhận dạng khuôn mặt, đặc biệt là việc sử dụng camera 2D giá rẻ trong các ứng dụng thực tế. Các phương pháp và thuật toán được thảo luận đã cho thấy tiềm năng lớn trong việc phát triển các hệ thống nhận dạng khuôn mặt hiệu quả và tiết kiệm chi phí. Việc áp dụng công nghệ này không chỉ giúp nâng cao an ninh mà còn mở ra nhiều cơ hội mới trong các lĩnh vực khác nhau. Tương lai của nhận dạng khuôn mặt hứa hẹn sẽ tiếp tục phát triển với sự tiến bộ của công nghệ và nghiên cứu trong lĩnh vực này.

4.1. Triển vọng phát triển

Triển vọng phát triển của công nghệ nhận dạng khuôn mặt rất lớn, đặc biệt là trong bối cảnh công nghệ ngày càng phát triển. Việc cải thiện độ chính xác và tốc độ của các thuật toán sẽ là một trong những mục tiêu chính trong nghiên cứu tiếp theo. Ngoài ra, việc tích hợp nhận dạng khuôn mặt với các công nghệ khác như trí tuệ nhân tạo và Internet of Things (IoT) có thể tạo ra những ứng dụng mới và thú vị trong tương lai. Công nghệ nhận dạng khuôn mặt có thể trở thành một phần không thể thiếu trong cuộc sống hàng ngày, từ an ninh đến giải trí và thương mại.

Tổng quan nghiên cứu

Nhận dạng khuôn mặt là một lĩnh vực quan trọng trong xử lý ảnh số, được ứng dụng rộng rãi trong an ninh, thương mại, và xử lý video. Theo báo cáo của ngành, việc nhận dạng khuôn mặt trong thế giới thực gặp nhiều thách thức do yêu cầu xây dựng cơ sở dữ liệu lớn và xử lý nhanh, chính xác. Mục tiêu của luận văn là nghiên cứu và xây dựng hệ thống nhận dạng và định danh khuôn mặt thời gian thực sử dụng camera 2D giá rẻ, với độ chính xác cao và thời gian tính toán tối ưu. Nghiên cứu tập trung vào việc phát hiện khuôn mặt và định danh đối tượng dựa trên các đặc trưng cục bộ bất biến trích xuất từ ảnh, áp dụng các thuật toán Haar-like, AdaBoost, SIFT và RANSAC. Phạm vi nghiên cứu thực hiện tại Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh trong giai đoạn 2015-2017, sử dụng dữ liệu ảnh thu thập từ camera 2D giá rẻ. Ý nghĩa nghiên cứu thể hiện qua việc phát triển giải pháp nhận dạng khuôn mặt hiệu quả, phù hợp với điều kiện thiết bị phổ biến, góp phần nâng cao ứng dụng trong giám sát an ninh và các lĩnh vực liên quan.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn áp dụng các lý thuyết và mô hình sau:

• Đặc trưng Haar-like: Là các đặc trưng hình chữ nhật dùng để tính độ chênh lệch mức xám giữa các vùng ảnh kề nhau, giúp phát hiện các đặc điểm khuôn mặt như mắt, mũi, miệng. Việc tính toán được tối ưu nhờ ảnh tích phân (Integral Image), cho phép xử lý nhanh các đặc trưng trên ảnh.

• Thuật toán AdaBoost: Thuật toán học máy tăng cường, kết hợp nhiều bộ phân loại yếu thành bộ phân loại mạnh. AdaBoost điều chỉnh trọng số các mẫu trong quá trình huấn luyện để tập trung vào các mẫu khó nhận dạng, từ đó nâng cao hiệu quả phát hiện khuôn mặt.

• Mô hình phân tầng Cascade: Mô hình gồm nhiều tầng AdaBoost, mỗi tầng loại bỏ các mẫu không phải khuôn mặt dễ dàng, giúp giảm thời gian xử lý và tăng độ chính xác.

• Thuật toán SIFT (Scale Invariant Feature Transform): Phương pháp trích xuất đặc trưng cục bộ bất biến với tỉ lệ, xoay và ánh sáng, dùng để mô tả và so khớp các điểm quan tâm (keypoints) trên ảnh khuôn mặt. SIFT bao gồm các bước phát hiện cực trị trong không gian tỉ lệ, định vị keypoint, gán hướng và tạo bộ mô tả 128 chiều.

• Thuật toán RANSAC (Random Sample Consensus): Phương pháp lọc và xác nhận các điểm so khớp chính xác giữa ảnh đầu vào và cơ sở dữ liệu, loại bỏ các điểm nhiễu, nâng cao độ tin cậy của quá trình nhận dạng.

Các khái niệm chính bao gồm: điểm bất động (keypoint), ảnh tích phân, bộ phân loại AdaBoost, mô hình Cascade, bộ mô tả SIFT, và thuật toán lọc RANSAC.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là ảnh thu được từ camera 2D giá rẻ và tập ảnh khuôn mặt chuẩn được lưu trữ trong cơ sở dữ liệu. Cỡ mẫu ảnh sử dụng khoảng vài trăm ảnh khuôn mặt với các điều kiện ánh sáng và góc nhìn khác nhau, trong đó góc nghiêng khuôn mặt giới hạn dưới 30 độ để đảm bảo độ chính xác.

Phương pháp phân tích gồm:

• Phát hiện khuôn mặt bằng mô hình phân tầng Cascade sử dụng đặc trưng Haar-like và AdaBoost.

• Trích xuất đặc trưng SIFT từ vùng khuôn mặt đã phát hiện.

• So khớp đặc trưng SIFT giữa ảnh đầu vào và cơ sở dữ liệu bằng thuật toán kNN kết hợp RANSAC để loại bỏ outlier.

• Đánh giá hiệu năng qua tỷ lệ nhận dạng chính xác trên các tập dữ liệu kiểm thử.

Quá trình nghiên cứu kéo dài từ 2015 đến 2017, bao gồm giai đoạn thu thập dữ liệu, xây dựng thuật toán, cài đặt chương trình và thử nghiệm thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Giảm số lượng đặc trưng SIFT sau khi phát hiện khuôn mặt: Ảnh gốc kích thước 500x500 pixel chứa khoảng 2000 điểm SIFT, nhưng sau khi trích xuất vùng khuôn mặt, số điểm giảm còn khoảng 200 điểm, giảm 90% số lượng đặc trưng không cần thiết. Điều này giúp tăng tốc quá trình nhận dạng mà không làm giảm độ chính xác.

2. Tỷ lệ nhận dạng trên các tập dữ liệu chuẩn: Hệ thống đạt tỷ lệ nhận dạng trung bình trên 85% trên các tập dữ liệu AT&T (ORL), Face94, Face95, Face96 và Jaffe, thể hiện hiệu quả của phương pháp kết hợp Haar-like, AdaBoost và SIFT.

3. So sánh các thuật toán đối sánh: Thuật toán kNN kết hợp RANSAC cho kết quả nhận dạng chính xác hơn so với kNN đơn thuần và NBNN, với tỷ lệ lỗi giảm khoảng 10% so với kNN truyền thống.

4. Ảnh hưởng của góc nghiêng khuôn mặt: Hệ thống nhận dạng chính xác khi góc nghiêng khuôn mặt nhỏ hơn 30 độ, vượt quá giới hạn này làm giảm tỷ lệ nhận dạng do biến dạng hình ảnh.

Thảo luận kết quả

Việc giảm số lượng đặc trưng SIFT sau khi phát hiện khuôn mặt giúp loại bỏ các điểm đặc trưng không liên quan, giảm tải tính toán và tăng độ chính xác. Kết quả này phù hợp với các nghiên cứu trước đây cho thấy việc tập trung vào vùng khuôn mặt giúp cải thiện hiệu quả nhận dạng.

Tỷ lệ nhận dạng trên các tập dữ liệu chuẩn cho thấy hệ thống có khả năng áp dụng thực tế tốt, đặc biệt với thiết bị camera 2D giá rẻ. So sánh các thuật toán đối sánh cho thấy RANSAC giúp loại bỏ các điểm nhiễu, tăng độ tin cậy của kết quả.

Giới hạn về góc nghiêng khuôn mặt là một điểm cần cải thiện trong các nghiên cứu tiếp theo, có thể áp dụng các thuật toán nhận dạng khuôn mặt đa góc hoặc 3D để mở rộng phạm vi nhận dạng.

Dữ liệu có thể được trình bày qua biểu đồ tỷ lệ nhận dạng trên các tập dữ liệu khác nhau, bảng so sánh hiệu năng các thuật toán đối sánh, và biểu đồ thể hiện ảnh hưởng của góc nghiêng đến tỷ lệ nhận dạng.

Đề xuất và khuyến nghị

1. Phát triển thuật toán nhận dạng đa góc: Nghiên cứu và áp dụng các phương pháp nhận dạng khuôn mặt với góc nghiêng lớn hơn 30 độ nhằm mở rộng phạm vi ứng dụng, nâng cao tỷ lệ nhận dạng trong thực tế.

2. Tối ưu hóa thuật toán trích xuất đặc trưng: Cải tiến thuật toán SIFT hoặc kết hợp với các thuật toán khác như SURF để tăng tốc độ xử lý và giảm chi phí tính toán, phù hợp với các thiết bị có cấu hình thấp.

3. Xây dựng cơ sở dữ liệu khuôn mặt đa dạng: Thu thập và lưu trữ dữ liệu khuôn mặt với nhiều điều kiện ánh sáng, biểu cảm và góc nhìn khác nhau để nâng cao độ chính xác và khả năng tổng quát của hệ thống.

4. Ứng dụng hệ thống trong giám sát an ninh: Triển khai hệ thống nhận dạng khuôn mặt thời gian thực sử dụng camera 2D giá rẻ tại các khu vực công cộng, doanh nghiệp nhằm tăng cường an ninh và quản lý nhân sự hiệu quả.

Các giải pháp trên nên được thực hiện trong vòng 1-2 năm tới, với sự phối hợp giữa các nhà nghiên cứu, doanh nghiệp công nghệ và các cơ quan quản lý.

Đối tượng nên tham khảo luận văn

1. Sinh viên và nghiên cứu sinh ngành Kỹ thuật Điện tử, Xử lý ảnh: Học hỏi các thuật toán nhận dạng khuôn mặt, phương pháp trích xuất đặc trưng và mô hình phân lớp hiện đại.

2. Chuyên gia phát triển hệ thống giám sát an ninh: Áp dụng giải pháp nhận dạng khuôn mặt thời gian thực với thiết bị camera giá rẻ, tối ưu chi phí triển khai.

3. Doanh nghiệp công nghệ và startup AI: Nghiên cứu và phát triển các sản phẩm nhận dạng khuôn mặt phù hợp với thị trường Việt Nam và các nước đang phát triển.

4. Cơ quan quản lý và an ninh: Tìm hiểu công nghệ nhận dạng khuôn mặt để ứng dụng trong kiểm soát an ninh, quản lý nhân sự và phòng chống tội phạm.

Mỗi nhóm đối tượng có thể sử dụng luận văn làm tài liệu tham khảo để phát triển nghiên cứu, ứng dụng thực tế hoặc đào tạo chuyên môn.

Câu hỏi thường gặp

1. Hệ thống nhận dạng khuôn mặt sử dụng camera 2D giá rẻ có chính xác không?
   Hệ thống đạt tỷ lệ nhận dạng trên 85% trên các tập dữ liệu chuẩn khi khuôn mặt có góc nghiêng dưới 30 độ, cho thấy hiệu quả cao với thiết bị phổ thông.

2. Thuật toán nào được sử dụng để phát hiện khuôn mặt?
   Phương pháp kết hợp đặc trưng Haar-like và thuật toán AdaBoost với mô hình phân tầng Cascade giúp phát hiện khuôn mặt nhanh và chính xác.

3. Làm thế nào để giảm số lượng đặc trưng SIFT mà không làm giảm độ chính xác?
   Bằng cách chỉ trích xuất đặc trưng từ vùng khuôn mặt đã phát hiện, số lượng điểm SIFT giảm khoảng 90%, loại bỏ các đặc trưng không liên quan, tăng tốc xử lý và giữ nguyên độ chính xác.

4. RANSAC có vai trò gì trong nhận dạng khuôn mặt?
   RANSAC giúp loại bỏ các điểm so khớp nhiễu (outlier) trong quá trình đối sánh đặc trưng SIFT, nâng cao độ tin cậy và chính xác của kết quả nhận dạng.

5. Hệ thống có thể nhận dạng khuôn mặt ở góc nghiêng lớn hơn 30 độ không?
   Hiện tại hệ thống chỉ nhận dạng chính xác với góc nghiêng dưới 30 độ; việc mở rộng phạm vi này là hướng nghiên cứu tiếp theo để cải thiện khả năng ứng dụng.

Kết luận

• Luận văn đã xây dựng thành công hệ thống nhận dạng và định danh khuôn mặt thời gian thực sử dụng camera 2D giá rẻ với độ chính xác trên 85%.
• Kết hợp các thuật toán Haar-like, AdaBoost, SIFT và RANSAC giúp phát hiện và nhận dạng khuôn mặt hiệu quả, giảm thiểu thời gian tính toán.
• Giảm số lượng đặc trưng SIFT sau khi phát hiện khuôn mặt giúp tăng tốc độ xử lý mà không làm giảm độ chính xác.
• Hệ thống hiện giới hạn nhận dạng khuôn mặt với góc nghiêng dưới 30 độ, cần nghiên cứu mở rộng trong tương lai.
• Đề xuất phát triển thuật toán đa góc, tối ưu hóa trích xuất đặc trưng và ứng dụng thực tế trong giám sát an ninh.

Tiếp theo, nghiên cứu sẽ tập trung vào mở rộng phạm vi nhận dạng khuôn mặt đa góc và cải tiến thuật toán để phù hợp với các thiết bị đa dạng. Độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển thêm dựa trên nền tảng này nhằm nâng cao hiệu quả ứng dụng trong thực tế.