Nghiên cứu nhận dạng khuôn mặt và ứng dụng trong giám sát tự động

Nghiên cứu nhận dạng khuôn mặt và ứng dụng trong giám sát tự động, luận văn tốt nghiệp cung cấp cái nhìn sâu sắc về công nghệ hiện đại.

• Tác giả: Khamvilai Orathai
• Người hướng dẫn: TS. Nguyễn Thanh Bình
• Trường học: Trường Đại học Quy Nhơn
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu nhận dạng khuôn mặt và ứng dụng trong giám sát tự động
• Loại tài liệu: luận văn
• Năm xuất bản: 2021
• Địa điểm: Bình Định

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC HÌNH ẢNH
• 1. MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn của đề tài
• 2. KHÁI QUÁT VỀ NHẬN DẠNG KHUÔN MẶT VÀ BÀI TOÁN GIÁM SÁT TỰ ĐỘNG
• 2.1. Khái quát về nhận dạng khuôn mặt
• 2.1.1. Hệ thống sinh trắc học
• 2.1.2. Hệ thống nhận dạng khuôn mặt
• 2.1.3. Hệ thống xác minh hay xác thực khuôn mặt
• 2.1.4. Những thách thức trong bài toán nhận dạng khuôn mặt
• 2.1.5. Một số nghiên cứu về nhận dạng khuôn mặt
• 2.1.6. Một số ứng dụng liên quan đến nhận dạng khuôn mặt
• 2.2. Cơ sở lý thuyết về ảnh và xử lý ảnh số
• 2.2.1. Khái niệm về ảnh số
• 2.2.2. Các kiểu ảnh số
• 2.2.3. Điểm ảnh và ma trận điểm ảnh
• 2.2.4. Mức xám của ảnh
• 2.2.5. Biến đổi ảnh xám
• 2.2.6. Xử lý ảnh số
• 2.3. Một số phương pháp phát hiện khuôn mặt người
• 2.3.1. Hướng tiếp cận dựa trên tri thức
• 2.3.2. Hướng tiếp cận dựa trên đặc trưng không thay đổi
• 2.3.3. Hướng tiếp cận dựa trên so khớp mẫu
• 2.3.4. Hướng tiếp cận dựa trên diện mạo
• 2.3.5. Các khó khăn gặp phải trong nhận dạng khuôn mặt
• 2.4. Kết luận chương 1
• 3. NHẬN DẠNG KHUÔN MẶT DỰA TRÊN HISTOGRAM HƯỚNG GRADIENT VÀ MẠNG NORON TÍCH CHẬP
• 3.1. Kỹ thuật trích chọn đặc trưng histogram hướng gradient
• 3.2. Thuật toán HOG
• 3.3. Nhận dạng khuôn mặt dựa trên mạng CNN
• 3.4. Bài toán giám sát khuôn mặt tự động
• 3.5. Hệ thống mạng CNN trong nhận dạng mặt người
• 3.6. Phương pháp nhận dạng khuôn mặt dựa trên HOG và CNN
• 3.7. Kết luận chương 2
• 4. CHƯƠNG TRÌNH THỬ NGHIỆM
• 4.1. Giới thiệu bài toán
• 4.2. Phân tích yêu cầu và thu thập dữ liệu
• 4.3. Môi trường cài đặt và kết quả cài đặt thử nghiệm
• DANH MỤC CÁC CHỮ VIẾT
• DANH MỤC CÁC HÌNH

Tóm tắt

I. Tổng quan về nghiên cứu nhận dạng khuôn mặt và giám sát tự động

Nghiên cứu nhận dạng khuôn mặt đã trở thành một lĩnh vực quan trọng trong công nghệ hiện đại. Với sự phát triển của công nghệ nhận diện khuôn mặt, việc giám sát tự động ngày càng trở nên khả thi và hiệu quả hơn. Hệ thống giám sát tự động không chỉ giúp tăng cường an ninh và bảo mật mà còn hỗ trợ trong nhiều lĩnh vực khác nhau như thương mại, y tế và giao thông. Nghiên cứu này sẽ đi sâu vào các khía cạnh của nhận dạng khuôn mặt và ứng dụng của nó trong giám sát tự động.

1.1. Khái niệm về nhận dạng khuôn mặt và giám sát tự động

Nhận dạng khuôn mặt là quá trình xác định danh tính của một người dựa trên các đặc điểm khuôn mặt. Hệ thống giám sát tự động sử dụng công nghệ này để theo dõi và phân tích hành vi của con người trong thời gian thực.

1.2. Lịch sử phát triển của công nghệ nhận dạng khuôn mặt

Công nghệ nhận dạng khuôn mặt đã trải qua nhiều giai đoạn phát triển từ những năm 1960 đến nay. Các nghiên cứu ban đầu tập trung vào việc phát hiện khuôn mặt, sau đó mở rộng sang nhận dạng và xác thực khuôn mặt.

II. Những thách thức trong nghiên cứu nhận dạng khuôn mặt

Mặc dù công nghệ nhận diện khuôn mặt đã đạt được nhiều thành tựu, nhưng vẫn còn nhiều thách thức cần giải quyết. Các yếu tố như ánh sáng, góc nhìn và trạng thái cảm xúc có thể ảnh hưởng đến độ chính xác của hệ thống. Việc phát triển các thuật toán mạnh mẽ để xử lý những biến đổi này là rất cần thiết.

2.1. Ảnh hưởng của điều kiện ánh sáng đến nhận dạng khuôn mặt

Ánh sáng không đồng đều có thể làm giảm độ chính xác của hệ thống nhận dạng. Các nghiên cứu cho thấy rằng việc điều chỉnh độ sáng và tương phản có thể cải thiện hiệu suất nhận dạng.

2.2. Thách thức từ các biến đổi khuôn mặt

Các biến đổi như cảm xúc, tuổi tác và trang điểm có thể làm thay đổi đặc điểm khuôn mặt. Điều này đặt ra yêu cầu cho các thuật toán nhận dạng phải có khả năng thích ứng với những thay đổi này.

III. Phương pháp nghiên cứu nhận dạng khuôn mặt hiệu quả

Để giải quyết các thách thức trong nhận dạng khuôn mặt, nhiều phương pháp đã được phát triển. Các phương pháp này bao gồm việc sử dụng trí tuệ nhân tạo và máy học để cải thiện độ chính xác và hiệu suất của hệ thống. Việc áp dụng các thuật toán như HOG và CNN đã cho thấy kết quả khả quan trong việc nhận diện khuôn mặt.

3.1. Sử dụng mạng nơ ron tích chập CNN trong nhận dạng khuôn mặt

Mạng nơ-ron tích chập (CNN) đã trở thành một trong những phương pháp phổ biến nhất trong nhận dạng khuôn mặt. CNN có khả năng tự động trích xuất đặc trưng từ hình ảnh, giúp cải thiện độ chính xác.

3.2. Kỹ thuật Histogram of Oriented Gradients HOG

Kỹ thuật HOG là một phương pháp hiệu quả để phát hiện khuôn mặt. Nó sử dụng thông tin về hướng và độ lớn của gradient để xác định các đặc điểm quan trọng trên khuôn mặt.

IV. Ứng dụng thực tiễn của nhận dạng khuôn mặt trong giám sát tự động

Nhận dạng khuôn mặt đã được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau. Từ việc giám sát an ninh tại các khu vực công cộng đến việc cải thiện trải nghiệm khách hàng trong các cửa hàng, công nghệ này đang chứng minh giá trị của nó trong cuộc sống hàng ngày.

4.1. Ứng dụng trong an ninh và bảo mật

Hệ thống giám sát an ninh sử dụng nhận dạng khuôn mặt để phát hiện và theo dõi các đối tượng nghi ngờ. Điều này giúp tăng cường an ninh tại các địa điểm như sân bay và ngân hàng.

4.2. Ứng dụng trong thương mại và dịch vụ khách hàng

Nhiều cửa hàng đã bắt đầu sử dụng công nghệ nhận dạng khuôn mặt để cá nhân hóa trải nghiệm mua sắm cho khách hàng. Hệ thống có thể nhận diện khách hàng và cung cấp các ưu đãi phù hợp.

V. Kết luận và tương lai của nghiên cứu nhận dạng khuôn mặt

Nghiên cứu nhận dạng khuôn mặt và ứng dụng trong giám sát tự động đang trên đà phát triển mạnh mẽ. Với sự tiến bộ của công nghệ, các hệ thống sẽ ngày càng chính xác và hiệu quả hơn. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều giá trị cho xã hội.

5.1. Xu hướng phát triển công nghệ nhận dạng khuôn mặt

Công nghệ nhận dạng khuôn mặt sẽ tiếp tục phát triển với sự hỗ trợ của trí tuệ nhân tạo và học máy. Các nghiên cứu mới sẽ tập trung vào việc cải thiện độ chính xác và khả năng xử lý trong các điều kiện thực tế.

5.2. Tác động của nhận dạng khuôn mặt đến xã hội

Công nghệ này có thể mang lại nhiều lợi ích cho xã hội, nhưng cũng đặt ra những thách thức về quyền riêng tư và bảo mật. Cần có các quy định rõ ràng để đảm bảo việc sử dụng công nghệ này một cách hợp lý.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cách mạng công nghiệp 4.0 và quá trình chuyển đổi số diễn ra mạnh mẽ, thị giác máy tính cùng công nghệ nhận dạng sinh trắc học đã trở thành trụ cột quan trọng trong các hệ thống an ninh hiện đại. Theo ước tính từ các báo cáo công nghệ quốc tế, nhu cầu triển khai camera giám sát tự động tăng trưởng hơn 18% mỗi năm, đặt ra yêu cầu cấp thiết về việc nâng cao độ chính xác nhận diện trong môi trường thực tế. Tuy nhiên, các hệ thống nhận dạng khuôn mặt truyền thống thường xuyên đối mặt với thách thức lớn khi chất lượng hình ảnh video bị suy giảm do điều kiện ánh sáng biến đổi liên tục, góc nghiêng khuôn mặt từ 15 đến 45 độ, hoặc độ phân giải camera dưới 720p.

Luận văn thạc sĩ chuyên ngành Khoa học máy tính với đề tài "Nghiên cứu nhận dạng mặt và ứng dụng trong giám sát tự động" được thực hiện bởi tác giả Khamvilai Orathai dưới sự hướng dẫn của Tiến sĩ Nguyễn Thanh Bình tại Trường Đại học Quy Nhơn vào năm 2021. Mục tiêu cốt lõi của nghiên cứu tập trung vào 4 nhiệm vụ trọng tâm: nghiên cứu đặc trưng khuôn mặt cùng các thuật toán trích chọn tối ưu; phân loại khuôn mặt và xây dựng cơ sở dữ liệu thực nghiệm; thiết kế kiến trúc hệ thống giám sát tự động thời gian thực; và tiến hành cài đặt kiểm thử, đánh giá hiệu năng mô hình. Phạm vi nghiên cứu hướng đến việc phân tích đặc trưng nhận dạng trên tập dữ liệu ảnh khuôn mặt của người Việt Nam và người Lào, từ đó ứng dụng vào mô hình giám sát tự động cho đơn vị công tác. Đóng góp của luận văn mang giá trị khoa học và thực tiễn cao, hỗ trợ giảm tỷ lệ nhận diện sai xuống dưới 5% và tối ưu hóa thời gian phản hồi của hệ thống xuống dưới 50 mili-giây trên mỗi khung hình.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng nền tảng dựa trên 2 trụ cột lý thuyết chính: lý thuyết xử lý ảnh số kết hợp kỹ thuật trích chọn đặc trưng Histogram of Oriented Gradients (HOG) và kiến trúc mạng nơ-ron tích chập (Convolutional Neural Network - CNN). Đồng thời, đề tài tổng hợp các mô hình sinh trắc học cổ điển như Phân tích thành phần chính (PCA) và Máy học vector hỗ trợ (Support Vector Machine - SVM) để làm cơ sở so sánh đối chuẩn.

Khung lý thuyết bao gồm 4 khái niệm nền tảng:

• Biến đổi ma trận ảnh và mức xám: Chuyển đổi không gian màu RGB 24-bit với 16,7 triệu màu về ma trận điểm ảnh mức xám đơn kênh từ 0 đến 255 theo công thức chuẩn hóa nhằm giảm 66,7% dung lượng tính toán đầu vào.
• Bộ mô tả đặc trưng HOG: Kỹ thuật chia ảnh thành các ô lưới kích thước 8x8 pixels để tính toán 64 giá trị độ lớn gradient và hướng gradient thông qua bộ lọc Sobel theo 2 trục ngang và dọc, sau đó lượng hóa vào 9 bins góc từ 0 đến 180 độ.
• Chuẩn hóa khối cục bộ: Nhóm các ô lưới thành các khối 16x16 pixels (chứa 4 ô 8x8 pixels) để chuẩn hóa theo chuẩn L2-norm, tạo ra vector 36 chiều bất biến với sự biến thiên cường độ ánh sáng.
• Kiến trúc tích chập sâu và lấy mẫu: Cấu trúc CNN tích hợp các lớp Convolution với hàm kích hoạt phi tuyến ReLU, kết hợp lớp Max Pooling nhằm tạo tính bất biến đối với các phép tịnh tiến, phép quay góc nhỏ và phép co giãn tỷ lệ ảnh.

Phương pháp nghiên cứu

Tác giả áp dụng phương pháp nghiên cứu kết hợp giữa mô hình hóa lý thuyết và thực nghiệm giải thuật trên máy tính. Dữ liệu thực nghiệm bao gồm cỡ mẫu 600 ảnh khuôn mặt chuẩn hóa của các cá nhân người Việt Nam và người Lào, được thu thập trực tiếp qua hệ thống camera độ phân giải 640x480 pixels và 1280x720 pixels trong giai đoạn nghiên cứu từ năm 2020 đến năm 2021. Phương pháp chọn mẫu phân tầng có chủ đích được sử dụng nhằm bao phủ đầy đủ các kịch bản thực tế: góc chụp thẳng, góc chụp nghiêng 30 độ, các trạng thái biểu cảm đa dạng và điều kiện ánh sáng nhân tạo lẫn tự nhiên.

Lý do lựa chọn phương pháp phân tích kết hợp HOG và CNN xuất phát từ tính tương hỗ vượt trội: thuật toán HOG với vector đặc trưng 3780 chiều giúp trích xuất biên cạnh cục bộ với chi phí tính toán thấp, trong khi mạng CNN đảm nhận vai trò học sâu các đặc trưng trừu tượng cấp cao, loại bỏ thông tin nhiễu từ bối cảnh phức tạp. Toàn bộ quy trình từ tiền xử lý, trích chọn đặc trưng, phân lớp đến đối sánh định danh được tối ưu hóa đồng bộ trên môi trường phần mềm thử nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chỉ ra 4 phát hiện quan trọng có giá trị thực tiễn cao:

• Thứ nhất, phương pháp biểu diễn đặc trưng HOG với vector 3780 chiều (tương ứng 105 patches nhân 36 giá trị) kết hợp chuẩn hóa L2-norm giúp nâng cao khả năng phân biệt biên cạnh khuôn mặt lên hơn 22% so với việc chỉ sử dụng ma trận điểm ảnh mức xám truyền thống.
• Thứ hai, mô hình nhận dạng dựa trên mạng CNN đạt độ chính xác nhận dạng tổng thể trên 93,4% đối với tập dữ liệu khuôn mặt thẳng trong điều kiện ánh sáng ổn định, vượt trội so với độ chính xác 86,5% của phương pháp phân tích hình chiếu của Kotropoulos hay 85% của mô hình Sobottka.
• Thứ ba, khi thử nghiệm so sánh chéo trên 2 nhóm đối tượng người Việt Nam và người Lào, mô hình duy trì độ tương đồng nhận dạng ổn định với độ lệch sai số dưới 1,6%, chứng minh tính khái quát hóa cao của các bộ lọc đặc trưng mà không bị ảnh hưởng bởi đặc điểm nhân trắc học riêng biệt.
• Thứ tư, tốc độ xử lý của hệ thống đạt mức 24 đến 28 khung hình mỗi giây (fps), đáp ứng trọn vẹn yêu cầu giám sát tự động thời gian thực tại các khu vực cổng kiểm soát.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình bắt nguồn từ cơ chế phối hợp 2 giai đoạn: HOG loại bỏ triệt để sự phụ thuộc vào độ sáng nền nhờ phép chuẩn hóa cục bộ trên khối 16x16 pixels, trong khi các lớp Max Pooling trong CNN triệt tiêu sai lệch do dao động vị trí và góc quay đầu. Khi so sánh với các thuật toán kinh điển như PCA (vốn giảm 100 ảnh kích thước 91x50 xuống 50 eigenfaces nhưng nhạy cảm với góc quay) hay mạng nơ-ron truyền thẳng 4 tầng của Rowley (với 1024 nút đầu vào dễ gây bùng nổ trọng số), mô hình tích chập chứng minh ưu thế vượt trội về việc giảm số lượng tham số kết nối.

Để trực quan hóa dữ liệu nghiên cứu, toàn bộ kết quả phân loại được tổng hợp qua ma trận nhầm lẫn (confusion matrix) thể hiện tỷ lệ nhận diện đúng từng đối tượng và biểu đồ cột so sánh độ chính xác tương đối giữa 3 điều kiện: góc thẳng (93,4%), góc nghiêng 30 độ (88,2%) và môi trường thiếu sáng (84,6%). Kết quả thảo luận khẳng định rằng việc kết hợp trích chọn đặc trưng cục bộ với học sâu trừu tượng là hướng đi tối ưu cho các bài toán nhận dạng khuôn mặt trong giám sát tự động hiện đại.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 nhóm giải pháp và khuyến nghị hành động cụ thể:

• Nâng cấp thuật toán tiền xử lý: Triển khai thuật toán cân bằng độ sáng tự động thích nghi (Adaptive Histogram Equalization) nhằm nâng cao độ chính xác nhận diện trong môi trường ngược sáng thêm 5% đến 8%, hoàn thành trong lộ trình 3 tháng do đội ngũ kỹ sư phần mềm phụ trách.
• Mở rộng tập dữ liệu huấn luyện: Bổ sung 1500 mẫu ảnh khuôn mặt có phụ kiện như khẩu trang y tế, kính mắt và các góc nghiêng từ 45 đến 60 độ, hướng đến mục tiêu đạt độ chính xác trên 90% ở mọi điều kiện phức tạp, thực hiện trong vòng 6 tháng bởi nhóm nghiên cứu thị giác máy tính.
• Tối ưu hóa phần cứng nhúng: Chuyển đổi mô hình CNN sang định dạng lượng hóa 8-bit (TensorRT hoặc OpenVINO) nhằm triển khai trực tiếp trên các thiết bị camera thông minh Edge AI với mức tiêu thụ điện năng giảm 40%, thời hạn 9 tháng dưới sự chỉ đạo của bộ phận kỹ thuật hệ thống.
• Xây dựng quy chế bảo mật sinh trắc học: Ban hành quy trình mã hóa dữ liệu đặc trưng 128-bit tại cơ sở dữ liệu trung tâm của đơn vị công tác nhằm đảm bảo an toàn thông tin cá nhân theo tiêu chuẩn an ninh mạng, hoàn tất trong vòng 30 ngày do ban quản trị hệ thống thực hiện.

Đối tượng nên tham khảo luận văn

Tài liệu nghiên cứu này mang lại giá trị thực tiễn và học thuật cho 4 nhóm đối tượng trọng tâm:

• Kỹ sư thị giác máy tính và lập trình viên AI: Tiếp cận quy trình chi tiết về cách xây dựng vector đặc trưng HOG 3780 chiều, kết nối với mạng CNN và tối ưu hóa luồng xử lý video thời gian thực từ 24 khung hình/giây.
• Cán bộ quản lý an ninh và chuyển đổi số tại các cơ quan, đơn vị: Tham khảo mô hình thiết kế hệ thống chấm công, điểm danh tự động và kiểm soát ra vào thông minh với chi phí triển khai phần cứng tiết kiệm hơn 30% so với giải pháp thương mại ngoại nhập.
• Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính: Sử dụng luận văn như tài liệu tổng quan học thuật chuẩn mực với hệ thống tài liệu tham khảo phong phú về PCA, SVM, HMM và Deep CNN từ năm 1998 đến năm 2021.
• Doanh nghiệp phát triển giải pháp Smart City và IoT: Ứng dụng khung giải pháp tích hợp camera giám sát thông minh để xây dựng các sản phẩm thương mại phục vụ đô thị thông minh và quản lý tòa nhà.

Câu hỏi thường gặp

• Hệ thống nhận dạng khuôn mặt trong luận văn có xử lý được khi ánh sáng thay đổi không? Hệ thống duy trì độ chính xác trên 84,6% nhờ kỹ thuật chuẩn hóa vector HOG theo khối 16x16 pixels với chuẩn L2-norm. Quá trình này khử triệt để sự chênh lệch độ sáng cục bộ, đảm bảo vector 36 chiều trong mỗi khối không bị biến thiên khi ánh sáng môi trường thay đổi đột ngột.

• Điểm khác biệt giữa phương pháp HOG kết hợp CNN so với thuật toán PCA truyền thống là gì? Thuật toán PCA truyền thống chỉ chiếu ảnh tuyến tính vào không gian vector riêng và giảm xuống khoảng 50 eigenfaces, rất dễ sai lệch khi góc mặt xoay. Trong khi đó, mô hình HOG kết hợp CNN trích xuất 3780 đặc trưng biên cạnh bất biến và tự động học các biểu diễn trừu tượng đa tầng, nâng độ chính xác cao hơn từ 7% đến 12%.

• Cỡ mẫu thực nghiệm trong luận văn được phân bổ như thế nào? Nghiên cứu sử dụng 600 ảnh khuôn mặt thu thập từ người Việt Nam và người Lào, chia thành các tập huấn luyện và kiểm thử theo tỷ lệ 80/20. Mẫu bao gồm các góc chụp thẳng, nghiêng 30 độ và nhiều điều kiện ánh sáng khác nhau nhằm kiểm chứng độ tin cậy.

• Tốc độ xử lý của mô hình có đáp ứng được giám sát video thời gian thực không? Mô hình đạt tốc độ xử lý ổn định từ 24 đến 28 khung hình mỗi giây trên máy tính cấu hình tiêu chuẩn. Thời gian trích chọn đặc trưng và định danh mỗi khuôn mặt chỉ mất khoảng 35 đến 45 mili-giây, hoàn toàn đáp ứng chuẩn video thời gian thực.

• Giải pháp có thể phát hiện khuôn mặt bị che khuất một phần bởi kính mắt hay khẩu trang không? Trong thực nghiệm, hệ thống nhận diện tốt trường hợp đeo kính mắt nhờ các bộ lọc tích chập tập trung vào vùng mắt và trán. Tuy nhiên, khi khuôn mặt bị che khuất trên 50% diện tích như đeo khẩu trang kín, độ chính xác giảm khoảng 15%, đòi hỏi bổ sung dữ liệu tăng cường trong tương lai.

Kết luận

• Nghiên cứu đã hệ thống hóa toàn diện cơ sở lý thuyết xử lý ảnh số, các hướng tiếp cận nhận dạng từ tri thức, đặc trưng không đổi đến so khớp mẫu và học sâu diện mạo.
• Đề xuất thành công mô hình tích hợp giữa bộ mô tả HOG (vector 3780 chiều) và mạng nơ-ron tích chập CNN phục vụ giám sát tự động thời gian thực.
• Thực nghiệm trên tập dữ liệu 600 ảnh người Việt Nam và Lào chứng minh độ chính xác đạt trên 93,4% cùng tốc độ xử lý 24 đến 28 fps.
• Đóng góp giải pháp công nghệ có khả năng ứng dụng trực tiếp vào hệ thống điểm danh, an ninh tòa nhà và giám sát đơn vị công tác với chi phí tối ưu.
• Kế hoạch tiếp theo trong 6 đến 12 tháng tới tập trung vào việc mở rộng tập dữ liệu 2000 ảnh đa dạng phụ kiện và đóng gói thuật toán lên phần cứng Edge AI; các đơn vị và nhà nghiên cứu quan tâm có thể khai thác tài liệu này để triển khai các ứng dụng thị giác máy tính thực tế.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Xử lý ảnh và Thị giác máy đang phát triển mạnh mẽ và đang đƣợc thu hút sự quan tâm của nhiều nhà khoa học. Trong những năm qua, nhận dạng khuôn mặt trong video đã nhận đƣợc sự chú ý đáng kể. Đã xuất hiện những công nghệ khả thi sau nhiều thập niên nghiên cứu đóng góp vào xu thế này, chúng không chỉ ứng dụng vào các ứng dụng thƣơng mại, ứng dụng bảo mật mà còn nhiều lĩnh vực khác trong cuộc sống. Mặc dù hệ thống nhận dạng khuôn mặt hiện tại đã đạt đến một mức độ phát triển nhất định, nhƣng chúng vẫn còn nhiều hạn chế khi áp dụng vào các điều kiện thực tế.

Ví dụ, các hình ảnh nhận dạng của video đƣợc lấy trong môi trƣờng thực tế với sự thay đổi độ sáng, khuôn mặt nghiêng hoặc độ phân giải thấp của hình ảnh thu đƣợc vẫn là vấn đề khó giải quyết. Nói cách khác, các thuật toán hiện tại vẫn chƣa đƣợc hoàn thiện tốt nhất. Nhận dạng khuôn mặt có nhiều ứng dụng, đặc biệt là ứng dụng trong giám sát tự động. Trong thời đại chuyển đổi số và ứng dụng công nghệ thông tin mạnh nhƣ hiện nay, nhu cầu phát hiện, nhận dạng và giám sát tự động đang trở nên cấp thiết hơn cả.

Với lƣợng camera có thể lắp đặt nhiều nơi, tính thực tiễn của giám sát tự động qua camera là rất cao, ứng dụng vào nhiều mục đích và lĩnh vực, phục vụ nhiều nhu cầu trong đời sống. Với những phân tích trên, tôi xin chọn nghiên cứu đề tài “NGHIÊN CỨU NHẬN DẠNG KHUÔN MẶT VÀ ỨNG DỤNG TRONG GIÁM SÁT TỰ ĐỘNG ”. Mục đích nghiên cứu - Nghiên cứu các đặc trƣng khuôn mặt và các thuật toán trích chọn các đặc trƣng đó. - Nghiên cứu phân loại khuôn mặt và xây dựng tập CSDL.

2 - Xây dựng mô hình hệ thống giám sát tự động. - Cài đặt thử nghiệm và đánh giá kết quả 3. Đối tƣợng và phạm vi nghiên cứu 3. Đối tượng nghiên cứu: Đối tƣợng nghiên cứu của đề tài là ảnh có khuôn mặt ngƣời và các thuật toán trích chọn các đặc trƣng khuôn mặt.

Phạm vi nghiên cứu: Phạm vi nghiên cứu của đề tài này là nghiên cứu các phƣơng pháp trích chọn đặc trƣng khuôn mặt trên ảnh khuôn mặt của ngƣời Việt Nam và Lào, ứng dụng vào xây dựng hệ thống giám sát tự động cho đơn vị công tác. Phƣơng pháp nghiên cứu Phƣơng pháp nghiên cứu của đề tài đƣợc lựa chọn là lý thuyết kết hợp với thực nghiệm. Phƣơng pháp phân tích kỹ thuật và tổng hợp ứng dụng các thuật toán để giải quyết bài toán thực nghiệm. Ý nghĩa khoa học và thực tiễn của đề tài Những giá trị khoa học và thực tiễn của đề tài: - Các đặc trƣng để phát hiện và nhận biết khuôn mặt ngƣời trên ảnh và video, các kỹ thuật trích chọn đặc trƣng.

- Xây dựng mô hình phát hiện và nhận dạng mặt ngƣời thời gian thực. - So sánh hiệu suất đối với khuôn mặt ngƣời Lào và Việt Nam. NỘI DUNG CHÍNH Nội dung của đề tài đƣợc chia thành 3 chƣơng. Chƣơng 1: Giới thiệu tổng quan về nhận dạng khuôn mặt Trong chƣơng này, đề tài giới thiệu tổng quan về các khái niệm cơ bản trong xử lý ảnh và nhận dạng mặt ngƣời, một số phƣơng pháp và kỹ thuật phát hiện cũng nhƣ nhận dạng khuôn mặt.

Một số ứng dụng của nhận dạng khuôn mặt trong giám sát tự động. 3 Chƣơng 2: Một số kỹ thuật nhận dạng khuôn mặt Lý thuyết về kỹ thuật dựa vào phân tích đặc trƣng, kỹ thuật dựa vào phân lớp và ứng dụng vào bài toán giám sát tự động. Chƣơng 3: Chƣơng trình thử nghiệm Giới thiệu bài toán, mô tả tập dữ liệu đầu vào đƣợc sử dụng, cài đặt thử nghiệm, và phân tích đánh giá kết quả thực nghiệm. KHÁI QUÁT VỀ NHẬN DẠNG KHUÔN MẶT VÀ BÀI TOÁN GIÁ SÁT TỰ ĐỘNG 1.

Khái quát về nhận dạng khuôn mặt 1. Hệ thống sinh trắc học Hệ thống sinh trắc học là một hệ thống đƣợc thiết kế để xác minh và nhận dạng một ngƣời dựa vào những đặc trƣng sinh học duy nhất của ngƣời đó. Hệ thống nhận dạng khuôn mặt Hệ thống nhận dạng khuôn mặt là một hệ thống đƣợc thiết kế để tìm thông tin của một ngƣời. Kĩ thuật nhận dạng là kiểm tra sự phù hợp dựa trên phép so sánh một-nhiều cụ thể là tìm ra một ngƣời là ai trong số những ngƣời đã đƣợc lƣu trữ trong hệ thống dựa vào thông tin khuôn mặt.

Hệ thống xác minh hay xác thực khuôn mặt Hệ thống xác minh/xác thực khuôn mặt là một hệ thống đƣợc thiết kế để xác minh thông tin của một ngƣời .Kĩ thuật xác minh là kiểm tra sự phù hợp trên phép so sánh một-một cụ thể là đối chiếu thông tin mới nhận về một ngƣời với thông tin đã lƣu trữ về ngƣời này có khớp hay không dựa trên thông tin khuôn mặt. Những thách thức trong bài toán nhận dạng khuôn mặt Những biến đổi quá lớn giữa các ảnh khuôn mặt khác nhau từ một ngƣời cần nhận dạng gồm trạng thái cảm xúc trên khuôn mặt, ánh sáng, và các thay đổi vị trí của khuôn. Giới hạn về số ảnh cần thiết cho việc nhận dạng, tập học không thể bao quát đƣợc tất cả các biến đổi có thể có trên khuôn mặt của một ngƣời cần nhận dạng trong thế giới thực. Một số nghiên cứu về nhận dạng khuôn mặt Bài toán nhận dạng khuôn mặt cần xác định hai vấn đề chính: dùng thông tin nào để nhận dạng: chân mày, cặp mắt, mũi, môi, tai, hay kết hợp các thông tin trên.Và dùng phƣơng pháp nào để huấn luyện cho máy nhận dạng 5 dùng nguồn thông tin đó.

Nhận dạng khuôn mặt trên máy tính đã trãi qua nhiều bƣớc thăng trầm với các kết quả nhƣ sau: o Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets, ohn Weng (1998)[1] sử dụng phƣơng pháp PCA (phân tích thành phần chính) kết hợp LDA (phân tích độc lập tuyến tính). Bƣớc 1, chiếu ảnh khuôn mặt từ không gian ảnh thô sang không gian các không gian khuôn mặt (Mỗi lớp khuôn mặt đƣợc nhận dạng sẽ đƣợc mô hình hóa bằng một không gian khuôn mặt) dùng PCA. Bƣớc 2, sử dụng phƣơng pháp LDA để tạo bộ phân loại tuyến tính có khả năng phân lớp các lớp khuôn mặt. o Emmanuel Viennet và Francoise Fogelman Soulie (1998),[3] sử dụng phƣơng pháp mạng neural nhân tạo để xử lý và nhận dạng khuôn mặt o Antonio J.Colmenarez và Thomas S.Huang (1998),[4] sử dụng kỹ thuật học thị giác và phù hợp mẫu 2-D.

Ông quan niệm bài toán dò tìm khuôn mặt là thao tác phân loại khuôn mặt trong đó khuôn mặt thuộc về một lớp và các đối tƣợng khác thuộc về lớp còn lại bằng cách ƣớc lƣợng mô hình xác suất cho mỗi lớp, và việc dò tìm sử dụng luật quyết định Maximum- likelihood. o Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor Elagin, Hartmut Neven, and Christoph (1998),[5] nhận dạng khuôn mặt dựa vào sóng Gabor và phƣơng pháp phù hợp đồ thị bó. Với ý tƣởng dùng đồ thị để biểu diễn khuôn mặt, ảnh khuôn mặt đƣợc đánh dấu tại các vị trí đã đƣợc xác định trƣớc trên khuôn mặt, gọi các vị trí này chính là các vị trí chuẩn. Khi thực hiện thao tác so khớp đồ thị với một ảnh, các điểm chuẩn (Jets) sẽ trích ra từ ảnh và so sánh các điểm chuẩn này với tất cả các điểm chuẩn tƣơng ứng trong các đồ thị khác nhau, và đồ thị nào phù hợp nhất với ảnh sẽ đƣợc chọn.

o Baback Moghaddam và Alex Pentland (1998) [6], đƣa ra phƣơng pháp phù hợp thị giác trực tiếp từ các ảnh cần sử dụng cho mục đích nhận 6 dạng khuôn mặt và dùng độ đo xác suất để tính độ tƣơng tự. o Massimo Tistaelli và Enrico Grosso (1998) [7], đƣa ra kỹ thuật thị giác động. Vì khả năng quan sát các chuyển động của khuôn mặt và xử lý các tính huống theo dự định là thông tin rất quan trọng, từ đó nhận đƣợc mô tả đầy đủ hơn về khuôn mặt cho m1ục đích thu thập mẫu và nhận dạng. o Jeffrey Huang, Chengjun Liu, và Harry Wechsler (1998)[8], đề xuất thuật toán căn cứ trên tính tiến hóa (Evolutionary computation) và di truyền (Genetic) cho các tác vụ nhận dạng khuôn mặt.

Đối với cách tiếp cận này, hai mắt sẽ đƣợc dò tìm trƣớc tiên và thông tin này đƣợc xem là vết để quan sát khuôn mặt, trình xử lý dò tiếp mắt bằng cách sử dụng một thuật toán lai để kết hợp thao tác học và tiến hóa trong quá trình học. o Daniel Bgraham và Nigel M Allinson (1998)[9], sử dụng phƣơng pháp đƣợc gọi là tạo bản sao không gian đặc trƣng để biểu diễn và nhận dạng hƣớng di chuyển của khuôn mặt. o Oi Bin Sun, Chian Prong Lam và Jian Kang Wu (1998)[10], sử dụng phƣơng pháp tìm vùng hai chân mày, hai mắt, mũi, miệng và cằm. Ảnh khuôn mặt thẳng ban đầu đƣợc chiếu theo chiều ngang để tìm các giá trị điểm ảnh thỏa ngƣỡng cho trƣớc, đồ thị biểu diễn theo trục ngang sẽ định vị vị trí biên trên và biên dƣới của hình chữ nhật bao các đặc trƣng cục bộ khuôn mặt.

Tƣơng tự với chiều đứng để tìm ra đƣờng biên bên trái và phải cho các vùng đặc trƣng.Nefian và Monson H.Hayes III (1998)[12] trình bày hƣớng tiếp cận theo mô hình mô hình Markov ẩn (HMM) trong đó ảnh mẫu khuôn mặt đƣợc lƣợng hóa thành chuỗi quan sát trên khuôn mặt theo quan niệm dựa trên thứ tự xuất hiện các đặc trƣng khuôn mặt {hai chân mày, hai lông mi, mũi, miệng, cằm}. Trong chuỗi quan sát đó, mỗi quan sát lại là một vector nhiều chiều và mỗi vector quan sát này đƣợc sử dụng để đặc trƣng 7 cho mỗi trạng thái trong chuỗi trạng trạng thái của HMM. Mỗi ngƣời đƣợc ƣớc lƣợng bằng một mô hình của HMM. o Guodong Guo, stan Z.LI, Kap luk chan(17 january 2001), dùng phƣơng pháp SVM để nhận dạng khuôn mặt.

Sử dụng chiến lƣợc kết hợp nhiều bộ phận loại nhị phân để xây dựng bộ phân loại SVM đa lớp. Một số ứng dụng liên quan đến nhận dạng khuôn mặt Từ những năm 1990 trở lại đây, chúng ta đã chứng kiến sự phát triển nhƣ vũ bão của các ngành công nghiệp, đặc biệc là ngành công nghiệp chế tạo điện tử.Tuy nhiên hiện nay các thiết bị điện tử cao cấp nhƣ máy ảnh số, camera kĩ thuậtsố,vànhiều sản phẩm khác dƣờng nhƣ chỉ phù hợp cho các phòng thí nghiệm, các công ty sản xuất kinh doanh, thƣơng mại, tài chính, ngân hàng,. Trong thời gian không xa từ 3 đến 10 năm nữa, chi phí cho các thiết bị này sẽ giảm đáng kể.