Chương 1: Giới thiệu tổng quan về dé tài - Xây dựng, tông hợp bộ dữ liệu khuôn mặt nhân viên RW không và có đeo khâu trang, cùng bộ dữ liệu khuôn mặt phục vụ kiểm thử. Mỗi dữ liệu ảnh hoặc khung hình video chỉ chứa duy nhất một khuôn mặt trực diện, không bị che khuất bởi khẩu trang, mắt kính mát, độ phân giải hình ảnh đầu vào từ 96dpi trở lên, độ phân giải video đầu vào đạt 720p hoặc 1080p. - Thử nghiệm xử lý dữ liệu khuôn mặt đặc trưng hiện tại của nhân viên kho hàng (ảnh thiếu sáng, chất lượng thấp, bị nhòe) bằng cách tiếp cận ứng dụng của mô hình Generative Adversatial Network (GAN) - thuộc nhóm Generative model, một framework tạo sinh dữ liệu bằng phương pháp học không giám sát thông qua quá trình đối nghịch, training đồng thời hai mô hình mạng neural luôn đối nghịch nhau là Generative model và Discriminative model [6]. Áp dụng kết quả nghiên cứu về GAN thông qua mô hình StyleGAN2 - là mạng đối thủ chung được xây dựng dựa trên StyleGAN [7], một thiết kế thay thế trong việc giải quyết các vấn đề xảy ra trong việc sử dụng tính năng tăng trưởng liên tục với mục đích 6n định quá trình đào tạo có độ phân giải cao [8].
StyleGAN tạo ra các phiên bản hình ảnh khuôn mặt đạt chất lượng cao hon so với Traditional GAN. StyleGAN2 cải thiện những thiếu sót của phiên bản trước [9]. Sử dụng StyleGAN2 cho ra ảnh chất lượng cao và đa dang về phong cách, mong muốn hình ảnh khuôn mặt cần xác thực có chất lượng tốt, tăng độ chính xác của kết quả nhận dạng. - Xây dựng mô hình hoạt động cho ứng dụng nhận dạng, sử dụng một bộ phát hiện khuôn mặt single-stage face detector — RetinaFace, xác định được các góc cạnh, cũng.
như các điểm như mắt, mũi miệng. RetinaFace thể hiện dưới dang pixel của khuôn mặt dựa trên các tỉ lệ khác nhau, bằng cách tận dụng lợi thế của extra-supervised learning va self-supervised learning [10]. Tiếp theo thực hiện tăng cường dữ liệu khuôn mặt của một người bằng cách loại bỏ phần dưới của khuôn mặt, tạo ra các phiên bản khuôn mặt đeo khẩu trang từ khuôn mặt không đeo khẩu trang, khẩu trang có các phiên bản mau sắc khác nhau, phần mắt tạo ra phiên bản có đeo kính, mau da mặt thay đổi. Kết quả từ các bước trước sẽ được đưa vào Deep face recognition model là Arcface có tác dụng mã hóa - encode khuôn mặt có trong bức anh/frame thành véc tơ embedding.
Arcface được đề xuất và đánh giá cao trong việc tăng cường sự hiệu quả trong việc phân biệt của các embedding đặc trưng đã học thông qua Deep Chương 1: Giới thiệu tổng quan về dé tài Convolutional Neural Networks cho bài toán nhận dạng khuôn mặt [11]. Để cho ra kết quả chính xác, giai đoạn cuối của mô hình sẽ đưa một số kết quả từ các công đoạn trên làm đầu vào của một hệ thống gọi là DeepFace dé xem xét người cần nhận dang có đúng thật là khuôn mặt đã được đề xuất trong CSDL hay không. Deepface được phát triển, đào tạo trên tập dữ lớn về khuôn mặt, với nhiều đặc trưng khác nhau, đạt được độ chính xác cao và có giá trị cao hơn so với các hệ thống khác tại thời diém công bố do có sử dung Deep Learning [12]. Cuối cùng, ứng dụng được xây dựng dưới dạng Software-as-a-Service (SAAS) tăng khả năng mở rộng và kế thừa cho các hệ thống khác.
Cài đặt mô hình xử lý phát hiện, nhận dạng tại NVIDIA Jetson Nano Dev Kit, là thiết bị đóng vai trò Client, các kết quả trả về cho Server Linux quản lý tap trung. - Đánh giá phương pháp đã thực hiện trên bộ dữ liệu đã xây dựng, phân tích những điểm mạnh và hạn chế của phương pháp. Sử dụng kết qua dé đánh giá mô hình ứng dụng đã thiết kế. Trình bày các kết quả đạt được và phương hướng phát triển tiếp theo.
10 Chương 2: Cơ sở lý thuyết CHƯƠNG 2 CƠ SỞ LÝ THUYET Chương 2 trình bày cơ sở lý thuyết của đề tài liên quan đến vấn đề cải thiện số lượng, chất lượng hình ảnh, phương pháp xác định vị trí khuôn mặt trong khung hình, phương pháp xác thực khuôn mặt và phương pháp đánh giá hiệu quả mô hình.1 DU LIEU ANH TRONG NHAN DẠNG KHUÔN MAT Chất lượng hình ảnh khuôn mặt được xem như là một trong những phép do lường cho sự phù hợp của một hình ảnh chứa khuôn mặt đối với hệ thống nhận dạng khuôn mặt tự động. Nói cách khác, hiệu suất của hệ thống nhận dạng khuôn mặt phần lớn phụ thuộc vào chất lượng hình ảnh khuôn mặt thu thập được đưa vào hệ thống. Don cử dữ liệu ảnh đạt chuẩn có kiểm soát như ảnh khuôn mặt của thé căn cước công dân, khuôn mặt ở vị trí trực diện, các điểm trọng yếu của khuôn mặt ở mức hài hòa, rõ nét, ánh sáng phân bồ đều, với chất lượng ảnh như vậy, kết quả nhận dang khuôn mặt sẽ cực kỳ chính xác. Quy định tiêu chuân cho dữ liệu khuôn mặt dạng ảnh được tuân thủ theo ISO/IEC 19794-5, ISO/IEC TR 29794-5 hoặc gần đây là ISO/IEC 39794-5.
Tuy nhiên, ở điều kiện thực tế, những dữ liệu ảnh thu thập được từ các thiết bị như camera giám sát, thiết bị đi động,. chất lượng ít nhiều sẽ không đồng đều và rõ nét theo định tính. Điều này có thé làm giảm đáng kể độ chính xác của kết quả nhận dang khuôn mặt nói chung và nhận dạng khuôn mặt có khẩu trang nói riêng. Để đánh giá 11 Chương 2: Cơ sở lý thuyết chất lượng hình ảnh theo định lượng, có thê dựa trên một vài chỉ số như: Blur (dạng mờ, nhòe), Sharpness (độ sắc nét), Brightness (độ sáng), Contrast (độ tương phản), Pose Asymmetry (tư thé bat đối xứng của khuôn mit),.
Giải quyết vấn đề về dé liệu ảnh chất lượng thấp, có thé ké đến các giải pháp chính như sử dụng xử lý ảnh hay tạo sinh ảnh kỹ thuật số thông qua các thư viện và mô hình thuật toán tiên tiến. Tang cường dữ liệu thường được sử dụng trong các bài toán phân loại [16], là kỹ thuật hữu dụng cho quá trình xây dựng tập dữ liệu trước khi đưa vào bộ huấn luyện thu được mô hình máy học tối ưu, đạt độ chính xác cao khi thử nghiệm với các mẫu thử thực tế. Các loại dữ liệu áp dụng được kỹ thuật này như: Âm thanh, tiếng nói, chữ viết, văn bản, đồ họa, hình ảnh tĩnh, ảnh động,. Đối với nhận dạng khuôn mặt, dữ liệu đầu vào có thể là hình ảnh hoặc video, tuy nhiên đều quy về cùng loại dữ liệu ảnh bằng việc thực hiện công đoạn tiền xử lý dữ liệu.
Tập trung vào tăng cường dữ liệu ảnh cho khuôn mặt sẽ giúp đa dạng hóa hơn các phong cách, trường hợp phát sinh trong thực tế của khuôn mặt. Tăng cường hình ảnh là thao tác sử dụng các phép. biến đổi hình học, chuyền đổi không gian màu, thêm nhiễu, giảm nhiễu, xóa ngẫu nhiên,. trên ảnh như: lật, cắt, xoay, tịnh tiến, tăng độ tương phản.
khắc phục được vấn đề về số lượng dữ liệu ảnh thu thập bi hạn chế. Tuy nhiên, đối với khuôn mặt, phải lựa chọn các thao tác với ảnh phù hợp đề không làm giảm độ chính xác của kết quả nhận dạng. Imgaug [17] là một thư viện python hỗ trợ tăng cường hình ảnh cho các dự án máy học. Imgaug tập hợp các kỹ thuật biến đổi hình ảnh, dễ sử dụng và thao tác, cho.b: Một số phép biến đồi trên ảnh bởi imgaug [17] Việc trích chọn các kỹ thuật biến đổi ảnh phù hợp cho bài toán cần dựa vào ứng dụng thực tế.
Đề tài không lựa chọn phép xoay ảnh do đầu vào khuôn mặt được trích xuất từ camera thiết bị di động, camera giám sát lắp đặt theo phương thẳng đứng, điều này giúp loại bỏ các trường hợp khuôn mặt lệch góc lớn hơn 90 độ so với mặt phẳng. Dé đảm bảo dữ liệu khuôn mặt được day đủ và đảm bảo đúng kích thước đầu 12 Chương 2: Cơ sở lý thuyết vào 112 x 112 của mô hình nhận dạng, không sử dụng các phương pháp cắt xén, dropout, coarse dropout hoặc các kỹ thuật tương tự được cung cấp bởi imgaug. Dé tăng cường ảnh với hiệu ứng nhiễu với các đốm, sử dụng chức năng “SpeckleNoise” với severity đúng bằng 1. Trong một số trường hợp, hình ảnh đầu vào khi nhận dạng khuôn mặt bị mờ ở mức cho phép (có thé thay được khuôn mặt bằng mắt thường), dé giải quyết với tính chất ảnh như vậy, thực hiện phép mờ ảnh bằng hàm GaussianBlur với severity mang giá trị 1, đảm bảo được ảnh bị làm mờ nhưng không gây nhằm lẫn khuôn mặt (ở mức severity cao hơn, các khuôn mặt có khả năng cho ra kết quả gây nhằm lẫn do những đặc trưng của khuôn mặt không còn rõ nét).
Độ tương phản làm ảnh tăng cường gần hơn về phong cách với ảnh khuôn mặt chụp tại kho hàng do hiệu ứng mờ tối, ở chức năng này, chọn severity ở mức 1 áp dụng cho hàm “Contrast”. Độ sáng của ảnh khuôn mặt được đăng ký ở mức 2 về độ sáng, áp dụng cho hàm Ap dụng các phép biến đồi ảnh tương tự với thư viện Albumentation. Là một thư viện tăng cường hình ảnh mạnh mẽ, được chứng minh vượt trội hơn về hiệu suất so với imgaug (ví dụ: nhanh hon imgaug 4.1847 giây với tác vụ Grayscale, 3.833 giây với tác vụ ShiftHSV) [18]. Albumentation đáp ứng nhiều tác vụ khác nhau với hình ảnh như: phân loại, phân vùng, phát hiện.
Đối với bài toán nhận dạng trong phạm vi ài, việc tăng cường dữ liệu ảnh khuôn mặt có đeo khâu trang và lưu trữ dữ liệu này vào CSDL giúp bài toán được giải quyết một cách tương đối mà không cần phải thay đồi thuật toán của các mô hình, công nghệ có sin. Dữ liệu ảnh khuôn mặt có khẩu trang được xây dựng và tổng hợp từ các nguồn trên mạng, sử dụng các công cụ đồ họa hoặc gán khẩu trang tự động. Lấy ý tưởng từ watermark (overlay ảnh), thường được gọi là hình mờ, có dạng lớp màu, logo, tem, hình hoặc chữ ký, được đặt chồng lên hình ảnh gốc ở một vị trí nào. Về tính chất, hình ảnh được biéu diễn trong máy tính dưới dang ma trận của các pixels (điểm ảnh).
Nếu là ảnh màu, thì mỗi pixel sẽ gồm một bộ (R,G,B) tương ứng với Red, Green, Blue. Thao tác với các pixel sẽ thực hiện được việc chèn khẩu trang vào khuôn mặt.