Chương 1: Tổng quan đề tài. Chương 2: Trình bày tổng quát về định nghĩa, thách thức và động lực của bài toán. Đồng thời tìm hiểu các hướng tiếp cận có thể giải quyết bài toán nhận diện danh tính khuôn mặt người đeo khẩu trang. Chương 3: Trình bày các phương pháp mà nhóm chúng tôi thực nghiệm trong khóa luận.
Chương 4: Trình bày các kết quả thực nghiệm và những phân tích đánh giá của các phương pháp trên tập dữ liệu COMASK20 và MLFW. Chương 5: Trình bày cách xây dựng ứng dụng và tổng quan về ứng dụng minh họa. Chương 6: Trình bày kết luận và hướng phát triển của đề tài. Chương 2 CƠ SỞ LÝ THUYET VÀ CÁC NGHIÊN CỨU LIÊN QUAN Để hiểu rõ bài toán nhận diện danh tính khuôn mặt người đeo khẩu trang, ta cần làm rõ các khái niệm liên quan, đồng thời tìm hiểu một số phương pháp tiếp cận hiện nay.
Vì vậy, trong chương này, nhóm sinh viên thực hiện sẽ giới thiệu một số khái niệm cơ bản về bài toán, đồng thời khảo sát các hướng tiếp cận dé giải quyết bài toán.1 Tổng quan về bài toán nhận diện danh tính khuôn mặt người đeo khẩu trang 2.1 Dinh nghĩa Đầu vào của bài toán nhận diện danh tính khuôn mặt người đeo khẩu trang gồm có: 1 ảnh chứa khuôn mặt người đeo khẩu trang. Đầu ra mong đợi là danh tính của người đeo khẩu trang xuất hiện trong ảnh.1 là một số ví dụ hình ảnh đầu vào của bài toán. Trong đó, ảnh chỉ chứa duy nhất một khuôn mặt người đeo khẩu trang, ảnh được chụp chính diện và không giới hạn loại khẩu trang. Tương tự như bài toán nhận diện danh tính khuôn mặt, bài toán nhận diện danh tính khuôn mặt người đeo khẩu trang chỉ khác về mặt dữ liệu hình ảnh mà trong đó đối tượng nhận diện là khuôn mặt người đeo khẩu trang.2 mô tả đầu vào và đầu ra của bài toán nhận diện người đeo khẩu trang, trong đó đầu vào được lay từ tập dữ liệu COMASK20.
Cơ sở lý thuyết Hình 2.1: Một số hình ảnh khuôn mặt người đeo khẩu trang Đầu vào Đầu ra Hình 2.2: Đầu vào và đầu ra của bài toán nhận diện khuôn mặt người đeo khẩu trang 2.2 Quá trình thực hiện (Pipeline) Hình 2.3 mô tả quá trình thực hiện của bài toán nhận diện danh tính khuôn mặt người đeo khẩu trang gồm 4 giai đoạn chính lần lượt là: phát hiện khuôn mặt (face detection), căn chỉnh khuôn mặt (face alignment), trích xuất đặc trưng (feature extraction) và phân loại khuôn mặt (face classification). Phát hiện khuôn mặt 2.4 Thực tế Trong bối cảnh cuộc cách mạng công nghiệp 4.0 đang dần thay đổi nhiều phương diện của cuộc sống, các thiết bị số ngày càng trở nên thông minh hơn. Trong đó, các hệ thống nhận diện khuôn mặt đã và đang tiếp cận và trở thành một phần không thể thiếu. Điển hình là các hệ thống điểm danh, hệ thống bảo 2.
Cơ sở lý thuyết sBuenps yeonux Hình 2.3: Quá trình thực hiện của nhận diện danh tính khuôn mat. mật và được ứng dụng trong nhiều lĩnh vực như ngân hàng, thương mại điện tử,. Những năm gần đây bài toán nhận diện khuôn mặt giành được sự quan tâm rất nhiều và thu hút nhiều chuyên gia trong lĩnh vực thị giác máy tính bắt tay vào nghiên cứu. Bên cạnh đó, ta còn thấy được cuộc chạy đua phát triển và ứng dụng hệ thống nhận diện khuôn mặt giữa các cường quốc trên thế giới (điển hình là Trung Quốc).
Theo thống kê của comparitech! trên 100 quốc gia đông dân nhất thế giới về việc áp dụng nhận diện khuôn mặt trong chính phủ, công an, sân bay, trường học, ngân hàng, nơi làm việc và trên xe buýt và xe lửa: * Gần 70% bộ phận công an có sử dụng hệ thống nhận diện khuôn mặt. * Hơn 60% quốc gia có trang bị hệ thống nhận diện khuôn mặt ở sân bay. « Gan 20% quốc gia có sử dụng hệ thống nhận diện khuôn mặt trong các 'https://www.com/blog/vpn-privacy/facial-recognition- statistics/?fbclid=IwA ROGif2pbXqyJal 1FX1p24nUHBDAshu8Mtnz5NntblX U DLO1CU eCkCveS0 2. Cơ sở lý thuyết trường học.
« Gần 80% quốc gia có sử dụng hệ thống nhận diện khuôn mặt trong lĩnh vực ngân hàng. Các hệ thống nhận diện khuôn mặt đã và đang chứng minh được tính ứng dụng của mình. Tuy nhiên, đại dịch COVID-19 bùng nổ trên toàn cầu, việc đeo khẩu trang là giải pháp để ngăn ngừa dịch bệnh. Nhưng việc đeo khẩu trang khiến cho hiệu suất của hệ thống nhận diện khuôn mặt hiện có có thể giảm đáng kể.
Vì vậy việc nghiên cứu, bài toán nhận diện khuôn mặt là vấn đề cấp thiết hiện nay.5 Thách thức Khác với bài bài toán nhận diện danh tính khuôn mặt, dữ liệu đầu vào của bài toán là hình ảnh chứa khuôn mặt người đeo khẩu trang vì vậy thách thức về mặt dữ liệu là điều tiên quyết được nhắc tới. Bên cạnh đó cần phải tìm ra phương pháp trích xuất đặc trưng phù hợp để cải thiện kết quả bài toán. Dưới đây sẽ trình bày một số thách thức của bài toán nhận diện danh tính người đeo khẩu trang: - Thách thức về mặt dữ liệu: hầu hết dữ liệu chuẩn của bài toán nhận diện danh tính bằng khuôn mặt chủ yếu là khuôn mặt người bình thường (không đeo khẩu trang). Vì vậy dif liệu thực của bài toán nhận diện danh tính người đeo khẩu trang rất ít, không đủ để dùng trong việc huấn luyện và thường chỉ được dùng để đánh giá.
Dữ liệu dùng để huấn luyện thường sẽ được tạo bởi một công cụ bên thứ ba để gắn khẩu trang lên hình ảnh chứa khuôn mặt thông thường. Dưới đây là bảng thống kê một số bộ dữ liệu của bài toán nhận diện danh tính khuôn mặt người đeo khẩu trang: 2. Cơ sở lý thuyết Tên bộ dữ liệu Sô lượng ảnh Số lượng thực thể Là ảnh thực tê MLFW 12000 2996 Sai COMASK20 2824 312 Dung RFMD-part-1 92,671 481 Dung PKU-Masked-Face 10,301 1,018 Đúng (Không chia sé) Bảng 2.1: Bang thống kê các bộ dữ liệu chuẩn cho bài toán nhận diện khuôn mặt người đeo khẩu trang * Thách thức về mặt trích xuất đặc trưng: Đối với bài toán nhận diện khuôn mặt, các đặc trưng về cạnh, mũi, miệng thường rất quan trọng trong quá trình nhận diện. Tuy nhiên đôi với bài toán nhận diện khuôn mặt đeo khẩu trang, hầu hết các bộ phận này đã bị che bởi khẩu trang.
Vì vậy đặc trưng được trích xuất sẽ bị giảm hiệu quả so với bài toán nhận diện khuôn mặt thông thường. Vì vậy cần phải nghiên cứu các phương pháp (tiền xử lý, hậu xử lý,.) để tăng hiệu quả của đặc trưng được trích xuất.2 Các kiến thức cơ sở 2.1 Mạng nơ-ron tích chập (Convolutional Neural Network) Mô hình mạng nơ-ron tích chập (Convolutional Neural Network hay CNN) là một mô hình mạng của Deep Learning cho kết quả tốt nhất trong việc giải quyết các bài toán của thị giác máy tính. Về cơ bản CNN là một mô hình mạng ANN truyền thang với kiến trúc chính gồm nhiều thành phần được ghép nối với nhau theo cấu trúc các lớp cơ bản sau: Convolution, Pooling (Subsampling), ReLU. Bên cạnh đó còn có các lớp phụ như Batch Normalization, Drop out.
Sau đây là trình bày chỉ tiết về các thành phần cấu tạo nên CNN. Cơ sở lý thuyết Input ïal|rnjs œ|¬1oø+>se mona|NM |>œ*s œ[m|1loaes -l¬|a=s 3x3x3 x Filter 2 6x6x3 3x3x3 4x4 Hình 2.4: Minh họa tích chập của một ảnh RGB và ma trận kernel (Nguồn: aiviet- “| nam.1 Lớp tích chập (Convolutional) Trước khi đi vào layer Convolutional, chúng ta đi vào phép tích chập (Con- volution). Phép tích chập là phép tính dựa trên hai ma trận hai chiều cùng kích thước, bằng cách tính tổng của các tích giữa những vị trí tương ứng trên hai ma trận. Layer Convolutional là layer quan trọng nhất trong mô hình mạng CNN.
Layer dựa trên việc tính các giá trị tích chập để trích xuất ra các feature từ dữ liệu. Với một ảnh đầu vào kích thước mxm, ta sẽ chọn ra một ma trận kernel nxn (thường nhỏ hơn ma trận input). Ta cho ma trận kernel trượt trên ma trận input, mỗi lần trượt ta thực hiện việc tính tích chập ta thu được một kết quả. Kết quả này là giá trị của một pixel trong ma trận output.
Khi trượt hết ma trận kernel trên ma trận input ta được ma trận output có kích thước nhỏ hơn hoặc bằng kích thước của ma tran input. Khi áp dụng phép tính Conv cho xử lý hình ảnh, Người ta nhận thấy rằng Conv sẽ giúp biến đổi các thông tin đầu vào thành các yếu tố đặc trưng (nó tương tự như bộ phát hiện nhằm phát hiện ra các đặc trưng như cạnh, hướng, .4 minh họa cho việc áp dụng phép tính Conv trên ảnh và cho ra kết quả 'https://aivietnam.ai/wp-content/uploads/2019/07/chap9_zz_3. Cơ sở lý thuyết là một feature map. Cụ thể hơn, Conv sẽ trích xuất đặc trưng của ảnh đầu vào qua các vùng ảnh nhỏ.
Các vùng này được gọi là Local Receptive Field (LRF). Tích chập sẽ tính toán trên các LRF chỗồng lấp lên nhau. Độ chồng lắp này phụ thuộc vào hệ số trượt S (stride) của từng kiến trúc mạng cụ thể. Nếu sử dụng với hệ số trượt S = a, thì tương ứng LRF (bằng kích thước với kernel) sẽ dịch chuyển a đơn vi pixel sau mỗi lần tích chập.
Ảnh đầu vào sau khi thực hiện quá trình tích chập sẽ thu được feature map, số LRE ở ảnh đầu vào sẽ tương ứng với số nơ-ron ở feature map và kernel sẽ là trong số liên kết mỗi LRF với một nơ-ron ở feature map. Lớp conv có thể chứa một hoặc nhiều feature map. Nếu lớp conv có K feature map, thì ta nói lớp conv này có độ sâu là k. Để hình dung rõ hơn về quá trình này, sau đây sẽ minh họa quá trình trích xuất đặc trưng từ ảnh đầu vào cụ thể như sau: thực hiện xử lý tính giá trị đầu ra của một ảnh có kích thước W\ x H, x Dị (W; và H, lần lượt là chiều rộng và chiều cao của ảnh va Dy là chiều sâu hay thực chất là giá trị tại 3 kênh màu tương ứng của ảnh RGB).
khi đó, một Conv như một cửa sổ trượt (sliding window, còn được gọi là kernel, filter hay feature detector) với kích thước F x F - giả sử trong trường ta sử dungK filter. Trong quá trình xử ly, mỗi filter sẽ được tính toán với tất cả các LRF trong hình và § = œ. Trong một số trường hợp để cân bằng giữa số bước di chuyển và kích thước của ảnh, người ta đã chèn thêm P pixel với một giá trị màu được gan (thông thường là 0) xung quanh viễn của ảnh.