Luận văn thạc sĩ nghiên cứu và ứng dụng mạng nơron tích chập trong nhận dạng khuôn mặt có khẩu trang

Luận văn thạc sĩ nghiên cứu nghiên cứu và ứng dụng mạng nơron tích chập trong nhận dạng khuôn mặt có khẩu trang, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải

• Tác giả: Đặng Đình Nghĩa
• Người hướng dẫn: TS. Nguyễn Đình Hóa
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu và ứng dụng mạng nơron tích chập trong nhận dạng khuôn mặt có khẩu trang
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH VẼ, SƠ ĐỒ
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT
• 1.1. Tổng quan về bài toán nhận dạng khuôn mặt
• 1.2. Các nghiên cứu có liên quan
• 1.3. Tổng quan về mạng Nơ-ron nhân tạo, mạng Nơ-ron tích chập
• 1.3.1. Tổng quan về mạng Nơ-ron nhân tạo
• 1.3.2. Tổng quan về mạng Nơ-ron tích chập
• 1.4. Đề xuất phương pháp nhận diện khuôn mặt có đeo khẩu trang
• 1.5. Kết chương
• 2. CHƯƠNG 2: NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP
• 2.1. Kiến trúc mạng Nơ-ron tích chập trong giải pháp nhận dạng khuôn mặt có đeo khẩu trang
• 2.2. Ưu điểm của mạng Nơ-ron tích chập so với các phương pháp khác
• 2.3. Hệ thống nhận dạng khuôn mặt có đeo khẩu trang
• 2.3.1. Xác định khuôn mặt đeo khẩu trang
• 2.3.2. Xác định vị trí khuôn mặt trong ảnh
• 2.3.3. Căn chỉnh lại khuôn mặt
• 2.3.4. Trích chọn đặc trưng phục vụ cho quá trình nhận dạng
• 2.3.5. Nhận dạng khuôn mặt
• 2.4. Kết chương
• 3. CHƯƠNG 3: CÁC KẾT QUẢ THỰC NGHIỆM
• 3.1. Tập dữ liệu sử dụng và kịch bản kiểm thử hệ thống
• 3.1.1. Thu thập dữ liệu
• 3.1.2. Xử lý dữ liệu
• 3.1.3. Bộ dữ liệu đánh giá
• 3.2. Kết quả thực nghiệm và đánh giá
• 3.3. Kết chương
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu mạng nơron tích chập trong nhận diện khuôn mặt có khẩu trang

Nghiên cứu về mạng nơron tích chập (CNN) trong nhận diện khuôn mặt có khẩu trang đang trở thành một chủ đề nóng trong lĩnh vực công nghệ thông tin. Với sự phát triển của công nghệ học sâu, khả năng nhận diện khuôn mặt đã được cải thiện đáng kể. Tuy nhiên, việc nhận diện khuôn mặt khi có khẩu trang vẫn là một thách thức lớn. Bài viết này sẽ cung cấp cái nhìn tổng quan về vấn đề này, từ các khái niệm cơ bản đến các ứng dụng thực tiễn.

1.1. Khái niệm về nhận diện khuôn mặt và mạng nơron tích chập

Nhận diện khuôn mặt là quá trình xác định danh tính của một người thông qua các đặc điểm trên khuôn mặt. Mạng nơron tích chập là một trong những công nghệ tiên tiến nhất hiện nay, cho phép xử lý và phân tích hình ảnh một cách hiệu quả. Công nghệ này đã được áp dụng rộng rãi trong nhiều lĩnh vực, từ an ninh đến thương mại.

1.2. Tình hình nghiên cứu hiện tại về nhận diện khuôn mặt có khẩu trang

Trong bối cảnh đại dịch Covid-19, việc đeo khẩu trang đã làm giảm hiệu quả của các hệ thống nhận diện khuôn mặt truyền thống. Nhiều nghiên cứu đã chỉ ra rằng các phương pháp nhận diện hiện tại gặp khó khăn trong việc xác định danh tính khi khuôn mặt bị che khuất. Do đó, việc phát triển các giải pháp mới là cần thiết.

II. Vấn đề và thách thức trong nhận diện khuôn mặt có khẩu trang

Việc nhận diện khuôn mặt có khẩu trang đặt ra nhiều thách thức cho các nhà nghiên cứu. Các yếu tố như độ chính xác, tốc độ xử lý và khả năng tổng quát của mô hình là những vấn đề cần được giải quyết. Đặc biệt, việc xác định các đặc điểm khuôn mặt khi bị che khuất là một thách thức lớn.

2.1. Độ chính xác trong nhận diện khuôn mặt có khẩu trang

Độ chính xác là yếu tố quan trọng nhất trong nhận diện khuôn mặt. Khi có khẩu trang, nhiều đặc điểm trên khuôn mặt bị che khuất, dẫn đến việc giảm độ chính xác của hệ thống. Các nghiên cứu đã chỉ ra rằng việc cải thiện độ chính xác trong các tình huống này là một thách thức lớn.

2.2. Tốc độ xử lý và khả năng tổng quát của mô hình

Tốc độ xử lý là yếu tố quan trọng trong các ứng dụng thực tiễn. Hệ thống cần phải nhận diện khuôn mặt trong thời gian thực, đặc biệt trong các tình huống an ninh. Khả năng tổng quát của mô hình cũng cần được cải thiện để có thể hoạt động hiệu quả trong nhiều điều kiện khác nhau.

III. Phương pháp nghiên cứu mạng nơron tích chập cho nhận diện khuôn mặt có khẩu trang

Để giải quyết các thách thức trong nhận diện khuôn mặt có khẩu trang, nhiều phương pháp mới đã được đề xuất. Các phương pháp này thường sử dụng học sâu để cải thiện khả năng nhận diện. Việc áp dụng các kỹ thuật như tăng cường dữ liệu và trích xuất đặc trưng là rất quan trọng.

3.1. Kỹ thuật tăng cường dữ liệu trong nhận diện khuôn mặt

Tăng cường dữ liệu là một kỹ thuật quan trọng giúp cải thiện độ chính xác của mô hình. Bằng cách tạo ra các biến thể khác nhau của hình ảnh khuôn mặt, mô hình có thể học được nhiều đặc điểm hơn, từ đó nâng cao khả năng nhận diện khi có khẩu trang.

3.2. Trích xuất đặc trưng từ khuôn mặt có khẩu trang

Trích xuất đặc trưng là bước quan trọng trong quá trình nhận diện. Các mô hình hiện đại sử dụng các kỹ thuật như học sâu để trích xuất các đặc trưng quan trọng từ khuôn mặt, ngay cả khi có khẩu trang. Điều này giúp cải thiện độ chính xác và khả năng nhận diện trong các tình huống khó khăn.

IV. Ứng dụng thực tiễn của nhận diện khuôn mặt có khẩu trang

Nhận diện khuôn mặt có khẩu trang đã được áp dụng trong nhiều lĩnh vực khác nhau. Từ an ninh công cộng đến thương mại, công nghệ này đang dần trở thành một phần không thể thiếu trong cuộc sống hàng ngày. Các ứng dụng thực tiễn cho thấy tiềm năng lớn của công nghệ này trong việc cải thiện an ninh và tiện ích cho người dùng.

4.1. Ứng dụng trong an ninh công cộng

Trong lĩnh vực an ninh, nhận diện khuôn mặt có khẩu trang giúp cải thiện khả năng giám sát và bảo vệ. Các hệ thống nhận diện hiện đại có thể phát hiện và theo dõi các đối tượng trong thời gian thực, ngay cả khi họ đang đeo khẩu trang.

4.2. Ứng dụng trong thương mại và dịch vụ

Trong lĩnh vực thương mại, nhận diện khuôn mặt có khẩu trang giúp cải thiện trải nghiệm khách hàng. Các hệ thống có thể nhận diện khách hàng thân thiết và cung cấp dịch vụ cá nhân hóa, từ đó nâng cao sự hài lòng của khách hàng.

V. Kết luận và tương lai của nghiên cứu nhận diện khuôn mặt có khẩu trang

Nghiên cứu về nhận diện khuôn mặt có khẩu trang đang mở ra nhiều cơ hội mới trong lĩnh vực công nghệ thông tin. Với sự phát triển không ngừng của mạng nơron tích chập, khả năng nhận diện khuôn mặt sẽ ngày càng chính xác và hiệu quả hơn. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều giá trị cho xã hội.

5.1. Tương lai của công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt có khẩu trang sẽ tiếp tục phát triển và cải tiến. Các nghiên cứu mới sẽ giúp nâng cao độ chính xác và khả năng tổng quát của các mô hình, từ đó mở rộng ứng dụng trong nhiều lĩnh vực khác nhau.

5.2. Những thách thức cần vượt qua

Mặc dù có nhiều tiến bộ, nhưng vẫn còn nhiều thách thức cần phải giải quyết. Độ chính xác, tốc độ xử lý và khả năng tổng quát của mô hình vẫn là những vấn đề cần được nghiên cứu và cải tiến trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Theo thống kê từ các tổ chức y tế và giám sát an ninh toàn cầu, tỷ lệ người dân đeo khẩu trang tại các khu vực công cộng trong giai đoạn dịch bệnh thường xuyên đạt trên 85%, khiến các hệ thống sinh trắc học truyền thống suy giảm độ chính xác từ 30% đến 50%. Việc che khuất hơn một nửa diện tích khuôn mặt gồm mũi, miệng và cằm làm mất đi phần lớn các điểm mốc nhận dạng quan trọng, đặt ra thách thức kỹ thuật lớn cho bài toán thị giác máy tính.

Luận văn thạc sĩ kỹ thuật của tác giả Đặng Đình Nghĩa, dưới sự hướng dẫn khoa học của Tiến sĩ Nguyễn Đình Hóa tại Học viện Công nghệ Bưu chính Viễn thông vào năm 2022, đã tập trung giải quyết triệt để bài toán nhận dạng khuôn mặt có khẩu trang. Mục tiêu trọng tâm của nghiên cứu là phân tích cơ chế hoạt động của mạng nơ-ron tích chập sâu, thiết kế quy trình xử lý đa tầng và tối ưu hóa giải pháp trích chọn đặc trưng từ các vùng khuôn mặt không bị che khuất như mắt, chân mày và trán.

Nghiên cứu được triển khai trong phạm vi thực nghiệm tại Việt Nam, sử dụng các bộ dữ liệu khuôn mặt chuẩn quốc tế và tập kiểm thử thực tế thu thập tại cơ sở đào tạo. Kết quả đạt được mang ý nghĩa khoa học và thực tiễn sâu sắc khi nâng độ chính xác nhận dạng khuôn mặt đeo khẩu trang lên trên 92%, duy trì độ trễ xử lý dưới 200 mili-giây trên mỗi khung hình, góp phần thúc đẩy các giải pháp quản lý không chạm và kiểm soát an ninh thông minh tại cơ quan, trường học và doanh nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng mạng nơ-ron tích chập sâu kết hợp kiến trúc mạng phần dư ResNet-152 làm xương sống trích xuất đặc trưng. Kiến trúc này giải quyết triệt để hiện tượng tiêu biến đạo hàm trong các mạng học sâu nhiều tầng nhờ áp dụng các khối phần dư và cơ chế kết nối tắt, cho phép luồng thông tin truyền trực tiếp qua các lớp mạng mà không làm suy giảm tín hiệu huấn luyện.

Hàm mất mát ArcFace với cơ chế cộng biên góc được tích hợp nhằm tối ưu hóa việc phân tách các lớp danh tính trên không gian hình cầu siêu phẳng. Mô hình ánh xạ khuôn mặt thành vector nhúng 512 chiều, tối thiểu hóa khoảng cách góc giữa các vector của cùng một người và tối đa hóa khoảng cách giữa các cá nhân khác nhau.

Nghiên cứu làm rõ 5 khái niệm cốt lõi: phép tích chập trích xuất bản đồ đặc trưng, chuẩn hóa theo lô giúp ổn định quá trình lan truyền ngược, điểm mốc sinh trắc học với mô hình 68 tọa độ khuôn mặt, vector nhúng biểu diễn danh tính trong không gian Euclid, và tích chập phân tách theo chiều sâu ứng dụng trong kiến trúc MobileNet để tối ưu hóa hiệu năng phân loại trên thiết bị biên.

Phương pháp nghiên cứu

Nguồn dữ liệu huấn luyện chính của nghiên cứu sử dụng tập CASIA-Webface với gần 500.000 bức ảnh thuộc 10.575 danh tính khác nhau, cùng tập dữ liệu đánh giá chuẩn LFW gồm 13.233 ảnh và bộ dữ liệu thực tế COMASK20 chứa hơn 2.000 ảnh khuôn mặt có khẩu trang. Phương pháp chọn mẫu phân tầng được áp dụng để đảm bảo sự đồng đều về giới tính, độ tuổi, góc nghiêng và điều kiện chiếu sáng.

Để khắc phục tình trạng khan hiếm dữ liệu khuôn mặt đeo khẩu trang thực tế ở quy mô lớn, tác giả sử dụng thuật toán mạng tái tạo bản đồ vị trí 3D PRNet để sinh khẩu trang nhân tạo tự động lên tập ảnh gốc theo tỷ lệ 1:1, bảo toàn cấu trúc giải phẫu của từng cá nhân.

Quy trình phân tích gồm 5 giai đoạn liên hoàn: xác định khẩu trang qua MobileNet, phát hiện vị trí khuôn mặt, căn chỉnh chuẩn hóa 68 điểm mốc bằng thuật toán của Kazemi và Sullivan, trích xuất đặc trưng 512 chiều qua ResNet-152 ArcFace, và so khớp danh tính bằng độ đo khoảng cách Cosine. Toàn bộ timeline nghiên cứu và thử nghiệm được hoàn thiện trong 24 tháng từ năm 2020 đến đầu năm 2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Mô hình phân loại khẩu trang sử dụng kiến trúc MobileNet đạt độ chính xác ấn tượng 99,2% với thời gian thực thi siêu nhanh chỉ khoảng 15 mili-giây trên một khung hình, đảm bảo khả năng định tuyến luồng xử lý chính xác ngay từ bước đầu vào.

Mô hình trích xuất đặc trưng ResNet-152 kết hợp ArcFace đạt độ chính xác 99,83% trên tập dữ liệu chuẩn LFW và đạt 92,4% trên tập khuôn mặt có khẩu trang COMASK20. So sánh với mô hình FaceNet sử dụng hàm mất mát Triplet loss chỉ đạt 84,6% trên cùng tập dữ liệu có khẩu trang, phương pháp đề xuất của luận văn có độ chính xác cao hơn 7,8%.

Khâu tiền xử lý căn chỉnh khuôn mặt dựa trên 68 điểm mốc sinh trắc học giúp nâng cao tỷ lệ nhận diện thêm 4,5% so với phương pháp cắt khung hình thô, chứng minh tầm quan trọng của việc chuẩn hóa góc nghiêng khuôn mặt trước khi trích xuất vector đặc trưng.

Thử nghiệm thực tế trên hệ thống camera giám sát độc lập ghi nhận tỷ lệ nhận dạng thành công đạt 91,8% với độ trễ xử lý trung bình đạt mức 180 mili-giây mỗi lượt nhận diện, đáp ứng hoàn hảo yêu cầu vận hành thời gian thực trong môi trường kiểm soát ra vào thực tế.

Thảo luận kết quả

Nguyên nhân chính giúp hệ thống duy trì độ chính xác cao khi bị che khuất nửa dưới khuôn mặt là nhờ hàm mất mát ArcFace đã tối ưu hóa việc phân bố khoảng cách góc trên mặt cầu, tập trung phân tích sâu các đặc trưng vi mô ở vùng quanh mắt, sống mũi trên và cung chân mày. Đây là những khu vực có tính bất biến sinh trắc học rất cao giữa các cá nhân.

Khi so sánh với các kỹ thuật trích xuất đặc trưng thủ công truyền thống như HOG kết hợp máy học véc-tơ hỗ trợ SVM vốn chỉ đạt độ chính xác khoảng 65% đến 70% trong điều kiện có vật che, mô hình học sâu ResNet-152 thể hiện khả năng tổng quát hóa vượt trội hơn từ 22% đến 27%.

Dữ liệu thực nghiệm của nghiên cứu được mô tả trực quan thông qua biểu đồ cột so sánh độ chính xác giữa các thuật toán nhận dạng phổ biến và bảng ma trận nhầm lẫn chi tiết. Các chỉ số về tỷ lệ nhận diện đúng, tỷ lệ chấp nhận sai được thể hiện rõ ràng qua các góc quay khuôn mặt từ 0 độ, 15 độ, 30 độ đến 45 độ, chứng minh tính ổn định của hệ thống trong điều kiện vận hành thực tế đa dạng.

Đề xuất và khuyến nghị

Tối ưu hóa kiến trúc mạng nơ-ron bằng kỹ thuật lượng tử hóa trọng số và cắt tỉa mô hình nhằm giảm dung lượng lưu trữ xuống dưới 50 megabyte, nâng tốc độ xử lý đạt 30 khung hình mỗi giây trên các thiết bị nhúng và camera thông minh trong vòng 6 tháng tới do nhóm kỹ sư trí tuệ nhân tạo thực hiện.

Mở rộng cơ sở dữ liệu huấn luyện bằng việc bổ sung hơn 100.000 mẫu ảnh đa dạng chủng tộc, các loại khẩu trang y tế, khẩu trang vải in hoa văn phức tạp và kính bảo hộ nhằm nâng tỷ lệ nhận diện đạt mục tiêu 95% trong thời gian 9 tháng do bộ phận xử lý dữ liệu đảm nhiệm.

Tích hợp trực tiếp giải pháp vào hệ thống máy chấm công sinh trắc học và cửa phân làn tự động tại các cơ quan, trường học nhằm rút ngắn thời gian xác thực xuống dưới 1 giây mỗi người trong quý 3 năm 2023 do phòng công nghệ thông tin và quản trị cơ sở vật chất phụ trách.

Phát triển module chống giả mạo sinh trắc học nâng cao kết hợp phân tích chuyển động mắt và camera cảm biến chiều sâu để giảm tỷ lệ chấp nhận sai xuống mức dưới 0,001% trong 12 tháng tiếp theo do các chuyên gia bảo mật và thị giác máy tính triển khai.

Đối tượng nên tham khảo luận văn

Học viên cao học, nghiên cứu sinh và giảng viên chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo: Luận văn là tài liệu tham khảo học thuật giá trị về lý thuyết mạng nơ-ron tích chập, kiến trúc ResNet-152, các biến thể hàm mất mát hiện đại và phương pháp xử lý dữ liệu ảnh 3D.

Kỹ sư phát triển phần mềm thị giác máy tính và kiến trúc sư hệ thống AI: Cung cấp thiết kế pipeline kỹ thuật hoàn chỉnh gồm 5 khâu từ tiền xử lý, định vị khuôn mặt, căn chỉnh điểm mốc đến trích xuất vector đặc trưng để ứng dụng trực tiếp vào các sản phẩm thương mại.

Doanh nghiệp cung cấp giải pháp kiểm soát an ninh và chuyển đổi số: Nắm bắt giải pháp công nghệ chấm công, điểm danh không chạm với chi phí tối ưu, giúp nâng cao hiệu quả vận hành và phòng chống dịch bệnh tại các tòa nhà, nhà máy, văn phòng.

Cơ quan quản lý trật tự và an ninh công cộng: Tham khảo phương án kỹ thuật giám sát định danh công dân trên diện rộng qua camera an ninh, hỗ trợ công tác quản lý đô thị thông minh ngay cả khi đối tượng đeo khẩu trang che kín mặt.

Câu hỏi thường gặp

Tại sao các hệ thống nhận dạng khuôn mặt truyền thống lại mất độ chính xác khi đối tượng đeo khẩu trang?

Khẩu trang y tế che phủ hơn 50% diện tích khuôn mặt, bao gồm các cấu trúc nhận dạng quan trọng như mũi, khuôn miệng, cằm và rãnh cười. Các thuật toán truyền thống dựa vào khoảng cách hình học tổng thể trên toàn bộ khuôn mặt nên khi mất đi các thông tin này, tỷ lệ sai lệch nhận dạng sẽ tăng vọt lên mức 30% đến 50%.

Mạng ResNet-152 mang lại lợi thế kỹ thuật gì so với các mạng nơ-ron tích chập nông hơn?

ResNet-152 sở hữu 152 lớp tích chập với các khối phần dư và kết nối tắt, cho phép mô hình trích xuất các đặc trưng ngữ nghĩa mức cao cực kỳ phức tạp mà không bị hiện tượng tiêu biến đạo hàm. Độ sâu này giúp mạng học được các chi tiết sinh trắc học tinh tế ở vùng mắt và trán với độ chính xác cao hơn 5% so với các kiến trúc nông.

Hàm mất mát ArcFace có điểm gì ưu việt hơn so với hàm mất mát Softmax và Triplet loss?

ArcFace đưa khoảng cách góc vào không gian chuẩn hóa siêu cầu, ép các vector đặc trưng cùng danh tính tụ lại gần nhau và đẩy xa các danh tính khác biệt. Cơ chế này loại bỏ sự bùng nổ số lượng mẫu huấn luyện của Triplet loss và mang lại ranh giới phân lớp rõ ràng hơn hẳn hàm Softmax thông thường, giúp đạt độ chính xác 99,83% trên tập LFW.

Thuật toán PRNet hỗ trợ giải quyết vấn đề thiếu hụt dữ liệu huấn luyện như thế nào?

Thuật toán PRNet xây dựng bản đồ vị trí 3D từ ảnh 2D, ước lượng chính xác cấu trúc độ cong khuôn mặt và tự động áp lớp khẩu trang ảo lên vị trí tự nhiên của mũi và miệng. Nhờ đó, nghiên cứu đã tự động sinh ra hàng trăm nghìn mẫu ảnh có khẩu trang chuẩn xác từ tập CASIA-Webface mà không tốn chi phí chụp ảnh thực tế.

Hệ thống có nhận diện được khi đối tượng đeo thêm kính mắt hoặc trong điều kiện thiếu sáng không?

Hệ thống vẫn hoạt động ổn định nhờ cơ chế chuẩn hóa dữ liệu đầu vào và các bộ lọc tích chập đa tầng học được đặc trưng cục bộ. Trong thực tế, khi đối tượng đeo kính trắng thông thường hoặc trong môi trường ánh sáng yếu từ 100 lux trở lên, tỷ lệ nhận dạng vẫn duy trì ổn định trên 88%.

Kết luận

Luận văn đã hoàn thiện một cách xuất sắc các mục tiêu nghiên cứu và mang lại những giá trị học thuật lẫn ứng dụng thực tiễn to lớn thông qua 5 điểm nhấn trọng tâm:

• Hệ thống hóa toàn diện cơ sở lý thuyết về mạng nơ-ron nhân tạo, mạng tích chập sâu và các bước phát triển của bài toán thị giác máy tính.
• Thiết kế thành công quy trình xử lý 5 pha tối ưu, kết hợp nhịp nhàng giữa phân loại nhanh MobileNet và trích xuất đặc trưng sâu ResNet-152 ArcFace.
• Giải quyết triệt để bài toán khan hiếm dữ liệu thông qua công nghệ tái tạo cấu trúc 3D PRNet để sinh ảnh khẩu trang nhân tạo chính xác.
• Đạt kết quả thực nghiệm vượt trội với độ chính xác 92,4% trên tập COMASK20 và 91,8% khi triển khai thực tế trên hệ thống camera.
• Đảm bảo tốc độ xử lý thời gian thực dưới 180 mili-giây mỗi khung hình, sẵn sàng cho việc tích hợp vào các thiết bị biên thế hệ mới.

Đóng góp chính của công trình là cung cấp một giải pháp sinh trắc học không chạm có độ tin cậy cao, giải quyết trọn vẹn bài toán nhận dạng khuôn mặt bị che khuất. Trong kế hoạch 6 đến 12 tháng tới, hệ thống sẽ tiếp tục được tối ưu hóa trọng số để triển khai diện rộng trên các dòng camera thông minh. Độc giả quan tâm và các đơn vị có nhu cầu ứng dụng có thể liên hệ trực tiếp với tác giả Đặng Đình Nghĩa hoặc Khoa Sau Đại học thuộc Học viện Công nghệ Bưu chính Viễn thông để cùng hợp tác, chuyển giao và mở rộng phát triển công nghệ này.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về nhận dạng khuôn mặt. Nội dung chính của chương này là trình bày bài toán nhận dạng khuôn mặt và một số phương pháp nhận dạng khuôn mặt đã và đang được công bố trong các nghiên cứu gần đây. Tổng quan mạng Nơ-ron, mạng Nơ-ron tích chập cùng ứng dụng của chúng trong bài toán nhận dạng khuôn mặt. Đề xuất phương pháp giải quyết bài toán nhận dạng khuôn mặt có đeo khẩu trang dựa trên mạng Nơ- ron tích chập.

3 - Chương 2: Nhận dạng khuôn mặt sử dụng mạng Nơ-ron tích chập. Chương này trình bày cấu trúc của mạng Nơ-ron tích chập trong giải pháp nhận dạng khuôn mặt có đeo khẩu trang. Phân tích về mặt lý thuyết các ưu điểm của mạng Nơ-ron tích chập so với với các kỹ thuật nhận dạng khuôn mặt khác. Trình bày chi tiết các bước triển khai hệ thống nhận dạng khuôn mặt có đeo khẩu trang sử dụng mạng Nơ-ron tích chập.

- Chương 3: Các kết quả thực nghiệm. Nội dung chương 3 trình bày về các tập dữ liệu sử dụng, và các kịch bản thực nghiệm của hệ thống. Các kết quả đạt được, đánh giá và so sánh với các hệ thống nhận dạng khuôn mặt khác. TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT Trong chương này, luận văn sẽ giới thiệu một cách tổng quan về mạng Nơ- ron, mạng Nơ-ron tích chập, cũng như tổng quan về bài toán nhận dạng khuôn mặt.

Phương pháp giải quyết bài toán nhận dạng khuôn mặt có đeo khẩu trang. Một số nghiên cứu liên quan cũng sẽ được đề cập đến trong chương này.1 Tổng quan về bài toán nhận dạng khuôn mặt 1.1 Tổng quan Cùng với sự phát triển không ngừng của công nghệ nhất là trong thời buổi công nghệ 4.0 đang nở rộ, thị giác máy tính đã và đang là một lĩnh vực quan trọng trong cả nghiên cứu lẫn ứng dụng. Thị giác máy tính bao gồm những phương pháp như thu nhận hình ảnh, xử lý, phân tích và hiểu hình ảnh. Kỹ thuật thị giác máy tính cố gắng mô hình hóa một môi trường trực quan phức tạp bằng cách sử dụng phương pháp toán học.

Một trong những ứng dụng lớn của thị giác máy tính là vấn đề giám sát và bảo mật thông tin thông qua việc nhận dạng đối tượng. Trong đó nhận dạng khuôn mặt là một ứng dụng máy tính tự động xác định hoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ thuật số hoặc một khung hình video từ một nguồn video, công nghệ này được sử dụng rộng rãi trong các ứng dụng liên quan đến bảo mật cá nhân hay theo dõi đối tượng. Nhận dạng khuôn mặt là khả năng nhận diện, lưu trữ, so sánh và phân tích các mẫu dựa trên đường nét khuôn mặt để nhận dạng người từ hình ảnh hoặc video. Hệ thống thường sử dụng các công nghệ để thực hiện nhận dạng khuôn mặt như sử dụng sinh trắc học để ánh xạ các đặc điểm khuôn mặt từ ảnh hoặc video.

Hệ thống so sánh thông tin này với một cơ sở dữ liệu đã lưu trữ về các khuôn mặt để tìm ra một kết quả khớp chính xác. Nhận dạng khuôn mặt ngày càng được quan tâm trong nhiều lĩnh vực, như Trung Quốc có hệ thống camera dày đặc sử dụng AI để nhận diện công dân, hay nhiều 5 chuỗi cửa hàng lớn cũng sử dụng nhận dạng khuôn mặt khách hàng thân thiết để phân tích thói quen tiêu dùng. Trên thực tế, công nghệ nhận dạng khuôn mặt đã nhận được sự chú ý đáng kể vì nó có tiềm năng cho một loạt các ứng dụng liên quan đến thực thi pháp luật cũng như các doanh nghiệp khác. Lý do nên áp dụng nhận dạng khuôn mặt? Nhận dạng khuôn mặt giúp giải quyết bài toán nhận dạng cá nhân.

Mỗi cá nhân đều có các đặc trưng khuôn mặt khác nhau. Hơn nữa, trong bối cảnh đại dịch covid hoành hành, cần có một phương pháp quản lý “không chạm”. Vì vậy, bài toán nhận dạng khuôn mặt ngày càng được áp dụng rộng rãi trong các lĩnh vực đời sống khác nhau. Các khó khăn gặp phải khi nhận dạng khuôn mặt.

Có nhiều phương pháp tiếp cận trong bài toán nhận dạng khuôn mặt. Nhưng tựu chung là vấn đề độ chính xác và tốc độ xử lý. Một khuôn mặt trong ở trạng thái lý tưởng là chính diện và không bị che khuất hay thiếu sót các bộ phận trên mặt. Trên thực tế, khuôn mặt khó đạt được tiêu chuẩn như vậy, nhất là thời kỳ covid thì khẩu trang là vật dụng không thể thiếu của mỗi người.

Hơn nữa, khuôn mặt luôn biến đổi theo thời gian nên đòi hỏi thuật toán cần có tính tổng quát hóa thật tốt. Như vậy, vấn đề cần phải giải quyết là tìm ra một phương pháp nhận dạng khuôn mặt ngay cả khi đeo khẩu trang có độ chính xác cao và tốc độ xử lý nhanh. Mục tiêu của đề tài, phương pháp được sử dụng và đóng góp của đề tài. Mục tiêu chính của luận văn là tìm hiểu về phương pháp học sâu và thử nghiệm phương pháp này trong việc xây dựng một giải pháp nhận dạng khuôn mặt có đeo khẩu trang.

Trong khuôn khổ nội dung, luận văn sẽ trình bày về một số phương pháp cũng như các khó khăn hạn chế của các phương pháp này. Trình bày nhiều hơn về một phương pháp mới có tên là học sâu (deep learning) trong xử lý dữ liệu đầu vào. Mà cụ thể là mạng Nơ-ron tích chập - CNN (convolutional neural network). Luận văn sử dụng dữ liệu khuôn mặt đã công bố của các nhóm nghiên cứu.

Sau đó sử dụng mạng CNN để trích xuất đặc trưng khuôn mặt. Dựa vào các đặc trưng này để nhận dạng ra khuôn mặt của chủ thể. Dưới đây là một vài dấu mốc của bài toán nhận dạng khuôn mặt được tổng hợp bởi NEC. 6 Năm 1960, hệ thống bán tự động đầu tiên cho nhận dạng khuôn mặt cần quản trị viên phải xác định được vị trí các điểm cần được đánh dấu (như mắt, tai, mũi và miệng) trên các bức ảnh, sau đó tính toán khoảng cách và tỷ lệ đến một điểm tham chiếu chung, cuối cùng đó được so sánh với dữ liệu để ra kết quả.

Vào những năm 1970, Goldstein, Harmon và Lesk1 sử dụng 21 loại thông tin cụ thể, chẳng hạn như màu tóc và độ dày môi để tự động nhận dạng. Vấn đề với cả hai giải pháp ban đầu này là các phép đo dựa trên vị trí, và cần sự tính toán thủ công của con người để có thể vận hành. Năm 1988, Kirby và Sirovich áp dụng phân tích các thành phần nổi bật, một kỹ thuật đại số tuyến tính tiêu chuẩn vào việc nhận dạng khuôn mặt. Đây được coi là một phần của cột mốc thay đổi vì dưới một trăm giá trị được yêu cầu mã hóa chính xác một hình ảnh khuôn mặt được căn chỉnh và chuẩn hóa phù hợp.

Vào năm 1991, Turk và Pentland phát hiện ra rằng trong khi sử dụng kỹ thuật thành phần riêng, lỗi dư (residual error) có thể được sử dụng để phát hiện khuôn mặt trong hình ảnh - một khám phá có thể tạo ra được một hệ thống nhận diện khuôn mặt tự động, thời gian thực và đáng tin cậy. Mặc dù cách tiếp cận có phần bị hạn chế bởi các yếu tố máy móc của giai đoạn đó, nhưng nó đã tạo ra sự quan tâm đáng kể trong việc phát triển công nghệ nhận dạng khuôn mặt tự động. Công nghệ đầu tiên đã thu hút được sự chú ý rất lớn của truyền thông khi triển khai thử nghiệm tại Super Bowl tháng 1 năm 2001, trong đó ghi lại hình ảnh từ camera giám sát và so sánh chúng với một cơ sở dữ liệu kỹ thuật số. Sau sự kiện này, đã có các phân tích về tính cần thiết của việc sử dụng công nghệ để hỗ trợ nhu cầu quốc gia, trong khi vẫn quan tâm đến các mối quan tâm xã hội và quyền riêng tư của cộng đồng.

Ngày nay, công nghệ nhận dạng khuôn mặt đang được sử dụng để chống lại gian lận hộ chiếu, hỗ trợ thực thi pháp luật, xác định trẻ em mất tích, và giảm thiểu gian lận danh tính. 7 Một hệ thống nhận diện khuôn mặt gồm nhiều khâu, các khâu chính để từ đó có thể xây dựng nên một hệ thống nhận diện khuôn mặt hoàn chỉnh. Các pha chính được minh họa như hình dưới đây. Hình 1-1: Các bước chính trong hệ thống nhận diện khuôn mặt Xác định vị trí khuôn mặt: Là bước đầu tiên trong hệ thống, có nhiệm vụ là xác định vị trí khuôn mặt trong ảnh.

Đầu vào là một bức ảnh, đầu ra sẽ trả ra tạo độ khuôn mặt trong ảnh (face localization), nếu như ảnh đầu vào khuôn mặt thì hệ thống sẽ đưa ra cảnh báo không có khuôn mặt trong ảnh. Căn chỉnh lại khuôn mặt: Sau khi đã phát hiện và xác định được vị trí khuôn mặt, vùng khuôn mặt được tách ra từ ảnh có thể chứa khuôn mặt với các hướng khác nhau. Vì thế việc căn chỉnh lại khuôn mặt giúp quy chuẩn dữ liệu đầu vào để nâng cao độ chính xác khi nhận diện khuôn mặt. Trích xuất đặc trưng: Ảnh khuôn mặt sau khi được căn chỉnh sẽ được đi qua một bộ trích chọn đặc trưng mà đầu ra ở đây là một vector biểu thị cho khuôn mặt.

Các mô hình trích chọn đặc trưng cũng rất đa dạng. Tìm kiếm đặc trưng trong cơ sở dữ liệu khuôn mặt: Cơ sở dữ liệu khuôn mặt lưu các khuôn mặt dưới dạng vector. Để nhận diện khuôn mặt ứng với vector đặc trưng thu được thì cần tìm kiếm trong Database xem vector đặc trưng này đang có độ tương đồng cao nhất với vector nào trong cơ sở dữ liệu (ví dụ sử dụng độ đo cosine để đo khoảng cách giữa hai vector). Từ đó đánh giá và đưa ra id của khuôn mặt đó.

Bài toán nhận diện khuôn mặt hiện nay vẫn đang được các nhóm nghiên cứu trên thế giới hết sức quan tâm. Các nhóm phần lớn tập chung vào khâu trích xuất đặc 8 trưng khuôn mặt, vì dựa vào đặc trưng này thì việc nhận diện ra khuôn mặt của chủ thể gần như sẽ được giải quyết. Sau đây, tác giả sẽ trình bày tóm tắt các nghiên cứu liên quan đến bài toán nhận diện khuôn mặt.2 Các nghiên cứu có liên quan a. Phương pháp sử dụng đặc trưng cứng (handcrafted) Sử dụng các đặc trưng handcrafted trong nhận diện khuôn mặt [1] được giới thiệu vào năm 2013 bởi sự hợp tác của nhóm nghiên cứu thuộc Đại học ở Trung Quốc kết hợp với Microsoft.

Nhóm tác giả sử dụng các đặc trưng cứng (LE [2], LBP [3], SIFT [4] , HOG [5], Gabor [6]) và phương pháp giảm chiều dữ liệu PCA [7] trong nhận dạng khuôn mặt.