Luận văn thạc sĩ nghiên cứu và ứng dụng mạng nơron tích chập trong nhận dạng khuôn mặt có khẩu trang

Luận văn thạc sĩ nghiên cứu nghiên cứu và ứng dụng mạng nơron tích chập trong nhận dạng khuôn mặt có khẩu trang, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải

• Tác giả: Đặng Đình Nghĩa
• Người hướng dẫn: TS. Nguyễn Đình Hóa
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu và ứng dụng mạng nơron tích chập trong nhận dạng khuôn mặt có khẩu trang
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về nghiên cứu mạng nơron tích chập trong nhận diện khuôn mặt có khẩu trang

Nghiên cứu về mạng nơron tích chập (CNN) trong nhận diện khuôn mặt có khẩu trang đang trở thành một chủ đề nóng trong lĩnh vực công nghệ thông tin. Với sự phát triển của công nghệ học sâu, khả năng nhận diện khuôn mặt đã được cải thiện đáng kể. Tuy nhiên, việc nhận diện khuôn mặt khi có khẩu trang vẫn là một thách thức lớn. Bài viết này sẽ cung cấp cái nhìn tổng quan về vấn đề này, từ các khái niệm cơ bản đến các ứng dụng thực tiễn.

1.1. Khái niệm về nhận diện khuôn mặt và mạng nơron tích chập

Nhận diện khuôn mặt là quá trình xác định danh tính của một người thông qua các đặc điểm trên khuôn mặt. Mạng nơron tích chập là một trong những công nghệ tiên tiến nhất hiện nay, cho phép xử lý và phân tích hình ảnh một cách hiệu quả. Công nghệ này đã được áp dụng rộng rãi trong nhiều lĩnh vực, từ an ninh đến thương mại.

1.2. Tình hình nghiên cứu hiện tại về nhận diện khuôn mặt có khẩu trang

Trong bối cảnh đại dịch Covid-19, việc đeo khẩu trang đã làm giảm hiệu quả của các hệ thống nhận diện khuôn mặt truyền thống. Nhiều nghiên cứu đã chỉ ra rằng các phương pháp nhận diện hiện tại gặp khó khăn trong việc xác định danh tính khi khuôn mặt bị che khuất. Do đó, việc phát triển các giải pháp mới là cần thiết.

II. Vấn đề và thách thức trong nhận diện khuôn mặt có khẩu trang

Việc nhận diện khuôn mặt có khẩu trang đặt ra nhiều thách thức cho các nhà nghiên cứu. Các yếu tố như độ chính xác, tốc độ xử lý và khả năng tổng quát của mô hình là những vấn đề cần được giải quyết. Đặc biệt, việc xác định các đặc điểm khuôn mặt khi bị che khuất là một thách thức lớn.

2.1. Độ chính xác trong nhận diện khuôn mặt có khẩu trang

Độ chính xác là yếu tố quan trọng nhất trong nhận diện khuôn mặt. Khi có khẩu trang, nhiều đặc điểm trên khuôn mặt bị che khuất, dẫn đến việc giảm độ chính xác của hệ thống. Các nghiên cứu đã chỉ ra rằng việc cải thiện độ chính xác trong các tình huống này là một thách thức lớn.

2.2. Tốc độ xử lý và khả năng tổng quát của mô hình

Tốc độ xử lý là yếu tố quan trọng trong các ứng dụng thực tiễn. Hệ thống cần phải nhận diện khuôn mặt trong thời gian thực, đặc biệt trong các tình huống an ninh. Khả năng tổng quát của mô hình cũng cần được cải thiện để có thể hoạt động hiệu quả trong nhiều điều kiện khác nhau.

III. Phương pháp nghiên cứu mạng nơron tích chập cho nhận diện khuôn mặt có khẩu trang

Để giải quyết các thách thức trong nhận diện khuôn mặt có khẩu trang, nhiều phương pháp mới đã được đề xuất. Các phương pháp này thường sử dụng học sâu để cải thiện khả năng nhận diện. Việc áp dụng các kỹ thuật như tăng cường dữ liệu và trích xuất đặc trưng là rất quan trọng.

3.1. Kỹ thuật tăng cường dữ liệu trong nhận diện khuôn mặt

Tăng cường dữ liệu là một kỹ thuật quan trọng giúp cải thiện độ chính xác của mô hình. Bằng cách tạo ra các biến thể khác nhau của hình ảnh khuôn mặt, mô hình có thể học được nhiều đặc điểm hơn, từ đó nâng cao khả năng nhận diện khi có khẩu trang.

3.2. Trích xuất đặc trưng từ khuôn mặt có khẩu trang

Trích xuất đặc trưng là bước quan trọng trong quá trình nhận diện. Các mô hình hiện đại sử dụng các kỹ thuật như học sâu để trích xuất các đặc trưng quan trọng từ khuôn mặt, ngay cả khi có khẩu trang. Điều này giúp cải thiện độ chính xác và khả năng nhận diện trong các tình huống khó khăn.

IV. Ứng dụng thực tiễn của nhận diện khuôn mặt có khẩu trang

Nhận diện khuôn mặt có khẩu trang đã được áp dụng trong nhiều lĩnh vực khác nhau. Từ an ninh công cộng đến thương mại, công nghệ này đang dần trở thành một phần không thể thiếu trong cuộc sống hàng ngày. Các ứng dụng thực tiễn cho thấy tiềm năng lớn của công nghệ này trong việc cải thiện an ninh và tiện ích cho người dùng.

4.1. Ứng dụng trong an ninh công cộng

Trong lĩnh vực an ninh, nhận diện khuôn mặt có khẩu trang giúp cải thiện khả năng giám sát và bảo vệ. Các hệ thống nhận diện hiện đại có thể phát hiện và theo dõi các đối tượng trong thời gian thực, ngay cả khi họ đang đeo khẩu trang.

4.2. Ứng dụng trong thương mại và dịch vụ

Trong lĩnh vực thương mại, nhận diện khuôn mặt có khẩu trang giúp cải thiện trải nghiệm khách hàng. Các hệ thống có thể nhận diện khách hàng thân thiết và cung cấp dịch vụ cá nhân hóa, từ đó nâng cao sự hài lòng của khách hàng.

V. Kết luận và tương lai của nghiên cứu nhận diện khuôn mặt có khẩu trang

Nghiên cứu về nhận diện khuôn mặt có khẩu trang đang mở ra nhiều cơ hội mới trong lĩnh vực công nghệ thông tin. Với sự phát triển không ngừng của mạng nơron tích chập, khả năng nhận diện khuôn mặt sẽ ngày càng chính xác và hiệu quả hơn. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều giá trị cho xã hội.

5.1. Tương lai của công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt có khẩu trang sẽ tiếp tục phát triển và cải tiến. Các nghiên cứu mới sẽ giúp nâng cao độ chính xác và khả năng tổng quát của các mô hình, từ đó mở rộng ứng dụng trong nhiều lĩnh vực khác nhau.

5.2. Những thách thức cần vượt qua

Mặc dù có nhiều tiến bộ, nhưng vẫn còn nhiều thách thức cần phải giải quyết. Độ chính xác, tốc độ xử lý và khả năng tổng quát của mô hình vẫn là những vấn đề cần được nghiên cứu và cải tiến trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về nhận dạng khuôn mặt. Nội dung chính của chương này là trình bày bài toán nhận dạng khuôn mặt và một số phương pháp nhận dạng khuôn mặt đã và đang được công bố trong các nghiên cứu gần đây. Tổng quan mạng Nơ-ron, mạng Nơ-ron tích chập cùng ứng dụng của chúng trong bài toán nhận dạng khuôn mặt. Đề xuất phương pháp giải quyết bài toán nhận dạng khuôn mặt có đeo khẩu trang dựa trên mạng Nơ- ron tích chập.

3 - Chương 2: Nhận dạng khuôn mặt sử dụng mạng Nơ-ron tích chập. Chương này trình bày cấu trúc của mạng Nơ-ron tích chập trong giải pháp nhận dạng khuôn mặt có đeo khẩu trang. Phân tích về mặt lý thuyết các ưu điểm của mạng Nơ-ron tích chập so với với các kỹ thuật nhận dạng khuôn mặt khác. Trình bày chi tiết các bước triển khai hệ thống nhận dạng khuôn mặt có đeo khẩu trang sử dụng mạng Nơ-ron tích chập.

- Chương 3: Các kết quả thực nghiệm. Nội dung chương 3 trình bày về các tập dữ liệu sử dụng, và các kịch bản thực nghiệm của hệ thống. Các kết quả đạt được, đánh giá và so sánh với các hệ thống nhận dạng khuôn mặt khác. TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT Trong chương này, luận văn sẽ giới thiệu một cách tổng quan về mạng Nơ- ron, mạng Nơ-ron tích chập, cũng như tổng quan về bài toán nhận dạng khuôn mặt.

Phương pháp giải quyết bài toán nhận dạng khuôn mặt có đeo khẩu trang. Một số nghiên cứu liên quan cũng sẽ được đề cập đến trong chương này.1 Tổng quan về bài toán nhận dạng khuôn mặt 1.1 Tổng quan Cùng với sự phát triển không ngừng của công nghệ nhất là trong thời buổi công nghệ 4.0 đang nở rộ, thị giác máy tính đã và đang là một lĩnh vực quan trọng trong cả nghiên cứu lẫn ứng dụng. Thị giác máy tính bao gồm những phương pháp như thu nhận hình ảnh, xử lý, phân tích và hiểu hình ảnh. Kỹ thuật thị giác máy tính cố gắng mô hình hóa một môi trường trực quan phức tạp bằng cách sử dụng phương pháp toán học.

Một trong những ứng dụng lớn của thị giác máy tính là vấn đề giám sát và bảo mật thông tin thông qua việc nhận dạng đối tượng. Trong đó nhận dạng khuôn mặt là một ứng dụng máy tính tự động xác định hoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ thuật số hoặc một khung hình video từ một nguồn video, công nghệ này được sử dụng rộng rãi trong các ứng dụng liên quan đến bảo mật cá nhân hay theo dõi đối tượng. Nhận dạng khuôn mặt là khả năng nhận diện, lưu trữ, so sánh và phân tích các mẫu dựa trên đường nét khuôn mặt để nhận dạng người từ hình ảnh hoặc video. Hệ thống thường sử dụng các công nghệ để thực hiện nhận dạng khuôn mặt như sử dụng sinh trắc học để ánh xạ các đặc điểm khuôn mặt từ ảnh hoặc video.

Hệ thống so sánh thông tin này với một cơ sở dữ liệu đã lưu trữ về các khuôn mặt để tìm ra một kết quả khớp chính xác. Nhận dạng khuôn mặt ngày càng được quan tâm trong nhiều lĩnh vực, như Trung Quốc có hệ thống camera dày đặc sử dụng AI để nhận diện công dân, hay nhiều 5 chuỗi cửa hàng lớn cũng sử dụng nhận dạng khuôn mặt khách hàng thân thiết để phân tích thói quen tiêu dùng. Trên thực tế, công nghệ nhận dạng khuôn mặt đã nhận được sự chú ý đáng kể vì nó có tiềm năng cho một loạt các ứng dụng liên quan đến thực thi pháp luật cũng như các doanh nghiệp khác. Lý do nên áp dụng nhận dạng khuôn mặt? Nhận dạng khuôn mặt giúp giải quyết bài toán nhận dạng cá nhân.

Mỗi cá nhân đều có các đặc trưng khuôn mặt khác nhau. Hơn nữa, trong bối cảnh đại dịch covid hoành hành, cần có một phương pháp quản lý “không chạm”. Vì vậy, bài toán nhận dạng khuôn mặt ngày càng được áp dụng rộng rãi trong các lĩnh vực đời sống khác nhau. Các khó khăn gặp phải khi nhận dạng khuôn mặt.

Có nhiều phương pháp tiếp cận trong bài toán nhận dạng khuôn mặt. Nhưng tựu chung là vấn đề độ chính xác và tốc độ xử lý. Một khuôn mặt trong ở trạng thái lý tưởng là chính diện và không bị che khuất hay thiếu sót các bộ phận trên mặt. Trên thực tế, khuôn mặt khó đạt được tiêu chuẩn như vậy, nhất là thời kỳ covid thì khẩu trang là vật dụng không thể thiếu của mỗi người.

Hơn nữa, khuôn mặt luôn biến đổi theo thời gian nên đòi hỏi thuật toán cần có tính tổng quát hóa thật tốt. Như vậy, vấn đề cần phải giải quyết là tìm ra một phương pháp nhận dạng khuôn mặt ngay cả khi đeo khẩu trang có độ chính xác cao và tốc độ xử lý nhanh. Mục tiêu của đề tài, phương pháp được sử dụng và đóng góp của đề tài. Mục tiêu chính của luận văn là tìm hiểu về phương pháp học sâu và thử nghiệm phương pháp này trong việc xây dựng một giải pháp nhận dạng khuôn mặt có đeo khẩu trang.

Trong khuôn khổ nội dung, luận văn sẽ trình bày về một số phương pháp cũng như các khó khăn hạn chế của các phương pháp này. Trình bày nhiều hơn về một phương pháp mới có tên là học sâu (deep learning) trong xử lý dữ liệu đầu vào. Mà cụ thể là mạng Nơ-ron tích chập - CNN (convolutional neural network). Luận văn sử dụng dữ liệu khuôn mặt đã công bố của các nhóm nghiên cứu.

Sau đó sử dụng mạng CNN để trích xuất đặc trưng khuôn mặt. Dựa vào các đặc trưng này để nhận dạng ra khuôn mặt của chủ thể. Dưới đây là một vài dấu mốc của bài toán nhận dạng khuôn mặt được tổng hợp bởi NEC. 6 Năm 1960, hệ thống bán tự động đầu tiên cho nhận dạng khuôn mặt cần quản trị viên phải xác định được vị trí các điểm cần được đánh dấu (như mắt, tai, mũi và miệng) trên các bức ảnh, sau đó tính toán khoảng cách và tỷ lệ đến một điểm tham chiếu chung, cuối cùng đó được so sánh với dữ liệu để ra kết quả.

Vào những năm 1970, Goldstein, Harmon và Lesk1 sử dụng 21 loại thông tin cụ thể, chẳng hạn như màu tóc và độ dày môi để tự động nhận dạng. Vấn đề với cả hai giải pháp ban đầu này là các phép đo dựa trên vị trí, và cần sự tính toán thủ công của con người để có thể vận hành. Năm 1988, Kirby và Sirovich áp dụng phân tích các thành phần nổi bật, một kỹ thuật đại số tuyến tính tiêu chuẩn vào việc nhận dạng khuôn mặt. Đây được coi là một phần của cột mốc thay đổi vì dưới một trăm giá trị được yêu cầu mã hóa chính xác một hình ảnh khuôn mặt được căn chỉnh và chuẩn hóa phù hợp.

Vào năm 1991, Turk và Pentland phát hiện ra rằng trong khi sử dụng kỹ thuật thành phần riêng, lỗi dư (residual error) có thể được sử dụng để phát hiện khuôn mặt trong hình ảnh - một khám phá có thể tạo ra được một hệ thống nhận diện khuôn mặt tự động, thời gian thực và đáng tin cậy. Mặc dù cách tiếp cận có phần bị hạn chế bởi các yếu tố máy móc của giai đoạn đó, nhưng nó đã tạo ra sự quan tâm đáng kể trong việc phát triển công nghệ nhận dạng khuôn mặt tự động. Công nghệ đầu tiên đã thu hút được sự chú ý rất lớn của truyền thông khi triển khai thử nghiệm tại Super Bowl tháng 1 năm 2001, trong đó ghi lại hình ảnh từ camera giám sát và so sánh chúng với một cơ sở dữ liệu kỹ thuật số. Sau sự kiện này, đã có các phân tích về tính cần thiết của việc sử dụng công nghệ để hỗ trợ nhu cầu quốc gia, trong khi vẫn quan tâm đến các mối quan tâm xã hội và quyền riêng tư của cộng đồng.

Ngày nay, công nghệ nhận dạng khuôn mặt đang được sử dụng để chống lại gian lận hộ chiếu, hỗ trợ thực thi pháp luật, xác định trẻ em mất tích, và giảm thiểu gian lận danh tính. 7 Một hệ thống nhận diện khuôn mặt gồm nhiều khâu, các khâu chính để từ đó có thể xây dựng nên một hệ thống nhận diện khuôn mặt hoàn chỉnh. Các pha chính được minh họa như hình dưới đây. Hình 1-1: Các bước chính trong hệ thống nhận diện khuôn mặt Xác định vị trí khuôn mặt: Là bước đầu tiên trong hệ thống, có nhiệm vụ là xác định vị trí khuôn mặt trong ảnh.

Đầu vào là một bức ảnh, đầu ra sẽ trả ra tạo độ khuôn mặt trong ảnh (face localization), nếu như ảnh đầu vào khuôn mặt thì hệ thống sẽ đưa ra cảnh báo không có khuôn mặt trong ảnh. Căn chỉnh lại khuôn mặt: Sau khi đã phát hiện và xác định được vị trí khuôn mặt, vùng khuôn mặt được tách ra từ ảnh có thể chứa khuôn mặt với các hướng khác nhau. Vì thế việc căn chỉnh lại khuôn mặt giúp quy chuẩn dữ liệu đầu vào để nâng cao độ chính xác khi nhận diện khuôn mặt. Trích xuất đặc trưng: Ảnh khuôn mặt sau khi được căn chỉnh sẽ được đi qua một bộ trích chọn đặc trưng mà đầu ra ở đây là một vector biểu thị cho khuôn mặt.

Các mô hình trích chọn đặc trưng cũng rất đa dạng. Tìm kiếm đặc trưng trong cơ sở dữ liệu khuôn mặt: Cơ sở dữ liệu khuôn mặt lưu các khuôn mặt dưới dạng vector. Để nhận diện khuôn mặt ứng với vector đặc trưng thu được thì cần tìm kiếm trong Database xem vector đặc trưng này đang có độ tương đồng cao nhất với vector nào trong cơ sở dữ liệu (ví dụ sử dụng độ đo cosine để đo khoảng cách giữa hai vector). Từ đó đánh giá và đưa ra id của khuôn mặt đó.

Bài toán nhận diện khuôn mặt hiện nay vẫn đang được các nhóm nghiên cứu trên thế giới hết sức quan tâm. Các nhóm phần lớn tập chung vào khâu trích xuất đặc 8 trưng khuôn mặt, vì dựa vào đặc trưng này thì việc nhận diện ra khuôn mặt của chủ thể gần như sẽ được giải quyết. Sau đây, tác giả sẽ trình bày tóm tắt các nghiên cứu liên quan đến bài toán nhận diện khuôn mặt.2 Các nghiên cứu có liên quan a. Phương pháp sử dụng đặc trưng cứng (handcrafted) Sử dụng các đặc trưng handcrafted trong nhận diện khuôn mặt [1] được giới thiệu vào năm 2013 bởi sự hợp tác của nhóm nghiên cứu thuộc Đại học ở Trung Quốc kết hợp với Microsoft.

Nhóm tác giả sử dụng các đặc trưng cứng (LE [2], LBP [3], SIFT [4] , HOG [5], Gabor [6]) và phương pháp giảm chiều dữ liệu PCA [7] trong nhận dạng khuôn mặt.