Luận văn thạc sĩ về ứng dụng công nghệ nhận diện khuôn mặt trong giám sát an ninh

Luận văn thạc sĩ kỹ thuật nghiên cứu máy tính ứng dụng công nghệ nhận diện khuôn mặt trong giám sát an ninh, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải

• Tác giả: Nguyễn Thanh Trông
• Người hướng dẫn: PGS. Thoại Nam
• Trường học: Đại học Bách Khoa - ĐHQG TP. HCM
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Ứng Dụng Công Nghệ Nhận Diện Khuôn Mặt Trong Giám Sát An Ninh
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Các tác vụ xử lý ảnh khuôn mặt
• 1.2. Giới thiệu về học sâu
• 1.3. Ứng dụng học sâu vào face recognition
• 1.3.1. Ứng dụng học sâu vào face detection
• 1.3.2. Ứng dụng học sâu vào face identification
• 1.3.3. Ứng dụng học sâu biến đổi ảnh khuôn mặt thành embedding vector trong không gian Euclidean
• 1.3.4. Ứng dụng học sâu biến đổi ảnh khuôn mặt thành embedding vector trong không gian góc
• 1.4. Các phương pháp làm giàu dữ liệu – Data augmentation
• 1.5. Kỹ thuật tối ưu lưu trữ và tìm kiếm embedding vector
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 3. CHƯƠNG 3: PHÂN TÍCH YÊU CẦU
• 4. CHƯƠNG 4: PHƯƠNG PHÁP ĐỀ XUẤT
• 4.1. Mô hình kết hợp hai phương pháp ASE và ISE
• 4.2. ISE – Interpolated Sample Enhancement
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ KẾT QUẢ
• 5.1. Xây dựng kịch bản
• 5.2. Thông số đo hiệu năng
• 5.3. Xây dựng ISE
• 5.4. Kết quả thực nghiệm và đánh giá
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. Kết quả đạt được
• 6.2. Hướng phát triển
• Danh mục công trình đã công bố
• Tài liệu tham khảo

Tóm tắt

I. Giới thiệu

Công nghệ nhận diện khuôn mặt đã trở thành một phần quan trọng trong giám sát an ninh hiện đại. Với sự phát triển của công nghệ AI, việc ứng dụng công nghệ nhận diện khuôn mặt vào các hệ thống giám sát an ninh đã mở ra nhiều cơ hội mới. Hệ thống này không chỉ giúp nhận diện người trong thời gian thực mà còn hỗ trợ trong việc phát hiện các hành vi đáng ngờ. Theo nghiên cứu, công nghệ nhận diện khuôn mặt có thể đạt độ chính xác cao, lên đến 99% trong một số trường hợp. Điều này cho thấy giá trị thực tiễn của công nghệ này trong việc bảo vệ an ninh công cộng và quản lý an ninh tại các khu vực nhạy cảm.

1.1 Tầm quan trọng của công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt không chỉ giúp xác định danh tính của người dùng mà còn có thể được sử dụng để theo dõi và giám sát các hoạt động trong không gian công cộng. Hệ thống giám sát an ninh sử dụng công nghệ video và công nghệ AI để phân tích hình ảnh và phát hiện các hành vi bất thường. Việc tích hợp công nghệ nhận diện khuôn mặt vào các hệ thống an ninh công cộng đã giúp nâng cao hiệu quả trong việc phát hiện tội phạm và bảo vệ an toàn cho cộng đồng.

II. Cơ sở lý thuyết

Để hiểu rõ hơn về công nghệ nhận diện khuôn mặt, cần nắm vững các khái niệm cơ bản liên quan đến hệ thống an ninh và các phương pháp xử lý hình ảnh. Phân tích hình ảnh là một phần quan trọng trong việc nhận diện khuôn mặt, bao gồm các bước như phát hiện khuôn mặt, xác thực và nhận diện. Các mô hình học sâu như CNN (Mạng nơ-ron tích chập) đã được áp dụng để cải thiện độ chính xác của các hệ thống này. Việc sử dụng công nghệ AI trong nhận diện khuôn mặt đã giúp tăng cường khả năng nhận diện trong các điều kiện ánh sáng khác nhau và với các góc nhìn khác nhau.

2.1 Các phương pháp nhận diện khuôn mặt

Có nhiều phương pháp khác nhau để thực hiện nhận diện khuôn mặt, bao gồm phát hiện khuôn mặt và xác thực khuôn mặt. Các phương pháp này thường sử dụng các thuật toán học sâu để phân tích và nhận diện khuôn mặt từ hình ảnh. Việc áp dụng các kỹ thuật như tăng cường mẫu giúp cải thiện hiệu suất của hệ thống, đặc biệt trong các tình huống thực tế nơi mà dữ liệu mẫu có thể bị hạn chế. Các nghiên cứu đã chỉ ra rằng việc sử dụng các phương pháp như ISE (Interpolated Sample Enhancement) có thể nâng cao hiệu quả nhận diện từ 72% lên 84% trong điều kiện ánh sáng ban ngày.

III. Ứng dụng thực tiễn

Việc ứng dụng công nghệ nhận diện khuôn mặt trong giám sát an ninh đã được triển khai tại nhiều địa điểm, từ các trung tâm thương mại đến các khu vực công cộng. Hệ thống này không chỉ giúp nhận diện người mà còn có khả năng phát hiện các hành vi đáng ngờ. Các công ty như Baidu và Alipay đã áp dụng công nghệ này để cải thiện dịch vụ và bảo mật. Tại Việt Nam, công nghệ nhận diện khuôn mặt đang được áp dụng tại các trung tâm dịch vụ như Ký túc xá Bách Khoa, cho thấy sự phát triển mạnh mẽ của công nghệ này trong việc bảo vệ an ninh.

3.1 Lợi ích của công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt mang lại nhiều lợi ích cho hệ thống an ninh. Nó giúp giảm thiểu thời gian và chi phí trong việc xác thực danh tính, đồng thời nâng cao độ chính xác trong việc phát hiện tội phạm. Hệ thống này có thể hoạt động liên tục, cung cấp thông tin thời gian thực cho các cơ quan chức năng. Việc tích hợp công nghệ video và công nghệ AI vào các hệ thống giám sát đã tạo ra một bước tiến lớn trong việc bảo vệ an ninh công cộng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp 4.0, công nghệ nhận diện khuôn mặt dựa trên trí tuệ nhân tạo (AI) đã trở thành một trong những giải pháp tiên tiến nhất trong lĩnh vực giám sát an ninh. Theo báo cáo của ngành, hệ thống giám sát video (CCTV) được trang bị công nghệ nhận diện khuôn mặt ngày càng phổ biến tại các khu vực công cộng và cơ sở lưu trú, góp phần nâng cao hiệu quả quản lý và an ninh. Tuy nhiên, việc ứng dụng công nghệ này vẫn gặp nhiều thách thức do điều kiện ánh sáng thay đổi, góc chụp đa dạng, khuôn mặt bị che khuất (ví dụ như đeo khẩu trang), và đặc biệt là thiếu dữ liệu ảnh mẫu đa dạng cho mỗi cá nhân.

Luận văn tập trung nghiên cứu và phát triển mô hình nhận diện khuôn mặt tích hợp công nghệ học sâu nhằm nâng cao hiệu quả giám sát an ninh tại Trung tâm dịch vụ Ký túc xá Bách Khoa, TP. Hồ Chí Minh. Mục tiêu chính là xây dựng hệ thống xác thực tự động khi sinh viên vào cổng, kết hợp dữ liệu hình ảnh từ hệ thống CCTV và thẻ RFID, đồng thời đề xuất các phương pháp tăng cường dữ liệu mẫu nhằm cải thiện độ chính xác nhận diện. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 9/2020 đến tháng 6/2021, với phạm vi triển khai thực tế tại khuôn viên ký túc xá.

Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao tỷ lệ nhận diện chính xác từ khoảng 50%-70% lên đến 84% trong điều kiện ban ngày và 64% trong điều kiện ban đêm, góp phần giảm thiểu sai sót trong kiểm soát ra vào, tăng cường an ninh và giảm tải công việc cho nhân viên bảo vệ. Kết quả này cũng mở ra hướng phát triển ứng dụng công nghệ nhận diện khuôn mặt trong các hệ thống giám sát an ninh tương tự tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng các lý thuyết và mô hình học sâu trong lĩnh vực nhận diện khuôn mặt, bao gồm:

• Mạng nơ-ron tích chập (CNN): Là kiến trúc chủ đạo trong việc trích xuất đặc trưng khuôn mặt từ ảnh, giúp mô hình học được các đặc điểm phân biệt giữa các cá nhân.
• Mô hình RetinaFace: Được sử dụng cho tác vụ phát hiện khuôn mặt (face detection), kết hợp đa tác vụ như xác định bounding box, facial landmarks và dựng hình 3D khuôn mặt, giúp tăng độ chính xác và hiệu quả xử lý.
• Mô hình kết hợp SphereFace, CosFace và ArcFace: Áp dụng cho tác vụ nhận diện khuôn mặt (face identification) bằng cách biến đổi ảnh khuôn mặt thành embedding vector trong không gian góc, sử dụng các hàm loss đặc biệt để tăng khả năng phân biệt giữa các cá nhân.
• Phương pháp tăng cường dữ liệu (Data Augmentation): Bao gồm Actual Sample Enhancement (ASE) và Interpolated Sample Enhancement (ISE), nhằm làm giàu dữ liệu ảnh mẫu để cải thiện hiệu năng mô hình trong điều kiện dữ liệu hạn chế.
• Thuật toán Kalman Filter: Ứng dụng trong việc theo dõi khuôn mặt qua các khung hình liên tiếp, giúp giảm thiểu sai số và tăng độ ổn định của hệ thống nhận diện theo thời gian thực.
• Cấu trúc dữ liệu đồ thị k-NN và thư viện Vearch: Tối ưu hóa việc lưu trữ và tìm kiếm embedding vector trong cơ sở dữ liệu lớn, đảm bảo tốc độ xử lý nhanh và hiệu quả.

Phương pháp nghiên cứu

Nghiên cứu sử dụng dữ liệu thực tế thu thập từ hệ thống CCTV tại Trung tâm dịch vụ Ký túc xá Bách Khoa với tổng số 173 camera, phục vụ cho hơn 2.400 sinh viên. Cỡ mẫu bao gồm ảnh đại diện ban đầu của sinh viên và ảnh khuôn mặt thực tế được thu thập tự động trong quá trình sinh viên ra vào cổng.

Phương pháp chọn mẫu là lấy toàn bộ ảnh khuôn mặt sinh viên được ghi nhận trong khoảng thời gian nghiên cứu, kết hợp với ảnh đại diện thẻ RFID. Phân tích dữ liệu sử dụng các mô hình học sâu đã được huấn luyện trên tập dữ liệu benchmark và tinh chỉnh trên dữ liệu thực tế của KTX.

Quá trình nghiên cứu được chia thành các giai đoạn: khảo sát và phân tích yêu cầu, xây dựng mô hình kết hợp ASE và ISE, triển khai hệ thống tích hợp với phần mềm RFID, thực nghiệm và đánh giá hiệu năng trong điều kiện ban ngày và ban đêm. Phương pháp phân tích bao gồm đo lường tỷ lệ true acceptance rate (TAR), false acceptance rate (FAR), và so sánh hiệu năng trước và sau khi áp dụng các phương pháp tăng cường dữ liệu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình kết hợp ASE và ISE: Việc áp dụng phương pháp tăng cường mẫu nội suy (ISE) cùng với tăng cường mẫu thực tế (ASE) đã nâng tỷ lệ nhận diện chính xác khuôn mặt từ 72% lên 84% trong điều kiện ban ngày, và từ 46% lên 64% trong điều kiện ban đêm. Đây là bước tiến đáng kể so với hệ thống chỉ sử dụng ảnh đại diện ban đầu.

2. Ảnh thực tế đa dạng giúp cải thiện độ chính xác: Khi số lượng ảnh thực tế của sinh viên tăng lên khoảng 100 ảnh mỗi người, tỷ lệ xác thực hợp lệ tăng từ 50%-70% lên 68%-84%, cho thấy việc làm giàu dữ liệu ảnh thực tế là yếu tố then chốt nâng cao hiệu năng.

3. Tác động của điều kiện ánh sáng và góc chụp: Hệ thống nhận diện khuôn mặt hoạt động hiệu quả hơn trong điều kiện ánh sáng đủ và góc mặt không quá nghiêng, với độ chính xác trên 99%. Tuy nhiên, trong điều kiện ánh sáng yếu hoặc khuôn mặt bị che khuất (ví dụ đeo khẩu trang), độ chính xác giảm xuống còn khoảng 90%.

4. Tối ưu hóa tìm kiếm embedding vector: Việc sử dụng cấu trúc dữ liệu đồ thị k-NN và thư viện Vearch giúp hệ thống xử lý đồng thời 4 camera với tốc độ 4 khung hình/giây trên máy tính trang bị CPU 12 nhân, RAM 64GB và GPU Nvidia GTX 1080 Ti, đảm bảo khả năng vận hành theo thời gian thực.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu năng nhận diện chưa cao khi chỉ sử dụng ảnh đại diện là do sự khác biệt lớn giữa ảnh mẫu và ảnh thực tế về góc chụp, ánh sáng và các yếu tố che khuất. Việc áp dụng mô hình học sâu tiên tiến như ArcFace đã giúp trích xuất đặc trưng khuôn mặt hiệu quả, nhưng vẫn cần dữ liệu mẫu đa dạng để mô hình hoạt động tối ưu.

So sánh với các nghiên cứu quốc tế, kết quả đạt được tại KTX tương đương hoặc vượt trội trong điều kiện thực tế phức tạp, đặc biệt khi kết hợp các phương pháp tăng cường dữ liệu. Việc sử dụng ISE để nội suy các mẫu mới từ ảnh ban đầu giúp tăng tốc quá trình thu thập dữ liệu, giảm thời gian chờ đợi để có đủ ảnh thực tế, từ đó cải thiện hiệu năng nhận diện nhanh chóng.

Dữ liệu có thể được trình bày qua biểu đồ so sánh tỷ lệ nhận diện trước và sau khi áp dụng ASE và ISE, cũng như bảng thống kê hiệu năng theo điều kiện ánh sáng ban ngày và ban đêm, giúp minh họa rõ ràng sự cải thiện của hệ thống.

Đề xuất và khuyến nghị

1. Triển khai rộng rãi mô hình kết hợp ASE và ISE: Khuyến nghị các đơn vị quản lý ký túc xá và các khu vực giám sát an ninh áp dụng mô hình này để nâng cao độ chính xác nhận diện khuôn mặt, đặc biệt trong môi trường có điều kiện ánh sáng và góc chụp đa dạng. Thời gian triển khai dự kiến trong vòng 6 tháng.

2. Tăng cường thu thập ảnh thực tế tự động: Hệ thống nên được thiết kế để tự động thu thập và cập nhật ảnh khuôn mặt thực tế của người dùng trong quá trình sử dụng, nhằm làm giàu dữ liệu mẫu và cải thiện hiệu năng nhận diện theo thời gian. Chủ thể thực hiện là đội ngũ kỹ thuật vận hành hệ thống.

3. Nâng cấp phần cứng và tối ưu phần mềm: Đầu tư nâng cấp máy chủ xử lý với GPU mạnh mẽ và sử dụng các thư viện tối ưu như Vearch để đảm bảo hệ thống hoạt động ổn định, xử lý đa camera với tốc độ cao, đáp ứng yêu cầu giám sát theo thời gian thực. Thời gian thực hiện trong 3 tháng.

4. Đào tạo nhân viên và nâng cao nhận thức người dùng: Tổ chức các khóa đào tạo cho nhân viên bảo vệ và quản lý về cách vận hành hệ thống nhận diện khuôn mặt, đồng thời tuyên truyền cho sinh viên về lợi ích và quy trình xác thực không tương tác để đảm bảo sự hợp tác và hiệu quả của hệ thống.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về ứng dụng học sâu trong nhận diện khuôn mặt, các mô hình tiên tiến và kỹ thuật tăng cường dữ liệu, phù hợp cho nghiên cứu và phát triển đề tài liên quan.

2. Các đơn vị quản lý ký túc xá, trường đại học và khu lưu trú: Tham khảo để áp dụng công nghệ nhận diện khuôn mặt trong kiểm soát ra vào, nâng cao an ninh và quản lý hiệu quả, đặc biệt trong môi trường có số lượng người lớn và biến động cao.

3. Doanh nghiệp phát triển hệ thống giám sát an ninh và công nghệ sinh trắc học: Tài liệu hữu ích để phát triển sản phẩm tích hợp công nghệ nhận diện khuôn mặt, tối ưu hóa hiệu năng và giải quyết các vấn đề thực tế như thiếu dữ liệu mẫu và điều kiện môi trường phức tạp.

4. Cơ quan quản lý nhà nước và các tổ chức an ninh: Có thể ứng dụng kết quả nghiên cứu để xây dựng các chính sách, quy chuẩn kỹ thuật và hướng dẫn triển khai hệ thống giám sát an ninh hiện đại, đảm bảo an toàn xã hội.

Câu hỏi thường gặp

1. Công nghệ nhận diện khuôn mặt có thể hoạt động chính xác trong điều kiện ánh sáng yếu không?
   Hệ thống được cải tiến với phương pháp tăng cường dữ liệu và mô hình học sâu tiên tiến giúp nâng tỷ lệ nhận diện chính xác lên 64% trong điều kiện ban đêm, tuy nhiên vẫn cần bổ sung thêm ảnh thực tế để cải thiện hơn nữa.

2. Làm thế nào để hệ thống xử lý khi chỉ có một ảnh đại diện ban đầu cho mỗi người?
   Luận văn đề xuất phương pháp Interpolated Sample Enhancement (ISE) để nội suy tạo ra nhiều mẫu ảnh mới từ ảnh đại diện ban đầu, giúp mô hình học sâu có thêm dữ liệu đa dạng để nhận diện chính xác hơn.

3. Hệ thống có thể xử lý bao nhiêu camera cùng lúc?
   Với cấu hình máy tính trang bị CPU 12 nhân, RAM 64GB và GPU Nvidia GTX 1080 Ti, hệ thống có thể xử lý đồng thời 4 camera với tốc độ 4 khung hình/giây mỗi camera, đảm bảo giám sát theo thời gian thực.

4. Phương pháp tăng cường dữ liệu có ảnh hưởng đến tốc độ xử lý không?
   Việc tăng cường dữ liệu chủ yếu thực hiện trong giai đoạn huấn luyện và cập nhật mẫu, không ảnh hưởng đáng kể đến tốc độ xử lý thời gian thực của hệ thống khi nhận diện.

5. Hệ thống có thể áp dụng cho các môi trường khác ngoài ký túc xá không?
   Các phương pháp và mô hình được nghiên cứu có tính tổng quát cao, có thể áp dụng cho nhiều môi trường giám sát an ninh khác như sân bay, trung tâm thương mại, hoặc các khu vực công cộng khác.

Kết luận

• Luận văn đã phát triển thành công mô hình kết hợp Actual Sample Enhancement (ASE) và Interpolated Sample Enhancement (ISE) nhằm tăng cường dữ liệu ảnh khuôn mặt, nâng cao hiệu năng nhận diện trong hệ thống giám sát an ninh tại Ký túc xá Bách Khoa.
• Hệ thống tích hợp công nghệ học sâu với mô hình RetinaFace, ArcFace và thư viện Vearch cho phép xử lý theo thời gian thực với độ chính xác cải thiện rõ rệt, đạt 84% trong ban ngày và 64% ban đêm.
• Phương pháp tăng cường dữ liệu giúp giải quyết bài toán one-shot learning, giảm thiểu thời gian thu thập ảnh thực tế và tăng độ ổn định của hệ thống trong điều kiện thực tế đa dạng.
• Nghiên cứu mở ra hướng phát triển ứng dụng công nghệ nhận diện khuôn mặt trong các hệ thống giám sát an ninh tại Việt Nam, góp phần nâng cao an toàn và hiệu quả quản lý.
• Các bước tiếp theo bao gồm mở rộng triển khai hệ thống, nâng cấp phần cứng, và đào tạo nhân sự để đảm bảo vận hành ổn định và hiệu quả lâu dài.

Quý độc giả và các đơn vị quan tâm được khuyến khích áp dụng và phát triển thêm dựa trên kết quả nghiên cứu này nhằm nâng cao chất lượng giám sát an ninh trong thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU Nhân loại đang bước vào cuộc cách mạng công nghiệp lần thứ tư, ngày càng nhiều công nghệ kỹ thuật số được ứng dụng vào khắp các lĩnh vực của đời sống xã hội. Tiêu biểu nhất phải kể đến công nghệ nhận diện khuôn mặt bằng trí tuệ nhân tạo. Công nghệ này có khả năng nhận diện một người mà được định danh từ trước thông qua hình ảnh kỹ thuật số hoặc khung hình trong video.

Công nghệ nhân diện khuôn mặt là công nghệ nhận diện đối tượng dựa trên sinh trắc học mà ít tác động đến người dùng nhất và là công nghệ sinh trắc học hiệu quả nhất. Công nghệ này có thể ứng dụng vào rất nhiều hệ thống để giải quyết các vấn đề khác nhau như mở khoá điện thoại di động thông minh; hệ thống điểm danh, chấm công bằng khuôn mặt; xác thực cổng cửa (access control) bằng khuôn mặt; giám sát an ninh, phát hiện đối tượng trong danh sách đen bằng khuôn mặt; nhận diện khách hàng trong hệ thống loyalty bằng khuôn mặt hay phân tích khách hàng bằng khuôn mặt, v. Bài toán nhận diện khuôn mặt là bài toán kinh điển trong lĩnh vực xử lý ảnh và được nghiên cứu từ rất lâu. Đến những năm đầu thập niên 90 của thế kỉ trước, những nghiên cứu về nhận diện khuôn mặt đã dần trở nên phổ biến hơn và là thách thức lớn đối với các nhà khoa học [1].

Mãi sau này, với sự ra đời của mạng nơ-ron nhân tạo, mô hình học sâu và sự phát triển của phần cứng với khả năng xử lý mạnh mẽ, rất phù hợp và tăng hiệu năng của mô hình học sâu như GPU, bài toán nhận diện khuôn mặt đã đạt được độ chính xác trên 99% ở các tập dữ liệu thử nghiệm. Nghiên cứu [2] đã chỉ ra nhiều ứng dụng của học sâu trong các bài toán cụ thể của thành phố thông minh như phát hiện đối tượng, truy vết đối tượng, phân loại ảnh, nhận diện khuôn mặt. Ngày nay, việc nghiên cứu và ứng dụng công nghệ nhận diện khuôn mặt đang trở thành xu thế và rất phổ biến ở các công ty, tập đoàn lớn tại các nước trên thế giới, tiêu biểu như: 1 • Năm 2017, Baidu – công ty cung cấp dịch vụ tìm kiếm dữ liệu trên Internet lớn nhất Trung Quốc, đã thử nghiệm thành công hệ thống nhận diện khuôn mặt của họ tại sân bay Bắc Kinh. Nghiên cứu “Targeting ultimate accuracy: Face recognition via deep embedding” về nhận diện khuôn mặt của họ được đánh giá rất cao, có khả năng nhận diện tốt hơn cả người thực trong một số trường hợp với độ chính xác lên đến 99.

• Alipay – một ví điện tử tại Trung Quốc do tập đoàn Alibaba Group sở hữu và phát triển đã cung cấp thiết bị xác thực khi thanh toán mang tên Dragonfly dùng để thay thế những máy POS truyền thống. Thiết bị này kết hợp sử dụng camera 3D và giải thuật học sâu để nâng cao độ chính xác khi nhận diện khuôn mặt và tiến hành xác thực với hệ thống. Nhờ công nghệ này, nhiều cửa hàng đã tiết kiệm được thời gian để xử lí đơn hàng cho khách bằng việc thực hiện quá trình thanh toán với tốc độ nhanh hơn1. • Gần đây, vào đầu năm 2018, Nvidia công bố chương trình hợp tác cùng với AnyVision để phát triển công nghệ nhận diện khuôn mặt cho các dự án thành phố thông minh trên thế giới2.

Dự án hợp tác nhằm mục tiêu tích hợp công cụ nhận diện khuôn mặt vào các hệ thống CCTV dùng để theo dõi tội phạm. Với công nghệ này, AnyVision nhận định rằng nó giúp cho các camera có thể quét khuôn mặt liên tục 24/7, tự động xác định và theo dấu đối tượng trong đám đông với độ chính xác đạt đến 99%. Nó còn hỗ trợ để người giám sát có thể so sánh những khuôn mặt được quét với hình ảnh những tên tội phạm, khủng bố có trong cơ sở dữ liệu. • FacePRO là hệ thống nhận diện khuôn mặt sử dụng kỹ thuật học sâu của Panasonic và được phát triển bởi Đại học quốc gia Singapore (NUS)3.

Hệ thống có thể hoạt động tốt với những trường hợp mặt khuôn mặt bị nghiên 1 http://www.cn/a/201812/14/WS5c12f272a310eff303290f11.html 2 https://mashable.com/2018/02/15/nvidia-developing-facial-recognition-cameras/ 3 https://www.com/technologies/facepro 2 sang trái hoặc phải đến 45 độ, bị che bởi mắt kính, hoặc khuôn mặt bị thay đổi bởi độ tuổi. Hệ thống có khả năng xử lý rất ấn tượng với tối đa 30000 khuôn mặt trong thời gian 1 giây. Tại Việt Nam, nhu cầu ứng dụng công nghệ nhận diện khuôn mặt vào các vấn đề khác nhau đang tăng nhanh, đặc biệt là vấn đế giám sát an ninh. Rất nhiều công ty, cơ quan, tổ chức muốn trang bị hệ thống tích hợp công nghệ nhận diện khuôn mặt vì những ưu điểm của nó.

Cũng xuất phát từ nhu cầu thực tiễn, năm 2019, đề tài cấp Sở KH&CN Tp. Hồ Chí Minh về “Ứng dụng công nghệ trí tuệ nhân tạo trong bài toán giám sát an ninh tại Trung tâm dịch vụ Ký túc xá Bách Khoa – Trường Đại học Bách Khoa, ĐHQG TP. Hồ Chí Minh” do TS. Dương Ngọc Hiếu đã được tiến hành nghiên cứu và triển khai.

Luận văn này căn cứ từ một vấn đề thực tiễn phát sinh trong quá trình triển khai đề tài.1 Các tác vụ xử lý ảnh khuôn mặt Face detection (tạm dịch: Phát hiện khuôn mặt) là tác vụ phát hiện khuôn mặt người trong hình ảnh hoặc video và phân biệt được hình ảnh các khuôn mặt này với hình ảnh của các đối tượng khác trong ảnh. Tác vụ này thường được sử dụng để xác định chính xác vị trí hình ảnh khuôn mặt người trong ảnh có kích thước to hơn hoặc video, sau đó ảnh khuôn mặt sẽ được cắt (crop) và sử dụng cho các tác vụ xử lý ảnh khuôn mặt khác.1 thể hiện tác vụ face detection bằng mô hình học sâu RetinaFace [4]. Mỗi khuôn mặt trong ảnh được xác định bằng hình chữ nhật màu vàng bao quanh khuôn mặt. Hình chữ nhật này thường được gọi là bounding box.

Ngoài ra trên mỗi khuôn mặt còn năm điểm màu xanh lá đánh dấu năm vị trí trên khuôn mặt gồm hai mắt, mũi và mép trái, mép phải của miệng. Năm điểm này thường được gọi là facial lankmark.1: Face detection bằng mô hình học sâu RetinaFace [4] 4 Face verification (tạm dịch: Xác nhận khuôn mặt) là tác vụ so sánh ảnh khuôn mặt xem hình ảnh khuôn mặt này có phù hợp với ảnh khuôn mặt khác không hay nói cách khác là kiểm tra các ảnh khuôn mặt này và ảnh khuôn mặt kia có phải của cùng một người hay không. Đây là một ánh xạ một một, xác định hình ảnh khuôn mặt của một người cần kiểm tra xem có thật sự là họ không. Face identification (tạm dịch: Xác định khuôn mặt) là tác vụ xác định ảnh khuôn mặt xem có phải của cùng một người với ảnh khuôn mặt có trong cơ sở dữ liệu không.

Đây là ánh xạ một nhiều, tìm kiếm ảnh khuôn mặt của một người để biết họ là ai trong cơ sở dữ liệu khuôn mặt.2: Minh hoạ tác vụ face recognition1 Face recognition (Nhận diện khuôn mặt) là tác vụ xác định người mà có ảnh khuôn mặt xuất hiện trong hình ảnh hoặc video là ai bằng cách tìm kiếm trong cơ sở dữ liệu khuôn mặt. Tác vụ này khởi đầu với tác vụ face detection để xác định chính xác ảnh khuôn mặt người trong frame ảnh. Sau đó hình ảnh khuôn mặt người được xác định là của ai bằng cách thực hiện tác vụ face identification để tìm kiếm trong cơ sở dữ liệu khuôn mặt.2 minh hoạ tác vụ face recognition.com/deepinsight/insightface 5 2.2 Giới thiệu về học sâu Máy học – Machine learning là một nhánh trong lĩnh vực Trí tuệ nhân tạo – Artificial intelligence (AI) mà tập trung vào xây dựng các mô hình có khả năng học quy luật phân bố dữ liệu được cung cấp để giải quyết những bài toán cụ thể. Ngày nay, ứng dụng của Máy học vào các lĩnh vực nghiên cứu, đời sống, xã hội ngày càng đa dạng, phổ biến bao gồm phiên dịch tự động, nhận dạng tiếng nói, nhận dạng chữ viết, biển số xe, khuôn mặt, v.

Học sâu – Deep learning là một nhánh của Máy học, tập trung giải quyết vấn đề bằng phương pháp huấn luyện mạng nơ-ron nhân tạo – Artificial neural network (ANN) gồm rất nhiều lớp, có thể đến hàng chục, hàng trăm triệu tham số. Mạng neural học sâu đã được đề xuất từ những thập niên 90 của thế kỉ trước bởi nhà khoa học máy tính Yann LeCun [5]. Tuy nhiên, vì sự hạn chế của công nghệ thời điểm đó, kỹ thuật này vẫn chưa thể phát huy được sức mạnh cũng như chứng minh tiềm năng của nó. Mãi đến những năm 2010-2012, nhờ tận dụng khả năng tính toán song song cực kì hiệu quả của bộ xử lý hình ảnh – Graphics processing unit (GPU), nhiều nhà nghiên cứu mới thật sự chứng minh được sức mạnh của học sâu nhờ xây dựng các mô hình Convolutional neural network (CNN) lớn mà nổi bật nhất là kiến trúc AlexNet [6] với hơn 60 triệu tham số.

Hiện nay, nhờ sự tiến bộ của phần cứng máy tính, các mô hình học sâu ngày càng được nghiên cứu nhiều hơn, ứng dụng vào thực tiễn, phổ biến và hiệu quả hơn. Tuy nhiên, để mô hình học sâu hoạt động hiệu quả nhất không chỉ cần phần cứng mạnh mẽ mà còn nhờ vào lượng dữ liệu huấn luyện đủ lớn, đủ thông tin và đa dạng.3 Ứng dụng học sâu vào face recognition Các mô hình học sâu có thể ứng dụng vào rất nhiều ngành, lĩnh vực để giải quyết các bài toán khác nhau. Trong lĩnh vực khoa học máy tính nói chung và bài toán nhận diện khuôn mặt nói riêng, việc ứng dụng học sâu mang lại hiệu năng cao hơn hẳn các kỹ thuật xử lý ảnh truyền thống. Tác vụ face recognition gồm hai tác vụ nhỏ hơn là face detection và face identification.

Ứng dụng học sâu vào face recognition có thể ứng dụng vào cả hai tác vụ nhỏ này.1 Ứng dụng học sâu vào face detection Cùng với sự bùng nổ của face recognition thì độ chính xác và hiệu quả về chi phí và thời gian xử lý của việc phát hiện, xác định vị trí khuôn mặt trong ảnh vẫn là một thách thức lớn. Việc tự động định vị khuôn mặt trong ảnh là bước tiền xử lý cho hầu hết các tác vụ xử lý hình ảnh liên quan khuôn mặt, tiêu biểu là face recognition. Quy trình áp dụng thường là: 1. Xác định tất cả khuôn mặt có trong hình ảnh.

Cắt (crop) thành nhiều ảnh, mỗi ảnh chỉ chứa đúng một khuôn mặt. Hình ảnh khuôn mặt được cắt để tiến hành nhận diện.