Luận Văn Thạc Sĩ Khoa Học Máy Tính: Ứng Dụng Deep Learning Trong Nhận Diện Khuôn Mặt

Luận văn thạc sĩ khoa học máy tính tập trung vào ứng dụng deep learning trong nhận diện khuôn mặt, phân tích kỹ thuật và hiệu quả thực tiễn.

• Tác giả: Nguyễn Hoàng Minh
• Người hướng dẫn: Lê Thành Sách
• Trường học: Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nhận diện khuôn mặt bằng Deep Learning
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT
• LỜI CAM ĐOAN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• DANH MỤC CÁC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Mục tiêu đề tài
• 1.2. Ý nghĩa thực tiễn
• 1.3. Ý nghĩa khoa học
• 1.4. Phạm vi đề tài
• 1.5. Bố cục luận văn
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Tổng quan các hướng nghiên cứu về bài toán nhận diện khuôn mặt
• 2.2. Tổng quan các phương pháp về phát hiện khuôn mặt
• 2.2.1. Multi-task Cascaded Convolutional Networks (MTCNN)
• 2.2.2. Single Shot MultiBox Detector (SSD)
• 2.2.3. Single Shot Scale-invariant Face Detector (S3FD)
• 2.3. Tổng quan các phương pháp về nhận diện khuôn mặt
• 2.3.1. Facenet: triplet loss
• 2.4. Tổng kết và nhận xét
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. Chuẩn hóa dữ liệu (data normalization)
• 3.2. Làm giàu dữ liệu (data augmentation)
• 3.3. Tích chập trong miền rời rạc (convolution)
• 3.4. Mạng nơ-ron truyền thẳng nhiều lớp
• 3.4.1. Mạng nơ-ron truyền thẳng nhiều lớp (MLP)
• 3.4.2. Hàm kích hoạt sigmoid
• 3.4.3. Hàm kích hoạt tanh
• 3.4.4. Giải thuật Gradient Descent
• 3.5. Mạng nơ-ron tích chập (CNN)
• 3.5.1. Hàm lỗi cross entropy
• 3.5.2. Kết nối dày đặc (dense connection)
• 4. CHƯƠNG 4: PHƯƠNG PHÁP ĐỀ XUẤT
• 4.1. Cải tiến kiến trúc mạng Sphereface
• 4.2. Triển khai mô hình nhận diện trên Jetson TX2
• 5. CHƯƠNG 5: CÁC THÍ NGHIỆM VÀ KẾT QUẢ THÍ NGHIỆM
• 5.1. Tập dữ liệu
• 5.1.1. Tập dữ liệu huấn luyện
• 5.1.2. Tập dữ liệu đánh giá
• 5.2. Phương pháp đánh giá
• 5.2.1. Kiểm thử chéo
• 5.2.2. Chỉ số độ chính xác mAP
• 5.3. Thí nghiệm các phương pháp nhận diện
• 5.3.1. Thí nghiệm huấn luyện mạng nhận diện Sphereface
• 5.3.2. Thí nghiệm huấn luyện Sphereface theo phương pháp đề xuất
• 5.3.3. Thí nghiệm huấn luyện mô hình phát hiện và nhận diện khuôn mặt triển khai trên Jetson TX2
• 5.4. Kết quả thí nghiệm
• 5.4.1. Biểu đồ thống kê quá trình huấn luyện
• 5.4.2. Kết quả đánh giá các mô hình
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu đề tài

Đề tài 'Nhận diện khuôn mặt bằng Deep Learning' tập trung vào việc nghiên cứu và phát triển các phương pháp nhận diện khuôn mặt trong lĩnh vực Khoa học máy tính. Sự phát triển của Deep Learning đã mở ra nhiều cơ hội mới cho việc xử lý và phân tích hình ảnh. Nhận diện khuôn mặt không chỉ là một ứng dụng công nghệ mà còn là một phần quan trọng trong việc đảm bảo an ninh xã hội. Việc áp dụng học máy và mạng nơ-ron trong nhận diện khuôn mặt giúp cải thiện độ chính xác và tốc độ xử lý. Mục tiêu của đề tài là khảo sát các phương pháp hiện có và đề xuất cải tiến nhằm nâng cao hiệu quả nhận diện khuôn mặt.

1.1 Mục tiêu đề tài

Mục tiêu chính của đề tài là nghiên cứu và phát triển các phương pháp nhận diện khuôn mặt, từ đó đánh giá hiệu suất và độ chính xác của các phương pháp này. Đề tài sẽ thực hiện các thí nghiệm để so sánh các phương pháp khác nhau, từ đó đưa ra các cải tiến cho quy trình nhận diện khuôn mặt. Việc áp dụng Deep Learning trong nhận diện khuôn mặt sẽ giúp tối ưu hóa quy trình và nâng cao khả năng nhận diện trong các điều kiện thực tế.

1.2 Ý nghĩa thực tiễn

Nhận diện khuôn mặt có nhiều ứng dụng thực tiễn trong đời sống, từ an ninh đến quản lý nhân sự. Việc áp dụng công nghệ này giúp tự động hóa quá trình giám sát, giảm thiểu chi phí nhân công và nâng cao hiệu quả công việc. Ngoài ra, nhận diện khuôn mặt còn có thể được sử dụng trong giáo dục để điểm danh học sinh, sinh viên, hoặc trong các dịch vụ chăm sóc khách hàng. Điều này cho thấy giá trị thực tiễn của đề tài trong việc cải thiện chất lượng cuộc sống và an ninh xã hội.

II. Tổng quan các hướng nghiên cứu về bài toán nhận diện khuôn mặt

Bài toán nhận diện khuôn mặt được chia thành hai giai đoạn chính: phát hiện khuôn mặt và nhận diện khuôn mặt. Các phương pháp hiện tại như MTCNN và SSD đã được áp dụng để phát hiện khuôn mặt trong ảnh. Sau khi phát hiện, khuôn mặt sẽ được chuẩn hóa và đưa vào mô hình nhận diện. Việc sử dụng mạng nơ-ron tích chập (CNN) trong nhận diện khuôn mặt đã cho thấy hiệu quả vượt trội so với các phương pháp truyền thống. Các nghiên cứu gần đây đã chỉ ra rằng việc kết hợp giữa phát hiện và nhận diện khuôn mặt có thể cải thiện đáng kể độ chính xác và tốc độ xử lý.

2.1 Phương pháp phát hiện khuôn mặt

Các phương pháp phát hiện khuôn mặt như MTCNN và SSD đã được nghiên cứu và áp dụng rộng rãi. MTCNN sử dụng mạng nơ-ron để phát hiện khuôn mặt và xác định các điểm trọng yếu trên khuôn mặt. Điều này giúp chuẩn hóa khuôn mặt trước khi đưa vào mô hình nhận diện. Việc phát hiện chính xác khuôn mặt là bước quan trọng để đảm bảo hiệu quả của quy trình nhận diện. Các nghiên cứu cho thấy rằng việc cải tiến các phương pháp phát hiện có thể dẫn đến sự gia tăng đáng kể trong độ chính xác của nhận diện khuôn mặt.

2.2 Phương pháp nhận diện khuôn mặt

Nhận diện khuôn mặt là quá trình xác định danh tính của một người dựa trên hình ảnh khuôn mặt. Các phương pháp như Facenet đã được phát triển để mã hóa khuôn mặt thành vector đặc trưng, giúp dễ dàng so sánh và xác thực danh tính. Việc sử dụng học sâu trong nhận diện khuôn mặt cho phép cải thiện độ chính xác và khả năng nhận diện trong các điều kiện khác nhau. Các nghiên cứu hiện tại đang tập trung vào việc tối ưu hóa quy trình nhận diện để đạt được hiệu suất cao hơn trong thực tế.

III. Phương pháp đề xuất

Đề tài sẽ đề xuất một phương pháp cải tiến cho quy trình nhận diện khuôn mặt bằng cách sử dụng mạng Sphereface. Phương pháp này sẽ kết hợp giữa phát hiện và nhận diện khuôn mặt, nhằm tối ưu hóa quy trình xử lý. Việc triển khai mô hình trên Jetson TX2 sẽ giúp kiểm tra hiệu suất thực tế của phương pháp đề xuất. Các thí nghiệm sẽ được thực hiện để đánh giá độ chính xác và tốc độ xử lý của mô hình, từ đó đưa ra các nhận xét và cải tiến cần thiết.

3.1 Cải tiến kiến trúc mạng Sphereface

Kiến trúc mạng Sphereface sẽ được cải tiến để nâng cao khả năng nhận diện khuôn mặt. Việc sử dụng các kỹ thuật như chuẩn hóa dữ liệu và làm giàu dữ liệu sẽ giúp cải thiện độ chính xác của mô hình. Các thí nghiệm sẽ được thực hiện để so sánh hiệu suất của mô hình cải tiến với các mô hình hiện có, nhằm xác định tính khả thi và hiệu quả của phương pháp đề xuất.

3.2 Triển khai mô hình nhận diện trên Jetson TX2

Mô hình nhận diện sẽ được triển khai trên Jetson TX2, một nền tảng mạnh mẽ cho các ứng dụng AI. Việc triển khai này sẽ cho phép kiểm tra hiệu suất thực tế của mô hình trong các điều kiện khác nhau. Các chỉ số như độ chính xác và tốc độ xử lý sẽ được ghi nhận và phân tích để đánh giá hiệu quả của phương pháp đề xuất. Điều này sẽ giúp xác định khả năng ứng dụng của mô hình trong thực tế.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của trí tuệ nhân tạo và thị giác máy tính đã thúc đẩy nhu cầu tự động hóa hệ thống an ninh giám sát tại các khu vực trọng yếu như sân bay, tòa nhà thương mại và trung tâm điều hành đô thị thông minh. Vấn đề cốt lõi đặt ra là việc nhận diện khuôn mặt trong điều kiện tự nhiên phải xử lý ở mức định danh từng cá thể riêng biệt thay vì chỉ phân loại đối tượng thông thường, đồng thời phải giải quyết bài toán dung hòa giữa độ chính xác nhận dạng và tốc độ xử lý thời gian thực trên các thiết bị phần cứng giới hạn tài nguyên.

Nghiên cứu được thực hiện với mục tiêu phân tích chuyên sâu các mô hình học sâu hiện đại, từ đó đề xuất giải pháp cải tiến kiến trúc mạng Sphereface bằng kết nối dày đặc và xây dựng hoàn chỉnh quy trình chuyển đổi mô hình để triển khai trên vi mạch nhúng NVIDIA Jetson TX2. Phạm vi nghiên cứu được thực hiện trong thời gian 10 tháng từ ngày 26/02/2018 đến ngày 02/12/2018 tại Trường Đại học Bách Khoa thuộc Đại học Quốc gia Thành phố Hồ Chí Minh. Đề tài giới hạn tập trung vào các bức ảnh khuôn mặt có góc xoay nghiêng trực diện không quá 45 độ, mức độ che khuất dưới 50%, điều kiện ánh sáng rõ ràng và danh tính đối tượng đã được lưu trữ trong cơ sở dữ liệu.

Công trình mang ý nghĩa khoa học và thực tiễn sâu sắc khi nâng cao độ chính xác nhận diện trên tập dữ liệu chuẩn LFW lên mức 98,88%, đồng thời tối ưu hóa luồng xử lý suy diễn trên bo mạch nhúng vận hành ở mức công suất tiết kiệm chỉ 7,5W, tạo tiền đề vững chắc cho việc ứng dụng công nghệ giám sát thông minh vào đời sống xã hội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết mạng nơ-ron tích chập đa tầng kết hợp với các kỹ thuật học biểu diễn đặc trưng không gian sâu. Hai khung lý thuyết trọng tâm được vận dụng gồm mô hình mạng thặng dư và mạng kết nối dày đặc, cùng với hàm mất mát định hướng góc trên siêu cầu. Hệ thống khái niệm chính của đề tài bao gồm:

• Biểu diễn đặc trưng phân biệt cao: Phương pháp chuyển đổi ảnh khuôn mặt thành vector đặc trưng nhiều chiều sao cho khoảng cách góc giữa các vector của cùng một cá nhân là nhỏ nhất, trong khi khoảng cách giữa các cá nhân khác nhau là lớn nhất.
• Kết nối dày đặc: Kỹ thuật ghép nối trực tiếp bản đồ đặc trưng giữa tầng trước và tầng sau theo chiều kênh, cho phép gradient lan truyền ngược mạnh mẽ hơn và hạn chế triệt để hiện tượng triệt tiêu đạo hàm trong quá trình huấn luyện mạng sâu.
• Hàm mất mát Angular Softmax: Phiên bản cải tiến của hàm Cross Entropy thông qua việc chuẩn hóa vector trọng số về độ dài bằng 1 và triệt tiêu giá trị bias về 0, buộc mạng nơ-ron phải tối ưu hóa sự phân tách các lớp danh tính theo khoảng cách góc trên bề mặt siêu cầu.
• Tiền xử lý và chuẩn hóa mốc đặc trưng: Phép biến đổi không gian căn chỉnh 5 điểm mốc trọng yếu gồm 2 mắt, đỉnh mũi và 2 khóe miệng về các vị trí cố định nhằm chuẩn hóa kích thước ảnh đầu vào về tỷ lệ chuẩn 112x96 pixel.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu huấn luyện và kiểm thử quy mô lớn đạt chuẩn học thuật quốc tế. Tập dữ liệu huấn luyện nhận diện gồm 494.414 hình ảnh của 10.574 người nổi tiếng từ tập CASIA-WebFace. Dữ liệu huấn luyện phát hiện khuôn mặt sử dụng tập WIDER FACE với 32.203 hình ảnh chứa 393.703 khuôn mặt trong nhiều bối cảnh phức tạp. Quá trình kiểm thử đánh giá sử dụng tập dữ liệu LFW chuẩn quốc tế với 13.233 ảnh của 5.749 người và tập dữ liệu thực nghiệm PEOPLE20 gồm 1.067 bức ảnh của 20 cá nhân do tác giả trực tiếp thu thập.

Phương pháp chọn mẫu áp dụng kỹ thuật kiểm thử chéo 10 phần trên tập LFW nhằm loại bỏ hiện tượng quá khớp và đảm bảo tính khách quan tuyệt đối cho độ chính xác mô hình. Lý do lựa chọn phương pháp phân tích kiểm thử chéo kết hợp với chỉ số độ chính xác trung bình mAP và chỉ số giao cắt trên tập hợp IoU từ 0,5 trở lên là vì đây là các tiêu chuẩn đo lường tối ưu nhất, phản ánh chính xác sự cân bằng giữa độ chuẩn xác và độ bao phủ của hệ thống thị giác máy tính.

Timeline nghiên cứu được triển khai chặt chẽ qua 4 giai đoạn: 2 tháng đầu khảo sát lý thuyết và phân tích các bài toán phát hiện khuôn mặt MTCNN, SSD; 3 tháng tiếp theo thiết kế kiến trúc cải tiến Sphereface và thiết lập môi trường huấn luyện PyTorch; 3 tháng thực nghiệm đo đạc đánh giá các siêu tham số; và 2 tháng cuối cùng hoàn thiện quy trình chuyển đổi ONNX sang TensorRT để tối ưu hóa suy diễn trên phần cứng nhúng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận 4 phát hiện khoa học quan trọng có giá trị thực tiễn cao:

• Kiến trúc kết nối dày đặc vượt trội về độ chính xác: Mô hình Sphereface 20 lớp cải tiến sử dụng phép nối kênh thay cho phép cộng đạt độ chính xác nhận diện 98,88% trên tập dữ liệu kiểm thử LFW, cao hơn 0,16% so với mô hình Sphereface gốc đạt 98,72%.
• Tốc độ hội tụ của mạng sâu được rút ngắn rõ rệt: Biểu đồ hàm mất mát cho thấy mô hình Sphereface kết nối dày đặc đạt trạng thái hội tụ ổn định ngay từ epoch thứ 43, trong khi mô hình Sphereface gốc sử dụng phép cộng phải trải qua đến epoch thứ 70 mới đạt độ ổn định tương đương.
• Vai trò then chốt của phép chuẩn hóa hình học khuôn mặt: Thực nghiệm so sánh cho thấy việc chuẩn hóa ảnh qua 5 điểm mốc đặc trưng giúp độ chính xác đạt 98,72%, vượt trội hơn đáng kể so với phương pháp chỉ cắt vùng ảnh bao quanh khuôn mặt đơn thuần vốn chỉ đạt 98,25%.
• Hiệu quả tối ưu của phương pháp học chuyển giao: Mô hình nhận diện Sphereface triển khai sau khi tinh chỉnh thích ứng với đầu ra của mô hình phát hiện SSD300 chỉ cần huấn luyện thêm 4 epoch là đã đạt độ chính xác 97,80%, giúp tiết kiệm hơn 90% chi phí thời gian tính toán so với việc huấn luyện lại từ đầu.

Thảo luận kết quả

Nguyên nhân chính giúp kiến trúc cải tiến đạt hiệu năng vượt trội nằm ở cơ chế truyền tải thông tin của các kết nối dày đặc. Khi các bản đồ đặc trưng ở tầng nông chứa nhiều chi tiết biên cạnh được giữ nguyên và nối trực tiếp với đặc trưng ngữ nghĩa mức cao ở tầng sâu, mạng nơ-ron sẽ sở hữu lượng thông tin đa dạng và phong phú hơn. Điều này giúp hàm lỗi Angular Softmax dễ dàng định hướng sự phân tách ranh giới góc giữa các khuôn mặt trên siêu cầu.

So với các công trình kinh điển khác như FaceNet sử dụng Triplet Loss vốn đòi hỏi kỹ thuật chọn bộ ba mẫu phức tạp, hoặc Center Loss phải liên tục cập nhật tọa độ tâm cụm, giải pháp cải tiến trong luận văn mang lại không gian biểu diễn đặc trưng ổn định hơn mà không làm bùng nổ chi phí tính toán trong pha suy diễn.

Dữ liệu thực nghiệm được trực quan hóa sinh động qua hệ thống 5 biểu đồ hàm lỗi huấn luyện thể hiện rõ các bước nhảy suy giảm độ mất mát tương ứng với các chu kỳ điều chỉnh hệ số học tại các mốc epoch 16, 32 và 40. Đồng thời, bảng thống kê tốc độ suy diễn với các kích thước bó dữ liệu 1, 4, 8 và 16 đã chứng minh tính khả thi của hệ thống khi chạy trên 4 môi trường phần cứng gồm NVIDIA Tesla P100, Tesla P4, GTX 1080 và Jetson TX2.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, 4 khuyến nghị hành động cụ thể được đề xuất nhằm hoàn thiện và nâng cao hiệu quả ứng dụng của mô hình:

• Tối ưu hóa kiến trúc phát hiện khuôn mặt đa quy mô: Nhóm kỹ sư thị giác máy tính cần nâng cấp mô hình phát hiện khuôn mặt từ SSD300 lên các kiến trúc tiên tiến hơn như S3FD hoặc RetinaFace, đặt mục tiêu nâng chỉ số độ chính xác phát hiện mAP đối với các khuôn mặt kích thước nhỏ từ mức 60% hiện tại lên trên 85%, với lộ trình thực hiện trong vòng 6 tháng.
• Làm giàu và chuẩn hóa bộ dữ liệu khuôn mặt người Việt Nam: Bộ phận phát triển dữ liệu cần chủ động thu thập và gán nhãn tập dữ liệu khuôn mặt bản địa đạt quy mô tối thiểu 100.000 bức ảnh của 5.000 cá nhân trong thời gian 9 tháng, hướng tới mục tiêu nâng độ chính xác nhận diện thực tế tại các cơ quan và doanh nghiệp Việt Nam đạt ngưỡng 99,50%.
• Áp dụng kỹ thuật lượng hóa mô hình phần cứng: Kỹ sư hệ thống nhúng cần thực hiện lượng hóa trọng số mạng nơ-ron từ định dạng số thực FP32 sang số nguyên INT8 trên khung TensorRT trong thời hạn 3 tháng, nhằm giảm 50% dung lượng bộ nhớ RAM và tăng tốc độ xử lý đạt trên 30 khung hình mỗi giây trên các bo mạch công suất dưới 10W.
• Tích hợp cơ chế phát hiện giả mạo khuôn mặt: Nhóm nghiên cứu an ninh bảo mật cần phát triển thêm mô-đun phân tích chống giả mạo sinh trắc học dựa trên phân tích chuyển động và cấu trúc ảnh trong 12 tháng, nhằm hạ thấp tỷ lệ chấp nhận sai xuống dưới mức 0,01% khi triển khai tại các hệ thống kiểm soát an ninh nghiêm ngặt.

Đối tượng nên tham khảo luận văn

Công trình luận văn là tài liệu tham khảo giá trị cao cho 4 nhóm đối tượng chuyên môn:

• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Luận văn cung cấp hệ thống cơ sở toán học chi tiết về hàm mất mát trên siêu cầu, các phương pháp tăng cường dữ liệu ảnh và kỹ thuật thiết kế mạng tích chập sâu, hỗ trợ đắc lực cho các đề tài nghiên cứu chuyên sâu về thị giác máy tính và học sâu.
• Kỹ sư AI và chuyên gia phát triển hệ thống nhúng: Những người làm kỹ thuật có thể ứng dụng trực tiếp quy trình chuyển đổi mô hình từ PyTorch sang ONNX và TensorRT để triển khai các mô hình nơ-ron phức tạp lên các dòng chip biên có tài nguyên phần cứng giới hạn.
• Doanh nghiệp phát triển giải pháp an ninh và chấm công thông minh: Các nhà quản lý công nghệ có thể tham khảo kiến trúc hệ thống mẫu để xây dựng các sản phẩm thương mại như camera giám sát ra vào tự động, hệ thống điểm danh trường học với chi phí thiết bị tối ưu và độ ổn định cao.
• Cơ quan quản lý hạ tầng đô thị và an ninh trật tự: Luận văn mang lại các số liệu thực nghiệm khoa học đáng tin cậy, làm cơ sở cho việc lập đề án đầu tư và triển khai các hệ thống nhận diện danh tính công cộng quy mô lớn với độ chính xác đạt trên 98%.

Câu hỏi thường gặp

• Điểm cải tiến kỹ thuật nổi bật nhất của luận văn là gì?
  Nghiên cứu đã đề xuất thay thế phép cộng trong các khối thặng dư của mạng Sphereface bằng phép kết nối dày đặc theo chiều kênh. Cải tiến này giúp bản đồ đặc trưng giữ được nhiều thông tin hơn, tăng độ chính xác trên tập LFW từ 98,72% lên 98,88% và giúp mô hình hội tụ nhanh hơn tại epoch thứ 43.

• Tại sao bước chuẩn hóa căn chỉnh khuôn mặt lại đóng vai trò bắt buộc?
  Chuẩn hóa hình học dựa trên 5 điểm mốc giúp xoay và căn chỉnh ảnh khuôn mặt về cùng một hệ quy chiếu không gian kích thước 112x96 pixel. Thực nghiệm khẳng định bước tiền xử lý này làm tăng độ chính xác nhận diện thêm 0,47% so với việc chỉ cắt khung ảnh trực tiếp mà không qua căn chỉnh mốc.

• Hệ thống nhúng Jetson TX2 đáp ứng hiệu năng nhận diện thực tế như thế nào?
  Nhờ tối ưu hóa qua framework TensorRT và lập trình thực thi bằng ngôn ngữ C++, vi mạch Jetson TX2 xử lý mượt mà luồng dữ liệu video trực tuyến với công suất tiêu thụ điện chỉ 7,5W, đảm bảo hệ thống vận hành liên tục mà không bị quá nhiệt hay tràn bộ nhớ 8GB dùng chung.

• Các tập dữ liệu nào đã được sử dụng trong toàn bộ nghiên cứu?
  Luận văn đã sử dụng tập CASIA-WebFace với 494.414 ảnh để huấn luyện nhận diện, tập WIDER FACE với 32.203 ảnh để huấn luyện phát hiện đối tượng, tập LFW gồm 13.233 ảnh với 6.000 cặp kiểm tra chéo và tập PEOPLE20 gồm 1.067 ảnh tự thu thập để đánh giá tổng thể.

• Nguyên nhân khiến mô hình phát hiện SSD300 bị giảm hiệu năng trên ảnh phức tạp là gì?
  Do kích thước ảnh đầu vào cố định ở mức 300x300 pixel, mô hình SSD300 bị mất mát thông tin đối với các khuôn mặt có độ phân giải quá nhỏ trong tập WIDER FACE, dẫn đến độ chính xác ước lượng chỉ đạt khoảng hơn 60% ở các trường hợp khuôn mặt nằm xa camera.

Kết luận

• Khảo sát toàn diện các phương pháp nhận diện và phát hiện khuôn mặt hiện đại trong thị giác máy tính.
• Đề xuất thành công kiến trúc Sphereface cải tiến với kết nối dày đặc, đạt độ chính xác xuất sắc 98,88% trên tập dữ liệu chuẩn LFW.
• Chứng minh vai trò quan trọng của kỹ thuật căn chỉnh 5 điểm mốc giúp nâng cao 0,47% độ chuẩn xác của mô hình nhận dạng.
• Hoàn thiện quy trình tối ưu hóa và chuyển đổi mạng sâu sang TensorRT, vận hành ổn định trên thiết bị nhúng Jetson TX2 với công suất 7,5W.
• Xây dựng tập dữ liệu thực nghiệm PEOPLE20 gồm 1.067 hình ảnh nhằm đánh giá khách quan hiệu năng nhận diện danh tính trong môi trường thực tế.

Trong giai đoạn 6 đến 12 tháng tới, hướng nghiên cứu tiếp theo sẽ tập trung vào việc tích hợp các mô-đun phát hiện khuôn mặt đa tầng có độ nhạy cao và nhúng thêm thuật toán nhận diện khuôn mặt trực tiếp chống giả mạo. Hãy tải toàn văn luận văn thạc sĩ và mã nguồn thực nghiệm để ứng dụng ngay kiến trúc nhận diện khuôn mặt tối ưu vào các giải pháp trí tuệ nhân tạo của bạn.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- NGUYỄN HOÀNG MINH NHẬN DIỆN KHUÔN MẶT BẰNG DEEP LEARNING Ngành: Khoa học máy tính Mã số: 60.01 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 12 năm 2018 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐHQG - HCM Cán bộ hướng dẫn khoa học: TS. Lê Thành Sách…………………………… ……………………………………………………………………………….

Cán bộ chấm nhận xét 1: PGS. Lê Hoàng Thái …………………………. Cán bộ chấm nhận xét 2: TS. Nguyễn Hồ Mẫn Rạng……………………….

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 26 tháng 12 năm 2018. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Quản Thành Thơ.

Phạm Hoàng Anh. Lê Hoàng Thái. Nguyễn Hồ Mẫn Rạng. Nguyễn An Khương.

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH & KTMT i ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Hoàng Minh. Ngày, tháng, năm sinh: 03/06/1992. Chuyên ngành: Khoa học máy tính.

TÊN ĐỀ TÀI: Nhận diện khuôn mặt bằng Deep Learning (Face recognition with deep learning)……………………………………………………………… …………………………………………………………………………………… II. NHIỆM VỤ VÀ NỘI DUNG: Đề tài tìm hiểu và hiện thực các phương pháp nhận diện khuôn mặt bằng Deep Learning. Từ đó đề xuất cải tiến phương pháp và định hướng triển khai ứng dụng……………………………………………… III. NGÀY GIAO NHIỆM VỤ : 26/02/2018…………………………………….

NGÀY HOÀN THÀNH NHIỆM VỤ: 02/12/2018…………………………. CÁN BỘ HƯỚNG DẪN: TS. Lê Thành Sách………………………………… ……………………………………………………………………………………… Tp. HCM, ngày … tháng … năm … CÁN BỘ HƯỚNG TRƯỞNG KHOA KH & KTMT DẪN (Họ tên và chữ ký) (Họ tên và chữ ký) ii LỜI CẢM ƠN Khoảng thời gian theo học chương trình cao học tại trường Đại học Bách Khoa thành phố Hồ Chí Minh mang lại rất nhiều trải nghiệm hữu ích về kiến thức, cuộc sống.

Những người luôn bên cạnh tôi xuyên suốt, đặc biệt là giai đoạn thực hiện luận văn, mang đến cho tôi nguồn động viên, quan tâm và giúp đỡ là gia đình, thầy cô, bạn bè. Tôi xin gửi lời cảm ơn sâu sắc nhất đầu tiên là đến với gia đình nhỏ của mình, những người chung tổ ấm: ba, mẹ và anh trai. Sau giờ học, giờ làm mệt mỏi mỗi ngày, nơi ta trở về đó không đâu khác chính là nhà. Ba mẹ tôi luôn động viên và âm thầm đứng sau ủng hộ tôi những lúc tôi khó khăn nhất.

Lời cảm ơn chân thành nhất mà tôi muốn gửi đến đó là người thầy đã tận tâm hướng dẫn tôi trong suốt thời gian vừa qua, Tiến sĩ Lê Thành Sách. Thầy là người rất giỏi chuyên môn, giải đáp các thắc mắc và định hướng giải quyết các vấn đề cho tôi trong hơn một năm qua. Thầy là người dìu dắt, mở ra những chân trời kiến thức mới khi tôi mới chập chững bắt đầu nghiên cứu đề tài từ giai đoạn đầu tiên. Tôi xin gửi lời cảm ơn đến ban quản lý phòng thí nghiệm ACLab tại phòng 301B9 đã tạo điều kiện cho tôi có không gian nghiên cứu làm luận văn tốt nhất.

Bên cạnh đó, tôi cũng cảm ơn đến các thành viên thuộc nhóm nghiên cứu GVLab của thầy Lê Thành Sách đã dành thời gian hỗ trợ tôi trong thời gian vừa qua. Một lời cảm ơn không thể thiếu đó chính là các nguồn tài nguyên máy tính hỗ trợ đến từ nhóm nghiên cứu HPCLab của thầy Thoại Nam. Tôi cũng xin cảm ơn đến các thầy cô của khoa Khoa học và Kỹ thuật Máy tính, đặc biệt các thầy cô đã tham gia giảng dạy các môn trong chương trình cao học mà tôi đã theo học. Các thầy cô là người trang bị, trau dồi thêm cho tôi các kiến thức nền tảng, kĩ năng nghiên cứu, kĩ năng tìm hiểu và giải quyết vấn đề trong học thuật cũng như cuộc sống thực tế.

Cuối cùng tôi muốn gửi lời cảm ơn to lớn đến trường Đại học Bách Khoa thành phố Hồ Chí Minh, nơi tôi theo học từ quãng thời gian đại học. Tôi xin cảm ơn ban giám hiệu nhà trường, các thầy cô phòng sau đại học, các cô văn phòng khoa Khoa học và Kỹ thuật Máy tính, các cô chú nhân viên của trường đã tạo ra môi trường học tập thật tốt cho rất nhiều sinh viên, học viên. Một lần nữa, tôi xin chân thành cảm ơn! Nguyễn Hoàng Minh 02/12/2018 iii TÓM TẮT LUẬN VĂN Những tiến bộ vượt bậc về công nghệ hiện nay đang mang đến rất nhiều ứng dụng mới ở nhiều lĩnh vực trong đời sống. Đặc biệt, ngành công nghệ thông tin là một ngành có tốc độ phát triển rất nhanh và giúp cải thiện rõ rệt cuộc sống của chúng ta.

Những năm gần đây, các cải tiến về mạng nơ-ron nhân tạo trong lĩnh vực học sâu mang đến những kết quả vượt trội so với các phương pháp xử lý ảnh kiểu truyền thống. Từ đó, hàng loạt ứng dụng thông minh dần tiếp cận tới con người như: nhận diện khuôn mặt, nhận diện giọng nói, nhận diện biển số xe, đếm đối tượng, theo vết đối tượng, chẩn đoán ảnh y khoa,. Trong đó, các ứng dụng liên quan đến giám sát an ninh xã hội là cực kỳ quan trọng và đang giành được nhiều sự quan tâm từ các cơ quan quản lý. Nhận diện khuôn mặt là một trong những cách thức để giám sát an ninh.

An toàn xã hội là cần thiết ở mọi nơi, một số địa điểm / đơn vị cần mức độ an ninh cao hơn bình thường như là: cửa hàng siêu thị, tòa nhà công ty, chung cư cao cấp, trung tâm mua sắm, tòa nhà cao tầng, cơ quan công an, doanh trại quân đội, an ninh quốc phòng,. Việc kiểm soát rõ ràng ra vào theo danh tính bằng khuôn mặt sẽ góp phần đảm bảo an ninh bằng việc tự động giám sát qua các camera. Nhận diện danh tính qua khuôn mặt không chỉ là lõi cốt yếu của ngành an ninh, mà nó còn có thể áp dụng ở nhiều lĩnh vực khác như: chăm sóc khách hàng của doanh nghiệp, điểm danh học sinh / sinh viên trong ngành giáo dục, giám sát trẻ nhỏ trong lớp học (từ đó phát hiện cảnh báo bất thường),. Ứng dụng nhận diện khuôn mặt còn có thể áp dụng với các ứng dụng thông minh khác nhằm mang đến một giải pháp quản lý giám sát hoàn thiện hơn.

Ứng dụng nhận diện khuôn mặt từ hình ảnh có hai thành phần cốt lõi: phát hiện khuôn mặt trong ảnh và nhận diện danh tính khuôn mặt. Hai thành phần nối liên tiếp nhau như vậy tạo thành một ứng dụng hoàn chỉnh cho phép nhận diện khuôn mặt trong hình ảnh / video. Hình ảnh khuôn mặt được phát hiện ở mô-đun phát hiện khuôn mặt được trích xuất ra và chuyển qua mô-đun nhận diện. Phát hiện khuôn mặt đã là bài toán kinh điển của xử lý ảnh, đề tài luận văn sẽ khảo sát các bài báo về phát hiện khuôn mặt.

Nhận diện ảnh khuôn mặt cũng là đề tài nóng hổi của những bài báo gần đây bằng cách áp dụng mạng học sâu nơ-ron nhân tạo. Báo cáo cũng sẽ nêu các thí nghiệm về cải tiến cho các bước trong phương pháp nhận diện khuôn mặt. iv ABSTRACT Nowadays, computer science grows quickly and it brings many applications to human life. Especially, information technology is one of the fastest growing do- mains in the world, it makes human life become better.

In recent years, neural net- works in deep learning outperforms with the traditional methods in image processing. So, there are many smart applications such as: face recognition, voice recognition, licence plate recognition, object counting, object tracking, medical im- age 3D visualization, … Security surveillance is very important and takes many at- tentions from government. Face recognition is one of many ways to get security surveillance. Safe social is necessary, some places / units require high security level such as: supermarkets, buildings, apartments, malls, skyscrapers, military areas,.

We are able to control the security by recognizing human face automatically with multiple of cameras. Face recognition is not only an essential core of security domain, but also it applies to many other domains: customer service, checking student attendance, children surveillance for safety,. Face recognition application together with other smart technologies give us a solution in security surveillance. Face recognition in wild has two parts: face detection and face recognition.

These two parts are the essential components of face recognition flow in video. The faces detected by face detection module will be fed to the recognition module. Face detection has been researched for a long time, this report surveys many papers re- lated to face detection. Face recognition is also a hot subject of many recent papers by applying deep neural network.

The report proposes an improvement for face rec- ognition flow. v LỜI CAM ĐOAN Các tài liệu, bài báo, trang web mà tôi đã tham khảo trong quá trình thực hiện luận văn đều được trích dẫn đầy đủ rõ ràng nguồn gốc trình bày ở mục tài liệu tham khảo. Tôi xin cam đoan rằng ngoài các trích dẫn tham khảo trên, toàn bộ nội dung trong báo cáo đều do tôi tự soạn thảo từ những kết quả nghiên cứu do tôi tham gia thực hiện và các kết quả của nhóm nghiên cứu GVLab do thầy Lê Thành Sách hướng dẫn, không sao chép từ bất kì tài liệu nào khác. Tôi sẽ hoàn toàn chịu xử lý theo qui định nếu có bất cứ sai phạm nào so với lời cam kết.

Nguyễn Hoàng Minh vi MỤC LỤC 1. Giới thiệu đề tài. Mục tiêu đề tài.1 Ý nghĩa thực tiễn .2 Ý nghĩa khoa học. Phạm vi đề tài.

Bố cục luận văn. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN. Tổng quan các hướng nghiên cứu về bài toán nhận diện khuôn mặt. Tổng quan các phương pháp về phát hiện khuôn mặt.

Multi-task Cascaded Convolutional Networks (MTCNN). Single Shot MultiBox Detector (SSD). Single Shot Scale-invariant Face Detector (S3FD). Tổng quan các phương pháp về nhận diện khuôn mặt.

Facenet: triplet loss. Tổng kết và nhận xét. Chuẩn hóa dữ liệu (data normalization). Làm giàu dữ liệu (data augmentation).

Tích chập trong miền rời rạc (convolution). Mạng nơ-ron truyền thẳng nhiều lớp. Mạng nơ-ron truyền thẳng nhiều lớp (MLP). Hàm kích hoạt sigmoid.

Hàm kích hoạt tanh. Giải thuật Gradient Descent. Mạng nơ-ron tích chập (CNN). Hàm lỗi cross entropy.

Kết nối dày đặc (dense connection). PHƯƠNG PHÁP ĐỀ XUẤT. Cải tiến kiến trúc mạng Sphereface. Triển khai mô hình nhận diện trên Jetson TX2.

CÁC THÍ NGHIỆM VÀ KẾT QUẢ THÍ NGHIỆM. Tập dữ liệu. Tập dữ liệu huấn luyện. Tập dữ liệu đánh giá.

Phương pháp đánh giá. Kiểm thử chéo. Chỉ số độ chính xác mAP. Thí nghiệm các phương pháp nhận diện .