Chương 1: Giới thiệu đề tài Cho cái nhìn tổng quan về bồi cảnh thực tiễn, nêu ra nhu cầu lớn để giải quyết bài toán trích xuất khoảnh khắc đẹp. Giới thiệu bài toán, các thách thức, dong lực cũng như mục tiêu và đóng góp của đề tài e Chương 2: Các công trình liên quan Di sâu vào việc xây dựng và phân rã hệ thống qua việc tìm hiểu các bài toán con. Tìm hiểu qua từng mô-đun dùng để cầu tạo lên hệ thống: nhận điện khuôn mặt- face detection, theo vết khuôn mặt- face tracking, đánh giá mức độ đẹp của khuôn mặt- face scoring, tái tạo khuôn mặt- face rerendering. e Chương 3: Phương pháp đề xuất Trình bày phương pháp được sử dụng cho từng mô-đun.
e Chương 4: Thực nghiệm Trình bày cách cài đặt, chạy và xử lí trên từng mô-dun và trên cả. Bên cạnh đó, phân tích và xử lí dữ liệu cho bài toán © Chương 5: Kết luận Đánh giá và tong kết đề tài, những mục tiêu đã đạt được và những hạn chế còn tồn tại, tìm ra hướng khắc phục trong tương lai. Chương 2 Các công trình liên quan 2.1 Bài toán trích chọn khoảnh khắc dep Như đã đề cập ở phần trước, chúng tôi tiếp cận bài toán trích chọn khoảnh khắc đẹp bằng cách chia nó thành các bài toán con như phát hiện khuôn mặt- face detection, theo vết khuôn mặt- face tracking, đánh giá mức độ đẹp khuôn mặt- face scoring và chỉnh sửa khuôn mặt- face rerendering và đi giải quyết từng bài toán đó. Với mong muốn có thể tối ưu hệ thống đề xuất chúng tôi sẽ giải quyết bằng việc tối ưu từng mô-đun thành phần của nó.
Ở phần này, chúng tôi trình bày các phương pháp chúng tôi đã khảo sát cho từng mô-đun. Mỗi phương pháp sẽ được trình bày theo bố cục là nêu ý tưởng, kiến trúc, thực nghiệm, kết quả và ưu nhược điểm. Từ đó, chúng tôi sẽ lựa chọn phương pháp tối ưu nhất cho hệ thống đề xuất. Một cách tổng quát, phần này sẽ có 4 mục nhỏ tưng ứng với 4 mô-đun, lần lượt là: phát hiện khuôn mặt-face detection, theo vết khuôn mặt- face tracking, đánh giá mức độ đẹp khuôn mặt- face scoring và tái tạo khuôn mặt- face rerendering.
Với md-dun phát hiện khuôn mat, chúng tôi thực hiện khảo sát các mô hình là TinaFace CenterFace và Multi-task Cascaded Convolutional Networks (MTCNN). Tiếp tục với mô-đun theo vết khuôn mặt, chúng tôi khảo sát mô hình Tracking without bells and whistle va Simple Online and Realtime Tracking with a Deep Association Metrie (Deep SORT) Bên cạnh đó, chúng tôi cũng nghiên cứu các mô hình có thể đánh giá mức độ đẹp của khuôn mặt. Bởi vì "đẹp" là một định nghĩa chủ quan nên việc không có mô hình nào có mô hình nào được áp dụng để đo độ đẹp của khuôn mặt là tất yếu. Ở đây, chúng tôi định nghĩa "dep" gồm ba yến tố: độ hoàn chỉnh của gương mặt, mức độ cười của khuôn mặt và độ mở của đôi mắt.
Trong mỗi yếu tố, chúng tôi sẽ tìm hiểu các hướng tiếp cận để giải quyết cho từng độ đo của mìn và khảo sát một số phương pháp cho từng hướng tiếp cận được đề xuất. Đối với là nụ cười. Chúng tôi đã khảo sát các phương pháp để có thể xem xét một gương mặt có thể cười hay không như các phương phấp của bài toán nhận diện nụ cười- Smile detector như SmileNet (6|. Registration-Free Face-SSD (15).
và các phương pháp cho bài toán nhận diện biểu cảm gương mặt - Facial Expression Recogniton như Multi-task EfficientNet-B2 va DAN (61). Cuối cùng là độ do phát hiện trạng thái mắt của khuôn mặt đang mở hay đóng, những phương pháp có thể đạt được mục tiêu là những phương pháp cho bài toán phát hiện vị trí mốc khuôn mặt tương tự như trong độ đo hoàn chỉnh gương mặt. Mô-dun thực hiện cuối cùng là mô-đun tái tạo khuôn mặt 2.2 Mô-dun phát hiện khuôn mặt - Face Detection Mo-dun phát hiện khuôn mặt là mô-đun đầu tiên của bài toán chúng tôi. Bởi nếu muốn tạo ra một khung ảnh đẹp thì cần phải có một bộ phận có thể thu thập được tất cả các khuôn mặt trong một khung hình.
Nhiệm vụ của mô-đun này là phát hiện các gương mặt trong từng khung hình của video và và lưu trữ chúng. Phát hiện khuôn mặt - Face Detection là một trong những bài toán lớn của lĩnh vực thị giác máy tính nhằm mục đích xác định vị trí khuôn mặt người ở trong ảnh. Từ ban đầu, các phương pháp phát hiện gương mặt được đề xuất thường sử dụng các đặc trưng cấp thấp của ảnh như Haar [59]. Sau đó là sự xuất hiện của các phương pháp dựa trên phân tang (cascade) chiếm da số để giải quyết bài toán này.
Công bố của nhóm tác giả Dac trưng phân tang SURF đạt được kết quả đáng chú ý khi thay thế đặc trưng Haar bằng đặc trưng SURF, sử dụng ảnh tích hợp và bộ phân loại phân tầng nâng cao.Tương tự Chen va cộng sự |4l vào năm 2014 cũng đề xuất học cách sắp đặt bố cục gương mặt và phát hiện gương mặt với mô hình phân tầng hoàn chỉnh. Tuy nhiên phải đến khi xuất hiện các phương pháp học sâu, bài toán mới được cải thiện một cách rõ rệt. Các phương pháp nay dap ứng mục tiêu giải quyết số lượng lớn khuôn mặt và các biến đổi không cấu trúc của khuôn mặt như che khuất, chói sáng, trang điểm, biểu cảm. điển hình như R-CNN (Regions-Convolutional Neural Network) [12], Fast R-CNN [11], Faster R-CNN [49], Yolo-face (él, TinaFace.
Day cũng chính là hướng tiếp cận của chúng tôi trong đề tài này. Trong phần này, chúng tôi giới thiệu một số phương phấp tiêu biểu cho bài toán bao gồm TinaFace 69|, Multi-task Cascaded Convolutional Networks (MTCNN) và CenterFace (64).1 Multi-task Cascaded Convolutional Networks (MTCNN) Động lực. Phát hiện khuôn mặt có mục tiêu tìm ra khuôn bao của gương mặt còn bài toán sắp xếp bố cục khuôn mặt (facial landmark detection) có mục tiêu xác định các vị trí các điểm khung xương của khuôn mặt. Hai tác vụ này có liên hệ mật thiết với nhau, việc kết hợp xác định vị trú khung xương gương mặt giúp cải thiện đáng kể kết quả khuôn bao phát hiện gương mặt.
Cụ thể, dựa vào các vị trí khung xương, khuôn bao của gương mat được tinh chỉnh và xác định chính xác hơn. Tuy nhiên các phương pháp trước đây khi giải quyết 2 bài toán này lại chưa chú ý đến mối liên hệ giữa 2 tác vụ nói trên. Mặc dù các công bố trước đã có gắng giải quyết 2 tác vụ đó đồng thời, vẫn còn đó những hạn chế nhất định. Cụ thể, Chen và cộng sự |4) đã thực hiện sắp xếp bố cục gương mặt và phát hiện gương mặt với random forest sử dụng đặc trưng của sự khác biệt giữa những điểm ảnh.
Tuy nhiên, các đặc trưng cấp thấp này làm cho hiệu năng của phương pháp bị hạn chế. Zang và cộng sự sử dụng một mạng tích chập đa tác vụ để cải thiện độ chính xác phát hiện gương mặt với nhiều góc độ nhưng độ chính xác phát hiện vẫn hạn chế bởi vì khung khởi tạo được đề xuất bởi một bộ phát hiện gương mặt chưa tốt. Kiến trúc mạng. Mô hình MTCNN gồm có 3 giai đoạn được nêu cụ thể trong Hình [2.1] NMS & Bounding box regression Giai đoạn 1: Giai đoạn đầu tiên này là một mạng tích chập đầy đủ, gọi là mạng đề nghị - Prosal Network( P-Net).
P-Net được sử dụng nhằm đạt được cửa sé ứng viên và các vec-tơ hồi quy hộp giới hạn của chúng. Sau đó, những vec-tơ được ước tính này sẽ dùng để hiệu chỉnh các cửa số ứng cử viên. Cuối cùng là sử dụng ngưỡng NMS - non-maximum supression để hợp nhất các ứng viên bị trùng lặp cao. Giai đoạn 2: Tất cả các ứng viên có được từ giai đoạn trước sẽ được đưa vào một mạng có tên là Refine Network (R-Net) để tiếp tục loại bỏ một số lượng lớn các cửa số ứng viên sai, thực hiện hiệu chuẩn với hồi quy hộp giới hạn và hợp nhất ứng viên bằng ngưỡng NMS.
Giai đoạn 3: Mục tiêu giống giai đoạn 2 tuy nhiên giai đoạn này nhằm mục tiêu mô tả khuôn mặt một cách chỉ tiết hơn bằng cách sử dụng Ouput Network (O-Net) để cho ra 5 điểm cấu tạo lên gương mặt. MTCNN giải quyết khá tốt cho bài toán phát hiện khuôn mặt và dat được kết quả nhất định cho tập dit liệu WIDERFACE |] khi đạt được Average Precission (AP) là 0.607 lần lượt trên tập dễ, trung bình và khó. Bên cạnh đó, thời gian chạy của mô hình MTCNN có thời gian thực hiện nhanh khi có thể chạy cho bài toán thời gian thực - real-time. Tuy nhiên MTCNN còn bị hạn chế khi phát hiện các gương mặt bi che khuất, kích thươc nhỏ hoặc bị chói sáng,.
Mô hình CenterFace Động lực. Vấn đề của các phương pháp nhận diện gương mặt thành công nhất trước đó là việc thực hiện nhiều quá trình tính toán với nhiều bước rời rạc, khó tối ưu về tốc độ( điển hình là các mạng hai giai đoạn như Faster R-CNN (49), hay phải đặt các anchorbox với kích thước khác nhau một cách dày đặc trên hình ảnh dẫn đến việc lãng phí tính toán và yêu cầu các bước hậu xử lí như thuật toán non maximum suppression( điển hình là các mạng một giai đoạn như YOLO và 55D [35)). Thé nên, CenterFace ra đời với kiến trúc mạng một giai đoạn và không sử dung anchorbox giúp cân bằng độ chính xác và thời gian giải quyết bài toán. Kiến trúc mạng.
Hướng tiếp cận của CenterFace là đưa bài toán phát hiện gương mặt về bài toán tìm điểm đặc trưng (keypoint estimation). Mục tiêu đi tìm điểm trung tâm của hộp giới hạn khuôn mặt, từ đó tìm ra hộp giới hạn và kích thước. PS ) Y classification ———>_ P4 J landmark regression —> conv 1*1 deconv 2*2 Hình 2.2: Kiến trúc mô hình CenterFace Một tấm ảnh đầu vào khi được đưa vào backbone là MobileNetv2 sẽ được chuyển đổi thành một bản đồ nhiệt (heatmap). Đỉnh của bản đồ nhiệt tương ứng với tâm của khuôn mặt.
Các đặc điểm hình ảnh ở mỗi đỉnh dự đoán kích thước của khuôn mặt và các điểm chính trên khuôn mặt. Cộng với việc sử dung Feature Pyramid Network (FPN) làm cơ sở cho phát hiện tiếp theo. Một cách tổng quát, FPN sử dụng kiến trúc từ trên xuống dưới với các kết nối bên để xây dựng kim tự 10 tháp đặc trưng từ đầu vào với kích thước duy nhất. Kết quả cuối cùng mô hình bao gồm phân lớp, hộp giới hạn và 5 điểm cấu tạo khuôn mặt (facial landmarks).
CenterFace là một phương pháp giải quyết bài toán phát hiện gương mặt có khả năng cân bằng giữa tốc độ và độ chính xác.