Mở đầu Nghiên cứu về cảm xúc con người luôn là bài toán được quan tâm nhiều nhất nhằm phân tích và đánh giá cảm xúc của con người dựa trên những biểu hiện của con người. Trong đó, khuôn mặt luôn là yếu tố chính biểu hiện rõ nét nhất về cảm xúc của con người. Paul Ekman và những đồng sự [16, 17] đã có những nghiên cứu về những biểu hiện trên khuôn mặt nhằm phân tích những điểm nét trên khuôn mặt mà dựa vào đó ta có thế đánh giá cảm xúc của khuôn mặt [18, 19]. Hệ thống mã hoá hành động trên khuôn mặt (FACS) đã được Paul Ekman phát triển dựa trên Don vị hành động (Action Units), cơ sở cho những nghiên cứu về biểu hiện của con người dựa trên hành động.
Don vị hành động và hệ thong mã hoá hành động trên khuôn mặt hệ thống mã hoá hành động trên khuôn mặt là một hệ thống toàn diện dựa trên giải phẫu học để mô tả tất cả chuyển động của khuôn mặt có thể nhìn thấy được bằng 2. Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan mắt thường [17]. Trong đó, nó chia nhỏ các biểu hiện khuôn mặt thành những chuyển động riêng lẻ của cơ mặt, được gọi là đơn vị Hành động (AU). Upper Face Action Units AUI AU4 AUS | AU6 AU7 Inner Brow | Outer Rainer Brow |e werer| Raiser Upper Lid || (Cheek Raiser | Lid Tightener Raine Lip Droop Slit Eyes Closed Squint | Blink Wink Lower Face Action Units AU9 AU10 AUIl AU12 AUI3 AUIS cd ay F —n Tả Nose Wrinkler Upper Lip Nasolabial Lip Corner Raiser Deepener Puller ee | ee AUIS AUI6 AUI7 AUIS AU20 AU22 MEAL Ak O 2đ Sdod Lip Comer Lower Lip Chin Raiser | Lip Puckerer | Lip Swetcher | Lip Funneler | _Depressor Depressor — —' '= AU23 AU24 *AU25 *AU26 | Ƒ*AU2T | AU2& oes Ss ae Lip Tightener | Lip Pressor | Lips Parts | Jaw Drop | Mouth Stretch| Lip Suck Hình 2.1: Hệ thống đơn vị hành động biểu diễn khuôn mat.
Nguồn Internet ! Hình 2.1 đã mô tả những biếu hiện khuôn mặt trong hệ thông mã hoá hành động khuôn mặt, dựa vào những điểm trên, (Bảng 2.1) đã thể hiện phân tích cảm xúc dựa trên đơn vị Hành động và phân loại nó thành 7 loại nhãn cảm xúc dựa trên nghiên cứu của Paul Ekman và đồng sự [20, 17, 21], là nền tang cho những nghiên cứu và phân tích cảm xúc khuôn mặt hay xa hơn nữa là những bài toán nhận diện cảm xúc khuôn mặt với trí tuệ nhân tạo sau này. Trong giới han của khoá luận này, sinh viên tiêp cận bài toán với 7 nhãn cảm xúc chính bao gồm: ¢ Hức giận 'https://www.net/figure/Facial-Action-Units-AUs-of-upper-and-lower-face_fig3_280298368 'Nhe ?Một chút ít 3Bén phải 2. Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan Bảng 2.1: Phân loại cảm xúc dưa trên Đơn vị Hành động Cảm xúc Đơn vị hành động Hạnh phúc 6+12 Buôn bã I+4+l5 Bất ngờ 1+2+5B l+26 Sợ hãi I+4+5+7+20+26 Tức giận 4+5+7+23 Kinh tởm 9+15+17 Khinh thường | R”12A ”+R14A * Sợ hãi s Ghé t6m ¢ Hanh phúc « Buồn « Bat ngờ ¢ Tự nhiên Ở bài toán nhận điện cảm xúc khuôn mặt dựa trên ảnh chứa khuôn mặt người, có hai thành phần chính riêng biệt cho bài toán này. Bao gồm: « Phát hiện khuôn mặt: phát hiện vùng chứa khuôn mặt người, là đầu vào cho phân phân loại cảm xúc.
¢ Phân loại cảm xúc: dựa vào đầu vào là những ảnh khuôn mặt người, thực hiện phân loại và gán nhãn cảm xúc cho bức ảnh. Ở mỗi bài toán thành phần ta có những hướng tiếp cận riêng cho từng bài toán sẽ được giới thiệu ở phần tiếp theo. Dưới đây, nhóm thực hiện đánh giá và phân tích những hướng tiếp cận chính cho bài toán nhận diện cảm xúc khuôn mặt. Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan phân loại Angry Module nhận diện cam xúc P Hình 2.2: Mô tả tổng quan về bài toán nhận diện cảm xúc khuôn mặt 2.2 Giới thiệu về bài toán phát hiện khuôn mặt 2.1 Mô ta bài toán Bài toán phát hiện khuôn mặt là bài toán đã xuất hiện từ lâu, nó là thành phần cơ sở cho những bài toán trí tuệ nhân tạo sau này mà đặc biệt trong đó là bài toán nhận diện cảm xúc khuôn mặt.
Bài toán bao gồm: * Đầu vào: hình ảnh chứa con người. ‹ Đầu ra: vùng ảnh chứa khuôn mặt Đã có những nghiên cứu, những phương pháp được phát triển nhằm giải quyết bài toán phát hiện khuôn mặt. Viola và Jones đã phát triển thuật toán mang tên của bọn họ để tăng năng suất cho bài toán phát hiện khuôn mặt dựa trên sự tính toán của cpu [22]. Hay Wei Liu và những đồng sự với mô hình SSD 10 2.
Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan đã cải thiện độ chính xác trong phát hiện vật thể dựa trên mạng nơ ron sâu [23], nhờ đó dựa trên cấu trúc này B. Ye và đồng sự [24] đã giải quyết bài toán phát hiện khuôn mặt. Xa hơn nữa, trong những nghiên cứu gần đây, [25, 26] đã tận dụng GPU và mạng nơ ron tích chập để cho ra những phương pháp phát hiện khuôn mặt tốt hơn với độ chính xác cao và thời gian tính toán thấp. Trong giới hạn của khóa luận, sinh viên nghiên cứu và đánh giá trên 3 phương pháp chính bao gồm: Haar Cascade Detector (Thuật toán Viola & Jones) [22], Face - SSD [23, 24] và BlazeFace [26].2 Phương pháp Viola & Jones Được công bố vào năm 2004, thuật toán Viola & Jones đến nay van là một trong những phương pháp được sử dụng nhiều nhất và đem lại kết quả tốt trong bài toán phát hiện khuôn mặt.
Phân tích thuật toán ý tưởng chính của thuật toán là sử dung haar like feature - những đặc trưng được khởi tạo từ ban đầu - so sánh với những vùng đặc trưng riêng biệt trên ảnh để chọn ra những vùng được cho là giống với đặc trưng khuôn 11 2. Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan mặt người nhất (gần với đặc trưng haar like). Ba thành phần chính của thuật toán Viola & Jones bao gồm: « Đặc trưng Haar like: như đã dé cập ở trên, đặc trưng haar like là thành phần quan trọng của thuật toán, nó giúp tính toán và phát hiện vùng chứ khuôn mặt.4) thể hiện những dạng đặc trưng của haar like bao gồm 3 loại filter: Two-Rectangle Feature, Three-Rectangle Feature và Four-Rectangle Feature.4: Mô tả đặc trưng haar like. Nguồn Internet ! ° Ma trận ảnh tích hợp (Integral Image): là ma trận tích hợp được tính toán dựa trên ảnh truyền vào, được tính toán là tổng những điểm nằm phía trên và bên trái của điểm ảnh hiện tại (bao gồm cả điểm ảnh đó).
Ma trận ảnh tích hợp giúp giảm thiểu thời gian tính toán và chi phí cho việc tính toán những đặc trưng ảnh.5) minh hoạ về ma trận ảnh tích hợp. Trong đó, ảnh bên trên là công thức biến đổi từ ma trận ảnh thường sang | https://www.net/publication/220660094_Robust_RealTime_Face_Detection 12 2. Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan ma trận ảnh tích hợp và ảnh dưới là minh hoạ cách mà ta thực hiện tính toán đặc trưng haar like trên ảnh tích hợp. Wạ To Eị Ấp Xà Yo |1 J12|45110) wo |1J13 s8 | 88 | MBS li} 4 — ail,y) = 52 v2 Ï[f.VÌ—> Vị lrÌz Ab | 84 Là lá Kã L.
— original image yz | 10 | 34 |100/122 W515 1ñH Ti = Mil0@al image. ; vs 145 | 48 late 147 eee Ry Peas Eccl erat Brot Original Image (Grayscale) Integral Image Hình 2.5: Mô ta ma trận ảnh tích hợp. Nguồn Internet ! ¢ Thuật toán AdaBoost: thuật toán AdaBoost [27] là một thuật toán của phương pháp học kết hợp nhằm tăng độ chính xác của thuật toán và giảm chi phí cho việc tìm kiếm đặc trưng khuôn mặt. Thuật toán AdaBoost giúp chọn ra feature tốt nhất, nhờ đó giảm thiếu số lượng đặc trưng haar like.com/understanding-face-detection-with-the-viola-jones-object- detection-framework-c55cc2a9dal4 13 2.
Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan Feature 1 best feature | Feature 2 best feature 2 feature 3 best features ———= Strong Classifier Feature n best fealirre tú where mú > m Hình 2.6: Mô tả thuật toán AdaBoost. Nguồn Internet ! * Bộ phân loại tầng: là bộ phân loại theo tầng, trong đó mỗi tầng là một bộ phân loại mạnh dựa trên thuật toán AdaBoost và số lượng "phân loại yếu" trong mỗi "phân loại mạnh" sẽ tăng dần theo mỗi tầng. Ý tưởng chính: qua mỗi tầng, sẽ thực hiện đánh giá, nếu đầu vào mang nhãn tiêu cực (không phải khuôn mặt), đặc trưng đó sẽ bị loại bỏ, ngược lại nếu mang nhãn tích cực, nó sẽ được chuyển đến tầng tiếp theo. Nhờ vậy, chi phí và thời gian cho việc tính toán đã được rút ngắn rất nhiều.
Với 4 thành phần chính được nêu ra ở trên, thuật toán Viola & Jones được chia ra 2 giai đoạn chính: * Giai đoạn xử lý đầu vào bao gồm 2 thành phan: Đặc trưng haar like và ma trận ảnh tích hợp. Trong đó, ở giai đoạn này thuật toán thực hiện tính toán "https://towardsdatascience.com/understanding-face-detection-with-the-viola-jones-object- detection-framework-c55cc2a9dal4 'https://towardsdatascience.com/understanding-face-detection-with-the-viola-jones-object- detection-framework-c55cc2a9dal4 14 2. Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan Lm] ‡ Maybe face Maybelaos —. „—— Maybe face {no face pee {it ce {Not face | Rielect Input | Hình 2.7: Thuật toán phân lớp tầng.
Nguồn Internet ! đặc trưng trên ảnh dựa vào ma trận ảnh tích hợp và so sánh với đặc trưng haar like để đánh giá. « Giai đoạn phân loại và phát hiện vùng chứa ảnh khuôn mặt, bao gồm 2 thành phan: Phân lớp tang dựa trên thuật toán Ada Boost. Trong đó, ở giai đoạn này, thuật toán thực hiện tìm và phân loại những đặc trưng giống với đặc trưng khuôn mặt haar like nhất 15 2. Bài toán nhận diện cảm xúc khuôn mặt và những nghiên cứu liên quan Extra Feature Layers VGG-16 A <- — through Cone,3 layer Classifier: Conv: Sxx{dx(Classes+4)) wl SS, ` 1 * ` K ` “ NN ` NXN aa KN Clsss/5e : Coctv: 3x3x|Ex(Clas4e3+4)) | 8 NN \ ~ INN KN “Ố ) * ø ` KR 4|Rủ (| | = NN 2 ca 3 one car :.
VS Conv; 3x3x(4x(Classess4)] | 5 coma bung RA +2 N N N © ' | N ` \ Ñ N : +8 NES NỈ renal N| mm Nà NÌz | NmỊ \z) LI ~ Cony, 3x3x1024 Conn: 1x1x1024 Coen: ixtx286 “Con lxlxl25 Comrlrlxi23 Gọnwv Txtxt 28. Coen: 3v3512-52 Conv; 3v3v25632 Conv: 3x3x256-51 Corn: 3lv2564%1 Hình 2.9: Mô tả cau trúc của mô hình SSD.3 Phương pháp Face - SSD Phương pháp Face-SDD là một dạng bài toán phát hiện đối tượng (khuôn mặt) được lay cảm hứng từ phương pháp Single Shot Detector (SSD) [24, 23].