Nguyễn Thị Anh Thư NHẬN DẠNG CẢM XÚC CỦA NGƯỜI DỰA TREN ANH NHIỆT Chuyén nganh : Khoa hoc may tinh Mã số : 8480101 LUẬN VĂN THẠC SĨ MÁY TÍNH NGƯỜI HUONG DAN KHOA HỌC: - TS. NGUYEN VIET HUNG 5o)- 939 THU VIEN Trường Đại-Học Su-Pham TP. HỒ-CHÍ-MINH Thành phố Hồ Chí Minh - 2018 LỜI CAM ĐOAN Tôi tên Nguyễn Thị Anh Thư, học viên cao học khóa 27, chuyên ngành khoa học máy tính, trường đại học Sư phạm Thành phố Hồ Chí Minh. Mã số học viên KHMT-16-012.
Tôi xin cam đoan luận văn “Nhận dạng cảm xúc của người dựa trên ảnh nhiệt” là do tôi tìm hiểu, nghiên cứu và thực hiện dưới sự hướng dẫn của TS. Nguyễn Viết Hưng. Luận văn không có sự sao chép từ các tài liệu, công trình nghiên cứu khác mà không ghi rõ nguồn trong tài liệu tham khảo. Tôi xin chịu trách nhiệm về kết quả thực hiện và lời cam đoan này.
Tp Hồ Chí Minh, ngày 25 tháng 09 năm 2018 LỜI CẢM ƠN Đầu tiên, tôi xin kính gởi lời cảm ơn đến quý Thay đã trực tiếp giảng dạy và truyền đạt kiến thức cho tôi trong suốt khóa học cao học chuyên ngành khoa học máy tính vừa qua tại trường Đại học Sư phạm Thành phố Hồ Chí Minh. Đặc biệt, tôi xin chân thành gởi lời cảm ơn sâu sắc đến Thay của tôi, TS. Nguyễn Viết Hưng, người đã định hướng, giúp đỡ, trực tiếp hướng dẫn và tận tình chỉ bảo tôi trong suốt quá trình tìm hiểu, tiếp cận, nghiên cứu, xây dựng và hoàn thiện luận văn này. Tôi cũng xin được cảm ơn sự hỗ trợ đến từ Phòng Sau Đại học, Khoa Công nghệ thông tin trường Đại học Sư phạm Thành phố Hồ Chí Minh và các anh chị học viên cùng khóa trong thời gian tôi học tập tại trường.
Cuối cùng, tôi muốn gởi đến ba mẹ tôi cũng như gia đình nhỏ của tôi lòng biết ơn và tình cảm yêu thương nhất. Nếu không có sự chia sẻ, đồng cảm và ủng hộ từ gia đình thì tôi đã không thé có đủ niềm tin, động lực để hoàn thành khóa học và luận văn của mình. Tp Hồ Chí Minh, ngày 25 tháng 09 năm 2018 MỤC LỤC Trang Lời cam đoan Lời cảm ơn Mục lục Danh mục các ký hiệu và chữ viết tắt Danh mục các bảng biểu Danh mục các hình vẽ, biéu đồ 006271020575. CƠ SỞ LÝ THUYÉT VÀ NGHIÊN CUU LIÊN QUAN.
Tổng quan tình hình nghiên cứu. Các công trình nghiên cứu liên quan. Một số thách thức trong lĩnh vực nghiên cứu nhận dạng cảm xúc I4 t4. Thông tin về ảnh nhiỆt .--- 2 2 2 2 £+E£+E£EE£EE£EE£EE+EEzEErEerkerxee 10 1.
Giới thiệu ảnh nhhÄỆ. ¿6 Set +EEE v1 115111 115111511111151121115111111EEe E11 xeE 13 1. Một số phương pháp rút trích đặc trưng sử dụng trong nhận dạng cảm `0. Active Appearance Model (AAM).
Local Binary Pattern (LBÏP). Một số phương pháp sử dụng phân loại cảm xúc. Linear Discriminant Analysis (LDA). Support Vector Machines (SVM).
Principal Component Analysis (PCA). Eigenspace Method based on Class features (EMC). NHAN DANG CAM XUC CUA NGUOI DUA TREN ANH NHIET ooo. Cơ sở đữ liệu anh nhiệt Kotani Thermal Facial Emotion (KTFE).
Phương pháp nhận dạng. Tìm các vùng nhiệt quan tâm (RO]). Nhận dạng cảm XÚC.-- -- + 211311199118 9111 9 11 9 11 9x ng ng 28 Chương 3. THỰC NGHIỆM VÀ ĐÁNH GIÁ.
Môi trường thực nghiỆm. Dữ liệu đầu VO wo. Phân tích đánh g1á.- - - 5 c1 E23 9119119119 119 1 ng ng ng 31 3. Kết quả thực nghi@m owes esseseseseeseestssessessesseseseseseeseesees 32 3.
So sánh kết quả thực nghiệm với kết quả của phương pháp [35]. So sánh kết quả thực nghiệm với kết quả của phương pháp [38]. KET LUẬN VA HƯỚNG PHÁT TRIÉN.---5- 41 CONG TRÌNH CONG BO oiiooicccccssscsssssssssssssssssssesssseesscssecesecsssecasecssceseceaes 42 TÀI LIEU THAM KHAO o.oo ccsccssssessssssssssessssessssessstessssecssscessicessecessecesses 43 PHU LUC .scccccccsssssssssssssessssssssssssessssssssssesecssssssssssssessssesssssssessssessssssnseesseesssen 49 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIET TAT Chữ viết tắt Nguyên mầu Diễn giải Active Appearance AAM Mô hình xuất hiện tích cực Model Don vi hành động, xác AU Action Units ; dinh d6 co cua co mat Convolutional Neural M6 hinh mang no-ron tich CNN Networks chap Deep Boltzmann Mô hình máy Boltzman DBM Machine học sâu ECG Electrocardiogram Tin hiéu dién tam d6 EEG Electroencephalogram | Tin hiệu điện não đô Phương pháp không gian Eigenspace Method EMC riêng dựa trên các đặc based on Class features trưng của lớp Facial Action Coding Hệ thống mã hóa hành FACS System động mat Facial Thermal Feature | Cơ sở các điểm đặc trưng FTFP Points nhiét mat HMM Hidden Markov Models | Mô hình Markov ân Histogram of Oriented | Biểu đô của các gradient HOG : Gradients định hướng Kotani Thermal Facial KTFE Co sở dữ liệu ảnh nhiệt Emotion LBP Local Binary Pattern Mô hình nhi phân cục bộ LDA Linear Discriminant Phuong 8 phap phap p phan tich Analysis phan biét tuyén tinh Local Directional Mô hình định hướng cục LDP Pattern bộ Norm-Eigenspace Phuong pháp không gian n-EMC method based on class riéng chuẩn dựa trên đặc Feature trưng lớp Natural Visible and NVIE Infrared facial Co sở dữ liệu ảnh nhiệt Expression PCA Principal Component Phuong phap phan tich Analysis thanh phan chinh Posttraumatic Stress , PTSD Chân thương tâm lý Disorder ROI Region of Interest Khu vực quan tâm SVM Support PP Vector Phương : pháp MáyMay vector 8 pháp Machines hồ trợ thermal-Principal Phuong phap phan tich t-PCA P š P PP Component Analysis thanh phan chinh nhiét Thermal Region of Cac khu vuc nhiét quan t-ROI Interest A tam DANH MỤC CÁC BANG BIEU Bang 1. Một số cơ sở dữ liệu ảnh nhiệt [42].
Ma trận kết quả với PCA. Từ trái sang phải (trên xuống dưới): giận dữ (An), ghê tom (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buôn rau (Sa) và ngạc nhiên (Su). Ma trận kết quả với EMC. Từ trái sang phải (trên xuống dưới): giận dữ (An), ghê tom (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buôn rau (Sa) và ngạc nhiên (Su).
Ma trận kết quả với PCA-EMC. Từ trái sang phải (trên xuống dưới): giận dữ (An), ghê tom (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buôn rầu (Sa) và ngạc nhiên (Su). So sánh phân tích với phương pháp [3Š ]. Ma trận kết quả với PCA.
Từ trái sang phải (trên xuống dưới): giận dữ (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) va buôn rầu (Sa).- - - 5c St St E2 EE9EEE1115511151511E15121111E1 11x cE. Ma trận kết quả với EMC. Từ trái sang phải (trên xuống dưới): giận dữ (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) và buôn rau ( Sa). - 5 St sT E111 E11 1111111111111 11111111111, 39 Bảng 3.
Ma trận kết quả với PCA-EMC. Từ trái sang phải (trên xuống dưới): giận dữ (An), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne) và buôn rau ((Sa). So sánh phân tích với phương pháp [38 ].----- ------«+>- 40 DANH MỤC CÁC HÌNH VE, BIEU DO Hình 1. Ví dụ về đặc trưng hình học của mặt gom lông may, mat, mii, 09030 VÀ.
Sơ đồ quy trình thực hiện của phương pháp [35]. Trích xuất ROI trong phương pháp [38]. Ví dụ về AAM [47] v. Ví dụ về LBP cơ bản.
Lấy giá trị điểm trung tâm làm ngưỡng xác định các giá trị điểm xung quanh chuyền về 0,1. Từ giá trị nhị phân nhận được tính toán giá trị thập phân tương ứng [22]. Các vector đặc trưng LBP được trích xuất từ các vùng khác nhau trên hình ảnh khuôn mặt [22]. Siêu phang tách với khoảng cách lề cực đại [44].
Ví dụ về PCA [45].----¿-2¿-©2¿22++2Exc2EEEEESEEeEEkerkrrrkerkrerrree 21 Hình 1. Ví dụ về EMC [46].------ 2 5¿+2++2EE+EEEEEESEEEEEEerkrrrkerkrerkree 23 Hình 2. Mẫu ảnh nhiệt và ảnh nhìn thấy của bảy cảm xúc[42] .----- ¿2 + +£+E£2E££EE£EE£E£EEerxerkerkerreered 26 Hình 2. Nhận dạng cảm xúc với ROI và PCA.
Nhận dạng cảm xúc với ROI va EMC. Ví dụ hình ảnh nhiệt của bảy cảm xúc (bình thường, tức giận, hạnh phúc, buồn, sợ hãi, ghê tom, ngạc nhiên) [42]. Kết quả nhận dang cảm xúc của PCA. Kết quả nhận dạng cảm xúc của EMC.
Kết quả nhận dạng cảm xúc của PCA-EMC. So sánh giữa PCA, EMC và PCA-EMC. So sánh giữa phương pháp đề xuất và phương pháp [35] cho 1 MO DAU 1. Ly do chon dé tai Cam xúc đóng một vai trò quan trọng trong giao tiếp phi ngôn ngữ, là một trong những cơ sở dé hiểu được hành vi của con người.
Có thé nhận dạng cảm xúc thông qua nhiều hình thức khác nhau, và đặc biệt là thông qua biểu hiện trên khuôn mặt [1], [6]. Trong xu hướng phát triển của khoa học kĩ thuật, công nghệ thông tin, nhận dạng cảm xúc trở thành một vấn đề đã và đang thu hút được sự quan tâm, nghiên cứu của các nhà khoa học. Đầu những năm 1970, Paul Ekman và các đồng nghiệp của ông đã thực hiện các nghiên cứu sâu rộng về các biểu hiện trên khuôn mặt con người [2]. Trong suốt những thập kỷ sau đó, phương pháp nhận dạng cảm xúc đã được ứng dụng phô biến trong cuộc sống, các hệ thống phát hiện trạng thái buồn ngủ dựa vào cảm xúc trên khuôn mặt được phát triển để cảnh báo cho người lái xe khi thấy dấu hiệu buồn ngủ, mệt mỏi [48], các phần mềm điều khiến dựa vào cảm xúc, các ứng dụng trò chơi video thông minh [49], tương tác người và robot [50], v.
Tuy nhiên, do sự phức tạp của khuôn mặt người, biểu cảm của cảm xúc và quan điểm về hành vi cho thấy nghiên cứu về lĩnh vực này vẫn còn là một thách thức lớn [3], [4], [7], [8]. Ngoài ra, các hệ thống dựa trên các hình ảnh nhìn thay phải đối mặt với những thách thức như: chất lượng ảnh không tốt do điều kiện ánh sáng kém, nhiều người không biéu hiện nên không thê nhận biết được cảm xúc thật, v. Tất cả những nguyên nhân đó đều có thé làm giảm độ chính xác của kết quả nghiên cứu. Việc sử dụng hình ảnh nhiệt là một trong những giải pháp khắc phục những hạn chế của ảnh nhìn thấy được [9].
Hình ảnh nhiệt không nhạy cảm với điều kiện ánh sáng. Bên cạnh đó, không phải toàn bộ ảnh có tác động thay đổi nhiệt độ khi cảm xúc thay đổi nên việc rút trích đặc trưng vùng quan 2 trọng là rất cần thiết. Có thể nói, sử dụng ảnh nhiệt là một kỹ thuật đầy hứa hẹn trong việc nhận dạng cảm xúc thực tế hơn. Xuất phát từ các cơ sở đó, chúng tôi chọn đề tài “Nhận dạng cảm xúc của người dựa trên ảnh nhiệt”.
Luận văn làm rõ cơ sở lý thuyết và các nghiên cứu liên quan cũng như thực nghiệm, đánh giá kết quả đạt được trong thực tế và khả năng phát triển của dé tài. Quan trọng hon dé tài mong muốn đóng góp một phần nghiên cứu về sự cải tiến quá trình rút trích đặc trưng tốt hơn trong bài toán nhận dạng cảm xúc.