Chương 1: Tổng quan về tình hình nghiên cứu Chương này sẽ giới thiệu về tông quan các công trình nghiên cứu trong lĩnh vực nhận điện cảm xúc ở con người. Trình bay các nghiên cứu đã được áp dung dé giải quyết bài toán nhận diện cảm xúc. Giới thiệu về các tập dữ liệu chuẩn được các nhà nghiên cứu đang sử dụng. Chương 2: Cơ sở lý thuyết Chương này trình bay lân lượt các phương pháp được sử dụng trong dé tài.
Đông thời cũng nêu lên những yếu điểm của những phương pháp đề có thé lựa chọn những mô hình phù hợp với dé tài. Chương 3: Phương pháp nhận điện cảm xúc đựa trên ngữ cảnh Phan này sẽ được trình bày chỉ tiết phương pháp ma chúng tôi sử dung đa phương thức để nhận điện cảm xúc của con người. Phương pháp này là sự kết hợp đồng thời ba nhánh và kết hợp với cơ chế chú ý. 12 Chương 4: Thực nghiệm và đánh giá Chương này sẽ so sánh các kết quả đạt được khi huấn luyện mô hình trên tập dir liệu đã chọn Chương 5: Kết luận và hướng phát triển Tông kết lại những kết quả đạt được và chưa đạt được sau quá trình nghiên cứu, tiễn hành thực nghiệm.
Từ đó nêu ra những hướng nghiên cứu và phát triển cho dé tải khắc phục những hạn chê ở hiện tại. TONG QUAN TINH HÌNH NGHIÊN CỨU 1.1 Tổng quan Hiện nay, trí tuệ nhân tạo (AD) dang là xu hướng công nghệ hàng đầu được các tập đoàn công nghệ trên toàn thé giới tích cực nghiên cứu và phát triển. Các mô hình AI tiên tiền đang được ứng dụng và tích hợp vào các sản phẩm phần mềm nhằm tăng cường hiệu suất, tự động hóa quy trình và mang lại trải nghiệm người dùng tốt hơn. Mục tiêu cuối cùng của các doanh nghiệp khi áp dụng AI là tối ưu hóa hoạt động kinh doanh, giảm chỉ phí vận hành vả đạt được lợi nhuận cao hơn.
Ngoài ra, trí tuệ nhân tạo con nâng cao chất lượng sống của con người mang lại nhiêu lợi ích. Trong nghiên cứu về cảm xúc trong lĩnh vực chăm sóc sức khỏe là một lĩnh vực quan trọng va ngảy cảng nhận được nhiều sự quan tâm. Điều nảy lả do cảm xúc đóng một vai trò lớn trong việc ảnh hưởng đến sức khỏe, quá trình chữa bệnh va trải nghiệm chăm sóc của bệnh nhân. Nhiều nghiên cứu đã chỉ ra ring các biểu hiện cảm xúc có thé cung cấp những dấu hiệu quan trọng vẻ tình trang sức khỏe của một người.
Các biểu hiện cảm xúc trên khuôn mặt có thẻ thay dau hiệu của một số bệnh lý như đau đớn, mệt mỏi, tâm thần phân liệt hoặc trầm cảm. Trong đó sự suy giảm trong biểu hiện cam xúc là một đặc điểm nôi bật trong một số bệnh về rồi loạn tâm than, bao gồm cả tâm than phân liệt. Những người mắc rồi loan nảy thường gặp khó khăn trong việc nhận biết, điển đạt và điều chỉnh cảm xúc của mình một cách thích hợp với hoàn cảnh. Điều nay có thé dẫn đến khó khăn trong giao tiếp va thiết lập các môi quan hệ xã hội.
Ngoài ra, sự mat liên kết cảm xúc cũng có thé làm tăng nguy cơ xuất hiện các triệu chứng tiêu cực khác như ảo giác, hoang tưởng và rỗi loạn hành vi [7]. Không những vậy các cảm xúc tiêu cực như khinh thường, ít cười kèm theo các biểu hiện trên khuôn mặt cũng là những dấu hiệu của bệnh tram cảm [8], [9]. Không chỉ nhận điện cảm xúc được ứng dụng trong ý tế, mà còn được ứng dụng trong giáo dục giúp theo déi va phân tích cảm xúc của học sinh trong quá trình học tập có thé giúp giáo viên thay đổi nội dung và điều chỉnh phương pháp dạy học. Trong nghiên cứu [10] đã khảo sát các 14 mỗi quan hệ giữa cảm xúc và kết quả học tập của học sinh.
Kết quả cho thay những học sinh có những cảm xúc tích cực như sự thích thú (enjoyment), niềm tự hào (pride) thi đạt được kết qua học tập cao so với những cảm xúc tiêu cực như tức giận (anger), lo lắng (anxicty), xâu hồ (shame), buồn chán (boredom), tuyệt vọng (hopelessness) sẽ nhận được những điểm số thấp. Ngoài ra, việc tiếp xúc với nhiều nguồn tri thức làm cho học sinh, sinh viên phải nỗ lực nhiều lần và gây ra các triệu chứng căng thăng, tram cảm và các bệnh tâm lý khác cho nên việc nhận dạng cảm xúc giúp giáo viên và phụ huynh có thê phát hiện sớm và can thiệp kịp thời. Một vài ứng dụng trong bài toán nhận diện cảm xúc được thê hiện ở Hình 1. Từ những lợi ích và tam quan trọng đó ma nhận điện cảm xúc mang lại da thu hut được sự quan tâm lớn của các nhà khoa học trong các lĩnh vực như trí tuệ nhân tạo, máy học và xứ lý ngôn ngữ tự nhiên (NLP).
Việc kết hợp thông tin từ cả hai nguồn hình ảnh và giọng nói đã được chứng minh là một phương pháp hiệu qua dé nâng cao độ chính xác va độ tin 15 cậy trong việc nhận diện cam xúc [11], [12], [13]. Các biểu hiện trên khuôn mặt người đóng vai trò trung tâm, chiếm khoảng 55% cơ sở dé giúp con người hiểu và giao tiếp với nhau một cách tự nhiên và hiệu quả. Bên cạnh đó, từ các đặc trưng trên khuôn mặt được nhiều nhà nghiên cứu phân tích và đánh giá nhằm xây dựng được các phương pháp nhận diện cảm xúc và nhiều nghiên cứu đã đạt được kết quả khả quanƒ 14].1 Lý thuyết về cảm xúc Cam xúc là thành phần không thê thiểu trong cuộc sông của con người. Nó ảnh hưởng đến cách chúng ta nhìn nhận thế giới và đưa ra các quyết định với người khác.
Cảm xúc từ vui sướng đến buôn bã, giận dit đến sợ hãi, đều có thẻ điều khiên hành vi, suy nghĩ thậm chí là sức khỏe của con người. Vì tầm quan trọng của cảm xúc, các nhà khoa học đã nghiên cứu tìm hiệu ban chat và vai tro của cảm xúc. Charles Drawin đã đưa ra lý thuyết quan trọng về nguồn gốc và chức năng của cảm xúc. Darwin tin rằng cảm xúc có nguồn gốc từ quá trình tiễn hóa đề giúp sinh tồn và thích nghỉ.
Darwin nhận thay rang các biểu hiện cam xúc như nét mặt, cử chi có nhiều điểm tương đồng giữa con người và động vật, chứng tỏ chúng có nguồn gốc tiền hóa chung. Ví dụ đối với động vật việc thé hiện cảm xúc thông qua hành động tuy không đa dạng như con người như chúng ta vẫn có thé nhận điện cảm xúc của động vật thông qua những cử chỉ như “chop mắt”, “liém mũi”, “vẫy đuôi”. Ly thuyét của Charles Drawin là nền tảng cho nhiều ` Ũ ` a ˆ , bì. + 2: nghiên cứu va tranh luận trong khoa học tâm lý về ban chat của cam xúc con người.
Trong nghiên cứu [18] của tác giả Paul Ekman đã đưa ra lý thuyết về cảm xúc cơ bản của con người. Đề chứng minh các đối tượng ở những nền văn hóa khác nhau vẫn có xuất hiện những biểu hiện cảm xúc trên khuôn mặt là giống nhau. Các nhà nghiên cứu đã thu thập dữ liệu ở New Guinea bằng cách kê những câu chuyện vả cho họ xem một vai hình ảnh. Từ đó, yêu cau những đôi tượng nghiên cứu chọn những khuôn mặt ứng với cảm xúc phù hợp.
Kết qua được tổng hợp và phân tích đã chỉ ra gồm có 6 cảm xúc cơ bản biểu hiện 16 ở người là vui vẻ (happiness), buồn (sadness), sợ hãi (fear), giận diy (anger), ghê tom (disgust) va ngac nhién (surprise), duge thé hién Hinh 1. Điều nay cho thay Ekman va Friesen đã bắt dau xây dựng một hệ thong quy tắc phức tạp dé dự đoán cảm xúc dựa trên các mẫu biểu cảm khuôn mặt, ngay cá khi không phải tất cả các yếu tô đặc trưng đều được hiền thị day đủ. Đây là một bước quan trọng trong quá trình phát triển phương pháp đánh giá biéu cảm khuôn mặt một cách chính xác. Bộ anh "Pictures of Facial Affect" do Ekman và Friesen (1976) phát triển đóng vai trò then chốt trong nghiên cứu về nhận diện cảm xúc.
Trong bộ ảnh này, 6 loại cảm xúc cơ bản được thê hiện, bao gồm: giận dữ (Anger), ghê tom (Disgust), sợ hãi (Fear), hạnh phúc (Happiness), buôn (Sadness) và ngạc nhiên (Surprise) vả trung tính (Neutral). Các biểu cảm nảy được ghi lại từ 6 người mẫu nữ và 4 người mẫu nam. Bộ ảnh này đã trở thành một tập dữ liệu tiêu chuẩn được sử dụng rộng rãi trong các nghiên cứu về nhận diện cảm xúc từ hình ảnh khuôn mặt, F2 F4 F5 F6 F7 F8 M1 M4 M5 M6 Hình 1.2: Hình ảnh khuôn mặt các nha nghiên cứu Ekman va Friesen (1976). 17 Hình anh của Facial Affect được sử dung trong FEEST [18].
Có các biểu biện cam xúc như tức giận (A), ghê tom (D). sợ hãi (F), hạnh phúc (H), buôn (S) và ngạc nhiên (U), và tư thế trung tính (N) cho 6 người mẫu nữ và 4 nam (F2 là mẫu nữ thứ hai trong chuỗi, MI là mau nam dau tiên,. Ngoài 6 loại cảm xúc cơ bản phô biến của Paul Ekman. Ông còn thực nghiệm và cho rằng có nhiều loại cảm xúc không nằm trong 6 loại cảm xúc cơ bản.
Trong nghiên cứu [19] đã chỉ ra 27 loại cảm xúc khác nhau như kinh di, buôn, sợ hãi, tức giận, xấu hô. Tuy nhiên, những cảm xúc này không hoàn toàn độc lập và tách biệt với nhau. Chúng được kết nối với nhau bởi những dai liên tục (continuous gradients), có nghĩa là các cảm xúc có thẻ chuyên dan từ cấp độ này sang cấp độ khác thay vì thay đôi đột ngột. Không những có các công trình nghiên cứu về cảm xúc bằng hình ảnh.
Paul Ekman cùng với các cộng sự [20] đã nghiên cứu vẻ việc âm thanh tương tự với việc thực nghiệm trên hình ảnh. Các nhà nghiên cứu đã phát những đoạn âm thanh với các phiên ban khác nhau ví dụ: cảm xúc ghê tom âm thanh chủ yếu là tiếng nôn mửa, nỗi sợ là tiếng la hét. Từ đó tông hợp và so sánh việc lựa chọn âm thanh tương ứng với cảm xúc của từng dân cư khác nhau va nghiên cứu đã đi đến kết luận. Những cảm xúc được nhận diện từ âm thanh tương ứng với những loại cảm xúc cơ bản được củng cô bằng cảm xúc khuôn mặt.
Từ phát hiện này bỏ sung thêm cho các lý thuyết dé xuất những cảm xúc cơ bản đã có từ lúc con người tiên hóa và được chuyên cho các đời sau. Dé trực quan hóa môi liên hệ giữa các cảm xúc của con người.