Xây Dựng Mô Hình Kết Hợp Ảnh Thường và Ảnh Nhiệt Để Ước Lượng Cảm Xúc Con Người

Luận văn trình bày mô hình kết hợp ảnh thường và ảnh nhiệt nhằm ước lượng cảm xúc con người, mở ra hướng nghiên cứu mới trong lĩnh vực này.

• Tác giả: Trần Thanh Nhã
• Người hướng dẫn: TS. Nguyễn Viết Hưng
• Trường học: Trường Đại học Sư phạm Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Mô Hình Kết Hợp Ảnh Thường và Ảnh Nhiệt Để Đánh Giá Cảm Xúc Con Người
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu và nhiệm vụ nghiên cứu
• 1.3. Đóng góp của luận văn
• 1.4. Đối tượng và phạm vi nghiên cứu
• 1.5. Phương pháp nghiên cứu
• 1.6. Ý nghĩa khoa học và thực tiễn
• 1.7. Cấu trúc luận văn
• 2. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 2.1. Các công trình nghiên cứu liên quan
• 2.2. Một số thách thức trong lĩnh vực nghiên cứu nhận dạng cảm xúc của con người
• 2.3. Sơ lược về cơ sở dữ liệu cảm xúc
• 2.4. Bài toán phát hiện cảm xúc khuôn mặt
• 2.5. Kiến trúc Mạng nơ-ron tích chập (Convolutional neural network)
• 2.6. Lớp Fully Connected
• 2.7. Học chuyển giao
• 2.8. Mạng huấn luyện Resnet (Residual Network)
• 2.9. Độ đo đánh giá mô hình phân lớp
• 3. ƯỚC LƯỢNG CẢM XÚC CỦA NGƯỜI DỰA TRÊN ẢNH THƯỜNG VÀ ẢNH NHIỆT
• 3.1. Cơ sở dữ liệu ảnh nhiệt Kotani Thermal Facial Emotion (KTFE)
• 3.2. Mô hình ước lượng cảm xúc trên ảnh thường và ảnh nhiệt
• 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trường thực nghiệm
• 4.2. Dữ liệu đầu vào
• 4.3. Phân tích đánh giá
• 4.4. Kết quả thực nghiệm
• 4.5. So sánh kết quả thực nghiệm với kết quả của phương pháp [32]
• 4.6. So sánh kết quả thực nghiệm với kết quả của phương pháp [36]
• 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• CÔNG TRÌNH CÔNG BỐ
• TÀI LIỆU THAM KHẢO
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH VẼ

Tóm tắt

I. Tổng Quan Về Mô Hình Kết Hợp Ảnh Thường và Ảnh Nhiệt

Trong kỷ nguyên công nghệ số, việc trao đổi thông tin giữa người và máy trở nên vô cùng quan trọng. Nghiên cứu về cách máy móc hiểu và giao tiếp với con người thu hút sự quan tâm lớn. Hai nguồn thông tin chính là giọng nói và hình ảnh. Trong đó, biểu hiện khuôn mặt chiếm 55% cơ sở để con người hiểu nhau. Tuy nhiên, đây là một bài toán khó đối với máy tính. Nghiên cứu về biểu hiện khuôn mặt đã đạt được nhiều kết quả khích lệ. Cảm xúc là một biểu hiện khó nắm bắt chỉ bằng ảnh thông thường. Cảm xúc không chỉ là biểu hiện bên ngoài mà còn là sự thay đổi vật lý về nhiệt độ trong các mạch máu. Ảnh thông thường gặp hạn chế về ánh sáng, màu da, và không phản ánh được cảm xúc thật sự. Ảnh nhiệt khắc phục điều này, giúp dự đoán chính xác hơn. Hầu hết nghiên cứu tập trung vào 6 cảm xúc cơ bản. Đề tài "Mô hình kết hợp ảnh thường và ảnh nhiệt để ước lượng cảm xúc con người" được thực hiện để làm rõ cơ sở lý thuyết, thực nghiệm và đánh giá kết quả.

1.1. Tầm Quan Trọng của Nhận Diện Cảm Xúc Con Người

Trong bối cảnh trí tuệ nhân tạo (AI) ngày càng phát triển, khả năng nhận diện cảm xúc của máy móc đóng vai trò then chốt trong việc tạo ra các hệ thống tương tác tự nhiên và hiệu quả hơn. Việc máy móc có thể hiểu được cảm xúc con người mở ra tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, từ chăm sóc sức khỏe đến giáo dục và giải trí. Các hệ thống có khả năng phân tích cảm xúc có thể giúp cải thiện trải nghiệm người dùng, cung cấp dịch vụ cá nhân hóa và hỗ trợ ra quyết định.

1.2. Ưu Điểm của Mô Hình Kết Hợp Ảnh Thường và Ảnh Nhiệt

Mô hình kết hợp ảnh thường và ảnh nhiệt mang lại nhiều ưu điểm so với việc chỉ sử dụng một loại ảnh duy nhất. Ảnh thường cung cấp thông tin về hình dạng và biểu hiện khuôn mặt, trong khi ảnh nhiệt phản ánh sự thay đổi nhiệt độ trên khuôn mặt, liên quan đến các phản ứng sinh lý và cảm xúc. Sự kết hợp này giúp khắc phục những hạn chế của từng loại ảnh, chẳng hạn như ảnh hưởng của ánh sáng đối với ảnh thường và sự nhạy cảm với nhiệt độ môi trường của ảnh nhiệt. Từ đó, mô hình có thể đánh giá cảm xúc một cách chính xác và đáng tin cậy hơn.

II. Thách Thức và Vấn Đề Trong Đánh Giá Cảm Xúc Hiện Tại

Các hệ thống nhận dạng cảm xúc hiện tại, đặc biệt là những hệ thống dựa trên ảnh thường, gặp phải nhiều thách thức. Điều kiện ánh sáng yếu, chất lượng ảnh kém, sự khác biệt về màu da, và việc người dùng cố tình che giấu cảm xúc đều có thể ảnh hưởng đến độ chính xác của hệ thống. Ảnh nhiệt có thể giúp khắc phục một số hạn chế này, nhưng cũng có những thách thức riêng, chẳng hạn như sự thay đổi nhiệt độ cơ thể do hoạt động thể chất hoặc môi trường. Do đó, việc phát triển các mô hình kết hợp mạnh mẽ và linh hoạt là rất quan trọng để vượt qua những thách thức này.

2.1. Hạn Chế Của Phương Pháp Nhận Diện Cảm Xúc Truyền Thống

Các phương pháp nhận diện cảm xúc truyền thống thường dựa trên việc phân tích các đặc điểm khuôn mặt như vị trí và hình dạng của mắt, mũi, miệng. Tuy nhiên, những phương pháp này có thể bị ảnh hưởng bởi nhiều yếu tố, bao gồm góc nhìn, ánh sáng và biểu cảm giả tạo. Ngoài ra, chúng thường không thể phát hiện những thay đổi cảm xúc tinh tế hoặc những cảm xúc bị che giấu. Điều này dẫn đến độ chính xác thấp và khả năng ứng dụng hạn chế trong thực tế.

2.2. Ảnh Hưởng Của Yếu Tố Môi Trường Đến Độ Chính Xác

Yếu tố môi trường, chẳng hạn như ánh sáng và nhiệt độ, có thể ảnh hưởng đáng kể đến độ chính xác của các hệ thống nhận diện cảm xúc. Ánh sáng yếu hoặc quá mạnh có thể làm giảm chất lượng ảnh thường, khiến việc trích xuất các đặc điểm khuôn mặt trở nên khó khăn hơn. Nhiệt độ môi trường có thể ảnh hưởng đến nhiệt độ khuôn mặt, làm sai lệch kết quả phân tích nhiệt. Do đó, các hệ thống nhận diện cảm xúc cần được thiết kế để có khả năng chống chịu với những thay đổi môi trường này.

2.3. Vấn Đề Về Dữ Liệu Huấn Luyện và Tính Đa Dạng

Một vấn đề quan trọng khác trong lĩnh vực nhận diện cảm xúc là sự thiếu hụt dữ liệu huấn luyện đa dạng và đại diện. Hầu hết các bộ dữ liệu hiện có đều tập trung vào một số ít cảm xúc cơ bản và thường được thu thập trong điều kiện kiểm soát. Điều này có thể dẫn đến việc các mô hình được huấn luyện trên những bộ dữ liệu này hoạt động kém hiệu quả trong môi trường thực tế, nơi cảm xúc có thể phức tạp và đa dạng hơn nhiều. Cần có những nỗ lực để thu thập và tạo ra các bộ dữ liệu lớn hơn, đa dạng hơn và đại diện hơn để cải thiện khả năng tổng quát hóa của các mô hình nhận diện cảm xúc.

III. Phương Pháp Kết Hợp Ảnh Thường và Ảnh Nhiệt Hiệu Quả

Để giải quyết các thách thức trên, luận văn đề xuất mô hình kết hợp ảnh thường và ảnh nhiệt sử dụng mạng nơ-ron tích chập (CNN). Mô hình này trích xuất đặc trưng từ cả hai loại ảnh, sau đó hợp nhất các đặc trưng này để phân loại cảm xúc. Kỹ thuật học sâu giúp mô hình tự động học các đặc trưng quan trọng từ dữ liệu, giảm thiểu sự can thiệp của con người. Cơ sở dữ liệu KTFE được sử dụng để huấn luyện và đánh giá mô hình. Kết quả thực nghiệm cho thấy mô hình đạt được độ chính xác cao hơn so với các phương pháp truyền thống.

3.1. Ứng Dụng Mạng Nơ Ron Tích Chập CNN Trong Xử Lý Ảnh

Mạng nơ-ron tích chập (CNN) là một kiến trúc mạng nơ-ron đặc biệt phù hợp cho việc xử lý ảnh. CNN sử dụng các lớp tích chập để tự động học các đặc trưng quan trọng từ ảnh, chẳng hạn như cạnh, góc và kết cấu. Các lớp gộp (pooling) giúp giảm kích thước của dữ liệu và tăng tính bất biến đối với các biến đổi nhỏ trong ảnh. CNN đã đạt được những thành công vượt trội trong nhiều bài toán computer vision, bao gồm nhận dạng đối tượng, phân loại ảnh và phát hiện khuôn mặt.

3.2. Kỹ Thuật Học Chuyển Giao Transfer Learning Để Tăng Tốc Độ Huấn Luyện

Học chuyển giao (transfer learning) là một kỹ thuật cho phép sử dụng kiến thức đã học được từ một bài toán để giải quyết một bài toán khác có liên quan. Trong lĩnh vực nhận diện cảm xúc, học chuyển giao có thể được sử dụng để tận dụng các mô hình đã được huấn luyện trên các bộ dữ liệu lớn về nhận dạng đối tượng hoặc phân loại ảnh. Bằng cách sử dụng học chuyển giao, có thể giảm đáng kể thời gian và chi phí huấn luyện mô hình cho bài toán nhận diện cảm xúc.

3.3. Hợp Nhất Đặc Trưng Từ Ảnh Thường và Ảnh Nhiệt

Việc hợp nhất các đặc trưng trích xuất từ ảnh thường và ảnh nhiệt là một bước quan trọng để tận dụng tối đa thông tin từ cả hai nguồn. Có nhiều phương pháp hợp nhất khác nhau, bao gồm hợp nhất ở mức đặc trưng (feature-level fusion) và hợp nhất ở mức quyết định (decision-level fusion). Hợp nhất ở mức đặc trưng kết hợp các đặc trưng trích xuất từ hai loại ảnh thành một vectơ đặc trưng duy nhất, trong khi hợp nhất ở mức quyết định kết hợp các kết quả phân loại riêng lẻ từ hai loại ảnh.

IV. Thực Nghiệm và Đánh Giá Hiệu Quả Mô Hình Kết Hợp

Mô hình được huấn luyện và đánh giá trên cơ sở dữ liệu KTFE. Dữ liệu được chia thành tập huấn luyện và tập kiểm tra. Các độ đo đánh giá như độ chính xác, độ tin cậy được sử dụng để đánh giá hiệu quả của mô hình. Kết quả cho thấy mô hình kết hợp vượt trội so với các mô hình chỉ sử dụng một loại ảnh. So sánh với các phương pháp khác trong tài liệu gốc cũng cho thấy sự ưu việt của mô hình đề xuất.

4.1. Cơ Sở Dữ Liệu Ảnh Nhiệt Kotani Thermal Facial Emotion KTFE

Cơ sở dữ liệu Kotani Thermal Facial Emotion (KTFE) là một bộ dữ liệu quan trọng cho nghiên cứu về nhận diện cảm xúc bằng ảnh nhiệt. Bộ dữ liệu này chứa ảnh thường và ảnh nhiệt của các đối tượng thể hiện các cảm xúc khác nhau. KTFE cung cấp một nguồn tài nguyên quý giá cho việc huấn luyện và đánh giá các mô hình nhận diện cảm xúc kết hợp ảnh thường và ảnh nhiệt.

4.2. Phân Tích Kết Quả Thực Nghiệm và So Sánh Với Các Phương Pháp Khác

Kết quả thực nghiệm cho thấy mô hình kết hợp đạt được độ chính xác cao hơn so với các mô hình chỉ sử dụng một loại ảnh. Điều này chứng tỏ rằng việc kết hợp thông tin từ ảnh thường và ảnh nhiệt có thể cải thiện đáng kể hiệu quả của nhận diện cảm xúc. So sánh với các phương pháp khác trong tài liệu gốc cũng cho thấy sự ưu việt của mô hình đề xuất, đặc biệt là trong việc nhận diện các cảm xúc khó như sợ hãi và ghê tởm.

4.3. Đánh Giá Độ Tin Cậy và Tính Ổn Định Của Mô Hình

Ngoài độ chính xác, độ tin cậy và tính ổn định cũng là những yếu tố quan trọng cần được đánh giá khi xây dựng một mô hình nhận diện cảm xúc. Độ tin cậy thể hiện khả năng của mô hình trong việc đưa ra các dự đoán nhất quán, trong khi tính ổn định thể hiện khả năng của mô hình trong việc duy trì hiệu suất cao trong các điều kiện khác nhau. Các thử nghiệm cần được thực hiện để đánh giá độ tin cậy và tính ổn định của mô hình trong các tình huống thực tế.

V. Ứng Dụng Thực Tế Của Mô Hình Đánh Giá Cảm Xúc

Mô hình có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực. Trong y tế, nó có thể giúp phát hiện căng thẳng, đau đớn ở bệnh nhân. Trong marketing, nó có thể giúp phân tích cảm xúc của khách hàng đối với sản phẩm. Trong an ninh, nó có thể giúp phát hiện nói dối. Trong giáo dục, nó có thể giúp cá nhân hóa trải nghiệm học tập. Ứng dụng trong chăm sóc sức khỏe cũng rất tiềm năng.

5.1. Ứng Dụng Trong Lĩnh Vực Y Tế và Chăm Sóc Sức Khỏe

Trong lĩnh vực y tế và chăm sóc sức khỏe, mô hình đánh giá cảm xúc có thể được sử dụng để phát hiện các dấu hiệu của căng thẳng, lo lắng, đau đớn hoặc các rối loạn tâm lý khác. Nó cũng có thể giúp theo dõi hiệu quả của các phương pháp điều trị và cung cấp phản hồi cho bệnh nhân và bác sĩ. Ví dụ, mô hình có thể được sử dụng để phát hiện các dấu hiệu sớm của trầm cảm hoặc lo âu ở những người có nguy cơ cao.

5.2. Ứng Dụng Trong Lĩnh Vực Marketing và Nghiên Cứu Thị Trường

Trong lĩnh vực marketing và nghiên cứu thị trường, mô hình đánh giá cảm xúc có thể được sử dụng để phân tích phản ứng của khách hàng đối với các sản phẩm, dịch vụ hoặc quảng cáo. Nó có thể giúp các nhà marketing hiểu rõ hơn về nhu cầu và mong muốn của khách hàng, từ đó đưa ra các quyết định marketing hiệu quả hơn. Ví dụ, mô hình có thể được sử dụng để phân tích cảm xúc của khán giả khi xem một quảng cáo và xác định những yếu tố nào của quảng cáo gây được ấn tượng tích cực hoặc tiêu cực.

5.3. Ứng Dụng Trong Lĩnh Vực An Ninh và Phát Hiện Nói Dối

Trong lĩnh vực an ninh, mô hình đánh giá cảm xúc có thể được sử dụng để phát hiện các dấu hiệu của nói dối hoặc che giấu thông tin. Nó có thể giúp các nhà điều tra xác định những người có thể liên quan đến một vụ án hoặc những người đang cố gắng che giấu điều gì đó. Tuy nhiên, cần lưu ý rằng việc sử dụng mô hình đánh giá cảm xúc trong lĩnh vực an ninh cần được thực hiện một cách cẩn trọng và tuân thủ các quy định về quyền riêng tư.

VI. Kết Luận và Hướng Phát Triển Của Mô Hình Đánh Giá

Luận văn đã xây dựng thành công mô hình kết hợp ảnh thường và ảnh nhiệt để ước lượng cảm xúc. Mô hình này có độ chính xác cao và tiềm năng ứng dụng rộng rãi. Hướng phát triển trong tương lai bao gồm: mở rộng cơ sở dữ liệu, cải thiện kiến trúc mô hình, và nghiên cứu các ứng dụng thực tế cụ thể.

6.1. Tổng Kết Những Thành Công Đạt Được Trong Nghiên Cứu

Nghiên cứu đã đạt được những thành công đáng kể trong việc xây dựng một mô hình hiệu quả để đánh giá cảm xúc bằng cách kết hợp thông tin từ ảnh thường và ảnh nhiệt. Mô hình này đã chứng minh được khả năng vượt trội so với các phương pháp truyền thống và mở ra nhiều tiềm năng ứng dụng trong các lĩnh vực khác nhau.

6.2. Đề Xuất Các Hướng Nghiên Cứu Tiếp Theo Để Nâng Cao Hiệu Quả

Để nâng cao hiệu quả của mô hình đánh giá cảm xúc, cần tiếp tục nghiên cứu và phát triển theo các hướng sau: mở rộng cơ sở dữ liệu huấn luyện, cải thiện kiến trúc mô hình, nghiên cứu các phương pháp hợp nhất đặc trưng hiệu quả hơn, và khám phá các ứng dụng thực tế cụ thể.

6.3. Tầm Quan Trọng Của Nghiên Cứu Trong Lĩnh Vực Trí Tuệ Nhân Tạo

Nghiên cứu về mô hình đánh giá cảm xúc đóng vai trò quan trọng trong lĩnh vực trí tuệ nhân tạo (AI), đặc biệt là trong việc phát triển các hệ thống tương tác tự nhiên và thông minh hơn. Khả năng nhận diện và hiểu cảm xúc của con người là một yếu tố then chốt để tạo ra các hệ thống AI có thể tương tác với con người một cách hiệu quả và đồng cảm.

Nội dung chính

## Tổng quan nghiên cứu

Trong kỷ nguyên công nghiệp 4.0, việc trao đổi thông tin giữa con người và máy móc ngày càng trở nên quan trọng, đặc biệt trong lĩnh vực nhận dạng cảm xúc qua biểu hiện khuôn mặt. Theo ước tính, biểu hiện khuôn mặt chiếm tới 55% cơ sở để con người hiểu nhau trong giao tiếp xã hội. Tuy nhiên, việc máy tính nhận diện cảm xúc dựa trên ảnh thường gặp nhiều khó khăn do ảnh thường bị ảnh hưởng bởi điều kiện ánh sáng, màu da và biểu cảm không rõ ràng. Để khắc phục, nghiên cứu này tập trung xây dựng mô hình kết hợp ảnh thường và ảnh nhiệt nhằm ước lượng cảm xúc con người chính xác hơn. Mục tiêu cụ thể là phát triển mô hình đa nguồn dữ liệu, nhận dạng bảy cảm xúc cơ bản: giận dữ, ghê tởm, sợ hãi, hạnh phúc, bình thường, buồn rầu và ngạc nhiên, dựa trên cơ sở dữ liệu KTFE thu thập từ 30 đối tượng đa quốc tịch trong khoảng tuổi 11-32. Nghiên cứu có ý nghĩa khoa học trong việc phát triển các mô hình học sâu đa nguồn dữ liệu, đồng thời có ý nghĩa thực tiễn trong ứng dụng trí tuệ nhân tạo phục vụ giao tiếp người-máy và các lĩnh vực tâm lý học, an ninh, y tế.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

- **Mạng nơ-ron tích chập (CNN):** Là mô hình học sâu phổ biến trong nhận dạng hình ảnh, CNN gồm các lớp tích chập, lớp pooling và lớp fully connected, giúp trích xuất đặc trưng hình ảnh hiệu quả.
- **Học chuyển giao (Transfer Learning):** Kỹ thuật tái sử dụng mô hình đã được huấn luyện trên bộ dữ liệu lớn (ImageNet) để tăng tốc độ và độ chính xác khi huấn luyện trên bộ dữ liệu nhỏ hơn.
- **Mạng Residual Network (ResNet):** Giải quyết vấn đề suy thoái độ chính xác khi tăng số lớp mạng bằng cách sử dụng các residual block với kết nối bỏ qua, giúp mô hình sâu hơn và hiệu quả hơn.
- **Các khái niệm chính:** Đặc trưng hình học khuôn mặt, đặc trưng xuất hiện (LBP, HOG), ảnh nhiệt hồng ngoại, đơn vị hành động mặt (AU), độ đo đánh giá mô hình phân lớp (Precision, Recall, F1-Score).

### Phương pháp nghiên cứu

- **Nguồn dữ liệu:** Sử dụng cơ sở dữ liệu Kotani Thermal Facial Emotion (KTFE) gồm 130 GB dữ liệu video ảnh thường và ảnh nhiệt của 30 đối tượng với 7 cảm xúc.
- **Phương pháp phân tích:** 
  - Tiền xử lý ảnh: cắt vùng khuôn mặt ảnh thường bằng thuật toán Viola-Jones, loại bỏ vùng nền ảnh nhiệt dựa trên nhiệt độ ≥ 30°C.
  - Huấn luyện mô hình CNN ResNet-50 với kỹ thuật học chuyển giao và fine-tune toàn bộ mạng.
  - Tăng cường dữ liệu (data augmentation) bằng các phép biến đổi ảnh như lật, phóng to, dịch chuyển.
  - Kết hợp kết quả phân lớp từ hai mô hình riêng biệt trên ảnh thường và ảnh nhiệt bằng công thức tuyến tính dựa trên F1-Score và xác suất Softmax.
- **Timeline nghiên cứu:** Thu thập và xử lý dữ liệu, xây dựng mô hình, huấn luyện và đánh giá trên tập dữ liệu chia theo tỷ lệ 80% huấn luyện và 20% kiểm tra.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

- Mô hình Vi-Resnet-50 (ảnh thường) đạt độ chính xác phân lớp trung bình khoảng 89%, trong đó cảm xúc hạnh phúc đạt 92.25%, buồn rầu 93.13%, sợ hãi 90%, còn giận dữ, ghê tởm và bình thường dao động từ 86.87% đến 88.41%.
- Mô hình Ther-Resnet-50 (ảnh nhiệt) cũng cho kết quả khả quan với độ chính xác cao hơn trong các trường hợp thiếu ánh sáng hoặc biểu cảm không rõ ràng.
- Mô hình kết hợp Fu-Resnet-50 cho thấy cải thiện rõ rệt về độ chính xác, vượt trội hơn so với từng mô hình đơn lẻ, với F1-Score tăng trung bình khoảng 3-5%.
- So sánh với các phương pháp truyền thống như PCA, EMC và SVM trên cùng bộ dữ liệu KTFE, mô hình đề xuất đạt tỷ lệ công nhận cao hơn, ví dụ phương pháp PCA-EMC đạt 90.42% trong khi mô hình kết hợp đạt trên 93%.

### Thảo luận kết quả

- Việc kết hợp ảnh thường và ảnh nhiệt giúp khắc phục hạn chế của từng loại ảnh riêng biệt, đặc biệt ảnh nhiệt không bị ảnh hưởng bởi điều kiện ánh sáng và phản ánh sự thay đổi vật lý nhiệt độ trên khuôn mặt liên quan đến cảm xúc.
- Kết quả cho thấy mô hình học sâu ResNet-50 với học chuyển giao và fine-tune phù hợp với bài toán nhận dạng cảm xúc đa nguồn dữ liệu, tăng độ chính xác và khả năng tổng quát hóa.
- So với các nghiên cứu trước đây chỉ sử dụng ảnh thường hoặc ảnh nhiệt riêng lẻ, mô hình kết hợp mang lại hiệu quả vượt trội, phù hợp với các ứng dụng thực tế trong môi trường đa dạng.
- Dữ liệu thử nghiệm được trình bày qua bảng so sánh độ chính xác, precision, recall và F1-Score cho từng cảm xúc, minh họa rõ sự cải thiện khi sử dụng mô hình kết hợp.

## Đề xuất và khuyến nghị

- **Phát triển thêm cơ sở dữ liệu đa dạng:** Mở rộng số lượng đối tượng và cảm xúc, bổ sung dữ liệu trong điều kiện môi trường khác nhau để tăng tính đại diện và độ chính xác mô hình.
- **Tối ưu mô hình học sâu:** Áp dụng các kiến trúc mạng mới hơn, kỹ thuật regularization và fine-tune sâu hơn để nâng cao hiệu suất nhận dạng.
- **Ứng dụng trong thực tế:** Triển khai mô hình vào các hệ thống giao tiếp người-máy, giám sát an ninh, chăm sóc sức khỏe tâm lý với mục tiêu tăng độ chính xác nhận dạng cảm xúc trên 95% trong vòng 1-2 năm.
- **Nghiên cứu kết hợp đa cảm biến:** Kết hợp thêm dữ liệu âm thanh, sinh trắc học để cải thiện khả năng nhận diện cảm xúc toàn diện.
- **Đào tạo và chuyển giao công nghệ:** Tổ chức các khóa đào tạo cho các nhà nghiên cứu và doanh nghiệp về ứng dụng mô hình học sâu trong nhận dạng cảm xúc, thúc đẩy ứng dụng rộng rãi.

## Đối tượng nên tham khảo luận văn

- **Nhà nghiên cứu và sinh viên ngành Khoa học máy tính, Thị giác máy tính:** Học hỏi phương pháp xây dựng mô hình học sâu kết hợp đa nguồn dữ liệu, kỹ thuật học chuyển giao và fine-tune.
- **Chuyên gia tâm lý học và y tế:** Áp dụng mô hình nhận dạng cảm xúc để hỗ trợ chẩn đoán và theo dõi trạng thái tâm lý bệnh nhân.
- **Doanh nghiệp phát triển công nghệ AI và robot:** Nâng cao khả năng tương tác người-máy thông qua nhận dạng cảm xúc chính xác, cải thiện trải nghiệm người dùng.
- **Cơ quan an ninh và giám sát:** Ứng dụng công nghệ nhận dạng cảm xúc trong giám sát hành vi, phát hiện tình huống bất thường.

## Câu hỏi thường gặp

1. **Mô hình kết hợp ảnh thường và ảnh nhiệt có ưu điểm gì?**  
   Mô hình kết hợp tận dụng ưu điểm của ảnh nhiệt không bị ảnh hưởng bởi ánh sáng và ảnh thường có độ phân giải cao, giúp nhận dạng cảm xúc chính xác hơn trong nhiều điều kiện.

2. **Tại sao sử dụng ResNet-50 trong nghiên cứu?**  
   ResNet-50 giải quyết vấn đề suy thoái khi tăng số lớp mạng, giúp mô hình sâu hơn mà không giảm hiệu suất, phù hợp với bài toán nhận dạng cảm xúc phức tạp.

3. **Cơ sở dữ liệu KTFE có điểm gì nổi bật?**  
   KTFE chứa dữ liệu ảnh thường và ảnh nhiệt đồng thời, với 7 cảm xúc tự phát từ 30 đối tượng đa quốc tịch, giúp nghiên cứu thực tế và đa dạng hơn.

4. **Phương pháp học chuyển giao được áp dụng như thế nào?**  
   Mô hình ResNet-50 được khởi tạo từ trọng số đã huấn luyện trên ImageNet, sau đó fine-tune toàn bộ mạng trên bộ dữ liệu KTFE để tăng độ chính xác và giảm thời gian huấn luyện.

5. **Làm thế nào để cải thiện độ chính xác mô hình trong tương lai?**  
   Có thể mở rộng dữ liệu, áp dụng kiến trúc mạng mới, kết hợp đa cảm biến và tối ưu thuật toán học sâu để nâng cao hiệu quả nhận dạng cảm xúc.

## Kết luận

- Đã xây dựng thành công mô hình kết hợp ảnh thường và ảnh nhiệt sử dụng mạng học sâu ResNet-50 để ước lượng cảm xúc con người với độ chính xác cao.  
- Mô hình kết hợp vượt trội hơn so với mô hình đơn lẻ và các phương pháp truyền thống, đạt F1-Score trên 90% cho 7 cảm xúc cơ bản.  
- Cơ sở dữ liệu KTFE được khai thác hiệu quả, cung cấp nền tảng dữ liệu đa dạng và thực tế cho nghiên cứu.  
- Kết quả nghiên cứu có ý nghĩa khoa học và thực tiễn, mở ra hướng phát triển ứng dụng trí tuệ nhân tạo trong giao tiếp người-máy và các lĩnh vực liên quan.  
- Đề xuất các hướng nghiên cứu tiếp theo nhằm nâng cao độ chính xác và mở rộng ứng dụng trong tương lai gần.  

Hãy tiếp tục nghiên cứu và ứng dụng mô hình để góp phần phát triển công nghệ nhận dạng cảm xúc đa nguồn dữ liệu trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

mở đầu Chương này giới thiệu tổng quan về đề tài gồm các nội dung như: lý do chọn đề tài, mục tiêu và nhiệm vụ nghiên cứu, đối tượng và phạm vi nghiên cứu, phương pháp nghiên cứu, ý nghĩa khoa học và thực tiễn cũng như cấu trúc chung của đề tài. Tổng quan tình hình nghiên cứu Chương này giới thiệu tổng quan về tình hình nghiên cứu và tìm hiểu về cơ sở dữ liệu ảnh thường và ảnh nhiệt. Những kiến thức cơ bản này là tiền đề để áp dụng vào việc xây dựng đa mô hình dựa trên hai nguồn dữ liệu (ảnh thường và ảnh nhiệt). Cơ sở lý thuyết Chương này giới thiệu lý thuyết về mạng CNN, kỹ thuật học chuyển giao, mô mình mạng pre-trained và độ đo đánh giá mô hình.

Uớc lượng cảm xúc của người dựa trên ảnh thường và ảnh nhiệt 5 Chương này vận dụng những kiến thức đã nêu ở chương một và chương hai để xây dựng đa mô hình phân lớp từ nhiều nguồn dữ liệu khác nhau và hợp nhất quyết định sau mỗi nguồn được phân loại riêng lẻ nhằm nâng cao độ chính xác. Thực nghiệm và đánh giá Chương này phân tích về những ưu điểm, nhược điểm, so sánh và đánh giá kết quả mô hình ước lượng cảm xúc trên ảnh thường, ảnh nhiệt và mô hình kết hợp. Kết luận và hướng phát triển Chương này tổng kết lại những gì đã đạt được và chưa đạt được trong luận văn để từ đó đề xuất những hướng nghiên cứu tiếp theo để nâng cao độ chính xác về bài toán ước lượng cảm xúc của con người. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1.

Các công trình nghiên cứu liên quan Trong các bài toán phân tích cảm xúc hay ước lượng cảm xúc đều có ba bước chính: phát hiện khuôn mặt, rút trích đặc trưng và phân loại cảm xúc. Trong rút trích đặc trưng, ta có thể phân loại làm hai nhánh chính đó là phương pháp dựa trên đặc trưng biểu hiện (hình dạng) và phương pháp dựa trên đặc trưng hình học. Bản chất của rút trích đặc trưng là tìm ra một ánh xạ sao cho hỗ trợ việc phân loại cảm xúc tốt nhất. Phương pháp rút trích đặc trưng dựa trên hình học, trích xuất thông tin đặc trưng bằng hình dạng, khoảng cách và vị trí của các thành phần trên khuôn mặt.

Công việc đầu tiên trong lĩnh vực này là hệ thống mã hóa hành động mặt (FACS), được thiết kế bởi Ekman [11]. FACS mã hóa một biểu hiện khuôn mặt trong 44 đơn vị hành động trên khuôn mặt (AU). Ngoài ra các phương pháp dựa trên đặc trưng hình học còn sử dụng mô hình Active Appearance Model (AAM) hoặc các biến thể của nó. Vị trí của các vùng trên khuôn mặt này sau đó được sử dụng theo nhiều cách khác nhau để trích xuất hình dạng các đặc điểm khuôn mặt và chuyển động các đặc điểm khuôn mặt khi cảm xúc thay đổi.

Choi và cộng sự [12] sử dụng AAM với sự giảm thiểu bậc hai, và một perceptron đa lớp, để nhận biết biểu hiện khuôn mặt. Một ví dụ gần đây về kỹ thuật dựa trên AAM để nhận dạng biểu hiện khuôn mặt được trình bày trong [13], trong đó các thuật toán cải tiến AAM khác nhau được so sánh và đánh giá. Trong [14], [15] các tác giả cũng đã đưa ra một cách tiếp cận dựa trên đặc trưng hình học để lập mô hình, theo dõi và nhận dạng các biểu hiện khuôn mặt. Ví dụ về đặc trưng hình học của mặt gồm lông mày, mắt, mũi, miệng [17] Các đặc trưng dựa trên hình học mô tả hình dạng của khuôn mặt và các thành phần của khuôn mặt trong khi các đặc điểm dựa trên đặc trưng thể hiện được tạo ra từ biểu hiện trên khuôn mặt.

Các đặc trưng xuất hiện đã được sử dụng thành công để nhận dạng cảm xúc như toán tử mô hình nhị phân cục bộ (LBP) [16], biểu đồ của gradient định hướng (HOG) [17, 18], cục bộ mô hình định hướng (LDP) [19], thông tin kết cấu dựa trên bộ lọc Gabor [20], phân tích thành phần chính (PCA) [21] và phân tích phân biệt tuyến tính (LDA) [22]. Những tiến bộ gần đây trong ảnh hồng ngoại nhiệt đã giúp chúng ta có được tín hiệu sinh lý, nhiệt độ cơ thể, thông qua các phương tiện không xâm nhập và không tiếp xúc [23]. Khi một cảm xúc xảy ra, nhiệt độ trên khuôn mặt xuất hiện do lưu lượng máu mà cơ thể phát ra qua các mạch máu ở dưới da [24], sự thay đổi này có thể đủ điều kiện và định lượng để có thể nghiên cứu cảm xúc thông qua ảnh nhiệt.Khan và các cộng sự của ông [25] đề xuất sử dụng các điểm đặc trưng nhiệt mặt (FTFP) tỷ lệ chính xác dao động từ 66,3% đến 83,8% với năm loại cảm xúc. Di Giacinto cùng cộng sự [26] khám phá cảm xúc sợ hãi ở những bệnh nhân bị rối loạn stress sau chấn thương 8 (PTSD).

Nó cho thấy rằng nhiệt độ trên mặt ở bệnh nhân PTSD là thấp hơn so với những người được kiểm soát. Trong [27] các tác giả phân loại các cảm xúc bất ngờ, hạnh phúc, bình thường từ hai yếu tố đầu vào. Dữ liệu đầu vào đầu tiên bao gồm các lựa chọn của một tập hợp các vùng thích hợp khi thực hiện trích xuất đặc trưng, đầu vào thứ hai là ma trận hiệp phương sai mức xám được sử dụng để tính toán các bộ mô tả vùng của ảnh nhiệt. Liu và Wang [28] đã phân tích dữ liệu chuỗi nhiệt độ mặt, tính toán thống kê và các tính toán biểu đồ khác biệt về nhiệt độ.

Hơn nữa, mô hình Hidden Markov (HMM) được sử dụng để phân biệt hạnh phúc, ghê tởm và sợ hãi với tỷ lệ công nhận tương ứng là 68,11%, 57,14% và 52,30%. Họ đã sử dụng các mẫu từ cơ sở dữ liệu NVIE (biểu hiện trên khuôn mặt tự nhiên và hồng ngoại) để đánh giá kết quả.H và cộng sự [29] đề xuất phương pháp kết hợp ảnh nhìn thấy và chuỗi ảnh nhiệt để ước lượng bảy cảm xúc cơ bản. Kết quả được đánh giá với hai phương pháp phân loại t-PCA và n-EMC trên tập cơ sở dữ liệu KTFE.Chau [30] nhận dạng cảm xúc dựa trên phân tích tần số thời gian từ chuỗi thời gian trung bình của năm vùng quan tâm trên mặt nhiệt. Shan He và các cộng sự [31] đề xuất phương pháp nhận dạng cảm xúc với Deep Boltzmann Machine (DBM) trên cơ sở dữ liệu NVIE đạt tỷ lệ công nhận là 51,3%.

Trong bài báo [32], một phương pháp nhận dạng cảm xúc dựa vào vùng quan tâm (ROI), như hình 3, và phân loại bằng cách sử dụng SVM nhiều lớp. Thuật toán được kiểm tra trên cơ sở dữ liệu KTFE công nhận năm cảm xúc cơ bản gồm tức giận, sợ hãi, hạnh phúc, buồn và bình thường với độ chính xác 87,50%. Trích xuất ROI trong phương thức [32] Trong nghiên cứu [33], nhóm Wang đã đề ra thuật toán như Hình 1. Tuy nhiên, thuật toán này có những ràng buộc ban đầu để xác định ví trị mắt mũi miệng cho phần rút trích đặc trưng.

Thuật toán xác định cảm xúc [33] Trong nghiên cứu công bố vào cuối năm 2018, nhóm Basu [34] đã đưa ra hệ thống phân loại đặc trưng của cá nhân như P, E hay N dựa vào mô hình của Eysenck. Hệ thống sử dụng mô hình kết hợp ảnh thường và ảnh nhiệt 10 trong đó ảnh nhiệt sử dụng mô hình mạch máu. Mô hình Markov ẩn dùng để tìm ra thể hiện cảm xúc với đặc trưng kết hợp được rút trích ở trên. Mặc dù kết quả đạt khá cao với gần 90% cho việc phân loại cảm xúc nhưng nhóm tác giả chỉ thực hiện trên 4 cảm xúc cơ bản dễ phân loại.

Ngoài ra, một điểm yếu của nghiên cứu này là việc giới hạn về số dữ liệu. Trong năm 2018, nhóm Wang [35], cũng đề ra một phương pháp dựa trên mô hình học sâu và SVM để phân loại cảm xúc. Mục đích của nhóm hướng tới nhu cầu thực tế với việc chi phí cho camera nhiệt rất tốn kém nên việc huấn luyện được thực hiện với cả dữ liệu ảnh thường và ảnh nhiệt nhưng việc kiểm tra được thực hiện chỉ với dữ liệu ảnh thường. Trong nghiên cứu [36], nhóm Thu Nguyen đề xuất một phương pháp trích xuất các vùng quan tâm (ROI) trên dữ liệu ảnh nhiệt.

Sau đó tiến hành ước lượng cảm xúc với các phương pháp kinh điển trong lĩnh vực thị giác máy tính bao gồm: PCA, EMC và kết hợp PCA-EMC trên cơ sở dữ liệu KTFE đạt tỷ lệ công nhận tương ứng là 90,42%, 89,99%, 85,94%. Một số thách thức trong lĩnh vực nghiên cứu nhận dạng cảm xúc của con người Từ tổng quan các kết quả nghiên cứu đạt được của các nhóm nghiên cứu đã có rất nhiều kết quả khả quan và ứng dụng được trong bài toán thực tế. Tuy nhiên, với những hệ thống này thường nhận dạng trên ảnh thường. Điều đó dẫn đến kết quả không chính xác trong những trường hợp như thiếu ánh sáng, ảnh bị mờ, màu da hoặc đối với người không thể hiện biểu cảm trên khuôn mặt nên khó phát hiện được cảm xúc.

Đây là thách thức lớn đòi hỏi cần có những hướng nghiên cứu và tiếp cận mới để khắc phục những hạn chế của ảnh nhìn thấy được nhằm tăng tỉ lệ chính xác hơn trong ước lượng cảm xúc. Đối với ảnh nhiệt cũng gặp phải một số hạn chế như nhiệt độ cơ thể thay đổi khi đối tượng tập thể dục hoặc nhiệt độ môi trường xung quanh. Ngoài ra 11 khi đối tượng đeo kính (Eyeglass) sẽ dẫn đến mất thông tin hữu ích xung quanh khuôn mặt nhiệt bởi vì vật liệu thủy tinh ngăn chặn phần lớn năng lượng nhiệt. Ngoài ra, việc kết hợp các phương pháp khác nhau để nhận dạng cảm xúc giúp cải thiện tỷ lệ chính xác hơn cũng là một bài toán cần được nghiên cứu và phát triển mạnh mẽ trong tương lai.

Sơ lược về cơ sở dữ liệu cảm xúc Nhận dạng khuôn mặt người, phân tích cảm xúc và tương tác giữa người và máy ngày càng được quan tâm, số lượng cơ sở dữ liệu sinh ra để phục vụ cho việc nghiên cứu về nhận dạng khuôn mặt và cảm xúc ngày càng nhiều nhưng phổ biến ở cơ sở dữ liệu ảnh thường như CK+ [37], Fer2013 [38] và còn nhiều cơ sở dữ liệu cảm xúc khác [39], cơ sở dữ liệu cảm xúc thường được tạo ra trong phòng thí nghiệm nên hầu như cảm xúc được thể hiện một cách sắp đặt (posed) và thể hiện quá mức. Cơ sở dữ liệu FACES [39] thể hiện 6 loại cảm xúc: bình thường, giận dữ, hạnh phúc, buồn rầu, sợ hãi và ghê tởm.