Phương Pháp Nhận Diện Cảm Xúc Khuôn Mặt Ứng Dụng Trong Nhật Ký Theo Dõi Tâm Trạng - Khóa Luận Tốt Nghiệp Hệ Thống Thông Tin

• Tác giả: Le Dang Xuan Thuy
• Người hướng dẫn: PhD. Cao Thi Nhan
• Trường học: Vietnam National University Ho Chi Minh City - University of Information Technology
• Chuyên ngành: Information Systems
• Đề tài: Phương Pháp Nhận Diện Cảm Xúc Khuôn Mặt Ứng Dụng Trong Nhật Ký Theo Dõi Tâm Trạng
• Loại tài liệu: graduation thesis
• Năm xuất bản: 2021
• Địa điểm: Ho Chi Minh City

• ACKNOWLEDGMENTS
• TABLE OF CONTENTS
• 1. CHƯƠNG 1: PROBLEM STATEMENT
• 1.1. Rationale
• 1.2. Aims and Objectives
• 1.3. Scope of study
• 1.4. Structure of thesis
• 2. CHƯƠNG 2: THEORETICAL BACKGROUND AND LITERATURE REVIEW
• 2.1. Face detection
• 2.2. Facial Expression
• 2.3. Face Expression Recognition Process
• 2.4. Deep Learning
• 3. CHƯƠNG 3: FACIAL MOTION PRIOR NETWORK MODEL
• 3.1. Facial-Motion Mask Generator (FMG)
• 3.2. Prior Fusion Net (PFN)
• 3.3. Training model FMPN
• 3.4. Set up the environment for model
• 3.5. Run model with CKPlus dataset
• 3.6. Run model with JAFFE dataset
• 4. CHƯƠNG 4: IMPLEMENTATION MOOD TRACKING DIARY
• 4.1. Use case diagram
• 4.2. Scope of application
• 4.3. System analyze design
• 4.4. Entity Relationship Diagram (ERD)
• 4.5. Write diary process
• 4.6. Development application for mood
• 5. CHƯƠNG 5: CONCLUSION AND FUTURE WORK
• LIST OF FIGURES
• LIST OF TABLES
• LIST OF ACRONYMS AND ABBREVIATIONS
• ABSTRACT

I. Phương pháp nhận diện cảm xúc

Phương pháp nhận diện cảm xúc là một lĩnh vực quan trọng trong xử lý hình ảnh và thị giác máy tính. Nghiên cứu này tập trung vào việc nhận diện các biểu cảm khuôn mặt như vui, buồn, giận dữ, sợ hãi, ngạc nhiên và khinh bỉ. Cảm xúc khuôn mặt được phân tích thông qua các mô hình học sâu, đặc biệt là Facial Motion Prior Network (FMPN), một phương pháp tiên tiến sử dụng kiến thức tiên nghiệm và học sâu để tạo ra các mô hình dự đoán cảm xúc. Phương pháp này không chỉ tập trung vào các điểm mốc trên khuôn mặt mà còn chú trọng vào chuyển động cơ mặt, giúp cải thiện độ chính xác trong việc nhận diện cảm xúc.

1.1. Nhận diện khuôn mặt

Nhận diện khuôn mặt là bước đầu tiên trong quá trình nhận diện cảm xúc. Các hệ thống tự động sử dụng các thuật toán như Convolutional Neural Network (CNN) để xác định vị trí và kích thước khuôn mặt trong hình ảnh. Các yếu tố như ánh sáng, góc quay và độ che phủ có thể ảnh hưởng đến độ chính xác của quá trình này. Các phương pháp phổ biến bao gồm feature-based và image-based, giúp máy tính phân biệt giữa khuôn mặt và các đối tượng khác.

1.2. Trích xuất đặc trưng cảm xúc

Sau khi nhận diện khuôn mặt, bước tiếp theo là trích xuất đặc trưng cảm xúc. Các thuật toán như Local Binary Pattern (LBP) và Support Vector Machine (SVM) được sử dụng để phân tích các đặc điểm cảm xúc trên khuôn mặt. Học sâu đóng vai trò quan trọng trong việc cải thiện độ chính xác của quá trình này, đặc biệt khi xử lý các dữ liệu hình ảnh phức tạp.

II. Ứng dụng trong nhật ký theo dõi tâm trạng

Nhật ký theo dõi tâm trạng là một ứng dụng thực tế của phương pháp nhận diện cảm xúc. Ứng dụng này giúp người dùng theo dõi và ghi lại cảm xúc hàng ngày, hỗ trợ chăm sóc sức khỏe tinh thần. Hệ thống thông tin được tích hợp để lưu trữ và phân tích dữ liệu cảm xúc, cung cấp các biểu đồ và thống kê giúp người dùng hiểu rõ hơn về tâm trạng của mình. Ứng dụng này có tiềm năng lớn trong các lĩnh vực như y tế, giáo dục và chăm sóc khách hàng.

2.1. Thiết kế hệ thống

Hệ thống nhật ký theo dõi tâm trạng được thiết kế với các thành phần chính như Use Case Diagram và Entity Relationship Diagram (ERD). Các bảng dữ liệu như User, Diary và Emotion được tạo ra để lưu trữ thông tin người dùng và cảm xúc. Quá trình viết nhật ký được tự động hóa thông qua việc chụp ảnh và phân tích cảm xúc bằng FMPN.

2.2. Phân tích dữ liệu

Dữ liệu cảm xúc được thu thập và phân tích để tạo ra các biểu đồ theo dõi tâm trạng. Các công cụ như SQLite và DB Browser được sử dụng để quản lý và trực quan hóa dữ liệu. Kết quả phân tích giúp người dùng nhận biết các xu hướng cảm xúc và nhận được lời khuyên phù hợp từ hệ thống.

III. Khóa luận tốt nghiệp và hệ thống thông tin

Khóa luận tốt nghiệp này tập trung vào việc nghiên cứu và ứng dụng FMPN trong hệ thống thông tin. Nghiên cứu đã thực hiện các thử nghiệm trên các bộ dữ liệu như CK+ và JAFFE, đạt được độ chính xác cao trong việc nhận diện cảm xúc. Kết quả cho thấy tiềm năng lớn của trí tuệ nhân tạo và học sâu trong việc phát triển các ứng dụng thực tế, đặc biệt là trong lĩnh vực chăm sóc sức khỏe tinh thần.

3.1. Kết quả thử nghiệm

Các thử nghiệm trên bộ dữ liệu CK+ và JAFFE cho thấy FMPN đạt độ chính xác cao hơn so với các phương pháp truyền thống. Confusion matrix và classification report được sử dụng để đánh giá hiệu suất của mô hình. Kết quả cho thấy FMPN có khả năng phân biệt tốt giữa các cảm xúc khác nhau, mặc dù vẫn còn một số nhầm lẫn giữa các cảm xúc tương tự như buồn và giận dữ.

3.2. Ứng dụng thực tế

Nghiên cứu này không chỉ dừng lại ở việc phát triển mô hình mà còn ứng dụng vào thực tế thông qua nhật ký theo dõi tâm trạng. Ứng dụng này có thể được tích hợp vào các hệ thống chăm sóc sức khỏe, giúp bệnh nhân và người dùng theo dõi và cải thiện tâm trạng của mình một cách hiệu quả.