Đồ án tốt nghiệp: Thiết kế gương thông minh tích hợp phân tích cảm xúc để theo dõi tâm trạng và sự thoải mái tinh thần

• Tác giả: Le Minh Thong
• Người hướng dẫn: Bui Ha Duc, PhD
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Mechanical Engineering Technology
• Đề tài: Designing An Interactive Smart Mirror With Sentiment Analysis For Monitoring Emotion And Mental Comfort
• Loại tài liệu: graduation thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
• COMMITMENT
• ACKNOWLEDGMENT
• ABSTRACT
• TABLE OF CONTENTS
• LIST OF TABLES
• LIST OF FIGURES
• LIST OF ACRONYMS
• 1. CHAPTER 1: OVERVIEW
• 1.1. Introduction
• 1.2. Scientific and practical significances
• 1.3. Objectives
• 2. CHAPTER 2: LITERATURE REVIEW
• 2.1. Smart Mirror Technologies
• 2.2. Machine Learning for Sentiment Analysis, Hand Gesture Analysis and Song recommendation
• 2.3. Hand Gesture Analysis
• 2.4. Introduction to automatic speech recognition
• 2.5. Introduction to feature extraction technique use for speech recognition model
• 2.6. Nyquist-Shannon sampling theorem
• 2.7. Introduction to deep learning model used in automatic speech recognition
• 2.7.1. Convolutional Neural Networks (CNN)
• 2.7.2. Connectionist Temporal Classification (CTC)
• 2.8. Introduction to metrics used in automatic speech recognition
• 2.8.1. Word Error Rate (WER)
• 2.8.2. Character Error Rate (CER)
• 3. CHAPTER 3: DESIGN HARDWARE AND ELECTRONICS SYSTEM
• 3.1. Hardware design consideration
• 3.2. Electronics system consideration
• 3.2.1. Design the mirror frame
• 3.2.2. Design the electronics system
• 4. CHAPTER 4: HUMAN COMPUTER INTERACTION
• 4.1. Proactive Personalization through Sentiment Analysis
• 4.2. Intuitive Audio Control through Hand Gestures
• 4.3. Voice Command Integration: Expanding Functionality
• 4.3.1. Analysis of user’s visual signal
• 4.3.2. Analysis of user’s auditory signal – Speech to text algorithm
• 5. CHAPTER 5: GENERATING MIRROR’S RESPONSE
• 5.1. Generating mirror’s response based on user’s hand gestures
• 5.2. Generating mirror’s response based on user’s emotion
• 5.2.1. Song recommendation pipeline
• 5.2.2. Distribute songs into clusters
• 5.2.3. Serve recommended songs to users
• 5.3. Generating mirror’s response based on user’s speech
• 6. CHAPTER 6: EXPERIMENTAL RESULTS
• 7. CHAPTER 7: CONCLUSION AND DISCUSSION

Tóm tắt

I. Giới thiệu về gương thông minh và phân tích cảm xúc

Gương thông minh là một ứng dụng tiên tiến của công nghệ thông minh, kết hợp giữa công nghệ cảm biến và trí tuệ nhân tạo để cung cấp trải nghiệm tương tác độc đáo. Phân tích cảm xúc là một tính năng quan trọng, sử dụng học máy để nhận diện và đánh giá trạng thái cảm xúc của người dùng thông qua biểu hiện khuôn mặt. Sự kết hợp này không chỉ nâng cao trải nghiệm người dùng mà còn hỗ trợ theo dõi tâm trạng và sự thoải mái tinh thần một cách hiệu quả.

1.1. Công nghệ gương thông minh

Gương thông minh sử dụng công nghệ cảm biến và hệ thống nhúng để tích hợp các tính năng như hiển thị thông tin, nhận diện khuôn mặt và tương tác không chạm. Các thành phần chính bao gồm màn hình hai chiều, camera và bộ xử lý trung tâm. Sự phát triển của IoT đã mở rộng khả năng ứng dụng của gương thông minh trong đời sống hàng ngày.

1.2. Phân tích cảm xúc và ứng dụng

Phân tích cảm xúc dựa trên học máy và tâm lý học để nhận diện các trạng thái cảm xúc như vui, buồn, giận dữ. Tính năng này giúp gương thông minh điều chỉnh thông tin hiển thị phù hợp với tâm trạng người dùng, từ đó cải thiện sức khỏe tâm thần và sự thoải mái tinh thần.

II. Thiết kế hệ thống gương thông minh

Thiết kế sản phẩm gương thông minh đòi hỏi sự kết hợp giữa công nghệ cảm biến, hệ thống nhúng và giao diện người dùng. Quá trình này bao gồm lựa chọn phần cứng, phát triển phần mềm và tích hợp các tính năng như phân tích cảm xúc và nhận diện cử chỉ tay.

2.1. Phần cứng và cảm biến

Hệ thống phần cứng bao gồm màn hình hai chiều, camera độ phân giải cao và các cảm biến hồng ngoại để nhận diện cử chỉ tay. Việc lựa chọn phần cứng phải đảm bảo tính hiệu quả chi phí và dễ sử dụng.

2.2. Phần mềm và thuật toán

Phần mềm được phát triển dựa trên các thuật toán học máy như CNN và CTC để thực hiện phân tích cảm xúc và nhận diện cử chỉ tay. Các thuật toán này được huấn luyện trên bộ dữ liệu lớn để đảm bảo độ chính xác cao.

III. Ứng dụng và giá trị thực tiễn

Gương thông minh tích hợp phân tích cảm xúc mang lại nhiều giá trị thực tiễn, từ theo dõi tâm trạng đến cải thiện sức khỏe tâm thần. Sản phẩm này có thể được ứng dụng trong gia đình, văn phòng hoặc các cơ sở y tế để hỗ trợ người dùng một cách toàn diện.

3.1. Theo dõi tâm trạng

Gương thông minh giúp theo dõi tâm trạng hàng ngày thông qua phân tích cảm xúc, từ đó đưa ra các gợi ý phù hợp như chơi nhạc hoặc hiển thị thông tin tích cực.

3.2. Cải thiện sức khỏe tâm thần

Việc sử dụng gương thông minh có thể giúp người dùng nhận biết và điều chỉnh cảm xúc, góp phần cải thiện sức khỏe tâm thần và sự thoải mái tinh thần.

IV. Kết luận và hướng phát triển

Gương thông minh tích hợp phân tích cảm xúc là một giải pháp công nghệ tiên tiến, mang lại nhiều lợi ích cho người dùng. Hướng phát triển trong tương lai bao gồm nâng cao độ chính xác của thuật toán, mở rộng tính năng và giảm chi phí sản xuất để sản phẩm trở nên phổ biến hơn.

4.1. Nâng cao thuật toán

Các thuật toán phân tích cảm xúc và nhận diện cử chỉ tay cần được cải tiến để đạt độ chính xác cao hơn, đặc biệt trong các môi trường phức tạp.

4.2. Mở rộng tính năng

Gương thông minh có thể tích hợp thêm các tính năng như nhận diện giọng nói và kết nối IoT để trở thành một thiết bị đa năng trong gia đình.