Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh sự bùng nổ của mạng lưới Vạn vật kết nối (Internet of Things - IoT), các vật dụng sinh hoạt thường ngày đang dần được chuyển đổi thành các thiết bị thông minh phục vụ đời sống con người. Gương soi truyền thống vốn chỉ đóng vai trò phản chiếu hình ảnh vật lý thông qua hiện tượng phản xạ ánh sáng mặt gương (specular reflection), mang tính tĩnh và không có khả năng tương tác. Đề tài đồ án tốt nghiệp "Designing An Interactive Smart Mirror With Sentiment Analysis For Monitoring Emotion And Mental Comfort" (Mã số: CDT5) do nhóm sinh viên Lê Minh Thông, Hà Gia Kính, Nguyễn Phúc Nguyên thuộc Khoa Cơ khí Chế tạo máy (Bộ môn Cơ điện tử), Trường Đại học Sư phạm Kỹ thuật TP.HCM thực hiện dưới sự hướng dẫn của TS. Bùi Hà Đức vào tháng 7/2024, tập trung nghiên cứu và chế tạo một nguyên mẫu gương thông minh tương tác đa phương thức nhằm nâng cao chất lượng trải nghiệm của người dùng.

Tác giả chỉ ra các hạn chế lớn từ các sản phẩm gương thông minh thương mại và các dự án nghiên cứu hiện có trên thị trường:

  • HiMirror: Tập trung chuyên biệt vào chăm sóc sắc đẹp, phân tích da và theo dõi thể hình; tuy nhiên, mô hình yêu cầu đăng ký trả phí định kỳ (subscription model) và tập trung quá mức vào thẩm mỹ làm giới hạn nhóm người dùng có nhu cầu rộng hơn.
  • Smart mirror for smart life: Cung cấp thông tin thực tế (thời tiết, tin tức, lịch trình) nhưng hoàn toàn thiếu vắng các tính năng tương tác nâng cao như nhận diện cử chỉ hoặc phân tích cảm xúc.
  • Kohler Verdera Voice Lighted Mirror: Sản phẩm cao cấp tích hợp điều khiển giọng nói cho ánh sáng và âm nhạc nhưng có giá thành rất cao, khó tiếp cận đa số người dùng và tiềm ẩn lo ngại về bảo mật dữ liệu âm thanh cá nhân.
  • Tính khả dụng trong môi trường độ ẩm cao: Màn hình cảm ứng lắp đặt trong môi trường phòng tắm rất dễ bị hỏng hóc, giảm độ nhạy do hơi nước đọng lại. Đồng thời, việc tương tác chạm trực tiếp không đảm bảo tính vệ sinh.

Nhóm tác giả xác định 5 mục tiêu nghiên cứu cụ thể:

  1. Xác định các yêu cầu kỹ thuật và thiết kế hệ thống phần cứng, hệ thống điều khiển điện tử phù hợp với điều kiện phòng tắm.
  2. Xây dựng thuật toán phân tích cảm xúc (Sentiment Analysis) thông qua nhận diện khuôn mặt để cá nhân hóa thông tin hiển thị.
  3. Xây dựng thuật toán nhận diện cử chỉ tay (Hand Gesture Recognition) phục vụ tương tác không chạm (touchless interaction).
  4. Xây dựng thuật toán gợi ý bài hát (Song Recommendation) dựa trên trạng thái cảm xúc, sở thích và lịch sử nghe nhạc của người dùng.
  5. Xây dựng thuật toán nhận dạng giọng nói tự động (Automatic Speech Recognition - ASR) để chuyển đổi câu lệnh lời nói thành văn bản thực thi tác vụ.

Phạm vi nghiên cứu tập trung vào không gian phòng tắm gia đình, khoảng cách tương tác danh định của người dùng trước gương là 0,5 m, sử dụng màn hình hiển thị 23,8 inch tích hợp trong khung gỗ bảo vệ chống ẩm.

Cơ sở lý thuyết và phương pháp

Đề tài kết hợp nền tảng quang học, lý thuyết xử lý tín hiệu số, thị giác máy tính và học máy nhằm giải quyết bài toán tương tác người - máy (Human-Computer Interaction - HCI).

Khung lý thuyết và mô hình sử dụng

  • Lý thuyết phản xạ ánh sáng (Specular Reflection): Ứng dụng nguyên lý phản xạ gương trên màng gương hai chiều (two-way mirror film), cho phép truyền ánh sáng từ màn hình hiển thị bên trong ra ngoài khi bật nguồn và duy trì khả năng soi gương khi màn hình tắt.
  • Xử lý tín hiệu âm thanh: Áp dụng định lý lấy mẫu Nyquist-Shannon ($f_s \ge 2f_{max}$) nhằm bảo toàn tín hiệu âm thanh giọng nói không bị méo/chồng phổ. Tín hiệu âm thanh được biến đổi Fourier để trích xuất ma trận phổ (Spectrogram) và chuyển đổi sang thang đo Mel Spectrogram thông qua công thức: $$m = 2595 \log_{10}\left(1 + \frac{f}{700}\right)$$
  • Mô hình Mạng nơ-ron tích chập (CNN): Sử dụng các lớp tích chập hai chiều với toán tử: $$S(i, j) = (I * K)(i, j) = \sum_m \sum_n I(i + m, j + n) \cdot K(m, n)$$ để trích xuất đặc trưng không gian từ hình ảnh khuôn mặt phục vụ phân loại biểu cảm.
  • Kiến trúc Transformer và Connectionist Temporal Classification (CTC): Ứng dụng cơ chế tự chú ý đa đầu (Multi-Head Self-Attention) từ mô hình Transformer (Vaswani et al.) và giải thuật giải mã nhãn chuỗi CTC để xử lý bài toán nhận dạng giọng nói tự động (ASR) với mô hình mã nguồn mở Whisper.
  • Thuật toán phân cụm K-Means: Phân cụm không giám sát dữ liệu âm nhạc theo đặc trưng âm học bằng cách tối thiểu hóa hàm mục tiêu phương sai nội cụm: $$J = \sum_{i=1}^k \sum_{x \in C_i} |x - \mu_i|^2$$
  • Chỉ số đánh giá ASR: Sử dụng Word Error Rate (WER) và Character Error Rate (CER) để đo lường độ chính xác của mô hình nhận dạng giọng nói: $$WER = \frac{S + D + I}{S + D + C}$$ (Trong đó $S$ là số từ bị thay thế, $D$ là số từ bị xóa, $I$ là số từ bị chèn thêm, $C$ là số từ nhận dạng đúng).

Phương pháp nghiên cứu

Nhóm tác giả sử dụng phương pháp nghiên cứu thực nghiệm kết hợp thiết kế hệ thống cơ điện tử:

  • Khảo sát - Đánh giá phần cứng: Phân tích so sánh các giải pháp vi điều khiển (MCU), máy tính nhúng (Embedded Computer) và máy tính xách tay/máy tính bảng tích hợp để lựa chọn cấu hình cân bằng giữa chi phí và năng lực tính toán.
  • Trích xuất mốc hình học (Landmark Extraction): Ứng dụng giải pháp MediaPipe Hand Tracking xác định 21 điểm mốc (keypoints) 3D trên bàn tay, kết hợp phương pháp phân loại phi học sâu (Non-Deep Learning) dựa trên góc giữa các khớp ngón tay và thuật toán đếm ngón tay nâng cao.
  • Nguồn dữ liệu: Tập dữ liệu hình ảnh cảm xúc khuôn mặt; dữ liệu âm thanh giọng nói huấn luyện ASR tinh chỉnh qua kỹ thuật PEFT (LoRA) và lượng tử hóa mô hình; tập dữ liệu 200 bài hát phổ biến nhất trong tuần để phân cụm âm học.

Thiết kế và triển khai

Hệ thống gương thông minh được thiết kế toàn diện từ phần cứng cơ khí, mạch điện tử đến kiến trúc phần mềm tương tác đa phương thức.

Thiết kế cơ khí và hệ thống điện tử

  • Khung gương: Vật liệu chế tạo bằng gỗ có phủ sơn và chất trám kín (sealant) chống cong vênh do hơi nước. Kích thước khung đạt tiêu chuẩn lắp đặt phòng tắm với độ sâu 0,2 m, chứa màn hình 23,8 inch đặt sau lớp phim gương hai chiều. Khung có lỗ kỹ thuật đường kính 30 mm để luồn dây camera và micro.
  • Giá đỡ camera tùy chỉnh: Gắn trên đỉnh khung gương, tích hợp cơ cấu nghiêng cho phép điều chỉnh góc quay lên đến 180° (trong thực tế tối ưu ở góc nghiêng chúc xuống 10° - 15° để hướng vào tầm tay và khuôn mặt người dùng).
  • Hệ thống cấp nguồn: Chuyển đổi nguồn điện lưới xoay chiều AC 220V sang một chiều DC thông qua bộ nguồn chuyển đổi (Converter Driver) 12V-10A nhằm cấp nguồn an toàn cho toàn bộ linh kiện.
  • Nền tảng tính toán nhúng: Sử dụng bo mạch NVIDIA Jetson Nano đảm nhận xử lý cục bộ các tác vụ thị giác máy tính và giao diện người dùng.
  • Cảm biến và thiết bị ngoại vi:
    • Camera: Intel RealSense D435 (camera đo chiều sâu hỗ trợ phân đoạn nền và nhận diện cử chỉ).
    • Cảm biến tiệm cận hồng ngoại (IR Proximity Sensor): Bố trí cạnh khung gương thực hiện quy trình kích hoạt hai tầng: đánh thức hệ thống Jetson Nano khỏi chế độ ngủ (sleep state) khi có người đến gần và tự động kích hoạt micro nhận lệnh thoại nếu người dùng duy trì hiện diện.
    • Công tắc cảm ứng (Touch switch): Tích hợp ẩn ở vị trí dưới tâm mặt gương, cho phép bật/tắt thủ công khi không có nhu cầu sử dụng màn hình.
Thành phần phần cứng Thông số / Lựa chọn kỹ thuật Chức năng chính
Nền tảng tính toán NVIDIA Jetson Nano Xử lý thuật toán AI, quản lý giao diện, điều khiển
Bộ nguồn AC-DC Converter 12V - 10A Cấp nguồn DC ổn định từ lưới điện 220VAC
Màn hình hiển thị 23,8 inch + Phim gương hai chiều Hiển thị thông tin, phản chiếu hình ảnh
Cảm biến thị giác Intel RealSense D435 Nhận diện cử chỉ tay và biểu cảm khuôn mặt
Cảm biến tiệm cận Cảm biến hồng ngoại (IR Proximity Sensor) Đánh thức hệ thống, kích hoạt microphone
Cơ cấu cơ khí Khung gỗ chống ẩm, giá đỡ xoay 180° Đỡ màn hình, điều chỉnh góc nghiêng camera 10°-15°

Kiến trúc phần mềm và xử lý tín hiệu

  1. Module nhận diện cử chỉ tay: Sử dụng MediaPipe để định vị 21 điểm mốc trên bàn tay. Giải thuật xác định trạng thái các ngón tay nâng lên/hạ xuống và đo góc hình học giữa các mốc (mốc 5, 0, 17 và mốc 9, 0 so với phương ngang) để ánh xạ thành các lệnh điều khiển trình phát nhạc: Phát/Tạm dừng (Play/Pause), Chuyển bài kế tiếp/trước đó (Skip next/previous), Tăng/Giảm âm lượng (Volume adjustment).
  2. Module phân tích cảm xúc: Sử dụng mạng nơ-ron phân loại biểu cảm khuôn mặt (kiến trúc Octavio) để xác định trạng thái tâm lý (vui vẻ, căng thẳng, trung tính), hiển thị thông điệp chào mừng tương ứng.
  3. Module gợi ý bài hát: Áp dụng phương pháp Elbow để xác định số cụm tối ưu $k$, sau đó chạy giải thuật K-Means gom cụm các bài hát theo vector đặc trưng âm học, tự động chọn danh sách phát phù hợp với trạng thái cảm xúc người dùng.
  4. Module nhận dạng giọng nói (ASR): Xây dựng trên nền tảng mô hình Whisper (phiên bản Whisper Small), kết hợp lượng tử hóa trọng số (Quantization) và tinh chỉnh tham số hiệu quả PEFT/LoRA để chạy trực tiếp trên phần cứng nhúng.

Nội dung chính theo từng chương

Chapter 1. OVERVIEW

Trình bày tổng quan về sự phát triển của công nghệ gương thông minh trong hệ sinh thái IoT. Phân tích bối cảnh ứng dụng thực tế trong không gian phòng tắm và cửa ra vào. Đánh giá ưu nhược điểm của các sản phẩm thương mại (HiMirror, Kohler Verdera) và công bố 5 mục tiêu nghiên cứu, phương pháp luận thực hiện cùng cấu trúc 7 chương của đồ án.

Chapter 2. LITERATURE REVIEW

Tổng hợp cơ sở lý thuyết về nguyên lý phản xạ ánh sáng của gương phẳng, công nghệ màn hình hiển thị (cảm ứng so với gương hai chiều), và công nghệ cảm biến (IR, camera chiều sâu ToF/Structured Light, camera UV, camera RGB). Đánh giá các phương pháp nhận diện cử chỉ tay (Single image, Sequence of images, Landmark/Skeleton), lý thuyết phân cụm K-Means, lý thuyết xử lý âm thanh (Mel Spectrogram, định lý Nyquist-Shannon), các mô hình học sâu ASR (CNN, Transformer, CTC) và các thang đo đánh giá chất lượng phiên âm (WER, CER).

Chapter 3. DESIGN HARDWARE AND ELECTRONICS SYSTEM

Trình bày các tiêu chuẩn thiết kế phần cứng phù hợp với môi trường phòng tắm (kích thước khung cao ~1,0 m, màn hình 23,8 inch, khoảng cách người dùng 0,5 m). Thuyết minh chi tiết kết cấu khung gương gỗ có xử lý sơn phủ chống ẩm, thiết kế giá đỡ camera RealSense D435 có góc nghiêng điều chỉnh $10^\circ - 15^\circ$, bố trí cảm biến tiệm cận hồng ngoại bên hông, công tắc cảm ứng trên mặt gương, và sơ đồ khối mạch điện nguồn chuyển đổi AC 220V sang DC 12V-10A.

Chapter 4. HUMAN COMPUTER INTERACTION

Tập trung phân tích các kênh thu thập tín hiệu đầu vào từ con người:

  • Phân tích tín hiệu thị giác: Nhận diện biểu cảm khuôn mặt thông qua mô hình phân loại Octavio; phát hiện 21 điểm mốc bàn tay qua MediaPipe và giải thuật chuyển đổi tư thế tay thành câu lệnh.
  • Phân tích tín hiệu thính giác: Trích xuất đặc trưng Log-mel spectrogram từ giọng nói đầu vào, triển khai kiến trúc Transformer đa đầu chú ý, áp dụng kỹ thuật LoRA và lượng tử hóa mô hình ASR Whisper Small.

Chapter 5. GENERATING MIRROR’S RESPONSE

Mô tả cơ chế tạo phản hồi đa phương thức từ hệ thống gương thông minh:

  • Sinh phản hồi điều khiển âm thanh dựa trên cử chỉ tay không chạm.
  • Pipeline gợi ý bài hát theo cảm xúc: Trích xuất dữ liệu 200 bài hát thịnh hành, sử dụng phương pháp Elbow để chọn cụm $k$, phân cụm bằng K-Means và tự động kích hoạt danh sách phát nhạc tương ứng với tâm trạng người dùng.
  • Sinh phản hồi giao diện và thực thi câu lệnh dựa trên chuỗi văn bản từ giọng nói ASR.

Chapter 6. EXPERIMENTAL RESULTS

Công bố kết quả thử nghiệm hiệu năng của hệ thống nguyên mẫu:

  • Đánh giá độ chính xác và tổn thất (loss) của mô hình phân loại cảm xúc khuôn mặt trong quá trình huấn luyện và kiểm định.
  • Kết quả nhận diện các cử chỉ tay điều khiển nhạc trong điều kiện thực tế với camera RealSense D435.
  • Đánh giá hiệu quả giảm kích thước mô hình và độ chính xác phiên âm của mô hình Whisper Small sau khi áp dụng lượng tử hóa và PEFT/LoRA (dựa trên bảng kết quả WER/CER).

Chapter 7. CONCLUSION AND DISCUSSION

Tổng kết mức độ hoàn thành các mục tiêu đề ra ban đầu của đồ án. Đánh giá tính khả thi của giải pháp tương tác không chạm trong môi trường gia đình, thảo luận về những hạn chế phần cứng/thuật toán còn tồn đọng và đề xuất định hướng phát triển trong tương lai.

Kết quả và đóng góp

Kết quả chính

  • Chế tạo hoàn chỉnh nguyên mẫu gương thông minh kích thước thực tế với khung gỗ xử lý chống ẩm, tích hợp màn hình 23,8 inch sau lớp phim gương hai chiều và bộ nguồn AC-DC 12V-10A.
  • Triển khai thành công hệ thống tương tác không chạm đa phương thức trên nền tảng máy tính nhúng NVIDIA Jetson Nano:
    • Tương tác thị giác: Phát hiện chính xác 21 mốc bàn tay qua MediaPipe kết hợp thuật toán tính góc hình học để điều khiển trình phát nhạc (Play/Pause, chuyển bài, chỉnh âm lượng) với camera RealSense D435 có bộ lọc chiều sâu.
    • Cảm xúc & Âm nhạc: Nhận diện biểu cảm khuôn mặt bằng CNN, tự động phân cụm 200 bài hát bằng K-Means (xác định cụm qua Elbow method) để phát nhạc phù hợp với tâm trạng.
    • Tương tác giọng nói: Triển khai thành công mô hình Whisper Small sau khi lượng tử hóa và áp dụng PEFT (LoRA), giúp giảm đáng kể tài nguyên tính toán nhưng vẫn duy trì độ chính xác nhận dạng câu lệnh thoại.
    • Tiết kiệm năng lượng: Cơ chế kích hoạt hai tầng qua cảm biến hồng ngoại IR giúp hệ thống tự động đánh thức từ chế độ ngủ và mở micro khi người dùng đứng trước gương.

Đóng góp của đề tài

  1. Đưa ra giải pháp kỹ thuật giải quyết triệt để bài toán hỏng hóc màn hình cảm ứng trong môi trường có độ ẩm cao (như phòng tắm) bằng cách kết hợp màng gương hai chiều với công nghệ nhận diện cử chỉ không chạm.
  2. Tích hợp tính năng phân tích cảm xúc khuôn mặt vào thiết bị sinh hoạt cá nhân, biến gương soi từ một vật thể thụ động thành giao diện tương tác chủ động, góp phần theo dõi và hỗ trợ cải thiện tâm trạng người dùng.
  3. Tối ưu hóa các thuật toán AI phức tạp (MediaPipe phân loại phi học sâu, K-Means clustering, Whisper Small nén bằng LoRA/Quantization) để vận hành đồng thời trên phần cứng máy tính nhúng thương mại giá thành hợp lý.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Năng lực tính toán của máy tính nhúng Jetson Nano đặt ra giới hạn về số lượng mô hình AI có thể chạy song song ở thời gian thực, buộc nhóm phải sử dụng thuật toán phân loại cử chỉ phi học sâu thay vì mô hình học sâu chuỗi hình ảnh (3D-CNN/RNN).
  • Camera RealSense D435 có thể gặp khó khăn trong điều kiện ánh sáng môi trường thay đổi đột ngột hoặc khi bề mặt kính bị lóa sáng mạnh.
  • Hệ thống cấp nguồn nguyên mẫu hiện vẫn sử dụng dây cắm ngoài tạm thời, chưa thi công ngầm hoàn toàn vào hộp điện âm tường theo tiêu chuẩn hoàn thiện nội thất.

Hướng nghiên cứu tiếp

  • Nâng cấp hệ thống dây nguồn thành cổng kết nối âm tường (in-wall electrical outlet) nhằm tăng tính thẩm mỹ và đáp ứng tiêu chuẩn an toàn điện phòng tắm (IEC/UL).
  • Mở rộng tập dữ liệu cử chỉ tay và nâng cấp thuật toán nhận diện cử chỉ phức tạp hơn mà không làm tăng độ trễ tính toán.
  • Tiến hành thử nghiệm độ bền vật liệu và độ ổn định linh kiện điện tử trong môi trường độ ẩm cao liên tục trong thời gian dài.

Giá trị tham khảo

Báo cáo đồ án tốt nghiệp này mang lại giá trị tham khảo hữu ích cho sinh viên, kỹ sư và nhóm nghiên cứu thuộc các chuyên ngành Kỹ thuật Cơ điện tử, Kỹ thuật Máy tính, Khoa học Dữ liệu và IoT:

  • Thiết kế phần cứng IoT chuyên dụng: Cung cấp tài liệu tham khảo chi tiết về tính toán công suất nguồn (12V-10A), kết cấu khung cơ khí chống ẩm và thiết kế giá đỡ camera có góc nghiêng tùy chỉnh.
  • Triển khai AI trên thiết bị nhúng: Cung cấp quy trình tối ưu hóa mô hình ASR (Whisper Small với PEFT/LoRA và Quantization) và kỹ thuật phân loại cử chỉ tay dựa trên mốc hình học MediaPipe không sử dụng mô hình học sâu nặng, giúp tiết kiệm bộ nhớ RAM/GPU trên Jetson Nano.
  • Xây dựng hệ thống gợi ý: Hướng dẫn ứng dụng thực tế của phương pháp Elbow và giải thuật K-Means trong bài toán phân cụm đặc trưng âm học phục vụ hệ thống gợi ý danh sách phát nhạc.

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại lựa chọn phương pháp nhận diện cử chỉ dựa trên MediaPipe và phân loại phi học sâu (Non-Deep Learning)?

Do hệ thống vận hành trên máy tính nhúng NVIDIA Jetson Nano vốn có tài nguyên tính toán giới hạn, việc sử dụng các mô hình học sâu phức tạp (như 3D-CNN hoặc RNN/LSTM) cho cả trích xuất mốc và phân loại sẽ gây quá tải bộ nhớ và độ trễ cao. Nhóm đã tận dụng MediaPipe Hand Tracking để trích xuất 21 điểm mốc hình học bàn tay với chi phí tính toán thấp, sau đó áp dụng giải thuật hình học phi học sâu (tính góc giữa các mốc 5, 0, 17; mốc 9, 0 và đếm ngón tay giơ lên) để phân loại các cử chỉ điều khiển cơ bản một cách nhanh chóng, chính xác và nhẹ tải.

2. Cảm biến tiệm cận hồng ngoại (IR Proximity Sensor) đảm nhận vai trò gì trong hệ thống?

Cảm biến IR được bố trí bên hông khung gương để thực hiện quy trình kích hoạt hai tầng:

  • Tầng 1: Phát hiện sự hiện diện của người dùng trong khoảng cách quy định để gửi tín hiệu đánh thức (wake-up) máy tính nhúng Jetson Nano khỏi trạng thái ngủ, giúp tiết kiệm năng lượng.
  • Tầng 2: Khi người dùng duy trì vị trí đứng trước gương sau khi thức giấc, hệ thống diễn giải đó là nhu cầu tương tác và tự động bật microphone thu âm câu lệnh thoại mà không cần thêm thao tác cử chỉ kích hoạt.

3. Ưu điểm của cấu hình gương hai chiều (Two-Way Mirror) so với màn hình cảm ứng trong phòng tắm là gì?

Màn hình cảm ứng trong môi trường phòng tắm rất dễ gặp sự cố chập chờn, giảm độ nhạy hoặc hư hỏng do hơi ẩm và nước bắn vào, đồng thời làm mất đi bề mặt gương phẳng truyền thống. Cấu hình màng gương hai chiều đặt phía trước màn hình 23,8 inch đóng vai trò như một lớp bảo vệ ngăn cách các linh kiện điện tử bên trong khỏi độ ẩm, đồng thời giữ nguyên chức năng phản chiếu hình ảnh thông thường khi tắt nguồn và hiển thị giao diện tương tác thông tin khi kích hoạt.

4. Giá đỡ camera của gương thông minh được thiết kế như thế nào để phục vụ thu nhận hình ảnh?

Giá đỡ camera Intel RealSense D435 được gắn trên đỉnh khung gương và trang bị cơ cấu nghiêng (tilting mechanism) cho phép điều chỉnh góc quay tối đa 180°. Trong điều kiện sử dụng thực tế trước khoảng cách 0,5 m của người dùng, giá đỡ được tinh chỉnh chúc xuống một góc từ 10° đến 15° để thu trọn vùng bàn tay và khuôn mặt mà không bị che khuất.

5. Thuật toán phân cụm K-Means được ứng dụng như thế nào trong tính năng phát nhạc theo tâm trạng?

Nhóm nghiên cứu thu thập dữ liệu đặc trưng âm học của 200 bài hát thịnh hành. Sau đó, phương pháp Elbow được áp dụng để xác định số lượng cụm $k$ tối ưu dựa trên tổng bình phương khoảng cách nội cụm. Giải thuật K-Means tiến hành gom các bài hát có đặc tính tương đồng vào từng cụm cảm xúc (vui tươi, êm dịu, thư giãn). Khi module phân tích khuôn mặt xác định được trạng thái cảm xúc của người dùng, hệ thống sẽ tự động truy xuất và phát các bài hát từ cụm tương ứng.

Kết luận

Đồ án tốt nghiệp "Designing An Interactive Smart Mirror With Sentiment Analysis For Monitoring Emotion And Mental Comfort" đã thiết kế và chế tạo thành công một nguyên mẫu gương thông minh tương tác đa phương thức ứng dụng trong môi trường phòng tắm gia đình. Bằng việc kết hợp màng gương hai chiều, camera đo chiều sâu Intel RealSense D435, cảm biến hồng ngoại và máy tính nhúng NVIDIA Jetson Nano, hệ thống đã giải quyết hiệu quả các rào cản về độ ẩm, vệ sinh và chi phí của các dòng gương thông minh hiện hành. Nghiên cứu khẳng định tính khả thi của việc tích hợp thị giác máy tính, phân tích cảm xúc và nhận dạng giọng nói vào các thiết bị gia dụng IoT nhằm tối ưu hóa trải nghiệm và chăm sóc sức khỏe tinh thần người dùng.