Tổng quan nghiên cứu

Thị trường phát trực tuyến âm nhạc toàn cầu hiện ghi nhận hơn 80 triệu bản nhạc kỹ thuật số phục vụ hơn 456 triệu người dùng hoạt động thường xuyên. Mặc dù kho dữ liệu âm thanh phát triển vượt bậc, người nghe vẫn gặp khó khăn trong việc tìm kiếm các bài hát phù hợp với tâm trạng tức thời. Nghiên cứu tâm lý học hành vi chỉ ra rằng khoảng 78% người nghe sử dụng âm nhạc như một công cụ điều hòa cảm xúc, giải tỏa áp lực tiêu cực và tái tạo năng lượng tinh thần. Tuy nhiên, phần lớn các nền tảng phát nhạc trực tuyến hiện nay chỉ gợi ý dựa trên lịch sử nghe hoặc bảng xếp hạng chung mà chưa thể tự động nhận biết trạng thái cảm xúc theo thời gian thực của người dùng.

Đề tài tập trung giải quyết bài toán phân loại cảm xúc qua giọng nói (Speech Emotion Recognition - SER) và xây dựng hệ sinh thái web âm nhạc thông minh có khả năng đề xuất danh sách phát tự động dựa trên tín hiệu âm thanh thu nhận. Mục tiêu cốt lõi là thiết kế mô hình học sâu có độ chính xác cao trên tập dữ liệu chuẩn, đồng thời hiện thực hóa hệ thống ứng dụng web hoàn chỉnh từ giao diện người dùng đến dịch vụ máy chủ và tích hợp giao diện lập trình ứng dụng âm nhạc trực tuyến.

Phạm vi nghiên cứu được thực hiện tại Khoa Khoa học và Kỹ thuật Máy tính, Trường Đại học Bách Khoa - Đại học Quốc gia Thành phố Hồ Chí Minh trong mốc thời gian từ ngày 31 tháng 08 năm 2022 đến ngày 11 tháng 12 năm 2022. Đề tài tập trung xử lý dữ liệu giọng nói tiếng Anh trên tập ngữ liệu chuẩn quốc tế RAVDESS với dung lượng 24.8 GB gồm 7.356 tệp mẫu và xây dựng ứng dụng web kết nối trực tiếp với kho dữ liệu Zing MP3. Ý nghĩa thực tiễn của công trình thể hiện qua việc rút ngắn thời gian tìm kiếm bài hát xuống dưới 2 giây, hỗ trợ nhận diện 7 trạng thái cảm xúc chính xác và mở ra hướng tiếp cận mới trong việc cá nhân hóa dịch vụ giải trí đa phương tiện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên hai nền tảng lý thuyết chủ đạo: Thuyết đa cơ chế khơi dậy cảm xúc qua âm nhạc của Juslin và Västfjäll, kết hợp cùng Lý thuyết xử lý tín hiệu âm học và học sâu. Thuyết đa cơ chế xác định 7 cơ chế cốt lõi tác động đến cảm xúc người nghe bao gồm phản xạ cuống não, đồng bộ hóa tiết tấu cơ thể, phản ứng có điều kiện từ đánh giá, sự lây lan cảm xúc, hình ảnh thị giác, ký ức tự truyện và sự mong đợi. Về mặt kỹ thuật, hệ thống áp dụng mô hình phân loại nơ-ron tích chập (Convolutional Neural Network - CNN) kết hợp mạng nơ-ron sâu (Deep Neural Network - DNN) để giải mã các đặc trưng biểu diễn không gian và thời gian của sóng âm.

Ba khái niệm học thuật then chốt xuyên suốt đề tài bao gồm:

  1. Hệ số tần số Mel (Mel-Frequency Cepstral Coefficients - MFCCs): Biểu diễn phổ âm thanh phi tuyến tính mô phỏng sát với ngưỡng cảm nhận thính giác của ốc tai người.
  2. Ảnh phổ biến đổi Log Mel (Log Mel-Spectrogram): Biến đổi biểu diễn tín hiệu âm thanh một chiều theo miền thời gian thành ma trận quang phổ hai chiều thể hiện mật độ năng lượng theo tần số.
  3. Nhóm đặc trưng hình thái phổ (Spectral Features): Bao gồm Tần số trọng tâm phổ (Spectral Centroid), Điểm rơi phổ (Spectral Rolloff) và Tỷ lệ đổi dấu biên độ (Zero Crossing Rate) giúp định lượng độ sáng, độ đục và cấu trúc điều hòa của giọng nói.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm chính của đề tài là bộ dữ liệu Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS). Cỡ mẫu nghiên cứu gồm 7.356 tệp đa phương tiện, trong đó có hơn 1.000 bản ghi âm thanh chuyên biệt đạt chuẩn định dạng WAV 16-bit ở tần số lấy mẫu 48kHz. Mẫu âm thanh được thu nhận từ 24 diễn viên lồng tiếng chuyên nghiệp (12 nam và 12 nữ) với 104 biến thể ngữ điệu phát âm đối xứng nhau.

Phương pháp chọn mẫu áp dụng kỹ thuật lấy mẫu phân tầng cân bằng giới tính nhằm loại bỏ thiên lệch sinh học giữa giọng nam và giọng nữ. Nhóm nghiên cứu tiến hành chuẩn hóa nhãn dữ liệu bằng cách hợp nhất hai trạng thái có độ tương đồng cao là trạng thái bình tĩnh (calm) và trạng thái trung tính (neutral) thành một nhóm duy nhất, hình thành bộ phân loại 7 lớp cảm xúc chuẩn gồm: hạnh phúc, buồn bã, tức giận, sợ hãi, ngạc nhiên, ghê tởm và trung tính.

Lý do lựa chọn phương pháp phân tích quang phổ kết hợp mạng CNN-DNN là khả năng tận dụng sức mạnh của các lớp tích chập trong việc tự động trích xuất các họa tiết cục bộ trên ảnh phổ âm thanh 2 chiều mà không phụ thuộc vào các thuật toán thủ công. Thư viện chuyên dụng Librosa được sử dụng để trích xuất đồng thời MFCC, Mel-Spectrogram, Chroma và Spectral Rolloff, sau đó chuyển đổi thành các vectơ đặc trưng đầu vào cho mạng học sâu.

Tiến trình nghiên cứu diễn ra theo lộ trình 4 giai đoạn chặt chẽ:

  • Giai đoạn 1 (Tháng 08 - Tháng 09/2022): Thu thập tài liệu, khảo sát các công trình liên quan và phân tích dữ liệu âm học.
  • Giai đoạn 2 (Tháng 10/2022): Tiền xử lý dữ liệu, trích xuất đặc trưng và thiết kế cấu trúc mạng CNN-DNN.
  • Giai đoạn 3 (Tháng 11/2022): Huấn luyện, tinh chỉnh siêu tham số mô hình qua 50 đến 80 epoch và đánh giá sai số.
  • Giai đoạn 4 (Tháng 12/2022): Phát triển hệ thống web fullstack với ReactJS, Next.js, ExpressJS, MongoDB và tích hợp API Zing MP3.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử trên 78 trang báo cáo khoa học với 18 bảng số liệu và 50 hình vẽ kỹ thuật đã chứng minh các phát hiện quan trọng sau:

Thứ nhất, mô hình CNN-DNN cải tiến kết hợp 3 nhóm đặc trưng âm học (Mel-Spectrogram, Chroma và Spectral Rolloff) cho hiệu năng vượt trội so với mô hình cơ sở chỉ sử dụng quang phổ đơn lẻ. Sau 80 epoch huấn luyện trên tập dữ liệu RAVDESS, mô hình cải tiến ghi nhận độ chính xác tăng từ 4.5% đến 6.8% so với mạng nơ-ron chỉ dùng một kênh tần số Mel.

Thứ hai, việc hợp nhất hai nhãn cảm xúc trung tính và bình tĩnh đã giải quyết triệt để sự mơ hồ trong nhận thức thính giác. Dữ liệu đối chiếu từ 247 người đánh giá độc lập cho thấy tỷ lệ nhầm lẫn tri giác giữa hai trạng thái này trong các nghiên cứu trước đây chiếm tới khoảng 15.2%, và giải pháp gộp nhãn đã giúp mô hình tăng độ hội tụ ổn định thêm 8.3%.

Thứ ba, hệ thống web hoàn thiện đã tích hợp thành công mô hình học sâu với thời gian phản hồi dự đoán cảm xúc trung bình chỉ 1.5 giây. Toàn bộ 12 ca sử dụng chính (use case) bao gồm đăng ký, đăng nhập, phát nhạc, tạo danh sách phát, hát karaoke và nhận diện giọng nói đều vượt qua 100% các bài kiểm thử chức năng không xảy ra lỗi nghẽn dữ liệu.

Thứ tư, việc khai thác giao diện lập trình Zing MP3 API (nền tảng nắm giữ hơn 85% bản quyền nhạc Việt và 80% bản ghi phát hành độc quyền) giúp hệ thống tự động ánh xạ chính xác 7 nhóm cảm xúc với hàng ngàn bài hát tương ứng, đạt tỷ lệ hài lòng thử nghiệm người dùng mô phỏng trên 86%.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình bắt nguồn từ cơ chế khai thác đa đặc trưng. Trong khi các mô hình truyền thống thường làm mất mát thông tin cao độ (pitch) khi chuyển đổi sang thang đo Mel, việc bổ sung đặc trưng Chroma và Spectral Centroid đã giúp mạng nơ-ron giữ lại được cấu trúc điều hòa tinh tế của giọng nói con người. Cảm xúc giận dữ và hạnh phúc vốn có năng lượng âm thanh cao và độ biến thiên tần số lớn được phân tách rõ ràng nhất với độ chính xác đạt trên 85%.

Khi so sánh với các công trình nghiên cứu trước đây, mô hình đề tài thể hiện tính ưu việt rõ rệt. Phương pháp SVM kết hợp 26 đặc trưng âm thanh của nhóm tác giả T. Iliou đạt độ chính xác 80% trên dữ liệu độc lập người nói, trong khi phương pháp Auto-encoder kết hợp SVM của H. Aouani chỉ đạt 74.07%. Mô hình CNN-DNN của luận văn không chỉ đạt độ chính xác cạnh tranh mà còn sở hữu tốc độ suy luận nhanh hơn, đáp ứng hoàn hảo cho việc tích hợp vào môi trường web trực tuyến thời gian thực.

Dữ liệu thực nghiệm trong luận văn được thể hiện sinh động qua các bảng so sánh độ chính xác và biểu đồ đường học tập. Cụ thể, biểu đồ hàm mất mát (loss curve) thể hiện xu hướng giảm mượt mà và tiệm cận mức ổn định sau 50 epoch đầu tiên, trong khi biểu đồ ma trận nhầm lẫn (confusion matrix) minh họa rõ nét ranh giới phân loại chính xác giữa các cảm xúc tiêu cực như sợ hãi, buồn bã và ghê tởm với tỷ lệ dự đoán đúng trung bình vượt mức 78%. Điều này khẳng định tiềm năng ứng dụng to lớn của kiến trúc học sâu trong lĩnh vực tương tác người - máy hiện đại.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và những hạn chế thực tế được chỉ ra bởi hội đồng đánh giá, 4 giải pháp cụ thể được đề xuất nhằm hoàn thiện hệ thống:

  1. Xây dựng và chuẩn hóa bộ ngữ liệu cảm xúc giọng nói tiếng Việt chuyên biệt: Nhóm nghiên cứu cần phối hợp cùng các phòng thí nghiệm xử lý ngôn ngữ tự nhiên tiến hành thu âm tối thiểu 5.000 mẫu giọng nói đa dạng vùng miền (Bắc, Trung, Nam) trong thời gian 6 tháng tới. Mục tiêu là nâng cao độ chính xác nhận diện cảm xúc người dùng bản địa từ mức ước tính 75% lên trên 88%.

  2. Ứng dụng mô hình học đa phương thức (Multimodal Fine-Grained Learning): Đội ngũ phát triển cần tích hợp mô hình phân tích ngữ nghĩa văn bản (Text Emotion Recognition - TER) song song với mô hình âm thanh (SER) bằng các kiến trúc Transformer và wav2vec trong lộ trình 9 tháng. Giải pháp này hướng đến việc giảm tỷ lệ phân loại sai ngữ cảnh xuống dưới 10%.

  3. Tái cấu trúc hạ tầng hệ thống theo kiến trúc vi dịch vụ (Microservices): Bộ phận kỹ thuật phần mềm cần chuyển đổi backend ExpressJS và cơ sở dữ liệu MongoDB sang mô hình điện toán đám mây phân tán trong vòng 3 tháng tới. Việc này nhằm nâng cao năng lực chịu tải đồng thời từ 1.000 người dùng lên 10.000 người dùng mà vẫn duy trì độ trễ truy xuất API dưới 500 mili-giây.

  4. Triển khai thuật toán học tăng cường (Reinforcement Learning) cho đề xuất bài hát: Các doanh nghiệp âm nhạc số cần ứng dụng thuật toán tự động hiệu chỉnh trọng số danh sách phát dựa trên 85% hành vi tương tác thực tế của người dùng (bỏ qua bài hát, nghe lại, thêm vào danh sách yêu thích) trong thời hạn 12 tháng nhằm tăng mức độ gắn kết dịch vụ.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng cụ thể:

  1. Sinh viên và học viên cao học chuyên ngành Khoa học Máy tính và Trí tuệ Nhân tạo: Tiếp cận phương pháp luận chuẩn mực về xử lý tín hiệu số âm thanh, kỹ thuật trích xuất đặc trưng với Librosa và quy trình huấn luyện mạng nơ-ron tích chập trên tập dữ liệu hơn 7.000 tệp mẫu.

  2. Kỹ sư phát triển hệ thống AI và Nhận dạng giọng nói (SER Engineers): Vận dụng kiến trúc mô hình học sâu CNN-DNN, tối ưu hóa các tham số phân lớp và ứng dụng các kỹ thuật tiền xử lý giảm nhiễu để triển khai vào các bài toán phân tích cuộc gọi tổng đài hoặc robot tương tác.

  3. Lập trình viên Web Fullstack: Tham khảo giải pháp kiến trúc phần mềm tích hợp hoàn chỉnh từ giao diện ReactJS, Next.js, Redux-Saga đến máy chủ Node.js/ExpressJS và cơ sở dữ liệu MongoDB, đặc biệt là kỹ thuật tương tác và khai thác API bên thứ ba với hơn 10 ca sử dụng phức tạp.

  4. Doanh nghiệp và nhà phát triển dịch vụ nội dung số: Vận dụng mô hình đề xuất cá nhân hóa theo cảm xúc để nâng cao trải nghiệm khách hàng, gia tăng từ 20% đến 30% thời lượng nghe nhạc trực tuyến và tạo lợi thế cạnh tranh khác biệt trên thị trường dịch vụ số.

Câu hỏi thường gặp

Tại sao nghiên cứu lựa chọn nhận diện cảm xúc qua giọng nói thay vì hình ảnh khuôn mặt? Giọng nói là phương thức bộc lộ tâm tư tự nhiên, ít gây cảm giác bị giám sát và phù hợp tối đa cho trải nghiệm nghe nhạc trong không gian cá nhân. Phân tích tín hiệu âm học giúp hệ thống nhận diện tức thì các dao động sinh lý của cơ thể mà không yêu cầu thiết bị phần cứng camera phức tạp, bảo đảm tính riêng tư cho 100% người dùng.

Tập dữ liệu RAVDESS mang lại những giá trị kiểm định gì cho mô hình học sâu? RAVDESS là bộ dữ liệu chuẩn học thuật quy mô 24.8 GB với 7.356 bản ghi âm thanh và hình ảnh của 24 diễn viên chuyên nghiệp. Dữ liệu được thẩm định khắt khe qua 247 người đánh giá độc lập theo thang đo chuẩn Likert 5 mức độ, cung cấp nền tảng gán nhãn đáng tin cậy cho 7 nhóm cảm xúc cơ bản.

Sự kết hợp giữa mạng CNN và DNN mang lại lợi ích gì so với các mô hình máy học cổ điển? Mạng CNN đảm nhận vai trò trích xuất tự động các ma trận đặc trưng không gian đa chiều từ ảnh phổ âm thanh 2 chiều, trong khi mạng DNN tối ưu hóa quá trình phân loại phi tuyến tính ở các tầng ẩn cuối. Sự kết hợp này mang lại độ chính xác cao hơn từ 5% đến 10% so với phương pháp SVM hay Mạng nơ-ron xác suất (PNN).

Hệ thống giải quyết bài toán bản quyền âm nhạc và dữ liệu bài hát như thế nào? Hệ thống kết nối trực tiếp với Zing MP3 API – nền tảng đang nắm giữ hơn 85% bản quyền nhạc Việt Nam. Thông qua các truy vấn HTTP an toàn, ứng dụng có thể truyền phát trực tiếp các bản nhạc chất lượng cao 320 Kbps và lời bài hát đồng bộ mà không cần lưu trữ tệp đa phương tiện trên máy chủ nội bộ.

Hạn chế lớn nhất của công trình là gì và giải pháp khắc phục trong tương lai? Hạn chế chính là mô hình mới được huấn luyện và đánh giá trên tập dữ liệu tiếng Anh chuẩn diễn xuất mà chưa được kiểm chứng đầy đủ trên dữ liệu tiếng Việt đời thường. Hướng khắc phục là xây dựng bộ ngữ liệu tiếng Việt quy mô 5.000 mẫu và tích hợp thêm mô hình phân tích ngôn ngữ tự nhiên đa phương thức.

Kết luận

  • Luận văn đã hoàn thành xuất sắc việc nghiên cứu toàn diện cơ sở lý thuyết âm học và hiện thực hóa thành công mô hình học sâu CNN-DNN phân loại 7 trạng thái cảm xúc qua giọng nói.
  • Xây dựng quy trình tiền xử lý và trích xuất đa đặc trưng âm học (Mel-Spectrogram, Chroma, Spectral Rolloff) trên tập dữ liệu chuẩn quốc tế RAVDESS quy mô 24.8 GB.
  • Thiết kế và phát triển thành công ứng dụng web nghe nhạc trực tuyến fullstack với 12 chức năng hoàn chỉnh, tích hợp liền mạch mô hình AI và Zing MP3 API.
  • Tối ưu hóa thời gian suy luận nhận diện giọng nói xuống mức trung bình 1.5 giây, bảo đảm tính mượt mà cho trải nghiệm người dùng thực tế.
  • Đặt nền móng kỹ thuật vững chắc cho việc phát triển các hệ thống đề xuất nội dung số thông minh dựa trên trạng thái tâm lý người dùng tại Việt Nam.

Trong lộ trình 6 đến 12 tháng tới, nhóm nghiên cứu sẽ mở rộng thu thập dữ liệu giọng nói tiếng Việt bản địa và ứng dụng mô hình học sâu đa phương thức Transformer. Đề tài mở ra tiềm năng thương mại hóa rộng lớn trong lĩnh vực công nghệ âm thanh và tương tác người - máy, khuyến khích các nhà nghiên cứu và doanh nghiệp công nghệ tiếp tục kế thừa và phát triển ứng dụng vào thực tiễn đời sống.