Luận văn tốt nghiệp: Phát triển hệ thống nhận diện cảm xúc qua giọng nói

Luận văn tốt nghiệp KHMT: Xây dựng hệ thống nhận diện cảm xúc qua giọng nói. Nghiên cứu, phát triển & ứng dụng công nghệ AI. Tìm hiểu chi tiết!

Chuyên ngành

Khoa Học Máy Tính

Người đăng

Ẩn danh

Thể loại

luận văn tốt nghiệp

2022

91
96
1

Phí lưu trữ

35 Point

Mục lục chi tiết

Lời cam đoan

Lời cảm ơn / Lời ngỏ

1. CHƯƠNG 1: GIỚI THIỆU

1.1. Mục tiêu của đề tài

1.2. Đối tượng và phạm vi nghiên cứu đề tài

1.3. Phương pháp nghiên cứu

1.4. Cấu trúc báo cáo luận văn

2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN

2.1. Những nghiên cứu về mối liên kết giữa âm nhạc và cảm xúc con người

2.1.1. Nguồn gốc âm nhạc

2.1.2. Hoạt động của não người khi nghe nhạc

2.1.3. Mối liên hệ giữa âm nhạc và cảm xúc con người

2.2. Các phương pháp nhận diện cảm xúc không sử dụng Deep learning

2.3. Các phương pháp nhận diện cảm xúc sử dụng Deep-learning

2.3.1. Phân loại cảm xúc dựa trên đặc điểm âm thanh

2.3.2. Phân loại cảm xúc kết hợp âm thanh và ngữ nghĩa

2.4. Tổng kết chương 2

3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG

3.1. Xây dựng mô hình nhận diện cảm xúc qua giọng nói

3.1.1. Tập dữ liệu

3.1.2. Tiền xử lý dữ liệu

3.2. Các website âm nhạc phổ biến hiện nay và đánh giá chung

3.3. Công nghệ sử dụng

3.3.1. Mô hình nhận diện cảm xúc qua giọng nói

3.4. Thiết kế hệ thống

3.4.1. Kiến trúc của hệ thống

3.4.2. Các chức năng của hệ thống

3.4.3. Giao diện của hệ thống (wireframe)

3.4.4. Cơ sở dữ liệu

3.4.5. Tương tác với mô hình nhận diện cảm xúc qua giọng nói

3.4.6. Các luồng hoạt động của hệ thống

3.4.6.1. Đăng nhập/ đăng ký
3.4.6.5. Xem thông tin chi tiết của một bài hát, một playlist hoặc một nghệ sĩ
3.4.6.6. Yêu thích một bài hát, một playlist hoặc một nghệ sĩ
3.4.6.7. Tạo một playlist
3.4.6.8. Thêm/xóa một bài hát khỏi một playlist
3.4.6.10. Nhận diện cảm xúc của người dùng qua giọng nói

3.4.7. Giao diện hoàn chỉnh (mockup) của hệ thống

3.4.7.1. Các trang chính của hệ thống
3.4.7.2. Các trang thông tin chi tiết của hệ thống
3.4.7.3. Các thành phần khác của hệ thống

3.7. Zing MP3 API

3.7.1. Cấu trúc request url của Zing MP3 API
3.7.2. Khai thác Zing MP3 API

4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ

4.1. Mô hình phân loại cảm xúc qua giọng nói

4.1.1. Tiêu chí và phương pháp đánh giá

4.1.2. Mạng CNN-DNN chỉ sử dụng quang phổ âm

4.1.3. Mạng CNN-DNN kết hợp

4.2. Hệ thống đã đề xuất

4.2.1. Các chức năng của hệ thống

4.2.2. Mô hình nhận diện cảm xúc qua giọng nói khi được tích hợp vào hệ thống

5. CHƯƠNG 5: TỔNG KẾT

5.1. Kết quả đạt được

5.2. Những hạn chế

5.3. Những khó khăn, thách thức trong quá trình làm luận văn

5.4. Hướng cải tiến và mở rộng trong tương lai

Tài liệu tham khảo

Tóm tắt

I. Tổng quan đề tài

Đề tài luận văn tốt nghiệp này tập trung vào việc phát triển một hệ thống nhận diện cảm xúc qua giọng nói và ứng dụng vào website nghe nhạc. Mục tiêu chính là nghiên cứu và xây dựng một mô hình học máy có khả năng nhận diện cảm xúc của người dùng thông qua giọng nói, từ đó đề xuất nội dung âm nhạc phù hợp. Lựa chọn giọng nói làm yếu tố đầu vào vì cảm xúc thường được giải tỏa qua lời nói, giúp người dùng giải tỏa cảm xúc tiêu cực và thúc đẩy cảm xúc tích cực. Đề tài xoay quanh việc nghiên cứu các phương pháp học sâu và học máy trong phân loại cảm xúc qua giọng nói, thiết kế hệ thống tích hợp mô hình này và ứng dụng vào website nghe nhạc. Phương pháp nghiên cứu bao gồm phân tích lý thuyết về cảm xúc, giọng nói và học máy, thiết kế ngược từ các sản phẩm hiện có và phân tích tổng kết thí nghiệm để đánh giá độ chính xác và chất lượng sản phẩm.

II. Nghiên cứu liên quan và ứng dụng

Luận văn tìm hiểu về mối liên hệ giữa âm nhạc và cảm xúc con người, từ nguồn gốc âm nhạc đến hoạt động của não bộ khi nghe nhạc. Đề tài cũng khảo sát các phương pháp nhận diện cảm xúc, bao gồm các phương pháp không sử dụng Deep Learning và các phương pháp sử dụng Deep Learning như phân loại cảm xúc dựa trên đặc điểm âm thanh và kết hợp âm thanh với ngữ nghĩa. Việc nhận dạng cảm xúc trong giọng nói có nhiều ứng dụng thực tiễn, ví dụ như trong hệ thống tổng đài chăm sóc khách hàng, tương tác người - robot, và hỗ trợ quá trình học tập bằng cách đánh giá tâm lý người học. "SER sẽ hỗ trợ và trích xuất thông tin giúp cải thiện dịch vụ đó" - cho thấy tiềm năng ứng dụng của hệ thống nhận diện cảm xúc trong việc nâng cao chất lượng dịch vụ khách hàng.

III. Thiết kế và xây dựng hệ thống

Hệ thống được thiết kế bao gồm mô hình nhận diện cảm xúc qua giọng nói và website nghe nhạc tích hợp mô hình này. Mô hình nhận diện cảm xúc được xây dựng dựa trên các kỹ thuật học sâu, sử dụng tập dữ liệu RAVDESS và tiền xử lý dữ liệu để tăng độ chính xác. Website nghe nhạc được thiết kế với các chức năng như đăng nhập/đăng ký, phát nhạc, tải nhạc, hát karaoke, xem thông tin chi tiết, tạo playlist, yêu thích bài hát và đặc biệt là chức năng đề xuất nhạc dựa trên cảm xúc. Luận văn trình bày chi tiết kiến trúc hệ thống, cơ sở dữ liệu, giao diện người dùng (wireframe và mockup), luồng hoạt động của các chức năng và cách thức tương tác với mô hình nhận diện cảm xúc. Việc sử dụng Zing MP3 API giúp hệ thống khai thác nguồn nhạc phong phú và đa dạng. "Các sinh viên kết hợp giữa việc phát triển ứng dụng và giải thuật học máy cho một bài toán thực tế" - nhận xét của giảng viên hướng dẫn cho thấy tính ứng dụng cao của đề tài.

IV. Thực nghiệm đánh giá và kết luận

Đề tài thực hiện thực nghiệm và đánh giá mô hình phân loại cảm xúc qua giọng nói dựa trên các tiêu chí như độ chính xác. Kết quả cho thấy mô hình đạt hiệu quả tốt, đặc biệt khi kết hợp nhiều đặc trưng âm thanh. Hệ thống website nghe nhạc cũng được đánh giá về tính đầy đủ chức năng và hiệu quả của mô hình nhận diện cảm xúc khi tích hợp vào hệ thống. Mặc dù đạt được kết quả khả quan, luận văn cũng thẳng thắn nhìn nhận những hạn chế như chưa đánh giá mô hình với dữ liệu thực tế, phần ứng dụng website còn gượng ép. "Nhóm chỉ đánh giá được độ chính xác của mô hình trên tập benchmark, chưa đánh giá được với dữ liệu thực tế" - đây là một hạn chế cần được khắc phục trong tương lai. Luận văn đề xuất hướng phát triển trong tương lai, bao gồm việc cải thiện mô hình, mở rộng ứng dụng và đánh giá trên dữ liệu thực tế để nâng cao tính thực tiễn.

27/11/2024

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu Giới thiệu tổng quan về đề tài, cũng là chương hiện hành. Trong chương này sẽ đưa ra cái nhìn tổng quan về đề tài, cũng như mục tiêu và phạm vi ứng dụng của đề tài. • Chương 2: Các nghiên cứu liên quan Tổng quan về các công trình nghiên cứu liên quan đến đề tài mà nhóm tìm hiểu được. • Chương 3: Xây dựng hệ thống Chương này sẽ đi chi tiết vào quá trình thiết kế và xây dựng các mô hình học máy và hệ thống sẽ được tích hợp mô hình này.

• Chương 4: Thực nghiệm và đánh giá Trình bày về quá trình kiểm thử và đánh giá kết quả hiện thực. • Chương 5: Tổng kết Tổng kết về những công việc mà nhóm đã làm, những khó khăn, thuận lợi và khó khăn trong quá trình thực hiện cùng việc đề xuất hướng cải tiến, mở rộng. 2 Chương 2 Các nghiên cứu liên quan Nhận dạng cảm xúc trong giọng nói có nhiều ứng dụng thực tế quan trọng, đặc biệt trong lĩnh vực tương tác người - máy (Human machine interaction). Các ví dụ có thể kể đến như: • Hệ thống nhận dạng cảm xúc trong giọng nói (SER) có thể giúp phát hiện các vấn đề của khách hàng trong các cuộc gọi đến tổng đài.

Thông thường một khách hàng gặp rắc rối về chất lượng dịch vụ sẽ tìm đến sự giúp đỡ của tổng đài để nhờ hỗ trợ [3], SER sẽ hỗ trợ và trích xuất thông tin giúp cải thiện dịch vụ đó. • Trong tương tác người - robot (human robot interface), robot được dạy cách để tương tác và nhận dạng cảm xúc của con người. Một robot cứu hộ không chỉ cần hiểu được mệnh lệnh trong lời nói mà còn cần phải xác định được các thông tin khác như tình trạng sức khoẻ của ngừoi ra mệnh lệnh để đưa ra quyết định của nó [6]. • Nghiên cứu tâm lý học cho thấy tâm lý của người học ảnh hưởng đến hiệu quả và chất lượng của việc học.

SER giúp xác định trạng thái cảm xúc của người học, thông qua đó giúp người hướng dẫn đưa ra các giải pháp để truyền tải kiến thức nhằm tăng hiệu quả của quá trình học tập.1 Những nghiên cứu về mối liên kết giữa âm nhạc và cảm xúc con người 2.1 Nguồn gốc âm nhạc Âm nhạc là một môn nghệ thuật âm thanh phản ánh mọi vấn đề xung quanh chúng ta bằng các thành tố mang tính nhạc (cao độ, trường độ, nhip điệu,. Nội dung thể hiện có thể là một hiện tượng, là những cảm xúc (vui, buồn, thất vọng, hạnh phúc), là quan điểm sống hay thậm chí âm nhạc còn thể hiện hình tượng vĩ đại của tập thể, đất nước, nền văn hóa hay cả nhân loại. Bên cạnh đó, âm nhạc còn có mối liên kết chặt chẽ với các bộ môn toán học, thiên văn học, triết học,. Thực tế, đã có rất nhiều lý giải cho vấn đề nguồn gốc âm nhạc.

Chẳng hạn như theo như 3 thời xưa cổ: âm nhạc xuất phát từ nhu cầu sinh lý của con người cũng như động vật muốn thu hút bạn tình – Charles Darwin ; âm nhạc là kết quả của sự dư thừa năng lượng, trong cơn xúc cảm mạnh mẽ những âm điệu của con người sinh ra tính nhạc – Herbert Spencer; “tính tò mò” và “niềm vui” là nguồn gốc kích thích phát triển âm nhạc – Karl Stumpf; nguồn gốc âm nhạc là ma thuật – Jule Combarieu hay nguồn gốc âm nhạc chính là lao động – Khoa thẩm mỹ học Mác – Lê Nin. Thực tế để có câu trả lời hoàn toàn chính xác thì đây gần như là điều không tưởng bởi sự hạn chế của các bằng chứng lịch sử và khoảng cách thời gian giữa hiện tại và giai đoạn sơ khai của âm nhạc là quá lớn. Tuy nhiên, với công nghê khoa học ngày càng phát triển, sự liên quan giữa âm nhạc và các loại hình nghệ thuật khác cùng với mối quan hệ khắn khít giữa nguồn gốc âm nhạc và sự hình thành và phát triển loài người, chúng ta có thể tìm ra câu trả lời hợp lý và tiệm cận với sự chính xác hơn rất nhiều. Theo quá trình phát triển của loài người từ vượn hình người sang di chuyển thành 2 chân, yếu tố khí hậu, địa lý, nhu cầu giao tiếp trong đó, lao động là yếu tố quan trọng nhất tác động đến sự phát triển ngôn ngữ và âm nhạc.

Ngoài ra địa lý khí hậu khác nhau dẫn đến cách tiếp cận tự nhiên khác nhau của con người thông qua lao động đã hình thành nên những nền văn hóa khác nhau, từ đó quan điểm về âm nhạc, chất liệu âm nhạc và các thể loại âm nhạc cũng khác nhau. Tóm lại, từ những nhu cầu cơ bản nhất để tồn tại là ăn ở của tổ tiên của chúng ta (những sinh vật yếu ớt và nhỏ bé) điều kiện tự nhiên đã tác động buộc tổ tiên ta phải thích nghi, tư duy nhiều hơn thông qua quá trình lao động. Sau nhiều năm sinh sống ở những môi trường, điều kiện khác nhau, đặc tính lao động của mỗi vùng cũng khác nhau dẫn đến văn hóa mỗi vùng và đặc biệt là nghệ thuật, âm nhạc cũng khác nhau.2 Hoạt động của não người khi nghe nhạc Âm nhạc chính là những sóng âm thanh được truyền đến não, từ đó chạm vào các cung bậc cảm xúc và khiến ta run rẩy. Thế nhưng, mặc dù não bộ vẫn còn là điều bí ẩn đối với các nhà khoa học.

Chúng ta đều biết rằng âm nhạc tác động đến một số vị trí bên trong não. Và nhiều chức năng tại đây bắt đầu được kích hoạt khi tiếp xúc với âm nhạc. Âm nhạc có thể khiến bạn vui, buồn hoặc chìm đắm trong thế giới của riêng mình.Hoạt động của não người khi nghe nhạc. Đó là lý do vì sao các nhà nghiên cứu về bộ não con người rất quan tâm đến âm nhạc bởi họ có thể tìm hiểu được nhiều điều về các chức năng của não khi chúng tiếp xúc với âm nhạc.

Chuyên gia hàng đầu thế giới về mối tương quan giữa “Âm Nhạc và Não Bộ” là nhà khoa học (kiêm nhạc sĩ) Peter Vuust đến từ trung tâm nghiên cứu “Music in the Brain”, thuộc Đại học Aarhus, Đan Mạch. Ông cho biết về mức độ ảnh hưởng của âm nhạc đối với con người thường theo 4 cách. Chúng ta lĩnh hội âm nhạc, âm nhạc khiến ta hành động, chúng ta sử dụng nhạc cụ để thể hiện âm nhạc, và âm nhạc tác động đến cảm xúc của chúng ta. Đó cũng là lý do vì sao các nhà nghiên cứu không ngừng theo đuổi bốn khía cạnh: Sự lĩnh 4 hội, hành động, học hỏi và cảm xúc.

“Điều tuyệt vời ở chỗ là chúng tôi không chỉ nghiên cứu về mức độ tương tác giữa não và âm nhạc, mà còn có cơ hội được hiểu hơn về cách thức hoạt động của bộ não nói chung”. Peter Vuust cho biết âm nhạc có thể vượt qua mọi rào cản vị trí, ngôn ngữ, tuổi tác.3 Mối liên hệ giữa âm nhạc và cảm xúc con người Các nhà nghiên cứu gần đây có xu hướng định nghĩa ‘cảm xúc’ như một hiện tượng bao gồm các sự tương tác giữa bộ não, tâm trí và cơ thể. Bởi vậy, cảm xúc bao hàm không chỉ quá trình nhận thức mà còn thể hiện ở cả những thay đổi sinh lý và những hành động biểu cảm của con người (Juslin, 2010). Cũng dùng ví dụ về con rắn ban nãy, não bộ người đó không chỉ đánh giá nhận thức mà còn kích hoạt chất Adrenalin vào mạch máu, gây ra thay đổi sinh lý là tim đập nhanh hơn.

Người đó, cảm nhận được nỗi sợ hãi, sẽ có thể hét lên và chạy đi (hành động biểu cảm). Cách nhìn nhận này giúp các nhà nghiên cứu có thể khảo sát những phản ứng của người nghe trước âm nhạc một cách khách quan hơn so với việc dựa vào những miêu tả chủ quan về cảm xúc từ phía người nghe. Các thí nghiệm đã chỉ ra rằng âm nhạc có thể tạo ra những phản ứng sinh lý tương tự như những phản ứng gây ra bởi các tác nhân kích thích cảm xúc khác, bao gồm các thay đổi về nhịp tim, thân nhiệt, huyết áp, v. Các bằng chứng khác như hành động biểu cảm, được xác định qua sự quan sát và đo đạc bằng điện cơ đồ các cử động cơ mặt (Witvliet Vrana, 2007) cũng củng cố điều này.

Dựa vào những lý thuyết đi trước và những nghiên cứu gần đây về sự đa yếu tố trong việc kích hoạt cảm xúc, Juslin và Vastjall (2008) đã xây dựng một thuyết đa cơ chế toàn diện hơn, xác định ra bảy cơ chế cốt yếu cùng chịu trách nhiệm trong việc khơi dậy cảm xúc trong con người của âm nhạc. • Phản xạ cuống não (brain stem reflex): khi những thuộc tính âm thanh của âm nhạc được cuống não tiếp nhận như một sự báo hiệu, ví dụ như những âm thanh to, đột ngột, không thuận tai hoặc thay đổi nhịp điệu liên tục trong âm nhạc. Cơ chế này diễn ra vô thức và chỉ có thể gợi lên sự kích thích chứ không gây ra cảm xúc cụ thể. • Sự đồng bộ hóa tiết tấu cơ thể với tiết tấu âm nhạc (rhythmic entrainment): âm nhạc với những nhịp điệu mạnh (như nhạc techno) hay đều đều (như nhạc cúng bái) có thể ảnh hưởng đến một nhịp điệu của cơ thể, điển hình là nhịp tim, và tạo cho người nghe cảm giác được kích thích hoặc bị thôi miên.

• Phản ứng có điều kiện từ việc đánh giá và liên hệ (evaluative conditioning): theo cơ chế này, một khúc nhạc, bài hát liên tục gắn với một sự việc tích cực hay tiêu cực cụ thể sẽ có khả năng gợi ra trong chúng ta những cảm xúc vui hay buồn kể cả trong một tình huống mới. Đây là một quá trình vô thức, không chủ đích và không cần cố gắng. • Sự lây cảm xúc (emotional contagion): khi nhận biết được một diễn đạt cảm xúc nào đó trong âm nhạc, chúng ta tự mình “bắt chước” nó. Cơ chế này do Juslin và Vastjall đưa ra có 5 vẻ gần với giả thuyết của Kivy.

Điểm khác nhau là họ cho rằng không phải chúng ta “nhận nhầm” cảm xúc đó cho mình, mà chúng ta thực sự bị lây cảm xúc đó. Tuy nhiên cơ chế “lây” cũng chưa được họ làm rõ. • Hình ảnh thị giác (visual imagery): khi âm nhạc khiến người nghe tưởng tượng ra những hình ảnh (như overture Hebrides của Mendelssohn thường gợi lên hình ảnh kì vỹ của các hang động trên biển). Những hình ảnh này có khả năng tác động đến con người như các tác nhân kích thích cảm xúc trong đời sống hằng ngày.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Bài viết "Luận văn tốt nghiệp khoa học máy tính phát triển hệ thống nhận diện cảm xúc qua giọng nói" của các tác giả Trần Đình Đức và Trương Đình Đức, dưới sự hướng dẫn của các giảng viên tại Trường Đại Học Bách Khoa - Đại Học Quốc Gia TP.HCM, trình bày một nghiên cứu sâu sắc về việc phát triển hệ thống nhận diện cảm xúc thông qua giọng nói. Nghiên cứu này không chỉ mang lại cái nhìn mới về công nghệ nhận diện giọng nói mà còn mở ra hướng đi mới trong việc ứng dụng trí tuệ nhân tạo vào các lĩnh vực như tâm lý học và giao tiếp con người. Độc giả sẽ tìm thấy giá trị trong việc hiểu rõ hơn về cách mà công nghệ có thể cải thiện trải nghiệm tương tác và giao tiếp trong xã hội hiện đại.

Nếu bạn quan tâm đến các nghiên cứu và ứng dụng trong lĩnh vực công nghệ thông tin, bạn có thể tham khảo thêm bài viết Nghiên cứu kiểm thử phần mềm và sử dụng công cụ postman để test api cho website, nơi tìm hiểu về kiểm thử phần mềm và ứng dụng công cụ trong phát triển hệ thống. Ngoài ra, bài viết Đồ án tốt nghiệp mô hình phân loại sản phẩm bằng mã qr code cũng có thể thu hút bạn, với cách tiếp cận ứng dụng công nghệ vào thực tiễn. Những tài liệu này sẽ giúp bạn mở rộng kiến thức và hiểu biết về các xu hướng công nghệ hiện nay.