Nghiên Cứu Ứng Dụng Thuật Toán Theo Dõi Cao Độ Tại Trường Đại Học Sư Phạm TP.HCM

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính ứng dụng thuật toán theo dõi cao độ đơn âm để tự động hóa kí âm nhạc, vận dụng lý thuyết vào thực tế, đề xuất giải

• Tác giả: Dương Tiến
• Người hướng dẫn: TS. Nguyễn Viết Hưng
• Trường học: Trường Đại Học Sư Phạm TP.HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Ứng Dụng Thuật Toán Theo Dõi Cao Độ
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP.HCM

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: CƠ SỞ LÍ THUYẾT
• 1.1. Các khái niệm liên quan trong âm nhạc
• 1.2. Phép biến đổi Fourier rời
• 1.3. Chuẩn kí hiệu cao độ khoa học và A440
• 1.4. Các thư viện xử lí tín hiệu số
• 2. CHƯƠNG 2: TỔNG QUAN VÀ TÌNH HÌNH NGHIÊN CỨU
• 2.1. Tổng quan về lĩnh vực Truy hồi Thông tin Âm nhạc
• 2.2. Hiệp hội Truy hồi Thông tin Âm nhạc Quốc tế
• 2.3. Một số thành tựu trong lĩnh vực Truy hồi Thông tin âm nhạc
• 2.4. Khó khăn về vấn đề dữ liệu trong lĩnh vực Truy hồi Thông tin Âm nhạc
• 2.5. Các nghiên cứu liên quan
• 3. CHƯƠNG 3: MÔ HÌNH RÚT TRÍCH CAO ĐỘ GIAI ĐIỆU CHÍNH TỪ BÀI HÁT
• 3.1. Thu thập dữ liệu
• 3.2. Tiền xử lí dữ liệu
• 3.3. Kiến trúc mô hình rút trích cao độ
• 3.4. Phương pháp đánh giá
• 3.5. Voicing filter
• 3.6. Raw pitch accuracy
• 4. CHƯƠNG 4: THIẾT LẬP ỨNG DỤNG KÍ ÂM TỰ ĐỘNG
• 4.1. Hậu xử lí kết quả từ mô hình rút trích giai điệu
• 4.2. Chuyển đổi kết quả sau khi xử lí thành MIDI
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ KẾT QUẢ
• 5.1. Thiết bị phần cứng
• 5.2. Quá trình huấn luyện
• 5.3. Kết quả và nhận xét
• 6. CHƯƠNG 6: KẾT LUẬN
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU VÀ HÌNH ẢNH

Tóm tắt

I. Tổng quan về Nghiên Cứu Ứng Dụng Thuật Toán Theo Dõi Cao Độ

Nghiên cứu ứng dụng thuật toán theo dõi cao độ tại Trường Đại Học Sư Phạm TP.HCM là một lĩnh vực đang thu hút sự quan tâm lớn. Việc áp dụng công nghệ vào giáo dục, đặc biệt trong lĩnh vực âm nhạc, mở ra nhiều cơ hội mới cho sinh viên và giảng viên. Mục tiêu chính của nghiên cứu này là phát triển các công cụ hỗ trợ nhạc sĩ trong việc kí âm nhạc tự động, từ đó giảm thiểu thời gian và công sức trong quá trình sáng tác.

1.1. Ý nghĩa của Nghiên Cứu Ứng Dụng Công Nghệ

Nghiên cứu này không chỉ giúp nâng cao chất lượng giảng dạy mà còn tạo ra những sản phẩm hữu ích cho ngành âm nhạc. Việc áp dụng công nghệ thông tin trong giáo dục giúp sinh viên tiếp cận với các phương pháp học tập hiện đại.

1.2. Mục tiêu và Phạm vi Nghiên Cứu

Mục tiêu của nghiên cứu là xây dựng mô hình học sâu để rút trích giai điệu chính từ bài hát. Phạm vi nghiên cứu tập trung vào việc xử lý âm thanh và ứng dụng thuật toán học máy trong lĩnh vực âm nhạc.

II. Vấn Đề và Thách Thức Trong Nghiên Cứu Âm Nhạc

Một trong những thách thức lớn nhất trong nghiên cứu ứng dụng thuật toán theo dõi cao độ là việc thu thập và xử lý dữ liệu âm nhạc. Dữ liệu âm nhạc thường rất đa dạng và phức tạp, yêu cầu các phương pháp xử lý mạnh mẽ để đảm bảo độ chính xác cao trong việc rút trích giai điệu.

2.1. Khó Khăn Trong Việc Thu Thập Dữ Liệu

Việc tìm kiếm và thu thập dữ liệu âm nhạc chứa chú thích giai điệu phù hợp là một thách thức lớn. Nhiều dữ liệu không có sẵn hoặc không được chú thích đầy đủ, gây khó khăn cho quá trình nghiên cứu.

2.2. Thách Thức Trong Xử Lý Dữ Liệu Âm Nhạc

Xử lý dữ liệu âm nhạc đòi hỏi các kỹ thuật phức tạp như phân tích dữ liệu giáo dục và hệ thống theo dõi cao độ. Các phương pháp này cần được tối ưu hóa để đạt được kết quả tốt nhất.

III. Phương Pháp Nghiên Cứu Ứng Dụng Thuật Toán Theo Dõi Cao Độ

Nghiên cứu sử dụng các phương pháp học sâu để xây dựng mô hình rút trích giai điệu chính từ bài hát. Các thuật toán như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) được áp dụng để cải thiện độ chính xác trong việc nhận diện cao độ.

3.1. Mô Hình Học Sâu Được Sử Dụng

Mô hình học sâu được xây dựng dựa trên các kiến thức về thuật toán học máy và học sâu. Các mô hình này giúp rút trích giai điệu chính một cách hiệu quả và chính xác.

3.2. Quy Trình Xử Lý Dữ Liệu

Quy trình xử lý dữ liệu bao gồm các bước như tiền xử lý, phân tích và rút trích thông tin. Việc áp dụng các kỹ thuật như biến đổi Fourier giúp cải thiện chất lượng dữ liệu đầu vào.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy mô hình rút trích giai điệu chính có thể hoạt động hiệu quả trong việc chuyển đổi âm thanh thành định dạng MIDI. Điều này mở ra cơ hội cho việc phát triển các ứng dụng kí âm tự động trong tương lai.

4.1. Kết Quả Thực Nghiệm

Kết quả thực nghiệm cho thấy độ chính xác của mô hình đạt được tỷ lệ cao trong việc nhận diện cao độ. Điều này chứng tỏ tính khả thi của việc ứng dụng thuật toán theo dõi cao độ trong thực tế.

4.2. Ứng Dụng Trong Giáo Dục

Ứng dụng này không chỉ giúp nhạc sĩ trong việc kí âm mà còn hỗ trợ sinh viên trong việc học tập và nghiên cứu âm nhạc. Việc sử dụng công nghệ thông tin trong giáo dục sẽ tạo ra những trải nghiệm học tập phong phú hơn.

V. Kết Luận và Tương Lai Của Nghiên Cứu

Nghiên cứu về thuật toán theo dõi cao độ tại Trường Đại Học Sư Phạm TP.HCM đã mở ra nhiều hướng đi mới cho việc ứng dụng công nghệ trong âm nhạc. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều giá trị cho ngành giáo dục và âm nhạc.

5.1. Định Hướng Phát Triển Trong Tương Lai

Nghiên cứu sẽ tiếp tục mở rộng để phát triển các mô hình mới, cải thiện độ chính xác và khả năng ứng dụng trong thực tế. Việc áp dụng công nghệ thông tin trong giáo dục sẽ là một trong những ưu tiên hàng đầu.

5.2. Tác Động Đến Ngành Âm Nhạc

Nghiên cứu này không chỉ có tác động đến ngành giáo dục mà còn đến ngành âm nhạc, giúp nhạc sĩ và sinh viên có thêm công cụ hỗ trợ trong quá trình sáng tác và học tập.

Trích đoạn nội dung tài liệu

Chương 1: Cơ sở lí thuyết 1.1 Các khái niệm liên quan trong âm nhạc 1.1 Lí thuyết âm nhạc Freqenec› 4185.0 HMAGT LBRKISGAVZE Ki am là một thuật ngữ dùng trong lĩnh 3951.0 vực âm nhạc, chỉ việc ghi chép lại âm 2960.8 thanh của một bài nhạc sử dụng các kí 20 Bố) 2217.0 hiệu âm nhạc. Vi dụ: người A đang hát 1864.2 Ise3 0 bài “Happy Birthday to you”, người B 1480.7 nghe va viết lại các nốt nhạc của người A 1108.5 hát thành một bản nhạc, việc nghe và ghi 332.99 chép này là kí âm. Bản nhạc có thé được 739.33 viết trên giấy hoặc ghi chép lại sử dụng 466.16 dane thiết bị điện tử với định dang tệp tin 415.94 Am sắc là một đặc trưng sinh lí của âm 233.61 thanh, giúp ta phân biệt âm đo các nguồn khác nhau phát ra. Ví dụ, tiếng đàn piano 155.81 và tiếng dan guitar cùng chơi ở cùng một 116.99 a a7 cao độ va âm lượng.

thì âm sắc là chat &2 41? 9S&3£@A“86 RELaSxœVaS^cn©2=i 8sSAZ2E SR38©ằ@œ\+¿GCQ 73.416 lượng của âm thanh đó khiến cho tai 406 735 000 chúng ta phân biệt được sự khác nhau 99 654 giữa 2 nhạc cụ này. Âm sắc của một âm thanh phụ thuộc vào đạng sóng của âm thanh, nó thay đôi theo số lượng các dải tan số phụ hoặc các dai tan số cộng hưởng Hình 1.1: Các thông số điện tử trên đàn khi âm thanh phát ra. Bất kì âm thanh nảo piano 88 phím [39]. cũng bao gồm nhieu hơn một tân so va hau hết các tan số bô sung này được gọi là dải tần số cộng hưởng.

Dy BAYNONO RCOSRELL.2: Một ban nhac “Cake walk from the Follies of 1911” trên dan piano [1]. Not nhạc nói chung là các kí hiệu được su dụng dé biểu thị thời gian tương đôi về cao độ của âm thanh. Trong tiếng Việt, nốt nhạc có thé dùng dé nói về cao độ (nốt Đô, nốt La,.) hoặc trường độ (nốt tron, nốt đen.) của chính nó. Cao độ là độ cao, thấp của một âm thanh mà tai người có thê phân biệt được.

Cao độ cũng chính là tan sé cơ bản (ki hiệu là f0), được định nghĩa là tần số thấp nhất trong dang sóng của một âm thanh và được định lượng bằng tần số (Hz). Trong bai viết nay, chúng tôi sẽ sử dụng 2 thuật ngữ cao độ và tần số cơ bản với cùng một ý nghĩa. Trong âm nhạc phương Tây, các kí hiệu chữ cái A.B,C,D,E,G,F kết hợp với các chữ số được sử dụng để kí hiệu cao độ của một nốt nhạc, cách kí hiệu này được gọi là chuẩn kí hiệu cao độ khoa học. Trường độ là độ dài của một not nhạc, được tinh từ lúc nột nhạc ngân lên cho tới khi not nhạc đỏ kết thúc.2 Định dạng MIDI Giao điện kĩ thuật số dành cho nhạc cụ (tiếng Anh: Musical Instrument Digital Interface, viết tắt là MIDI) là một chuẩn vẻ nghi thức giao thông điện tứ định rõ các nốt âm nhạc trong nhạc cụ điện tử như là bộ tông hợp chính xác và ngắn gọn, dé nhạc cụ điện tử va máy tính trao đôi di liệu với nhau.

MIDI không truyền âm thanh mà chỉ giải thích những nốt nào được choi, khi nào va cách chơi. Điều này giúp cho các tệp MIDI có kích thước nhỏ hơn nhiều và trở nên lí tưởng dé chia sé thông tin âm nhạc giữa các ứng dụng tương tự. = Track 2 (1) Ovsedriven Guitar « 3 > » 225 0027019000 Hình 1.3: Signal, một phan mềm mã nguôn mở dé chính stra MIDI [2]. 16 Các tệp MIDI hỗ trợ ghi chép các thông điệp mang thông tin như: cau trúc bài hát, chuỗi vả bản nhạc, thông tin về nhịp độ và chữ kí thời gian.

Tên bản nhạc và các thông tin mô tả khác có thê được lưu trữ cùng với dữ liệu MIDI. Có nhiều loại thông điệp MIDI khác nhau. Ở cấp độ cao nhất, các thông điệp MIDI được phân loại là Thông điệp Kênh hoặc Thông điệp Hệ thống. Thông điệp Kênh được sử dung dé gửi thông tin về các sự kiện âm nhạc như nốt nhạc, lực đánh và ban phím.

Chúng được gửi trên một kênh cụ thé và chi anh hướng đến các thiết bị được định cau hình dé nhận thông tin trên kênh đó. Sau đây là một số loại thông điệp Kênh: ® Note On và Note Off được sử dụng đề kích hoạt và tắt một nốt nhạc cụ thé. ¢ Polyphonic Key Pressure cho phép điều chỉnh độ mạnh yếu của từng nốt nhạc riéng biệt trên cùng một kênh. © Control Change cho phép điều chỉnh các thông số khác nhau của âm thanh như âm lượng, cân bằng trái/phải và hiệu ứng.

e Program Change cho phép thay đôi chương trình (chăng hạn như chọn một loại nhạc cụ khác). ¢ Channel Pressure cho phép điều chỉnh độ mạnh yếu của tat cả các nốt nhạc trên cùng một kênh. ¢ Pitch Bend cho phép thay đôi cao độ của tat cả các nốt nhạc trên cùng một kênh. e Set Tempo được sử dụng đề đặt nhịp độ của một chuỗi MIDI theo đơn vị micro giây trên mỗi nốt đen hay nốt phan tư (4).

Nếu không có thông điệp Set Tempo trong tệp tin MIDI, nhịp độ mặc định la 500000 micro giây trên mỗi nốt nhạc phân nửa, tương đương với 120 nhịp trên mỗi phút. Thông điệp Hệ thống được sử dụng đề gửi thông tin không liên quan trực tiếp đến các sự kiện âm nhạc. Chúng được gửi đến tất cả các thiết bị trong hệ thông và có thê bao gồm các thông tin như đồng bộ hóa thời gian và thiết lập chung. Dé xây dựng một file MIDI cơ bản, ta cần ít nhất hai loại thông điệp Kênh: Note On va Note Off dé kích hoạt và tắt các nốt nhạc.

17 Các phần mềm phối nhạc phỏ biến như FL Studio, GarageBand, Ableton,. hỗ trợ ghi tin hiệu MIDI từ các đàn điện tử cũng như mô phỏng chúng dé cho người dùng dé dang phân tích và soạn nhạc. Trong định dạng MIDI, tên các nốt nhạc sẽ được gán theo số nguyên (Hình 1.3 Chuẩn kí hiệu cao độ khoa học và A440 Chuẩn kí hiệu cao độ khoa học (tiếng Anh: Scientific Pitch Notation, viết tắt là SPN) la một phương pháp đặt tên cho cao độ âm nhạc bằng cách kết hợp tên nốt nhạc có thứ tự C, D, E, F, G, A, B (với dau thăng # hoặc giang b néu can) và một số nguyên xác định quang âm của nốt nhạc. Điều này cung cấp một phương pháp không thé nhằm lẫn để xác định một nốt nhạc theo kí hiệu văn bản thay vì tan số, trong khi cùng lúc tránh các qui ước chuyển vị được sử dụng trong việc viết nhạc cho các nhạc cụ như clarinet va guitar.

Chuẩn A440 là một chuẩn về cao độ âm nhạc tương ứng với tan số âm thanh 440 Hz, phục vụ như một chuẩn điều chỉnh cho nốt nhac A trên nốt C giữa. Nó được chuẩn hóa bởi Tổ chức Tiêu chuẩn Hóa Quốc tế với tên gọi ISO 16. Nốt C giữa (tiếng Anh: Middle C) là nốt nhạc C năm giữa hai dãy phim trắng của đàn piano và được đánh dấu là C4 trong chuẩn kí hiệu cao độ khoa học. Nó cũng được gọi là C4 vì nó nằm trong quãng âm thứ tư trên đàn piano tiêu chuẩn 88 phím.

Như vậy, theo chuẩn A440 thì nốt A4 sẽ mang giá trị là 440 Hz. Số quãng âm tăng lên 1 khi có sự thăng hoa từ nốt B sang nốt C. Do đó, nốt AO chỉ đến not A đầu tiên trên nốt CO. Ví dụ: C4 là một nốt trên B3 và A5 là một nốt trên G5.4 Giai điệu Giai điệu là một khái niệm trừu tượng và tới nay vẫn còn là một vấn đề cần đang được thảo luận trong những cộng đồng liên quan đến âm nhạc, cũng như cộng đồng MIR.

Một định nghĩa phô biến [3] được sử dụng trong cộng đồng MIR cho rằng “giai điệu là chuỗi I§ 4m thanh đơn ma một người nghe có thẻ tai tạo nêu được yêu cau huýt sáo hoặc ngân nga một bản nhạc đa điệu. và người đó sẽ cho rang chuối âm thanh đơn đó là bản chat 5 "A s. ~ ` x ` , * ` ` của ban nhạc đa điệu”. Định nghĩa nay van còn mang tính chủ quan, vì những người nghe khác nhau có thê ngân nga các phân khác nhau sau khi nghe cùng một bài hát (ví Hinh 1.4: Các chú thích theo các định nghĩa giai điệu 1 (trên cùng), giai điệu 2 (chính giữa) và giai điệu 3 (dưới cùng), phần mém sử dụng là Sonic Visualizer [4].

Trong dé tài này, chúng tôi sử dụng định nghĩa giai điệu 2 trong bộ dữ liệu MedleyDB, một bộ dữ liệu bao gồm 122 bài hát miễn phí bản quyền dành cho việc nghiên cứu rút trích giai điệu (sẽ được giới thiệu chỉ tiết ở chương 3.2), được phát biéu như sau: *Đường tần số cơ bản 1D của giai điệu chiếm ưu thế được chú thích từ nhiều nguồn am thanh” [5]. Cũng giỗng như định nghĩa giai điệu trên, giai điệu trong định nghĩa này là một chuỗi âm thanh đơn, với các nguồn âm thanh ở đây là nhạc cụ hoặc giọng hát chiếm ưu thể tại mỗi thời điểm trong ban nhạc.4 được tạo ra trên phan mém Sonic Visualizer với biêu dé Melodic Spectrogram bang cách lay một bài hát trong tập dữ liệu MedleyDB có tên là Auctioneer_OurFutureFaces và các chú thích tương ứng, biểu dién trên cho thay sự khác biệt giữa các định nghĩa giai điệu trong tập dữ liệu MedleyDB: 19 ¢ Dinh nghĩa | chi bao gom một chú thích tan số của một nhạc cụ duy nhất xuyên suốt bài hát (trong trường hợp này là giọng hát của ca sĩ). ¢ Dinh nghĩa 2 kết hợp chú thích tần số của các nhạc cụ thành một đường chú thích duy nhất, e©_ Định nghĩa 3 bao gồm hai chú thích tần số của nhiều nhac cụ độc lập với nhau trên cùng một bài hát. Mặc dù yếu tố chủ quan không thé hoản toàn loại trừ ngay cả trong định nghĩa này (chúng ta định nghĩa chiếm ưu thế như thế nào?), chúng tôi quyết định chọn định nghĩa nay dé phù hợp với phạm vi kiến thức của chúng tôi.2 Xử lí tín hiệu số 1.1 Các khái niệm chung Lấy mau là quá trình chuyên đôi một tín hiệu liên tục thành một tín hiệu rời rac.

Quá trình này bao gồm việc đo giá trị của tín hiệu liên tục ở các khoảng thời gian đều, được gọi là chu kì lay mẫu. Tín hiệu rời rac thu được là một chuỗi các số biểu dién biên độ của tín hiệu liên tục tại mỗi thời diém lây mẫu. Tân số lay mâu là tốc độ lẫy mẫu của tín hiệu liên tục, thường được đo bằng mẫu trên giây (Hz).