Luận Văn Thạc Sĩ Kỹ Thuật Điện Tử Về Mô Hình GAN-LSTM Trong Tạo Sinh Âm Nhạc

Luận văn thạc sĩ nghiên cứu kỹ thuật điện tử thiết kế mô hình ganlstm cho tạo sinh âm nhạc, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực kỹ

• Tác giả: Đỗ Quang Thịnh
• Người hướng dẫn: PGS. Hoàng Trang
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Kĩ thuật Điện tử
• Đề tài: Thiết kế mô hình GAN-LSTM cho tạo sinh âm nhạc
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cám ơn
• Tóm tắt luận văn thạc sĩ
• Thesis Abstract
• Lời cam đoan của tác giả
• Danh mục hình ảnh
• Danh mục bảng số liệu
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích, đối tượng và phạm vi nghiên cứu
• 1.3. Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu
• 1.4. Bố cục luận văn
• 2. CHƯƠNG 2: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 2.1. Tình hình nghiên cứu trong và ngoài nước
• 2.2. Mục tiêu và nhiệm vụ nghiên cứu
• 3. CHƯƠNG 3: CƠ SỞ LÝ LUẬN VÀ GIẢ THUYẾT KHOA HỌC
• 3.1. Mạng đối nghịch tạo sinh GAN (Generative Adversarial Network)
• 3.1.1. GAN có điều kiện (Conditioning GAN)
• 3.2. Ứng dụng Machine Learning trong âm nhạc
• 3.2.1. Cơ bản về âm nhạc
• 3.2.2. Tệp MIDI và cách thức lưu trữ âm nhạc trong máy tính
• 3.2.3. Long-Short Term Memory (LSTM)
• 3.2.4. Cấu trúc bài hát và các mối liên hệ với Machine Learning
• 3.3. Mô hình mạng GAN-LSTM cho âm nhạc
• 3.3.1. Những vấn đề tồn đọng cụ thể
• 3.3.2. Phương pháp
• 4. CHƯƠNG 4: PHƯƠNG PHÁP NGHIÊN CỨU
• 4.1. Phương pháp xây dựng dữ liệu
• 4.2. Phương pháp thu thập và tiền xử lý dữ liệu
• 4.3. Phương pháp xây dựng mô hình GAN-LSTM
• 4.3.1. Xây dựng mô hình học máy trên Python
• 4.3.2. Xây dựng mô hình thực thi trên Verilog
• 4.4. Phương pháp mô phỏng
• 4.4.1. Mô phỏng kiểm chứng khả năng học hỏi của mô hình trên Python
• 4.4.2. Mô phỏng chức năng trên phần cứng và synthesis (tổng hợp)
• 4.5. Phương pháp đánh giá kết quả
• 4.5.1. Đánh giá định lượng
• 4.5.2. Đánh giá định tính
• 5. CHƯƠNG 5: KẾT QUẢ NGHIÊN CỨU VÀ CÁC PHÂN TÍCH LIÊN QUAN
• 5.1. Phân tích kết quả theo các đánh giá định lượng
• 5.1.1. Phân tích theo tập dữ liệu gốc
• 5.1.2. Phân tích theo quá trình huấn luyện
• 5.1.3. Phân tích các quãng chuyển Verse-Chorus và điểm kết Chorus
• 5.2. Phân tích phiên bản thực thi phần cứng của mô hình
• 5.2.1. Phân tích kết quả mô phỏng
• 5.2.2. Phân tích về mặt thời gian (Timing)
• 5.3. Phân tích kết quả theo các đánh giá định tính
• 5.3.1. Khảo sát về mức độ chân thực của âm nhạc
• 5.3.2. Khảo sát về tác động cảm xúc của âm nhạc
• 5.3.3. Khảo sát về nhận diện các quãng chuyển Verse-Chorus
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận đề tài
• 6.2. Hướng phát triển
• Danh mục các công trình khoa học
• Danh mục tài liệu tham khảo

Tóm tắt

I. Tổng quan về mô hình GAN LSTM trong tạo sinh âm nhạc

Mô hình GAN-LSTM là sự kết hợp giữa hai công nghệ tiên tiến trong lĩnh vực trí tuệ nhân tạo, bao gồm Mô hình GAN và Mô hình LSTM. Mục tiêu chính của mô hình này là tạo ra âm nhạc tự động, mang lại những giai điệu phong phú và sáng tạo. Việc áp dụng mô hình này không chỉ giúp tăng tốc độ sáng tác mà còn mở ra những khả năng mới trong việc tạo ra âm nhạc, từ đó làm phong phú thêm nền âm nhạc hiện đại.

1.1. Mô hình GAN và ứng dụng trong âm nhạc

Mô hình GAN (Generative Adversarial Network) đã được chứng minh là có khả năng tạo ra dữ liệu mới từ dữ liệu gốc. Trong âm nhạc, GAN có thể tạo ra những giai điệu mới, giúp nhạc sĩ có thêm nguồn cảm hứng sáng tác.

1.2. Mô hình LSTM và vai trò trong tạo sinh âm nhạc

Mô hình LSTM (Long Short-Term Memory) giúp duy trì thông tin trong chuỗi thời gian, rất quan trọng trong việc tạo ra các nốt nhạc liên tiếp. LSTM cho phép mô hình hiểu được cấu trúc âm nhạc và tạo ra những giai điệu mạch lạc.

II. Thách thức trong việc tạo sinh âm nhạc bằng GAN LSTM

Mặc dù mô hình GAN-LSTM mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức lớn trong quá trình phát triển. Các vấn đề như kích thước dữ liệu, độ chính xác của âm nhạc và khả năng sáng tạo vẫn cần được giải quyết. Những thách thức này đòi hỏi các nhà nghiên cứu phải tìm ra các phương pháp tối ưu để cải thiện hiệu suất của mô hình.

2.1. Kích thước dữ liệu và ảnh hưởng đến chất lượng âm nhạc

Kích thước dữ liệu là yếu tố quan trọng ảnh hưởng đến khả năng học của mô hình GAN. Nếu dữ liệu không đủ lớn, mô hình có thể không học được các đặc trưng cần thiết để tạo ra âm nhạc chất lượng cao.

2.2. Độ chính xác và tính sáng tạo trong âm nhạc

Độ chính xác của âm nhạc do mô hình tạo ra là một vấn đề lớn. Mô hình cần phải đảm bảo rằng âm nhạc không chỉ đúng về mặt kỹ thuật mà còn phải mang lại cảm xúc cho người nghe.

III. Phương pháp xây dựng mô hình GAN LSTM hiệu quả

Để xây dựng mô hình GAN-LSTM hiệu quả, cần áp dụng các phương pháp thu thập và xử lý dữ liệu, cũng như các kỹ thuật huấn luyện mô hình. Việc kết hợp các phương pháp này sẽ giúp tối ưu hóa khả năng tạo sinh âm nhạc của mô hình.

3.1. Phương pháp thu thập và tiền xử lý dữ liệu

Việc thu thập dữ liệu âm nhạc từ nhiều nguồn khác nhau và tiền xử lý chúng là rất quan trọng. Dữ liệu cần được chuẩn hóa để mô hình có thể học hỏi một cách hiệu quả.

3.2. Kỹ thuật huấn luyện mô hình GAN LSTM

Kỹ thuật huấn luyện mô hình cần được tối ưu hóa để đảm bảo rằng mô hình có thể học được các đặc trưng âm nhạc phức tạp. Việc điều chỉnh các tham số trong quá trình huấn luyện là rất cần thiết.

IV. Ứng dụng thực tiễn của mô hình GAN LSTM trong âm nhạc

Mô hình GAN-LSTM không chỉ là một công cụ nghiên cứu mà còn có nhiều ứng dụng thực tiễn trong ngành công nghiệp âm nhạc. Từ việc tạo ra các bản nhạc mới đến hỗ trợ nhạc sĩ trong quá trình sáng tác, mô hình này đang dần trở thành một phần không thể thiếu trong lĩnh vực âm nhạc.

4.1. Tạo ra các bản nhạc mới và độc đáo

Mô hình có khả năng tạo ra các bản nhạc mới, giúp nhạc sĩ có thêm nguồn cảm hứng và ý tưởng sáng tác. Điều này đặc biệt hữu ích trong việc phát triển các thể loại âm nhạc mới.

4.2. Hỗ trợ nhạc sĩ trong quá trình sáng tác

Mô hình GAN-LSTM có thể giúp nhạc sĩ tiết kiệm thời gian trong việc sáng tác, cho phép họ tập trung vào các khía cạnh khác của âm nhạc như lời bài hát và phối khí.

V. Kết luận và hướng phát triển tương lai của mô hình GAN LSTM

Mô hình GAN-LSTM đã chứng minh được tính khả thi trong việc tạo sinh âm nhạc. Tuy nhiên, vẫn còn nhiều hướng phát triển cần được khám phá. Việc cải thiện độ chính xác và khả năng sáng tạo của mô hình sẽ là những mục tiêu quan trọng trong tương lai.

5.1. Cải thiện độ chính xác của âm nhạc

Cần nghiên cứu thêm các phương pháp để cải thiện độ chính xác của âm nhạc do mô hình tạo ra, đảm bảo rằng âm nhạc không chỉ đúng về mặt kỹ thuật mà còn mang lại cảm xúc cho người nghe.

5.2. Khám phá các ứng dụng mới trong âm nhạc

Mô hình có thể được áp dụng trong nhiều lĩnh vực khác nhau của âm nhạc, từ sản xuất âm nhạc đến giáo dục âm nhạc, mở ra nhiều cơ hội mới cho nghiên cứu và phát triển.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số, trí tuệ nhân tạo đang định hình lại phương thức sản xuất nội dung sáng tạo, trong đó lĩnh vực tạo sinh âm nhạc tự động ghi nhận tốc độ tăng trưởng ấn tượng. Tuy nhiên, theo các khảo sát học thuật gần đây, có đến hơn 80% các nghiên cứu ứng dụng mạng đối nghịch tạo sinh vẫn ưu tiên xử lý dữ liệu hình ảnh, trong khi các định dạng mang tính thời gian như âm thanh và âm nhạc đối mặt với nhiều rào cản kỹ thuật phức tạp. Vấn đề cốt lõi nằm ở việc các mô hình mạng nơ-ron hồi quy truyền thống thường suy giảm khả năng liên kết dài hạn khi độ dài bản nhạc vượt quá 32 ô nhịp, còn các mô hình tạo sinh đối nghịch đơn thuần lại gặp khó khăn trong việc duy trì tính liên tục của từng nốt nhạc cục bộ.

Nghiên cứu của tác giả Đỗ Quang Thịnh, thực hiện tại Khoa Điện – Điện tử thuộc Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh trong giai đoạn từ tháng 9 năm 2021 đến tháng 5 năm 2022 và bảo vệ thành công vào tháng 1 năm 2023, tập trung giải quyết bài toán dung hòa tính toàn thể và tính cục bộ trong sáng tác âm nhạc tự động. Mục tiêu trọng tâm của đề tài là xây dựng mô hình kết hợp mang tên GAN-LSTM, hiện thực hóa đồng thời trên nền tảng phần mềm và phần cứng số chuyên dụng, hướng tới việc tạo sinh tự động các đoạn nhạc có cấu trúc hoàn chỉnh gồm phân đoạn mở đầu và điệp khúc với chuyển điệu mượt mà.

Phạm vi nghiên cứu được xác định cụ thể trong hai dòng nhạc phổ biến là pop và soft rock, chuẩn hóa không gian âm nhạc trên 84 cao độ cùng các đơn vị trường độ chính xác. Kết quả thử nghiệm cho thấy giải pháp mới giúp rút ngắn khoảng 40% thời gian xây dựng khung giai điệu ban đầu so với quy trình truyền thống, đồng thời đảm bảo hơn 75% phản hồi tích cực từ thính giả về cấu trúc giai điệu tự nhiên, mở ra tiềm năng lớn cho công nghiệp sản xuất âm nhạc số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa hai nền tảng học sâu then chốt: Mạng đối nghịch tạo sinh (Generative Adversarial Network - GAN) do Ian Goodfellow đề xuất và Mạng bộ nhớ ngắn-dài (Long Short-Term Memory - LSTM) cải tiến với cơ chế chú ý (Attention Mechanism). Kiến trúc GAN nguyên bản gồm mạng sinh (Generator) và mạng phân biệt (Discriminator), vận hành thông qua hàm mất mát đối kháng nhằm tối ưu hóa phân phối dữ liệu toàn cục. Trong khi đó, LSTM giải quyết hiện tượng triệt tiêu đạo hàm trong mạng hồi quy thông qua cấu trúc 3 cổng: cổng quên, cổng vào và cổng ra, cho phép nắm bắt quy luật chuyển dịch tuần tự giữa các nốt nhạc liền kề.

Để mô hình hóa âm nhạc thành dạng ma trận toán học phù hợp cho mạng nơ-ron, nghiên cứu chuẩn hóa dữ liệu thành khung 3 chiều với kích thước cố định 200 đơn vị trường độ, 85 đơn vị cao độ (tương ứng 7 quãng tám từ 32.07 Hz và 1 trạng thái dấu lặng) cùng 2 trạng thái hệ số liên tục. Điểm đột phá trong lý thuyết của đề tài là cơ chế phân chia trọng số nội tại thành 3 phân vùng độc lập: phân vùng một cập nhật theo LSTM để giữ tính chuỗi, phân vùng hai cập nhật theo mạng phân biệt của GAN để bao quát cấu trúc tổng thể, và phân vùng ba được cập nhật luân phiên thông qua hai trọng số điều phối với ràng buộc tổng bằng 1 và ưu tiên hệ số cục bộ cao hơn hệ số toàn thể.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ kho lưu trữ số của nền tảng Hooktheory, bao gồm hơn 300 tệp định dạng MIDI thuộc thể loại nhạc pop và soft rock có phân định rõ ràng các phân đoạn bài hát. Phương pháp chọn mẫu tập trung trích xuất rãnh nhạc cụ piano ở track đầu tiên nhằm nắm bắt chính xác đường nét giai điệu chính đại diện cho giọng hát con người.

Quy trình tiền xử lý chuyển đổi tín hiệu MIDI dựa trên các sự kiện bật nốt, tắt nốt và khoảng thời gian chờ delta-time thành các đơn vị dữ liệu chuẩn, trong đó độ phân giải trường độ nhỏ nhất được ấn định bằng một nốt móc kép. Quá trình phân tích và huấn luyện trên phần mềm được lập trình bằng ngôn ngữ Python, áp dụng thuật toán tối ưu hóa lan truyền ngược và chuẩn hóa batch để ngăn chặn hiện tượng bùng nổ đạo hàm sau mỗi 50 epoch huấn luyện.

Về mặt kỹ thuật phần cứng, toàn bộ khối suy luận của mô hình được mô tả bằng ngôn ngữ phần cứng Verilog HDL, thực hiện mô phỏng chức năng và kiểm tra lỗi logic thông qua các công cụ chuyên dụng như Synopsys VCS và Siemens QuestaSim. Quy trình tổng hợp logic được giám sát nghiêm ngặt về các ràng buộc thời gian nhằm triệt tiêu hoàn toàn các vi phạm về thời gian thiết lập và thời gian giữ tín hiệu ở tần số xung nhịp danh định 100 MHz.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm chứng định lượng và định tính của mô hình GAN-LSTM đã mang lại 4 phát hiện quan trọng:

• Độ chính xác phân bố cao độ và trường độ: Phân tích ma trận chuyển đổi cao độ của tập dữ liệu do mô hình tạo ra cho thấy mức độ tương đồng đạt hơn 91.5% so với tập dữ liệu gốc từ Hooktheory. Chỉ số khoảng cách cao độ trung bình (API) của mô hình đạt giá trị xấp xỉ 2.45 bán cung, tiệm cận hoàn hảo với mức 2.38 bán cung của các tác phẩm âm nhạc chuẩn mực.
• Tính liền mạch của phân đoạn chuyển điệu: Khối mạng kết nối chuyển điệu giữa phân đoạn mở đầu và điệp khúc đã triệt tiêu hiện tượng nhảy quãng đột ngột. Tỷ lệ nốt chuyển tiếp (Note Ratio - NR) tại vùng giao thoa duy trì ổn định ở mức trung bình 1.32, giúp giảm hơn 68% lỗi đứt gãy hòa âm so với việc sử dụng mạng LSTM độc lập.
• Tính toàn vẹn khi thực thi trên phần cứng: Kết quả mô phỏng trên ngôn ngữ Verilog chứng minh mạch số tái hiện chính xác thuật toán với độ sai lệch biên độ tính toán dưới 0.82% so với mô phỏng trên phần mềm Python. Báo cáo phân tích thời gian xác nhận độ trễ trượt thời gian thiết lập đạt giá trị dương 1.45 nanogiây và thời gian giữ đạt 0.38 nanogiây, đảm bảo hệ thống vận hành hoàn toàn ổn định.
• Mức độ chân thực trong thẩm mỹ âm nhạc: Khảo sát định tính trên 120 thính giả thuộc nhiều nhóm độ tuổi và trình độ chuyên môn cho thấy 76.8% người nghe nhận định bản nhạc do mô hình tạo sinh có giai điệu mượt mà, tự nhiên và khó phân biệt với tác phẩm do nhạc sĩ sáng tác.

Thảo luận kết quả

Thành công của mô hình bắt nguồn từ cơ chế phân vùng trọng số lai, giúp cân bằng hoàn hảo giữa tính ngẫu hứng toàn cục của mạng đối nghịch tạo sinh và sự chặt chẽ logic của mạng hồi quy bộ nhớ ngắn-dài. Khi biểu diễn dữ liệu qua biểu đồ nhiệt ma trận chuyển đổi nốt nhạc, mật độ phân bố nốt tập trung chủ yếu tại vùng quãng tám trung tâm (quãng 4) và các bước nhảy nốt liền kề từ 1 đến 3 bán cung, tương thích với cấu trúc của các bảng thống kê âm nhạc kinh điển.

So với các kiến trúc đi trước như MuseGAN vốn chỉ tập trung vào sự kết hợp đa nhạc cụ mà bỏ quên sự biến chuyển cấu trúc đoạn, hay Melody RNN thường rơi vào tình trạng lặp nốt đơn điệu sau 100 chu kỳ nhịp, mô hình GAN-LSTM trong nghiên cứu này đã thiết lập bước tiến rõ rệt về khả năng kiểm soát bố cục. Việc kiểm chứng thành công trên phần cứng số còn khẳng định tính khả thi của việc nhúng trực tiếp trí tuệ nhân tạo vào các thiết bị phát nhạc và bộ xử lý âm thanh kỹ thuật số độc lập mà không cần phụ thuộc vào máy chủ đám mây.

Đề xuất và khuyến nghị

Nhằm phát huy tối đa giá trị thực tiễn và mở rộng giới hạn khoa học của mô hình GAN-LSTM, nghiên cứu đề xuất 4 nhóm giải pháp chiến lược sau:

• Tối ưu hóa kiến trúc vi mạch chuyên dụng trên FPGA và ASIC: Nhóm kỹ sư phần cứng cần tiến hành nén mạng và lượng tử hóa trọng số từ dấu phẩy động 32-bit xuống số nguyên 8-bit, đặt mục tiêu cắt giảm 35% tài nguyên phần cứng và nâng tần số hoạt động lên 200 MHz trong lộ trình 12 tháng tới.
• Mở rộng cấu trúc bài hát đa phân đoạn: Các nhóm nghiên cứu thuật toán nên phát triển bổ sung các khối mạng kết nối cho phần dạo đầu, tiền điệp khúc, đoạn cầu nối và phần kết thúc theo cấu trúc hoàn chỉnh phổ biến, hướng tới việc tạo sinh trọn vẹn bản nhạc 3 phút với kích thước dữ liệu nâng lên mức 600 đơn vị trường độ trước năm 2025.
• Đa dạng hóa tập dữ liệu huấn luyện và bản địa hóa âm nhạc: Các viện nghiên cứu công nghệ âm thanh cần xây dựng kho dữ liệu mở gồm hơn 1000 bản ghi MIDI cho các thể loại nhạc cụ dân tộc và âm nhạc truyền thống, thực hiện trong khung thời gian 18 tháng nhằm bảo tồn và phát triển các giá trị văn hóa bản địa qua công nghệ số.
• Thương mại hóa dưới dạng plugin tích hợp cho các trạm làm việc âm thanh số: Doanh nghiệp công nghệ âm nhạc cần phối hợp phát triển giao diện phần mềm chuẩn VST nhúng trực tiếp vào các phần mềm làm nhạc chuyên nghiệp, giúp nhà sản xuất giảm 50% thời gian phác thảo ý tưởng giai điệu ngay trong năm 2024.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị thực tiễn và tính học thuật cao, là tài liệu tham khảo đắt giá cho 4 nhóm đối tượng:

• Học viên cao học và nghiên cứu sinh ngành Điện tử - Viễn thông, Khoa học Máy tính: Tiếp cận phương pháp luận chuẩn mực trong việc kết hợp các kiến trúc học sâu phức hợp và quy trình chuyển đổi dữ liệu chuỗi thời gian phi tuyến tính.
• Kỹ sư thiết kế vi mạch và kỹ sư hệ thống nhúng: Nắm bắt chi tiết kỹ thuật hiện thực hóa các mô hình toán học mạng nơ-ron lên ngôn ngữ mô tả phần cứng Verilog, bao gồm các giải pháp tối ưu hóa đường truyền dữ liệu và giải quyết ràng buộc thời gian thực tế.
• Nhà sản xuất âm nhạc và nhạc sĩ hòa âm phối khí: Khai thác góc nhìn công nghệ để ứng dụng các công cụ trí tuệ nhân tạo vào giai đoạn tiền kỳ sáng tác, hỗ trợ gợi ý chuỗi hợp âm và tối ưu hóa thời gian sản xuất tác phẩm.
• Các doanh nghiệp khởi nghiệp trong lĩnh vực công nghệ sáng tạo: Định hình kiến trúc sản phẩm tạo sinh nội dung số tự động, xây dựng các giải pháp âm nhạc miễn bản quyền cho trò chơi điện tử, video quảng cáo và ứng dụng truyền thông đa phương tiện.

Câu hỏi thường gặp

• Mô hình GAN-LSTM giải quyết triệt để vấn đề gì so với các mô hình AI âm nhạc trước đây?
  Mô hình khắc phục đồng thời hai nhược điểm cố hữu: sự thiếu liên kết toàn cục của mạng LSTM trên chuỗi dài và sự rời rạc cục bộ giữa các nốt liền kề của mạng GAN, giúp duy trì cấu trúc giai điệu chuẩn xác trên toàn bộ khung dữ liệu 200 đơn vị trường độ.

• Dữ liệu âm nhạc được mã hóa thế nào để đưa vào mạng nơ-ron huấn luyện?
  Dữ liệu từ tệp MIDI được chuẩn hóa thành ma trận 3 chiều gồm 200 đơn vị trường độ, 85 đơn vị cao độ đại diện cho 7 quãng tám cộng 1 dấu lặng, kết hợp hệ số liên tục nhị phân để biểu diễn chính xác thời lượng ngân vang của từng nốt móc kép.

• Điểm đặc biệt trong giải thuật huấn luyện mạng GAN-LSTM của luận văn là gì?
  Hệ thống trọng số của bộ sinh được chia làm 3 phân vùng riêng biệt, áp dụng cơ chế cập nhật luân phiên với ràng buộc tổng hai hệ số điều phối bằng 1, trong đó trọng số ảnh hưởng của chuỗi tuần tự luôn được ưu tiên cao hơn trọng số toàn thể.

• Việc hiện thực hóa mô hình trên phần cứng Verilog mang lại lợi ích thực tế nào?
  Thiết kế phần cứng giúp thuật toán vận hành độc lập với tốc độ xử lý thời gian thực, triệt tiêu độ trễ mạng, đáp ứng các tiêu chuẩn khắt khe về thời gian thiết lập và giữ xung nhịp 100 MHz mà không đòi hỏi tài nguyên máy tính đắt tiền.

• Đoạn chuyển tiếp giữa đoạn mở đầu và điệp khúc được xử lý mượt mà bằng cách nào?
  Hệ thống sử dụng một mạng LSTM trung gian đóng vai trò khối chuyển điệu, lấy tín hiệu nốt cuối của đoạn mở đầu làm điều kiện đầu vào để tự động tính toán và khởi tạo chuỗi nốt mở đầu hài hòa cho đoạn điệp khúc tiếp theo.

Kết luận

• Luận văn đã thiết kế và thử nghiệm thành công mô hình lai GAN-LSTM, giải quyết triệt để xung đột giữa tính liên kết cục bộ và cấu trúc toàn thể trong tạo sinh âm nhạc tự động.
• Quy trình mã hóa không gian âm nhạc 3 chiều 200x85x2 giúp số hóa hoàn hảo các đặc trưng cao độ, trường độ và sự ngắt nghỉ của giai điệu từ định dạng MIDI chuẩn.
• Kiến trúc phần cứng mô tả bằng Verilog HDL chứng minh tính tương thích cao với sai số dưới 0.82% so với phần mềm và hoàn toàn đáp ứng các điều kiện thời gian khắt khe.
• Khối chuyển điệu chuyên biệt đã tạo ra bước đột phá trong việc kết nối tự nhiên giữa phân đoạn mở đầu và điệp khúc, nâng tỷ lệ đánh giá chân thực từ người nghe lên 76.8%.
• Công trình mở ra tiềm năng to lớn cho việc chế tạo các chip AI chuyên dụng phục vụ sản xuất âm nhạc thông minh trong giai đoạn 2024–2026.

Hãy ứng dụng ngay các giải pháp kiến trúc trong luận văn để nâng tầm công nghệ tạo sinh âm thanh và tối ưu hóa quy trình sáng tạo kỹ thuật số của bạn.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1.1 Lý do chọn đề tài Trí tuệ nhân tạo (gọi tắt là AI) là một trong những chủ đề quan trọng hiện nay trong việc ứng dụng khoa học kĩ thuật vào đời sống. Mục đích của trí tuệ nhân tạo là những máy móc có thể tự động hóa với các hành vi thông minh như con người, có khả năng thay thế con người trong một số trường hợp cụ thể. Điểm nổi bật của những máy móc này là khả năng học hỏi và cải thiện dần theo thời gian được huấn luyện. Nói cách khác, máy móc được rèn luyện càng nhiều thì khả năng thực hiện hiệu quả công việc được giao cho nó càng cao.

Từ kết quả đó, chúng sẽ được đưa vào các ứng dụng trong những công việc cụ thể mà không làm giảm hiệu suất. Một trong những ứng dụng đầu tiên và đã được phổ biến rộng rãi của AI đó là khả năng nhận diện và dự đoán. Với một tập dữ liệu cụ thể (hình ảnh, âm thanh, …), máy sẽ có khả năng phân loại hay dự đoán xu hướng của những kiểu dữ liệu này. Các máy AI với những ứng dụng này thường sẽ dễ kiểm soát độ chính xác bởi đầu ra thường đã được chuẩn hóa (chỉ có đúng hoặc sai, tăng hoặc giảm).

Tuy nhiên, trong những năm gần đây, AI còn được ứng dụng trong việc tạo ra dữ liệu. Một máy AI dạng này có thể chuyển tranh vẽ thành ảnh, hay thay đổi các đặc trưng của dữ liệu ảnh. Điều đặc biệt của chúng là những dữ liệu mà chúng tạo ra là không có thật trên thực tế, nhưng đem đến cảm giác cho con người chúng ta rằng những dữ liệu này là được con người tạo ra (được người chụp, người vẽ…). Trên cơ sở những nghiên cứu và phân tích trước đó của tác giả về lĩnh vực này của AI, nghiên cứu trong luận văn này sẽ tập trung vào việc xây dựng một mô hình máy AI, mang tên gọi GAN-LSTM với khả năng tự viết nhạc, trong đó mục tiêu của nó không chỉ là tạo ra những giai điệu phù hợp với cảm âm của con người, mà còn là tạo ra những âm nốt tựa như được sáng tác bởi người thật.2 Mục đích, đối tượng và phạm vi nghiên cứu Mục đích nghiên cứu của luận văn này, như đã đề cập ở trên, hướng đến việc xây dựng một mô hình máy AI tạo sinh âm nhạc được hiện thực hóa dưới dạng phần cứng, trong đó phải đảm bảo được tính chân thực và tính sáng tạo của sản phẩm âm nhạc mà nó tạo ra.

Qua đó, mô hình trên sẽ cung cấp cho người dùng một phương tiện để rút ngắn khoảng cách về mặt thời gian đưa một sản phẩm âm nhạc từ bước ý tưởng đến bước phát hành sản phẩm thực tế, đồng thời giảm thiểu những ràng buộc về khả năng sáng tác của người nhạc sĩ khi mô hình có thể đưa ra những giá trị mới về mặt giai điệu và tiết tấu. Đối tượng nghiên cứu trong luận văn này, là các bản nhạc được xây dựng từ những nốt nhạc, được thực thi, được sáng tác thông qua một mô hình AI. Trong đó, cao độ, trường độ cùng thứ tự sắp xếp các nốt nhạc sẽ được xác định rõ bởi mô hình AI trên. Và để hiện thực được điều đó, luận văn này sẽ nghiên cứu các giải thuật liên quan nhằm tập trung vào những khía cạnh khác nhau trong một bản nhạc, qua đó xây dựng mô hình AI một cách hợp lý nhất.

Phạm vi nghiên cứu của luận văn này sẽ chịu ràng buộc bởi các đặc trưng của âm nhạc và các giới hạn hiệu hữu của trí tuệ nhân tạo. Cụ thể: - Về loại hình âm nhạc, luận văn này sẽ tập trung vào hai loại hình là pop và soft rock. - Về các đặc tính âm nhạc, luận văn sẽ tập trung vào cao độ, trường độ và liên kết giữa các nốt nhạc trong một bản nhạc. - Về đặc trưng bài hát, luận văn sẽ làm rõ về các phần Verse và Chorus của một bài hát.

- Về kết cấu mô hình AI, luận văn sẽ tập trung vào các phương pháp chính là GAN và LSTM, cùng một số giải thuật bổ trợ. - Về xây dựng phần cứng, luận văn sẽ tập trung vào cách thức thực thi, chức năng của mô hình phần cứng và các ràng buộc về mặt timing.3 Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu Luận văn này mang lại những ý nghĩa khoa học sau: - Làm sáng tỏ khả năng vận dụng, kết hợp các mô hình AI hiện có trong việc sáng tác âm nhạc, cụ thể là GAN và LSTM, trong đó những khuyết điểm cố hữu của chúng được những ưu điểm bổ khuyết cho nhau. - Chỉ ra những hạn chế, thuận lợi của các mô hình AI trước đó cũng như của chính mô hình trong luận văn, qua đó phân tích các giải pháp cụ thể. - Đưa ra những gợi ý, những hướng phát triển trong tương lai cho các nghiên cứu phía sau, bao gồm việc mở rộng, đào sâu phạm vi nghiên cứu, cũng như việc quan sát, phân tích những khía cạnh khác nhau của âm nhạc.

Về mặt thực tiễn, luận văn này mang lại những ý nghĩa sau: - Mô hình AI tồn tại như một giải pháp cho việc tăng tốc độ sáng tác âm nhạc, khi mà tốc độ sáng tác của nó nhanh hơn con người rất nhiều. Phần việc còn lại của người làm nhạc là hiệu chỉnh, thêm phần lời và các hình thức phối khí. Việc rút ngắn thời gian đưa ra sản phẩm giúp cho người làm nhạc tăng lượng sản phẩm đưa ra cho công chúng, qua đó giảm thiểu khả năng bị trùng ý tưởng, trùng giai điệu với những sản phẩm cạnh tranh. - Mô hình AI cung cấp các sản phẩm âm nhạc với chất lượng như do con người tạo ra, do đó góp phần làm đa dạng hóa, sáng tạo những nội dung âm nhạc trên thị trường, vốn rất nặng tính cạnh tranh.

Dù vậy, mô hình này không đòi hỏi chi phí cao, cũng như chất xám của người sử dụng, qua đó giải quyết được những hạn chế về mặt kinh tế, tạo điều kiện cho người sử dụng tập trung vào những mặt khác của quá trình sản xuất âm nhạc.4 Bố cục luận văn Các phần còn lại của bài luận văn này sẽ được trình bày theo bố cục các chương như sau: 4 - Tổng quan tình hình nghiên cứu: Chương này sẽ trình bày những bối cảnh cùng các nghiên cứu liên quan đến đề tài luận văn, qua đó chỉ ra được lý do, mục tiêu và nhiệm vụ của việc thực hiện nghiên cứu. - Cơ sở lý luận và giả thuyết khoa học: Chương này sẽ giải trình những khái niệm lý thuyết nền tảng liên quan trực tiếp đến nghiên cứu, qua đó cụ thể hóa những vấn đề còn tồn đọng của các công trình nghiên cứu trước đó, nhằm đưa ra phương pháp giải quyết phù hợp. - Phương pháp nghiên cứu: Nội dung chương này tập trung làm rõ các phương pháp liên quan đến nghiên cứu, bao gồm các phương pháp chuẩn bị dữ liệu, xây dựng nghiên cứu cũng như cách thức đánh giá, phân tích kết quả sau khi thực hiện nghiên cứu. - Kết quả nghiên cứu và các phân tích liên quan: Chương này cụ thể các kết quả đo đạc, mô phỏng cùng số liệu của các quá trình nổi bật được thực hiện trong khi nghiên cứu, qua đó có những phân tích, so sánh liên quan nhằm làm nổi bật lên những thành quả có được.

- Kết luận và hướng phát triển: Chương cuối có mục đích tóm tắt, đưa ra những kết luận chung nhất của quá trình thực hiện nghiên cứu, làm cơ sở cho việc thực hiện những nghiên cứu trong tương lai. 5 CHƯƠNG 2: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU Chương này sẽ trình bày những bối cảnh cùng các nghiên cứu liên quan đến đề tài luận văn, qua đó chỉ ra được các khe hở nghiên cứu, qua đó làm rõ lý do thực hiện nghiên cứu, từ đó đề ra mục tiêu và nhiệm vụ của việc thực hiện nghiên cứu.1 Tình hình nghiên cứu trong và ngoài nước Các máy AI nhằm mục đích tạo ra dữ liệu mới như trình bày ở mục trước thường được gọi rộng rãi là GAN (Generative Adversarial Network), theo tiếng Việt gọi là mạng đối nghịch tạo sinh. Thuật ngữ này lần đầu xuất hiện trong buổi hội thảo NIPS tại Barcelona, và được đề xuất bởi Ian Goodfellow của Google Brain [1]. Ở đó, GAN được mô tả bằng cấu trúc, cách huấn luyện, đặt nền móng cho các nghiên cứu phía sau.

Từ sự kiện này, nhiều nghiên cứu đã được công bố trong việc sử dụng GAN cho nhiều ứng dụng khác nhau[2-5]. Isola và các cộng sự đã thực hiện một GAN cho việc biến đổi hình ảnh (Image2Image Transalation) với độ chính xác được tối ưu bằng hàm mất mát của riêng họ [6]. Tương tự, nhóm của T. Wang cũng dùng GAN trong việc tự tạo ra những bộ các câu hỏi và câu trả lời thông qua đọc một đoạn văn bản cho trước [7].

Tuy đã có nhiều nghiên cứu ứng dụng GAN trên thực tế, phần lớn các nghiên cứu tập trung vào dữ liệu hình ảnh [8][9]. Ở chiều ngược lại, dữ liệu như văn bản hay âm thanh có tỉ lệ nghiên cứu thấp hơn, do chúng có đặc điểm riêng biệt so với hình ảnh và khó kiểm soát hơn[10]. Dù vậy, âm nhạc, một bộ phận của âm thanh, vẫn thu hút được các nhà nghiên cứu với những kết quả đáng nể. Dong đã xây dựng một GAN gọi là MuseGAN với khả năng chơi nhiều nhạc cụ cùng một lúc mà không làm mất đi sự hài hòa [11].

Bên cạnh GAN, Long-Short Term Memory (LSTM) cũng là một loại hình AI được ứng dụng nhiều trong sáng tác âm nhạc [12-14]. Trong đó, đặc tính về chuỗi nốt, 6 cũng như liên kết giữa các nốt là mối quan tâm chính. Ví dụ, dự án Magenta của Google cũng đã xây dựng được một Melody RNN với khả năng tạo nhạc theo chuỗi mang phong cách của những nghệ sĩ nổi tiếng [9->15]. Theo hiểu biết của tác giả, các nghiên cứu hiện tại chưa làm rõ được những vấn đề sau.

Thứ nhất, chưa có nghiên cứu nào đi vào việc kết hợp hai mô hình GAN và LSTM nhằm tận dụng các ưu điểm của chúng và giảm thiểu các bất lợi tương ứng. Thứ hai, tồn tại rất ít các nghiên cứu tập trung vào cấu trúc, thành phần của một bài hát, đặc biệt là giai đoạn chuyển điệu giữa các phần trong cùng một bài hát. Nhận thấy khe hở này, luận văn này sẽ xây dựng một mô hình AI giải quyết các vấn đề trên.