CHƯƠNG 1. GIỚI THIỆU TỔNG QUAN 1.1 Lý do chọn đề tài: Máy học gần đây đã trở thành một lĩnh vực phát triển nhanh chóng và hiện được sử dụng thường xuyên cho các nhiệm vụ phân loại và dự đoán, chẳng hạn như nhận dạng hình ảnh, nhận dạng giọng nói hoặc dịch thuật. Nhưng một lĩnh vực ngày càng quan tâm của việc ứng dụng các kỹ thuật máy học là việc tạo ra nội dung. Nội dung có thể thuộc nhiều loại: hình ảnh, văn bản và âm nhạc.
Âm nhạc đóng một vai trò quan trọng trong lịch sử loài người, thậm chí còn hơn thế nữa trong thời đại kỹ thuật số. Chưa bao giờ một bộ sưu tập âm nhạc lớn như vậy được tạo ra và truy cập hàng ngày. Chúng ta có thể bắt gặp âm nhạc ở bất cứ đâu, bao gồm trong các hoạt động thường ngày nhất của cuộc sống: thức dậy chúng ta sẽ nghe nhạc báo thức, ăn uống có khi sẽ nghe chương trình kèm nhạc nền, dọn dẹp nhà cửa, mua sắm, học tập, tập thể dục, lái xe, v. Các thuật toán học máy ngày càng xuất hiện nhiều hơn trong các lĩnh vực sáng tạo âm nhạc và mang đến một phương thức hoàn toàn mới để giúp sáng tác các bản nhạc hoặc truyền cảm hứng cho các nhạc sĩ.
Việc có thể tạo ra âm nhạc dựa trên cảm xúc sẽ mang lại rất nhiều lợi ích cho lĩnh vực sáng tác và điện ảnh. Ví dụ, nó có thể giúp các nhà làm phim tạo ra nhạc nền có cảm xúc cụ thể cho các cảnh khác nhau để khơi dậy sự cộng hưởng với cảm xúc của khán giả. Và lấy cảm hứng từ âm nhạc được tạo ra từ mô hình, các nhà soạn nhạc có thể tạo ra âm nhạc cho các nhiệm vụ sáng tạo cụ thể, v. Âm nhạc với thời lượng ngắn ngày càng được sử dụng nhiều do sự bùng nổ của hình thức giải trí short video ngày càng được phổ biến.
Theo xu hướng đó những người tạo nội dung cần một công cụ có thể tạo ra những bản nhạc nền ngắn để ghép vào video tăng sức hút cho nội dung của mình. Nên đề tài này hướng tới một công cụ có thể tạo ra những đoạn nhạc ngắn thuộc cảm xúc Q1 (theo mô hình Russell [27]) không bị bắt bản quyền bởi những trang để đăng video như youtube và được chấp nhận bởi người nghe. 1 - Giới thiệu tổng quan 1 HV: Nguyễn Đức Thuận Sáng tác nhạc tự động sử dụng máy học _______________________________________________________________________________ 1.2 Các nghiên cứu liên quan: Từ cuối thế kỷ 19, các nhà tâm lý học âm nhạc đã nêu ảnh hưởng của cấu trúc âm nhạc sẽ ảnh hưởng tới cảm xúc mà nó diễn đạt [1]. Trong lĩnh vực nghiên cứu về âm nhạc, có một sự khác biệt đáng kể giữa cảm xúc được tạo ra và cảm xúc được nhận thức [2].
Từ quan điểm của thuật toán sáng tác cảm xúc (AAC), nghe nhạc là một cách để khơi dậy cảm xúc. Nhận định về cảm xúc của âm nhạc đối với con người nên là “nghe một bản nhạc vui” [3], chứ không phải cảm thấy vui sau khi nghe bản nhạc được tạo ra từ AAC. Đối với nghiên cứu lý thuyết về các đặc điểm cấu trúc âm nhạc, Patrick Gomez và đồng nghiệp [4] nhấn mạnh mối quan hệ giữa các cấu trúc âm nhạc và cảm xúc gây ra theo hoạt động của cơ thể dựa trên bốn góc phần tư của không gian kích thích hóa trị (four quadrants of valence‐arousal space). Nghiên cứu này cho rằng cấu trúc của âm nhạc (mode, rhythm và harmonic complexity) có tầm quan trọng lớn giúp cho phân biệt cảm xúc tích cực và tiêu cực.
Ngoài ra, Nielzen và đồng nghiệp [5] đã nghiên cứu mối quan hệ tương đối giữa các tính năng của giai điệu (features of melody) và biểu hiện cảm xúc của âm nhạc trong hệ thống sáng tác theo thuật toán và cho rằng rất khó để phân biệt giai điệu với việc nghe bằng tai. Trước đây, một số nghiên cứu tập trung vào việc tạo giai điệu không trên cảm xúc [5]–[9]. Bretanvà cộng sự [5] đề xuất một phương pháp tạo âm nhạc bằng cách sử dụng unit selection và concatenating lấy cảm hứng từ unit selection technology trong text-to-speech (TTS). Sturm [6] đã sử dụng phiên âm nhạc do ABC đại diện để huấn luyện LSTM tạo nhạc.
Hadjeres và cộng sự [7] đề xuất novel RNN model, Anticipation-RNN, mô hình này không chỉ có các ưu điểm của mô hình tạo dựa trên RNN mà còn cho phép thực thi các ràng buộc vị trí do người dùng xác định. Roberts và cộng sự [5] đã đề xuất mô hình MusicVAE để tạo nhạc. Cho tới gần đây việc tạo giai điệu không dựa trên cảm xúc vẫn tiếp tục được quan tâm [9]–[14]. Phương pháp trong [9] đã đề xuất một mạng nơ-ron tuần hoàn phân cấp (hierarchical recurrent neural network) cho việc tạo giai điệu có điều kiện.
Và một mô hình tạo giai điệu theo từng giai đoạn cho hợp âm [10] đã được sáng tác 1 - Giới thiệu tổng quan 2 HV: Nguyễn Đức Thuận Sáng tác nhạc tự động sử dụng máy học _______________________________________________________________________________ thông qua mạng Transformer. Cũng có một số mô hình được thiết kế để tạo chuỗi giai điệu [11] hoặc dạng sóng âm thanh [12]–[14]. Cùng với đó việc tạo nhạc theo cảm xúc cũng đã được quan tâm từ lâu. Phần mềm GhostWriter [15] đã sử dụng trình tạo nhạc thời gian thực Herman để tạo ra âm nhạc với cảm xúc kinh dị.
Công trình nghiên cứu của SentiMozart [16] đã tạo ra âm nhạc đầy cảm xúc bằng cách nhận biết các biểu hiện trên khuôn mặt. Davis và Mohammed [17] đã tạo ra âm nhạc piano với cảm xúc thông qua một kỹ thuật dựa trên quy tắc (a rule‐based technique). Phương pháp trong [18] đã tạo nhạc thời gian thực trong không gian kích thích hóa trị (valence‐arousal space). Đặc biệt gần đây do phát triển của máy học, các phương pháp dựa trên học tập sâu đã được sử dụng rộng rãi vào các nghiên cứu tạo ra nhạc.
Ferreira và cộng sự [19] lần đầu tiên đề xuất một mô hình tạo âm nhạc biểu tượng (symbolic music) bằng cách kết hợp phân tích tình cảm thông qua kỹ thuật máy học. Và phương pháp trong [20] đưa ra phương pháp tạo ra âm nhạc từ hình ảnh dựa vào cảm xúc làm cầu nối giữa thị giác và thính giác. Cảm xúc của con người là cực kỳ đa dạng. Nên một số nghiên cứu rút gọn lại chỉ sử dụng bốn loại cảm xúc chính để tạo ra âm nhạc [21].
Các bài báo nhận biết cảm xúc âm nhạc chia theo cách tiếp cận phân loại (categorical) và chiều (dimensional) có thể tìm thấy ở [22]. Tổng quát về các hệ thống tạo âm nhạc như mạng nơ-ron lặp lại, mạng phức hợp, mạng đối phương chung và bộ mã tự động đã được Briot và cộng sự tổng hợp lại [23]. Trong cách tiếp cận phân loại (categorical), một số danh mục màu sắc cảm xúc (tính từ) được sử dụng để gắn nhãn các đoạn trích âm nhạc [24]–[26]. Trong cách tiếp cận chiều, cảm xúc được mô tả bằng cách sử dụng không gian chiều (dimensional space), giống như mô hình 2D do [27] đề xuất, trong đó các chiều được biểu thị bằng kích thích và hóa trị (arousal và valence) [28]–[32].
Williams và cộng sự [33] đưa ra cách sử dụng các thuật toán sắp xếp, biến đổi để tạo ra âm nhạc mới lạ và thỏa mãn cảm xúc. Scirea và cộng sự [34], đã đưa ra cách tạo nhạc cho trò chơi, MetaCompose, dựa trên tính toán tiến hóa và tạo ra âm nhạc có thể thể hiện các trạng thái tâm trạng 1 - Giới thiệu tổng quan 3 HV: Nguyễn Đức Thuận Sáng tác nhạc tự động sử dụng máy học _______________________________________________________________________________ khác nhau. Ý tưởng về âm nhạc được xếp hạng tự động với một tình cảm nhất định (tích cực / tiêu cực) đã được trình bày trong [19]. Trong [35], Valenti và cộng sự.
đã trình bày kiến trúc cho việc tạo nhạc dựa trên bộ mã tự động đối nghịch(adversarial autoencoder). Trong [36], một mô hình VAE được sử dụng.3 Các thách thức của hệ thống tạo nhạc tự động Nhạc tạo ra không phải nguyên gốc: Vấn đề về tính nguyên gốc của âm nhạc được tạo ra không chỉ là vấn đề nghệ thuật (sáng tạo) mà còn là vấn đề kinh tế, bởi vì nó đặt ra vấn đề về bản quyền. Nhạc tạo ra không có hòa âm: Hòa âm chính là các note chồng lên nhau được vang lên cùng một lúc. Việc tạo chuỗi liên tiếp từ những giá trị trước đó thì không tạo được những giá trị chồng lên nhau tại cùng một thời điểm.
Nhạc tạo ra bị lặp đi lặp lại: Một vấn đề rất thường gặp là việc lặp đi lặp lại một đoạn nội dung âm nhạc. Đây là một hạn chế rất lớn. Nó thường xảy ra trong cách ứng dụng có chức năng tạo nhạc từ những đoạn ngẫu hứng. Nhạc tạo ra bị chuyển đổi phong cách đột ngột: đoạn nhạc được tạo ra bị chia thành nhiều phần với mỗi phần mang một phong cách một giai điệu khác biệt.
Nhạc tạo ra với các note bị đè lên nhau (hợp âm) không đúng quy tắc: Việc quá nhiều note đè lên nhau không theo quy tắc sẽ tạo ra những tạp âm rất khó nghe. Nhạc tạo ra vi phạm nhạc lý: một số yếu tố như giọng chính, hòa âm…không được tuân thủ. Nhạc tạo ra không mang cảm xúc: sắc thái của âm nhạc không có.4 Các đóng góp của luận văn Như đã trình bày một số thách thức ở trên trong luận văn đề xuất thiết kế một mô hình giải quyết những thách thức đặt ra: 1 - Giới thiệu tổng quan 4 HV: Nguyễn Đức Thuận Sáng tác nhạc tự động sử dụng máy học _______________________________________________________________________________ Mạng sử dụng một khối Autoencoder để tạo ra ý tưởng cho toàn bài nhạc. Khối này sẽ cho ra một chuỗi có độ dài bằng với số note mong muốn của bài nhạc.
Việc này bảo đảm việc nhạc trong thư viện sẽ bị trùng lại. Đồng thời để tránh việc nhiều đoạn nhạc bị lặp đi lặp lại không mong muốn của một đoạn nhất định trong bài nhạc được tạo ra. Để tránh bài nhạc bị chuyển phong cách đột ngột, trong luận văn sử dụng một khối đặc biệt bao gồm hai mạng tranfomer với chức năng Encoder và Decoder trong một số vòng lặp để chuyển chuỗi ngẫu nhiên về một chuỗi thống nhất về mặt nội dung. Đưa ra một kiểu dữ liệu mới gọi là số lượng Note chồng trong một ô để làm cho mạng tạo nhạc hiệu quả hơn.
Đưa ra một số thuật toán mới để đảm bảo dù sử dụng nhiều mạng riêng để tạo dữ liệu nhưng bảo đảm hiệu quả.5 Nội dung luận văn Để đảm bảo tính thống nhất và mạch lạc trong trình bày, bố cục của luận văn được chia thành sáu chương.