Luận Văn Thạc Sĩ Về Tách Nguồn Âm Thanh Qua Học Máy

Luận văn thạc sĩ nghiên cứu máy tính tách nguồn âm thanh dựa trên tiếp cận học máy, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực tiễn.

• Tác giả: Thẩm Quốc Dũng
• Người hướng dẫn: PGS. Huỳnh Tường Nguyên
• Trường học: Đại học Bách Khoa - Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Tách Nguồn Âm Thanh Dựa Trên Tiếp Cận Học Máy
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn
• Tóm tắt luận văn
• Abstract
• Lời cam đoan
• Danh sách bảng
• Danh sách hình vẽ
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Giới thiệu đề tài
• 1.2. Đối tượng và Phạm vi nghiên cứu
• 1.3. Ý nghĩa khoa học và thực tiễn
• 1.4. Cấu trúc văn bản
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Xử lý tín hiệu âm thanh
• 2.1.1. Âm thanh và Sóng âm
• 2.1.2. Tần số và Cao độ
• 2.1.3. Cường độ âm - Công suất và Độ to
• 2.1.4. Âm sắc
• 2.1.5. Âm thanh kỹ thuật số
• 2.2. Đặc trưng âm thanh cho Học máy
• 2.2.1. Trích xuất đặc trưng âm thanh
• 2.2.2. Đặc trưng âm thanh trên miền thời gian
• 2.2.3. Phép biến đổi Fourier
• 2.2.4. Đặc trưng âm thanh trên miền tần số
• 2.2.5. Biểu diễn âm thanh trên miền thời gian - tần số
• 3. CHƯƠNG 3: TÁCH NGUỒN ÂM THANH
• 3.1. Tập dữ liệu
• 3.2. Khảo sát các nghiên cứu liên quan
• 3.3. Multi-channel Wiener Filter
• 3.4. Định hướng phát triển cho luận văn
• 4. CHƯƠNG 4: PHƯƠNG PHÁP TÁCH NGUỒN NHẠC HIỆU QUẢ - ECMU
• 4.2. Phương pháp
• 5. CHƯƠNG 5: TÁCH NGUỒN NHẠC ĐA MỤC TIÊU
• 5.2. Phương pháp
• 5.4. Two-stages Conformer
• 6. CHƯƠNG 6: TỔNG KẾT
• Danh mục công trình khoa học
• Tài liệu tham khảo

Tóm tắt

I. Giới thiệu về đề tài

Đề tài "Tách nguồn âm thanh" là một trong những vấn đề quan trọng trong lĩnh vực xử lý tín hiệu âm thanh. Mục tiêu chính của nghiên cứu này là tìm hiểu và phát triển các phương pháp hiệu quả để tách âm thanh từ một tín hiệu tổng hợp. Bài toán này không chỉ có ý nghĩa lý thuyết mà còn có nhiều ứng dụng thực tiễn trong các lĩnh vực như nhận diện giọng nói, ứng dụng đàm thoại, và truy vấn thông tin âm nhạc. Việc tách nguồn âm thanh giúp cải thiện chất lượng âm thanh, đặc biệt trong các tình huống có nhiều nguồn âm thanh đồng thời. Điều này có thể áp dụng trong các hệ thống như Voice over Internet Protocol (VoIP), nơi việc loại bỏ tiếng ồn là cần thiết để nâng cao trải nghiệm người dùng. Các phương pháp học máy đã được áp dụng để giải quyết bài toán này, cho thấy hiệu quả vượt trội so với các phương pháp truyền thống.

II. Kiến thức nền tảng về xử lý tín hiệu âm thanh

Chương này cung cấp kiến thức nền tảng về xử lý tín hiệu âm thanh, bao gồm các khái niệm cơ bản về âm thanh và sóng âm. Âm thanh là kết quả của quá trình dao động của các vật thể, tạo ra sóng âm truyền qua không khí. Các đặc trưng của âm thanh như tần số, cường độ âm, và độ cao được phân tích để hiểu rõ hơn về cách mà âm thanh được cảm nhận và xử lý. Việc trích xuất đặc trưng âm thanh là một bước quan trọng trong học máy, giúp cải thiện độ chính xác của các mô hình tách nguồn âm thanh. Đặc biệt, các phép biến đổi như biến đổi Fourier được sử dụng để chuyển đổi tín hiệu từ miền thời gian sang miền tần số, từ đó giúp phân tích và xử lý âm thanh hiệu quả hơn.

2.1 Âm thanh và Sóng âm

Âm thanh mà con người nghe được là kết quả của sự dao động của các vật thể, gây ra sự thay đổi áp suất không khí. Sóng âm truyền qua không khí và được tai người cảm nhận. Các đặc trưng của sóng âm như tần số và biên độ quyết định đến âm sắc và độ to của âm thanh. Việc hiểu rõ về sóng âm là cơ sở để phát triển các phương pháp tách âm thanh hiệu quả.

2.2 Tần số và Cao độ

Tần số của âm thanh ảnh hưởng trực tiếp đến độ cao mà con người cảm nhận. Dải tần số mà con người có thể nghe được từ khoảng 20 Hz đến 20 kHz. Đặc điểm này rất quan trọng trong việc phát triển các ứng dụng như nhận diện giọng nói và tách nguồn âm thanh, khi mà các âm thanh cần được phân loại và xử lý theo tần số.

III. Tách nguồn âm thanh

Chương này tập trung vào việc khảo sát các phương pháp tách nguồn âm thanh hiện có, đặc biệt là trong lĩnh vực âm nhạc. Multi-channel Wiener Filter và các phương pháp học máy như eCMU đã được nghiên cứu và áp dụng để cải thiện hiệu suất tách nguồn. Các nghiên cứu trước đây cung cấp cái nhìn sâu sắc về các kỹ thuật đã được áp dụng, cũng như những thách thức mà các nhà nghiên cứu phải đối mặt. Việc đánh giá các mô hình hiện có giúp xác định được các hướng phát triển cho luận văn này, nhằm tìm ra giải pháp tối ưu cho bài toán tách nguồn âm thanh.

3.1 Khảo sát các nghiên cứu liên quan

Khảo sát các nghiên cứu liên quan đến tách nguồn âm thanh cho thấy sự phát triển nhanh chóng của các phương pháp học máy. Những nghiên cứu này đã chỉ ra rằng việc áp dụng các mô hình học sâu có thể cải thiện đáng kể chất lượng tách âm. Việc phân tích các kết quả đạt được từ các nghiên cứu trước là cần thiết để xây dựng nền tảng cho các phương pháp mới trong luận văn này.

3.2 Định hướng phát triển cho luận văn

Định hướng phát triển cho luận văn này là tập trung vào việc cải thiện các mô hình tách nguồn âm thanh thông qua việc áp dụng các phương pháp học máy tiên tiến. Nghiên cứu sẽ hướng đến việc phát triển các mô hình có khả năng tách âm thanh từ nhiều nguồn khác nhau, đồng thời tối ưu hóa hiệu suất và độ chính xác của các phương pháp đã được khảo sát.

IV. Phương pháp tách nguồn nhạc hiệu quả eCMU

Phương pháp eCMU được trình bày trong chương này cho thấy một cách tiếp cận mới trong việc tách nguồn âm thanh. Phương pháp này sử dụng các mô hình học sâu để phân tách các thành phần âm thanh trong một bản nhạc. Kết quả thử nghiệm cho thấy phương pháp này có khả năng tách các nhạc cụ một cách hiệu quả, từ đó nâng cao chất lượng âm thanh. Việc áp dụng phương pháp này không chỉ có ý nghĩa trong lĩnh vực âm nhạc mà còn mở rộng ra nhiều ứng dụng khác trong xử lý tín hiệu âm thanh.

4.1 Nội dung phương pháp eCMU

Nội dung phương pháp eCMU bao gồm việc xây dựng mô hình học sâu dựa trên các đặc trưng âm thanh đã được trích xuất. Mô hình này được huấn luyện trên các tập dữ liệu lớn để cải thiện khả năng nhận diện và phân tách âm thanh. Kết quả đạt được từ mô hình này cho thấy sự cải thiện rõ rệt so với các phương pháp truyền thống.

V. Tách nguồn nhạc đa mục tiêu

Chương này trình bày về phương pháp tách nguồn nhạc đa mục tiêu, cho phép tách nhiều loại nhạc cụ trong một bản nhạc cùng lúc. Phương pháp này sử dụng kiến trúc two-stage conformer để cải thiện khả năng phân tách âm thanh. Kết quả thử nghiệm cho thấy mô hình này có thể đạt được hiệu suất cao trong việc tách các nhạc cụ khác nhau, từ đó mở rộng khả năng ứng dụng trong các lĩnh vực như truy xuất thông tin âm nhạc và sản xuất âm thanh.

5.1 Nội dung phương pháp đa mục tiêu

Nội dung phương pháp đa mục tiêu bao gồm việc áp dụng các kỹ thuật học sâu để tách âm thanh từ nhiều nguồn khác nhau. Mô hình được thiết kế để nhận diện và phân tách các thành phần âm thanh riêng lẻ, từ đó tạo ra các bản tách riêng cho từng nhạc cụ. Kết quả cho thấy sự cải thiện đáng kể về chất lượng âm thanh và độ chính xác trong việc tách nguồn.

VI. Tổng kết và định hướng nghiên cứu trong tương lai

Chương cuối cùng tổng kết các kết quả đạt được từ nghiên cứu và chỉ ra những hạn chế còn tồn tại trong các phương pháp đã áp dụng. Đồng thời, chương này cũng đề xuất các hướng nghiên cứu trong tương lai, nhằm cải thiện hơn nữa khả năng tách nguồn âm thanh. Việc phát triển các mô hình mới và áp dụng các công nghệ tiên tiến trong học máy sẽ là những bước đi quan trọng trong việc nâng cao chất lượng âm thanh và mở rộng ứng dụng của kỹ thuật này trong thực tế.

Nội dung chính

Tổng quan nghiên cứu

Xử lý tín hiệu âm thanh kỹ thuật số đang chứng kiến bước chuyển mình mạnh mẽ nhờ các thuật toán trí tuệ nhân tạo, với thị trường ứng dụng ước tính tăng trưởng hơn 15% mỗi năm. Tách nguồn âm thanh là bài toán nền tảng nhằm trích xuất các nguồn âm thanh mục tiêu riêng biệt từ một tín hiệu hỗn hợp phức tạp. Trong thực tế, con người có khả năng tự nhiên tập trung vào một giọng nói giữa đám đông đông đúc, hiện tượng này được gọi là hiệu ứng tiệc cocktail. Tuy nhiên, việc mô hình hóa năng lực này trên máy tính đối với tín hiệu âm nhạc gặp nhiều thách thức lớn do sự chồng lấn liên tục giữa các dải tần số từ 20 Hz đến 20.000 Hz của nhiều nhạc cụ.

Luận văn thạc sĩ chuyên ngành Khoa học máy tính của tác giả Thẩm Quốc Dũng tại Trường Đại học Bách Khoa, Đại học Quốc gia Thành phố Hồ Chí Minh, hoàn thành vào tháng 01 năm 2024 dưới sự hướng dẫn của Phó Giáo sư Huỳnh Tường Nguyên và Tiến sĩ Nguyễn Đức Dũng, tập trung nghiên cứu sâu bài toán tách nguồn nhạc. Mục tiêu trọng tâm của đề tài là phân tích các hạn chế cố hữu của các mô hình hiện hành, từ đó đề xuất kiến trúc học máy hiệu quả cao về pha tín hiệu eCMU và mô hình đa mục tiêu nhằm phân tách chính xác 4 thành phần âm thanh cơ bản gồm giọng hát, trống, âm trầm và các nhạc cụ khác.

Phạm vi nghiên cứu được thực nghiệm trên tập dữ liệu chuẩn MusDB18 và MusDB18-HQ với 150 bài hát đa thể loại, thời lượng hơn 10 giờ âm thanh định dạng stereo tần số lấy mẫu 44,1 kHz. Ý nghĩa khoa học và thực tiễn của công trình thể hiện rõ qua việc tối ưu hóa tỷ lệ tín hiệu trên độ méo SDR đạt mức cạnh tranh từ 5,0 dB đến 7,7 dB, đồng thời giảm thiểu đáng kể chi phí tính toán so với các mạng nơ-ron phức tạp lên tới 133,75 triệu tham số, mở ra tiềm năng ứng dụng trực tiếp cho các hệ thống nhận diện giọng nói tự động, nền tảng đàm thoại trực tuyến và công nghệ sản xuất âm nhạc số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết phân tích ngữ cảnh thính giác điện toán CASA cùng lý thuyết xử lý tín hiệu số hiện đại. Cơ chế cảm nhận âm thanh của tai người tuân theo thang đo phi tuyến tính logarit, được định lượng thông qua định lý lấy mẫu Nyquist-Shannon với tần số lấy mẫu tiêu chuẩn 44,1 kHz cho đĩa CD để thu trọn dải tần số nghe được tối đa 20 kHz.

Bốn khái niệm cốt lõi được áp dụng xuyên suốt gồm:

1. Biến đổi Fourier thời gian ngắn STFT để chuyển đổi tín hiệu dạng sóng một chiều sang biểu diễn phổ quang học hai chiều theo thời gian và tần số.
2. Hệ số phổ Mel-Frequency Cepstral Coefficients gồm 39 hệ số trích xuất đặc trưng âm sắc và định dạng formant của nguồn âm.
3. Cơ chế tạo mặt nạ phổ nhị phân lý tưởng IBM và mặt nạ tỷ lệ lý tưởng IRM nhằm tái tạo biên độ tín hiệu đích.
4. Khung xử lý số phức như kênh tín hiệu CaC cho phép mạng nơ-ron học đồng thời cả thông tin biên độ và góc pha ban đầu trong khoảng từ trừ pi đến pi.

Mô hình nghiên cứu kế thừa và phát triển từ kiến trúc mạng tích chập sâu U-Net kết hợp mạng nơ-ron hồi quy hai chiều Bi-LSTM và khối Conformer hai giai đoạn, kết hợp giải thuật lọc Wiener đa kênh MWF để tinh chỉnh chất lượng âm thanh đầu ra.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm chính là tập dữ liệu tiêu chuẩn quốc tế MusDB18 và MusDB18-HQ, bao gồm 150 bài hát chuyên nghiệp với 4 luồng âm thanh độc lập. Cỡ mẫu nghiên cứu gồm 100 bài hát cho tập huấn luyện và 50 bài hát cho tập kiểm thử độc lập, đảm bảo tính khách quan theo quy chuẩn của chiến dịch đánh giá SiSEC. Phương pháp chọn mẫu áp dụng phân tầng ngẫu nhiên đa thể loại âm nhạc từ nhạc pop, rock đến jazz và cổ điển.

Lý do lựa chọn phương pháp phân tích miền thời gian - tần số kết hợp biểu diễn số phức CaC là nhằm khắc phục triệt để hiện tượng mất thông tin pha mà các phương pháp truyền thống gặp phải, đồng thời tránh gánh nặng bộ nhớ khổng lồ của các mô hình thuần miền thời gian. Hệ thống được đánh giá định lượng bằng bộ công cụ chuẩn BSS Eval phiên bản museval với các thước đo khách quan: tỷ lệ nguồn trên độ méo SDR, tỷ lệ nguồn trên nhiễu can thiệp SIR, tỷ lệ nguồn trên tạo tác thuật toán SAR tính theo thang đo decibel dB, cùng tỷ lệ SDR toàn bài uSDR. Đánh giá chất lượng cảm nhận chủ quan được tiến hành qua thang điểm trung bình MOS từ 1 đến 5 điểm. Timeline nghiên cứu được triển khai chặt chẽ từ tháng 02 năm 2023 đến tháng 12 năm 2023 trên hạ tầng phần cứng GPU Tesla T4 và V100.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình khảo sát và thực nghiệm đối chuẩn giữa các kiến trúc tiêu biểu trên tập kiểm thử MusDB18 đã chỉ ra ba phát hiện quan trọng:

1. Đánh giá hiệu năng và dung lượng mô hình: Mô hình Open-Unmix đạt chỉ số SDR trung bình 5,0 dB với kích thước gọn nhẹ 8,93 triệu tham số và thời gian suy diễn 0,13 giây cho mỗi 1 giây âm thanh. Mô hình Spleeter đạt 5,9 dB SDR với 9,87 triệu tham số và tốc độ xử lý nhanh nhất 0,08 giây/giây âm thanh nhờ kiến trúc U-Net 12 lớp. Trong khi đó, mô hình Hybrid Demucs phiên bản 3 dẫn đầu về chất lượng với SDR đạt 7,7 dB nhưng tiêu tốn tới 133,75 triệu tham số, đòi hỏi 360 chu kỳ huấn luyện trên 8 GPU V100 với thời gian 4 giờ mỗi chu kỳ.
2. Tác động của cơ chế ước lượng pha tín hiệu: Việc tích hợp thông tin pha qua khung CaC giúp giảm hiện tượng mất dải tần cao trên 10 kHz mà các mô hình dùng mặt nạ biên độ thuần túy như Open-Unmix thường gặp phải, đồng thời triệt tiêu hiện tượng rò rỉ phổ năng lượng tại các khoảng lặng âm thanh.
3. Ưu thế của kiến trúc đa mục tiêu: Việc chuyển đổi từ mô hình đơn mục tiêu phân tách riêng rẽ sang mô hình đa mục tiêu với bộ trích xuất đặc trưng chung ResUnet kết hợp khối tích chập thời gian - tần số TFC-TDF giúp tiết kiệm từ 50% đến 65% thời gian suy diễn toàn bài, hạn chế tối đa việc can nhiễu chéo giữa các nguồn âm thanh.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp các mô hình lai và mô hình dựa trên số phức đạt kết quả vượt trội nằm ở khả năng bảo toàn cấu trúc hài âm bậc cao. Trong các mô hình truyền thống, việc chỉ dự đoán phổ biên độ rồi kết hợp với pha của tín hiệu hỗn hợp gốc sẽ tạo ra độ méo phi tuyến nghiêm trọng khi các nguồn âm có pha dao động ngược nhau. Khi phân tích trực quan qua biểu đồ nhiệt phổ tần số hai chiều spectrogram, mô hình Open-Unmix để lộ rõ các vệt suy giảm năng lượng ở dải tần từ 12 kHz đến 20 kHz, trong khi Demucs lại phát sinh các vệt nhiễu hạt tần số cao.

Dữ liệu so sánh giữa các phương pháp có thể được trực quan hóa hiệu quả thông qua bảng đối chuẩn đa tiêu chí và biểu đồ cột so sánh điểm SDR của từng nhạc cụ riêng biệt gồm giọng hát, trống, bass và các âm còn lại. Kết quả thảo luận khẳng định hướng đi kết hợp khối tích chập phân tán thời gian TDF và Conformer mang lại điểm cân bằng tối ưu giữa độ chính xác phân tách và tài nguyên phần cứng, mở ra giải pháp triển khai khả thi trên các hệ thống có cấu hình thương mại thông thường.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và nâng cao hiệu quả ứng dụng của các thuật toán tách nguồn âm nhạc trong môi trường thực tế, nghiên cứu đưa ra 4 giải pháp trọng tâm:

1. Chuẩn hóa kiến trúc mạng nơ-ron đa mục tiêu tích hợp Conformer hai giai đoạn: Kỹ sư học máy và nhà nghiên cứu âm thanh cần triển khai khối Two-stages Conformer kết hợp D2-TDF nhằm đồng thời nắm bắt ngữ cảnh cục bộ theo thời gian và tương quan hài âm trên toàn dải tần số. Mục tiêu đạt chỉ số SDR trên 6,8 dB cho toàn bộ 4 nguồn, cắt giảm 40% số lượng tham số so với các mô hình đơn lẻ. Lộ trình thực hiện dự kiến trong 4 tháng.

2. Làm sạch dữ liệu và xử lý hiện tượng nhiễu nhãn âm thanh: Nhóm phụ trách phát triển dữ liệu cần rà soát toàn diện 100% tập dữ liệu huấn luyện MusDB18 để loại bỏ các đoạn âm thanh bị rò rỉ giọng hát trong bản phối tổng hợp nhưng lại vắng mặt ở tệp nhãn gốc, điển hình như bài hát Timboz - Pony. Mục tiêu hạ tỷ lệ lỗi gán nhãn xuống dưới 0,5%, thời gian hoàn thành trong 2 tháng.

3. Áp dụng hàm mất mát kết hợp đa miền thời gian và tần số: Nhóm phát triển thuật toán cần đưa vào hàm tổn thất kết hợp giữa sai số toàn phương trung bình miền thời gian L2-norm và mất mát phổ đa độ phân giải Multi-resolution STFT loss. Mục tiêu nâng điểm đánh giá chất lượng cảm nhận chủ quan MOS đạt trên 4,3 trên thang điểm 5, hạn chế biến dạng âm thanh trong vòng 3 tháng.

4. Tối ưu hóa suy diễn thời gian thực bằng kỹ thuật lượng tử hóa: Kỹ sư hệ thống nhúng cần ứng dụng kỹ thuật lượng tử hóa trọng số 8-bit INT8 kết hợp cắt tỉa mạng nơ-ron nhằm rút ngắn thời gian xử lý xuống dưới 0,05 giây cho mỗi giây âm thanh trên vi xử lý thông thường, phục vụ tích hợp trực tiếp vào các thiết bị di động trong vòng 6 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và đóng góp của luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng chính:

1. Kỹ sư trí tuệ nhân tạo và xử lý tín hiệu số: Hưởng lợi từ kiến trúc mạng chi tiết, mã nguồn thực nghiệm và cách thiết kế các khối tích chập thời gian - tần số TFC-TDF với 8,93 triệu tham số, giúp áp dụng trực tiếp vào việc xây dựng các bộ lọc âm thanh thông minh và hệ thống khử tiếng ồn tự động.

2. Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Nắm bắt phương pháp luận nghiên cứu chuẩn mực, cách thức thiết lập môi trường đánh giá khách quan BSS Eval trên 150 bài hát chuẩn của tập MusDB18, tạo tiền đề mở rộng đề tài sang các bài toán phân tách giọng nói nhiều người nói uPIT.

3. Nhà phát triển ứng dụng viễn thông và hội nghị trực tuyến VoIP: Khai thác các giải thuật tiền xử lý tín hiệu để loại bỏ tạp âm môi trường và tiếng vang, nâng cao chất lượng đàm thoại và cải thiện độ chính xác của các bộ nhận dạng giọng nói tự động thêm 15% đến 20% trong điều kiện tỷ lệ tín hiệu trên nhiễu SNR từ 0 dB đến 5 dB.

4. Nhà sản xuất âm nhạc và kỹ thuật viên phòng thu: Ứng dụng công nghệ bóc tách các track nhạc cụ riêng lẻ với độ phân giải cao 44,1 kHz và độ sâu 16-bit phục vụ công tác hòa âm phối khí, biên tập nhạc nền karaoke chất lượng cao và trích xuất giai điệu bài hát tự động.

Câu hỏi thường gặp

1. Tách nguồn âm thanh khác gì so với lọc nhiễu âm thanh truyền thống? Lọc nhiễu truyền thống chủ yếu triệt tiêu các tín hiệu ngẫu nhiên tĩnh như tiếng quạt gió hoặc tiếng rít điện tử có đặc tính tần số cố định. Ngược lại, tách nguồn âm thanh phải phân rã các tín hiệu phi tĩnh có cấu trúc động phức tạp và dải tần chồng lấn nhau hoàn toàn, chẳng hạn như việc bóc tách giọng hát chính ra khỏi tiếng đàn guitar và tiếng trống trong cùng một bản thu 44,1 kHz.

2. Tại sao tập dữ liệu MusDB18 lại được coi là tiêu chuẩn vàng trong nghiên cứu này? MusDB18 cung cấp 150 bài hát hoàn chỉnh với 4 luồng âm thanh rời rạc được thu âm ở chuẩn phòng thu stereo chất lượng cao 44,1 kHz. Tập dữ liệu này đi kèm công cụ đánh giá chuẩn museval, giúp cộng đồng học thuật toàn cầu so sánh công bằng các thuật toán phân tách nguồn với độ tin cậy khoa học tuyệt đối.

3. Chỉ số SDR bao nhiêu decibel được coi là cho chất lượng âm thanh tốt? Trong thang đo BSS Eval, chỉ số SDR từ 3,0 dB đến 5,0 dB cho thấy âm thanh đã được phân tách rõ ràng nhưng còn lẫn một ít tạp âm nền. Khi SDR đạt từ 6,0 dB đến trên 7,7 dB như ở các mô hình hiện đại Spleeter và Demucs, âm thanh tách ra đạt độ trong trẻo cao, các tạp âm can thiệp và tạo tác thuật toán hầu như không thể nhận biết bằng tai thường.

4. Tiếp cận số phức Complex as Channel mang lại lợi ích cụ thể nào? Phương pháp này chuyển đổi phần thực và phần ảo của biến đổi Fourier thành 2 kênh đầu vào riêng biệt cho mạng tích chập. Điều này cho phép mô hình học trực tiếp cả biên độ lẫn cấu trúc pha của sóng âm, giải quyết triệt để vấn đề mất thông tin ở các dải tần số cao lên tới 22 kHz mà các phương pháp mặt nạ biên độ truyền thống không xử lý được.

5. Mô hình đa mục tiêu có ưu điểm gì vượt trội so với việc huấn luyện nhiều mô hình đơn mục tiêu? Mô hình đơn mục tiêu cần huấn luyện 4 mạng nơ-ron riêng biệt cho 4 nguồn âm thanh, làm tăng gấp 4 lần dung lượng lưu trữ và thời gian tính toán. Mô hình đa mục tiêu chỉ sử dụng một mạng nơ-ron duy nhất với bộ trích xuất đặc trưng dùng chung, giúp giảm hơn 50% thời gian xử lý suy diễn và cho phép các luồng âm thanh chia sẻ thông tin tương quan để tránh phân tách nhầm.

Kết luận

Luận văn thạc sĩ của tác giả Thẩm Quốc Dũng đã cung cấp một bức tranh toàn diện và sâu sắc về bài toán phân tách nguồn âm nhạc dựa trên học máy hiện đại với 5 điểm nhấn then chốt:

• Hệ thống hóa toàn diện cơ sở lý thuyết xử lý tín hiệu âm thanh từ biến đổi STFT, thang đo Mel, 39 hệ số MFCC đến các bộ lọc Wiener đa kênh.
• Đánh giá thực nghiệm chi tiết các mô hình tiêu biểu gồm Open-Unmix với 8,93 triệu tham số, Spleeter đạt 5,9 dB SDR và Demucs đạt 7,7 dB SDR trên 150 bài hát của tập dữ liệu MusDB18.
• Chỉ rõ các hạn chế cốt lõi về rò rỉ phổ năng lượng và suy giảm dải tần cao ở các mô hình hiện tại, làm cơ sở đề xuất hướng tiếp cận nhận biết pha tín hiệu eCMU.
• Thiết kế kiến trúc phân tách đa mục tiêu thống nhất, giúp tối ưu hóa hiệu năng tính toán và giảm thiểu đáng kể thời gian suy diễn trên phần cứng giới hạn.
• Vạch rõ lộ trình nghiên cứu tiếp theo trong giai đoạn 6 đến 12 tháng tới nhằm tích hợp các khối mạng Conformer tiên tiến và hàm mất mát đa miền.

Công trình là nguồn tài liệu học thuật và kỹ thuật mẫu mực cho cộng đồng nghiên cứu xử lý tiếng nói và âm nhạc. Quý độc giả, kỹ sư và nhà nghiên cứu quan tâm có thể ứng dụng ngay các phương pháp tiếp cận trong luận văn để nâng tầm chất lượng các giải pháp âm thanh số của mình.

Trích đoạn nội dung tài liệu

Chương 1 - Giới thiệu tổng quát về bài toán, động lực, mục tiêu nghiên cứu; Chương 2 - Trình bày những kiến thức nền cơ bản liên quan đến Âm thanh và Xử lý tín hiệu âm thanh; Chương 3 - Trình bày tổng quan nghiên cứu, khảo sát các phương pháp tiếp cận, các tập dữ liệu, chuẩn đo đánh giá kết quả của một vài phương pháp điển hình cũng như là những đề xuất hướng phát triển cho luận văn này; Chương 4 - Trình bày mục tiêu, đóng góp cải tiến, nội dung phương pháp và phân tích kết quả đạt được cho phương pháp đề xuất thứ nhất eCMU; Chương 5 - Trình bày động lực, những đóng góp cải tiến, nội dung phương pháp và phân tích kết quả đạt được cho phương pháp mô hình đa mục tiêu; Chương 6 - Tổng kết các kết quả đạt được, những hạn chế cũng như định hương phát triển trong tương lai. 2 KIẾN THỨC NỀN TẢNG Chương 2 Kiến thức nền tảng 2.1 Xử lý tín hiệu âm thanh 2.1 Âm thanh và Sóng âm Âm thanh chúng ta nghe được hằng ngày là kết quả từ quá trình dao động cơ học của các vật thể, ví dụ như: dây đàn, bề mặt trống, dây thanh của con người,. Chính sự dao động này làm cho các phân tử không khí xung quanh nó chuyển động, việc chuyển động của các phân tử không khí làm cho áp suất không khí dao động tăng hoặc giảm theo một mô hình nhất định, lan truyền dưới dạng sóng trong không khí đến tai người. Các bộ phận trong tai người sẽ tiếp nhận, xử lý và chuyển đổi sóng thành các xung thần kinh, các xung thần kinh này tiếp tục truyền đến và được hiểu bởi bộ não.

Về mặt trực quan, sự thay đổi áp suất không khí tại một điểm nhất định có thể biểu diễn Hình 2.1: Ví dụ minh hoạ về sự rung của âm thoa dẫn đến sự dao động qua lại của các phân tử trong không khí, lan truyền dưới dạng sóng dọc. Biểu đồ hình sóng hiển thị độ lệch của áp suất không khí so với áp suất không khí trung bình tại một vị trí cụ thể theo thời gian. 3 KIẾN THỨC NỀN TẢNG bằng biểu đồ áp suất-thời gian, hay còn được gọi là dạng sóng của âm thanh (waveform). Dạng sóng thể hiện độ lệch của áp suất không khí so với áp suất không khí trung bình (hình 2.

Một sóng cơ học có thể được mô tả như một dao động truyền trong không gian, nơi năng lượng được truyền từ điểm này sang điểm khác. Khi có sóng truyền qua môi trường nào đó, chất của môi trường này bị biến dạng tạm thời. Như đã mô tả ở trên, sóng âm thanh truyền qua các phân tử không khí va chạm với các phân tử xung quanh của chúng. Sau khi các phân tử không khí va chạm, chúng bật ra khỏi nhau.

Điều này ngăn các phân tử tiếp tục di chuyển theo hướng của sóng. Thay vào đó, chúng dao động xung quanh các vị trí gần như cố định. Nếu các phân tử dao động vuông góc với phương truyền năng lượng, ta gọi đó là sóng ngang. Còn trong trường hợp, các phân tử dao động song song với phương truyền sóng, ta gọi đó là sóng dọc.

Về mặt toán học, sóng là dao động điều hoà được biểu diễn bằng hàm sin: y(t) = A sin(2πf t + ϕ) (2.1) trong đó - f là tần số, A là biên độ, ϕ là pha dao động ban đầu, khi đó y(t) là biên độ dao động tại thời điểm t. • Pha dao động ban đầu (ϕ ∈ [−π, π]): độ lệch của sóng, cho chúng ta biết vị trí của sóng tại thời điểm t = 0 Hình 2.2: Ví dụ minh hoạ cho dạng sóng của âm thanh được biểu diễn dưới dạng đồ thị áp suất - thời gian. 4 KIẾN THỨC NỀN TẢNG Hình 2.3: Đồ thị sóng hình sin với tần số dao động 4 Hz.2 Tần số và Cao độ Tần số của sóng hình sin càng cao thì âm thanh càng cao. Dải tần số có thể nghe được đối với con người là từ khoảng 20 Hz đến 20,000 Hz (20 kHz).

Các loài động vật khác nhau có phạm vi thính giác khác nhau. Ví dụ: cận trên trong phạm vi thính giác của chó là khoảng 45 kHz, của mèo là 64 kHz, thậm chí dơi có thể phát hiện tần số vượt quá 100 kHz. Đây là lý do tại sao người ta có thể sử dụng một chiếc còi cho chó, phát ra âm thanh siêu âm vượt quá khả năng nghe của con người, để huấn luyện và ra lệnh cho những con vật không làm phiền những người xung quanh. Độ cao (pitch) là một đặc trưng mang tính chất chủ quan của âm thanh, khái niệm dùng cho sự cảm nhận âm thanh.

Tai người không cảm nhận âm thanh một cách tuyến tính mà phi tuyến theo hàm số logarit. Hai tần số được cảm nhận tương tự nhau nếu chúng khác nhau 2n. Ví dụ nốt A3 (220 Hz) và A4 (440 Hz) được cảm nhận là như nhau. Đặc tính này của âm thanh được dùng để chia một quãng tám thành 12 quãng nửa cung bằng nhau.

Mối quan hệ giữa tần số và độ cao được biểu diễn bằng hàm số: F (p) = 2(p−69)/12 .2) trong đó - p ∈ [0, 127] chỉ số nốt MIDI (chỉ sổ nốt của C4 là 60, A4 là 69), F (p) là tần số trung tâm tương ứng với chỉ số nốt MIDI p. Ta có tính chất F (p + 12) = 2F (p) và F (p + 1)/F (p) = 212 ≈ 1. Như vậy, khi nhân tần số bất kì với hệ số trên đồng nghĩa với việc ta sẽ dịch độ cao tương ứng lên nửa cung. Tổng quát hơn, người ta dùng khái niệm cent như một đơn vị nhỏ hơn để đo sự khác nhau về cảm nhận âm thanh giữa hai tần số bất kỳ.

Cụ thể, mỗi một quãng tám được chia thành 1200 cents, đồng nghĩa mỗi một nửa cung = 100 cents. Khi đó, sự khác nhau giữa hai tần số được tính bằng: ω1 log2 ( ).3) ω2 Khoảng cách giữa một cent là khá nhỏ để có thể nghe ra được. Việc này phụ thuộc vào khả năng cảm âm của mỗi người và theo độ tuổi. Ngưỡng có thể cảm nhận được (just noticeable difference) là từ 10 cents với những người đã trải qua việc luyện cảm âm hoặc có năng khiếu bẩm sinh, còn người trưởng thành bình thường là 25 cents.

Âm thanh trong tự nhiên là sóng tổng hợp từ nhiều sóng với các tần số dao động khác nhau. Trong đó bao gồm sóng dao động với tần số cơ bản f0 (tần số dao động thấp nhất) và các thành phần sóng hamornic với tần số bằng bội số nguyên của tần số cơ bản (f1 = 2. Thông thường, độ cao của sóng được quy định bởi tần số cơ bản. Ngoài ra, tập hợp các thành phần sóng ngoại trừ f0 còn được gọi là bội âm (overtone).

5 KIẾN THỨC NỀN TẢNG Bảng 2.1: Bảng thống kế cường độ âm và mức cường độ âm của các nguồn âm thanh điển hình Nguồn âm Cường độ âm (W/m2 ) Mức cường độ âm (dB) × TOH Ngưỡng nghe (TOH) 10−12 0 1 Tiếng thì thầm 10−10 20 102 Đối thoại thông thường 10−6 60 106 Ngưỡng đau (TOP) 10 130 1013 Động cơ máy bay 102 140 1014 Ngưỡng gây điếc 104 160 1016 2.3 Cường độ âm - Công suất và Độ to Công suất là mức năng lượng được truyền đi, sử dụng hoặc chuyển hóa, đơn vị đo là Watt (W). Tương tự, công suất âm thanh cho biết mức năng lượng trên một đơn vị thời gian được phát ra bởi một nguồn âm thanh truyền theo mọi hướng trong không khí. Khi đó, khái niệm Cường độ âm được dùng để thể hiện công suất âm thanh trên một đơn vị diện tích (W/m2 ). Trong thực tế, tai người có thể cảm nhận được âm thanh với giá trị cường độ âm rất nhỏ hay còn gọi là ngưỡng nghe (threshold of hearing - TOH), IT OH = 10−12 (W/m2 ).

Tương tự, ngưỡng đau (threshold of pain - TOP) là giá trị cường độ âm có thể gây đau cho người, IT OP = 10(W/m2 ). Mức cường độ âm (đơn vị: decibel - dB) cho biết tỷ lệ giữa hai giá trị cường độ âm trong thang đo logarit.1 thống kê giá trị cường độ âm và mức cường độ âm tương ứng của các nguồn âm thanh khác nhau.4) IT OH Độ to của âm thanh là cách cảm nhận chủ động về cường độ âm. Độ to không chỉ phụ thuộc vào cường độ âm mà còn phụ thuộc vào khoảng thời gian và tần số âm thanh. Ngoài ra, còn phụ thuộc vào độ tuổi.

Đơn vị đo là phon.4 là kết quả thí nghiệm cho thấy sự phụ thuộc giữa độ to âm thanh với tần số và mức cường độ âm, trên hình thể hiện những đường viền mà mỗi điểm trên đường viền đó sẽ có độ to âm thanh như nhau. Đơn vị phon được chuẩn hoá tại mức tần số 1000 Hz, trong đó giá trị phon bằng với giá trị mức cường độ âm.4 Âm sắc Hay còn gọi là màu sắc âm thanh, là đặc tính của âm thanh giúp chúng ta có thể phân biệt được âm thanh của các loại nhạc cụ khác nhau, hay tổng quát hơn là hai âm thanh có cùng tần số, cùng cường độ và cùng khoảng thời gian. Âm sắc là một khái niệm đa chiều khó để đo lường, các nhà nghiên cứu đã cố gắng tiếp cận âm sắc bằng cách xem xét các mối tương quan với các đặc điểm âm thanh như quá trình phát triển của âm thanh, các thành phần âm thanh và sự phân bố năng lượng của chúng. Quá trình phát triển của âm thanh (sound envelope) có thể mô tả bởi mô hình ADSR (A - Attack, D - Decay, S - Sustain, R - Release).

Các loại nhạc cụ khác nhau thì có quá trình phát triển âm thanh cũng khác nhau.5b khi nốt C4 vang lên bằng piano và violin tương ứng, ta có thể thấy đối với piano biên độ tăng mạnh khi 6 KIẾN THỨC NỀN TẢNG Hình 2.4: Các đường thể hiện độ to ngang nhau theo tần số và cường độ âm.5: Waveform, amplitude envelope búa gõ vào dây đàn, sau đó biên độ sẽ giảm từ từ và duy trì ở một mức nhất định và tiêu biến khi phím đàn được thả. Còn trong trường hợp âm thanh tạo ra bởi violin, vì giai điệu được phát nhẹ nhàng với âm lượng tăng dần nên giai đoạn (A) được dàn trải, không có giai đoạn (D) và giai đoạn (S) dao động không ổn định. Giai đoạn (R) xảy ra khi nhạc công ngừng kéo dây đàn. Âm thanh sau đó nhỏ dần nhanh chóng.