Tổng quan luận án
Luận án tiến sĩ với đề tài "Định danh tự động một số làn điệu dân ca Việt Nam" do nghiên cứu sinh Chu Bá Thành thực hiện dưới sự hướng dẫn khoa học của PGS. Trịnh Văn Loan, bảo vệ tại Trường Công nghệ Thông tin & Truyền thông – Đại học Bách khoa Hà Nội (2023). Công trình thuộc chuyên ngành Kỹ thuật Máy tính / Khoa học Máy tính, tiếp cận theo hướng định lượng và thực nghiệm kỹ thuật, kết hợp giữa xử lý tín hiệu âm thanh số, học máy truyền thống và học sâu (Deep Learning).
Tính cấp thiết và khoảng trống nghiên cứu
Sự phát triển của mạng Internet băng thông rộng và các cơ sở dữ liệu (CSDL) nhạc số đã thay thế các phương tiện lưu trữ vật lý truyền thống (băng từ, CD/DVD). Khối lượng tác phẩm âm nhạc được số hóa ngày càng lớn tạo ra nhu cầu cấp thiết về việc tự động hóa quá trình quản lý, tổ chức, phân loại và truy xuất thông tin âm nhạc (Music Information Retrieval - MIR). Phân lớp âm nhạc theo thể loại (Music Genre Classification - MGC) là giải pháp trọng tâm để quản lý kho dữ liệu âm nhạc khổng lồ (Heittola, 2003). Tuy nhiên, ranh giới giữa các thể loại âm nhạc thường không rõ ràng do sự giao thoa phong cách và yếu tố cảm tính của con người.
Việt Nam sở hữu kho tàng dân ca phong phú thuộc nhiều vùng miền và dân tộc (Bắc Bộ có Chèo, Quan họ, Xoan, Ví, Trống quân, Dô; Trung Bộ có Ví dặm, Hò Huế, Lý Huế, Sắc bùa; Nam Bộ có các điệu Lý, Hò, nói thơ; miền núi và Tây Nguyên có dân ca các dân tộc Thái, H'Mông, Mường, Gia-Rai, Ê-Đê, Ba-Na, Xơ-Đăng...). Trong đó, mỗi loại hình lại có hệ thống làn điệu phức tạp. Trước khi công trình này được thực hiện, việc ứng dụng xử lý tín hiệu số và các mô hình học máy/học sâu để định danh tự động các làn điệu dân ca cổ truyền Việt Nam vẫn còn là khoảng trống nghiên cứu lớn, chưa có hệ thống nhận dạng tự động chuyên biệt và thiếu các bộ dữ liệu chuẩn hóa phục vụ nghiên cứu.
Mục tiêu nghiên cứu
- Nghiên cứu định danh tự động một số làn điệu dân ca Việt Nam dựa trên phương diện xử lý tín hiệu sử dụng các thuật toán học máy và học sâu.
- Nghiên cứu các mô hình phân lớp và đề xuất mô hình phù hợp cho bài toán định danh tự động làn điệu dân ca Việt Nam trên bộ dữ liệu Chèo và Quan họ.
- Thực hiện phân lớp thể loại âm nhạc trên các bộ dữ liệu quốc tế GTZAN và FMA_SMALL nhằm kiểm chứng khả năng tổng quát hóa của các mô hình đề xuất, đồng thời đánh giá tác động của các phương pháp tăng cường dữ liệu (Data Augmentation) đến độ chính xác phân lớp.
Nhiệm vụ nghiên cứu
- Nghiên cứu quy trình và phương pháp luận xây dựng bộ dữ liệu âm nhạc dân ca phục vụ thực nghiệm.
- Nghiên cứu các đặc trưng âm học trong tín hiệu âm nhạc phục vụ xác định thể loại và làn điệu.
- Nghiên cứu tổng quan về phương pháp và thuật toán phân lớp âm nhạc theo thể loại.
- Nghiên cứu các mô hình phân loại phổ biến: SVM, GMM, DNN...
- Thực hiện định danh tự động một số làn điệu dân ca Chèo và Quan họ, phân tích và đánh giá kết quả thực nghiệm.
- Thực hiện phân lớp thể loại âm nhạc trên hai bộ dữ liệu GTZAN và FMA_SMALL, đánh giá ảnh hưởng của các kỹ thuật tăng cường dữ liệu.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Tín hiệu âm thanh của các làn điệu dân ca Việt Nam, các kỹ thuật trích xuất đặc trưng âm học, các mô hình học máy và học sâu phục vụ phân lớp và định danh tự động.
- Phạm vi nội dung và thể loại: Tập trung vào các làn điệu dân ca phổ biến của hai loại hình nghệ thuật tiêu biểu vùng đồng bằng Bắc Bộ là Chèo và Quan họ Bắc Ninh.
- Phạm vi dữ liệu thực nghiệm: Bộ dữ liệu dân ca tự xây dựng (Chèo và Quan họ), bộ dữ liệu nhạc Việt từ cuộc thi Zalo AI Challenge 2018, cùng hai bộ dữ liệu chuẩn quốc tế là GTZAN (10 thể loại) và FMA_SMALL.
- Phạm vi thời gian và tư liệu: Khảo sát các công trình nghiên cứu trong nước và quốc tế từ năm 1995 đến năm 2023.
Tổng quan tài liệu và vị trí của luận án
Các hướng nghiên cứu trước đây
Nghiên cứu về khai phá dữ liệu âm nhạc và MIR đã được triển khai trên thế giới với nhiều phân nhánh: phân lớp thể loại âm nhạc (MGC), định danh ca sĩ/nghệ sĩ, nhận diện nhạc cụ, phát hiện cảm xúc/tâm trạng và tìm kiếm âm nhạc tương đồng.
- Khởi đầu của MGC: Matityaho và Furst (1995) công bố nghiên cứu đầu tiên sử dụng mạng nơ-ron nhân tạo để phân loại hai thể loại nhạc Classical và Pop.
- Diễn đàn quốc tế ISMIR: Tháng 10/2000, Hội thảo quốc tế về trích chọn thông tin âm nhạc (ISMIR - International Symposium on Music Information Retrieval) lần đầu tiên được tổ chức tại Plymouth, Massachusetts (Mỹ). ISMIR sau đó được tổ chức thường niên tại nhiều quốc gia (Pháp, Tây Ban Nha, Canada, Áo, Hà Lan, Nhật Bản, Brazil, Trung Quốc, Ấn Độ...).
- Bộ dữ liệu chuẩn GTZAN và công trình nền tảng: Năm 2002, Tzanetakis và Cook xây dựng bộ dữ liệu GTZAN gồm 10 thể loại âm nhạc và công bố nghiên cứu phân lớp sử dụng mô hình GMM kết hợp 30 tham số đặc trưng (19 đặc trưng kết cấu âm sắc gồm 9 FFT + 10 MFCC, 6 đặc trưng nhịp điệu, 5 đặc trưng cao độ), đạt độ chính xác 61,0%. Công trình này đã nhận được 3.936 lượt trích dẫn tính đến tháng 10/2022 (theo thống kê từ các cơ sở dữ liệu học thuật).
- Các phát triển tiếp theo trên bộ dữ liệu GTZAN:
- Pimenta-Zanon và Lopes (2021): Sử dụng mô hình mạng Bayes (Bayes Network) kết hợp phương pháp trích chọn đặc trưng EXAMINNER, đạt độ chính xác 99,8%.
- Vasudev Singh (2019): Sử dụng mạng nơ-ron đồ thị (GraphNN) trên ảnh phổ Mel spectrogram, đạt độ chính xác 99,5%.
- Patil và Rao Komati (2022): Sử dụng mạng nơ-ron tích chập (CNN) kết hợp các đặc trưng ZCR, spectrogram và MFCC, đạt độ chính xác 99,41%.
- Elbir và Aydin (2020): Sử dụng mô hình MusicRecNet kết hợp hồi quy Logistic trên spectrogram, đạt độ chính xác 98,4%.
- Nghiên cứu âm nhạc dân gian trong nước: Hệ thống hóa làn điệu và kỹ thuật hát cổ truyền được đề cập trong các công trình của Mai Thiện (thống kê hệ thống 190 làn điệu Chèo), Hồng Thao và các nhà nghiên cứu âm nhạc dân gian về hệ thống làn điệu Quan họ (213 làn điệu) cùng các đặc trưng thanh nhạc cổ truyền ("vang, rền, nền, nảy").
Khoảng trống nghiên cứu luận án lựa chọn giải quyết
Mặc dù các kỹ thuật học máy và học sâu đã đạt độ chính xác cao trên các bộ dữ liệu âm nhạc quốc tế (như GTZAN hay FMA), việc nghiên cứu định danh trên các dòng nhạc dân ca truyền thống Việt Nam vẫn chưa được thực hiện một cách có hệ thống. Âm nhạc dân ca Việt Nam có cấu trúc âm giai, điệu thức, phương thức nhả chữ, luyến láy và phát âm mang tính đặc thù cao (tiếng đệm lót, rung ngân, nảy hạt). Luận án giải quyết khoảng trống này bằng cách:
- Xây dựng bộ dữ liệu âm thanh số hóa chuẩn cho hai loại hình dân ca Chèo và Quan họ.
- Khảo sát toàn diện các tập đặc trưng âm học kết hợp các mô hình học máy truyền thống và học sâu để xác định kiến trúc phân lớp tối ưu cho bài toán định danh làn điệu dân ca.
Cơ sở lý thuyết và phương pháp nghiên cứu
Thuộc tính âm nhạc và hệ thống đặc trưng trích chọn
Âm nhạc được xác định qua 4 thuộc tính vật lý cơ bản: Cao độ (Pitch - tai người phân biệt tốt từ 27,5 Hz đến 4.186 Hz), Trường độ (Duration), Cường độ (Loudness, đo bằng dB) và Âm sắc (Timbre). Các yếu tố tạo thành tác phẩm gồm: Dynamic (độ mạnh/nhẹ), Form (hình thức), Melody (giai điệu), Harmony (hòa âm), Rhythm (tiết tấu/nhịp điệu), Texture (kết cấu), Timbre (âm sắc) và Tonality (điệu thức/thang âm).
Luận án thực hiện trích chọn hệ thống đặc trưng đa chiều từ tín hiệu âm thanh số:
| Nhóm đặc trưng | Tên đặc trưng | Mô tả toán học và ý nghĩa xử lý |
|---|---|---|
| Đặc trưng thống kê | Mean, Variance, Standard Deviation | Đo giá trị kỳ vọng, mức độ tản mát của dữ liệu quanh tâm. |
| Skewness (Moment bậc 3) | Đo tính bất đối xứng của phân phối xác suất tín hiệu. | |
| Kurtosis (Moment bậc 4) | Đo độ nhọn của phân phối xác suất so với phân phối chuẩn (chuẩn = 3). | |
| Miền thời gian | RMS (Root Mean Square) | Đo độ lớn hiệu dụng và độ to trung bình của tín hiệu trong khung cửa sổ. |
| Năng lượng (Energy) | Tổng bình phương biên độ các mẫu $x(n)$ trong khung tín hiệu độ dài $N$. | |
| ZCR (Zero Crossing Rate) | Tần suất tín hiệu đổi dấu qua trục biên độ không; phân biệt âm hữu thanh và vô thanh. | |
| Âm sắc & Phổ Mel | MFCC (Mel Frequency Cepstral Coefficients) | Mô phỏng cảm nhận thính giác người qua 5 bước: phân khung (20-30 ms), cửa sổ Hamming, biến đổi DFT, bộ lọc dải tần Mel, biến đổi DCT lấy hệ số và các đạo hàm bậc 1 ($\Delta$), bậc 2 ($\Delta\Delta$). |
| Miền phổ (Spectral) | Spectral Centroid (Trọng tâm phổ) | Đo trung bình tần số có trọng số năng lượng; thể hiện độ sáng của âm thanh. |
| Spectral Contrast (Tương phản phổ) | Chênh lệch năng lượng giữa đỉnh (peak) và đáy (valley) trong các dải phổ con. | |
| Spectral Rolloff (Suy giảm phổ) | Tần số biên giới hạn mức 85-95% (mặc định 90%) tổng năng lượng phổ tập trung. | |
| Spectral Bandwidth (Băng thông phổ) | Độ rộng bậc $p$ ($p=2$ trong LibROSA) của dải phổ xung quanh trọng tâm phổ. | |
| Spectral Flux (Luồng phổ) | Đo tốc độ biến thiên của năng lượng phổ giữa hai khung cửa sổ liên tiếp. | |
| Đặc trưng khác | F0, Pitch, Tonnetz, Chroma | Tần số cơ bản, lớp cao độ 12 bán âm, biểu diễn mạng không gian hòa âm. |
Các phương pháp và mô hình phân loại
1. Mô hình học máy truyền thống
- SVM (Support Vector Machine): Tìm siêu phẳng cực đại hóa lề (margin) giữa các lớp dữ liệu; sử dụng thuật toán tối ưu hóa tuần tự tối thiểu (Sequential Minimal Optimization - SMO).
- GMM (Gaussian Mixture Model): Mô hình hóa phân phối của các vector đặc trưng bằng tổ hợp tuyến tính của $M$ phân phối chuẩn nhiều chiều, tham số hóa bởi $\lambda = {\pi_k, \mu_k, \Sigma_k}$ với $k = 1 \dots M$. Sử dụng thuật toán Cực đại hóa kỳ vọng (Expectation Maximization - EM) để tìm ước lượng cực đại khả hiện (Maximum-Likelihood). Luận án khảo sát số thành phần Gauss $M$ từ 16 đến 8.192.
- Không gian i-vector: Biểu diễn vector đặc trưng độ dài cố định nén từ GMM-UBM, kết hợp với các kỹ thuật phân tích phân biệt tuyến tính xác suất PLDA (Probabilistic Linear Discriminant Analysis) và SphNormPLDA.
- Các thuật toán khác: MultiLayer Perceptron (MLP), MultiClass Classifier trên bộ công cụ WEKA.
2. Mô hình học sâu (Deep Learning)
- CNN (Convolutional Neural Network): Sử dụng các khối tích chập trích xuất đặc trưng không gian, hàm kích hoạt phi tuyến (ReLU, Leaky ReLU, ELU, Sigmoid, Tanh), lớp lấy gộp Max-pooling (bộ lọc $2 \times 2$, bước trượt $S=2$) và các lớp kết nối đầy đủ (Fully Connected).
- LSTM (Long Short-Term Memory) và GRU (Gated Recurrent Unit): Xử lý sự phụ thuộc chuỗi thời gian trong âm nhạc. GRU sử dụng hai cổng: cổng cập nhật (Update gate) và cổng thiết lập lại (Reset gate) nhằm khắc phục hiện tượng triệt tiêu gradient (vanishing gradient).
- CRNN (Convolutional Recurrent Neural Network): Kết hợp các tầng tích chập CNN trích xuất đặc trưng phổ cục bộ và các tầng LSTM xử lý ngữ cảnh thời gian.
- RAN (Residual Attention Network): Kiến trúc kết hợp Residual Block và Attention Module gồm hai nhánh: Trunk branch (giữ đặc trưng cơ sở) và Soft mask branch (sử dụng Downsample, Upsample nội suy và Skip connection) để tạo mặt nạ tập trung vào các vùng ảnh phổ quan trọng.
- DenseNet (Dense Convolutional Network - DenseNet169): Kiến trúc kết nối dày đặc, trong đó mỗi lớp nhận toàn bộ ánh xạ đặc trưng từ tất cả các lớp trước đó, tạo ra $L(L+1)/2$ kết nối trực tiếp giúp tối ưu hóa luồng truyền gradient và tái sử dụng đặc trưng.
- CSN (Capsule Neural Network): Thay thế các nơ-ron vô hướng bằng các Capsule dạng vector, sử dụng thuật toán định tuyến động (Dynamic Routing) 3 bước lặp để nắm bắt mối quan hệ không gian bộ phận - tổng thể (tính chất biến đổi cân bằng - equivariance) trên ảnh phổ Mel.
Kỹ thuật tăng cường dữ liệu (Data Augmentation)
Nhằm mở rộng quy mô dữ liệu và tăng tính tổng quát cho mô hình, luận án áp dụng 4 phương pháp:
- Chia đôi tệp âm thanh (Split files): Cắt đôi các tệp âm thanh gốc để tăng gấp đôi số lượng mẫu nhưng vẫn giữ nguyên nhãn thể loại/làn điệu.
- Tạo tiếng vọng (Creating echo): Mô phỏng hiệu ứng vang âm trong không gian phòng hát.
- Cộng nhiễu trắng (Adding white noise): Đưa thêm tạp âm ngẫu nhiên với tỷ số tín hiệu trên nhiễu (SNR) được kiểm soát.
- Thay đổi cao độ (Changing pitch): Dịch chuyển cao độ tín hiệu lên nửa cung và một cung mà không làm thay đổi tốc độ phát (tempo).
Nội dung chính theo từng chương
Chương 1: Tổng quan về âm nhạc và phân lớp thể loại âm nhạc
Chương này trình bày cơ sở lý thuyết về âm thanh, âm nhạc, các đặc trưng trích chọn từ tín hiệu âm thanh và tổng quan về phân lớp thể loại âm nhạc. Tác giả phân tích đặc trưng của 10 thể loại nhạc phổ biến trên thế giới (Pop, Rock, Jazz, Dance, Blues, Hip-Hop, Classical, Country, R&B/Soul, Reggae) và khảo sát chi tiết hai loại hình dân ca truyền thống Việt Nam:
-
Nghệ thuật Chèo: Phát triển từ thế kỷ X tại đồng bằng sông Hồng. Hệ thống nhân vật gồm Thư sinh (kép chính, kép nền, kép ngang), Đào (đào chính, đào lệch, đào pha), Lão, Mụ, Hề (hề gậy, hề mồi, hề áo dài). Theo thống kê của soạn giả Mai Thiện, Chèo có khoảng 190 làn điệu, phân bổ thành 10 nhóm:
- Hệ thống làn điệu đối đáp, trữ tình: 22 điệu.
- Hệ thống làn điệu đường trường: 17 điệu.
- Hệ thống làn điệu sắp: 29 điệu.
- Hệ thống làn điệu hề: 28 điệu.
- Hệ thống làn điệu ra trò: 36 điệu.
- Hệ thống làn điệu vãn, thảm: 10 điệu.
- Hệ thống làn điệu nói sử: 10 điệu.
- Hệ thống làn điệu sa lệch: 5 điệu.
- Hệ thống làn điệu nói, vỉa, ngâm vịnh: 9 điệu.
- Các bài ca lẻ (như Quân tử vu dịch, Đào liễu, Đào lý, Lới lơ...).
-
Dân ca Quan họ Bắc Ninh: Di sản văn hóa phi vật thể đại diện của nhân loại (được UNESCO công nhận ngày 30/09/2009). Thống kê gồm 213 làn điệu với hơn 400 bài ca, chia thành 3 nhóm giọng chính:
- Giọng Lề lối: 10 làn điệu (như La rằng, Bạn kim lan, Cây gạo, Tình tang...).
- Giọng Vặt: 183 làn điệu (như Khách đến chơi nhà, Trống cơm, Qua cầu gió bay, Ngồi tựa mạn thuyền...).
- Giọng Giã bạn: 20 làn điệu (như Người ở đừng về, Chuông vàng gác cửa tam quan, Kẻ bắc người nam, Con nhện giăng mùng...).
Chương 1 tổng hợp bảng so sánh chi tiết 14 tiêu chí kỹ thuật hát giữa Chèo và Quan họ:
| STT | Kỹ thuật | Hát Chèo | Hát Quan họ |
|---|---|---|---|
| 1 | Hơi thở | Kết hợp hơi thở ngực và bụng trên; chia 2 cách (làn điệu trữ tình dùng hơi ngực; làn điệu vui hoạt/hề dùng hơi sâu bụng). | Chủ yếu dùng hơi thở ngực, một phần nhỏ kết hợp hơi thở phần bụng trên. |
| 2 | Khẩu hình | Phụ thuộc tính chất nhân vật: vai trữ tình mở ngang nhỏ, kín miệng; vai hề/phản diện mở ngang và to hơn. | Khẩu hình mở ngang, mở nhỏ, hát kín miệng, mở tự nhiên như nói, chỉ mấp máy môi. |
| 3 | Vị trí âm thanh | Đặt ở khoảng giữa lưỡi và đầu lưỡi gần chân răng hàm trên; rung ngân đưa lên mũi tạo vang. | Đặt ở khoảng giữa lưỡi và cuống lưỡi; khi nảy hạt đưa âm thanh về cuống họng tạo vang khoang miệng. |
| 4 | Phát âm - nhả chữ | Không ngân nga lướt nhanh ở mở chữ; ngân rung, nảy hạt chủ yếu ở giai đoạn đóng chữ. | Ngân rung, luyến láy nguyên âm ở mở chữ; nảy hạt chủ yếu ở giai đoạn mở chữ sang đóng chữ. |
| 5 | Luyến chữ | Đóng chữ được luyến, rung ngân đưa âm thanh lên mũi; bài nhanh kết thúc luyến đóng tiếng vang miệng và mũi. | Đóng chữ luyến về đúng thanh điệu; bài nhanh mở chữ vào thẳng thanh điệu, kết thúc luyến vang ở miệng. |
| 6 | Xử lý thanh điệu | Bài nhanh hát thẳng thanh điệu ở khởi chữ; bài chậm khởi chữ bằng thanh không/huyền, mở chữ vào thanh chính, đóng chữ rung ngân. | Tương tự về phân loại tốc độ, nhưng ở bài chậm mở chữ được ngân rung luyến láy nguyên âm chính trước khi đóng chữ. |
| 7 | Liền hơi | Hát liền hơi/tiếng ngân rung đều, liên tục nối tiếp kết hợp luyến láy vuốt chữ tạo đường cong uốn lượn. | Hát liền tiếng/hơi kết hợp rung ngân, luyến láy ở giai đoạn mở chữ tạo rền. |
| 8 | Nhấn | Nhấn hơi tạo âm thanh mạnh về cường độ và trường độ nhằm làm sáng tỏ ngữ nghĩa từng chữ. | Nhấn hiểu theo cả nghĩa nhấn nhá, tạo sự chú ý bằng cách nhắc lại nhiều lần một chữ/đoạn. |
| 9 | Ngắt | Ngắt hơi thở làm âm thanh bị ngắt và dứt tiếng đột ngột (thường dùng cho vai Hề, vai phản diện). | Ngắt (dứt) là kết quả của việc nảy hạt rồi ngắt, dứt tiếng đột ngột ngay sau khi đóng tiếng hát. |
| 10 | Rung giọng | Ngân rung giọng diễn ra ở giai đoạn cuối của đóng chữ tạo rền. | Ngân rung giọng diễn ra ở giai đoạn mở chữ tạo rền. |
| 11 | Vang | Hát giọng thật pha giọng mũi, ngân rung luyến láy ở giai đoạn sau của đóng chữ tạo vang. | Hát giọng thật ở khoang miệng, kết hợp luyến láy ngân rung nguyên âm ở giai đoạn mở chữ tạo vang. |
| 12 | Rền | Kết hợp kỹ thuật hát liền hơi, luyến láy, rung giọng ở cuối giai đoạn đóng chữ. | Ngân rung nguyên âm đều đặn, liên tục không dứt từ chữ nọ sang chữ kia ở giai đoạn mở chữ. |
| 13 | Nền | Tiếng đệm thường hát to, tạo âm thanh có độ vang sáng ở sau đóng chữ; hát nhỏ âm nền. | Xử lý khéo léo lời thơ và âm đệm mượt mà, tình tứ; hát nhỏ âm nền. |
| 14 | Nảy | Nảy hạt sau đóng chữ, song song với quá trình rung giọng, hạt nảy lẩn vào trong khoang miệng, đóng khẩu hình đưa lên mũi. | Nảy ở nốt ngân rung cuối của mở chữ và kết thúc cùng quá trình đóng chữ; nảy hạt sâu trong cổ, bật thanh ở khoang miệng. |
Chương 2: Định danh một số làn điệu dân ca Việt Nam
Chương 2 trình bày chi tiết quy trình thu thập, xử lý tín hiệu và các kết quả thực nghiệm định danh làn điệu dân ca Chèo và Quan họ thông qua 6 trường hợp thực nghiệm:
- Xây dựng bộ dữ liệu và tiền xử lý: Thu thập các bản thu âm chuẩn của các nghệ sĩ Chèo và Quan họ; gắn nhãn làn điệu; trích xuất các bộ tham số đặc trưng (kết hợp MFCC, F0, năng lượng, phổ Mel, pitch, tonnetz, spectral, chroma); áp dụng 4 phương pháp tăng cường dữ liệu.
- Thực nghiệm học máy truyền thống:
- Trường hợp 1: Định danh một số làn điệu Quan họ sử dụng các mô hình trên WEKA (SMO, MultiLayer Perceptron, MultiClass Classifier).
- Trường hợp 2: Định danh làn điệu Quan họ sử dụng GMM với số thành phần Gauss $M$ thay đổi từ 16 đến 8.192.
- Trường hợp 3 & 4: Phân lớp nhị phân và đa lớp giữa Chèo và Quan họ trên toàn bộ tập dữ liệu.
- Trường hợp 5: Định danh Chèo hoặc Quan họ dựa trên các trích đoạn ngắn với các giá trị $M$ khác nhau.
- Trường hợp 6: Ứng dụng không gian i-vector kết hợp phân loại PLDA và SphNormPLDA, so sánh hiệu năng trực tiếp với GMM trên hai tập dữ liệu Chèo và Quan họ.
- Thực nghiệm học sâu:
- Thiết kế và cấu hình các mạng nơ-ron: CNN (157 tham số), LSTM (gồm LSTM-1 và LSTM-2 với 183 tham số), CRNN (gồm CRNN-1 cho phân lớp và CRNN-2 cho định danh với 157 tham số).
- Đánh giá hàm tổn thất (loss) và độ chính xác biến thiên theo số lượng epoch trên tập huấn luyện (training set) và tập xác thực (validation set).
- Đánh giá sự chênh lệch tỷ lệ nhận dạng đúng giữa CNN, LSTM và CRNN trên từng tập dữ liệu Chèo và Quan họ riêng biệt.
Chương 3: Phân lớp thể loại âm nhạc trên bộ dữ liệu nhạc Việt, GTZAN và FMA dùng học sâu
Chương 3 mở rộng phạm vi thực nghiệm sang bài toán phân lớp thể loại âm nhạc trên các bộ dữ liệu quy mô lớn nhằm đánh giá khả năng khái quát của các mô hình học sâu:
- Hệ thống độ đo đánh giá: Sử dụng 4 chỉ số chính gồm Accuracy (Độ chính xác tổng thể), Precision (Độ chuẩn xác), Recall (Độ thu hồi), F1-score cùng diện tích dưới đường cong ROC (AUC).
- Phân lớp nhạc Việt với mạng RAN: Áp dụng kiến trúc Residual Attention Network phân loại ảnh phổ trên tập dữ liệu Zalo AI Challenge 2018; đánh giá độ chính xác trên tập xác thực theo từng fold huấn luyện (
fold_ext) và so sánh hiệu năng phân loại trên ảnh phổ so với file âm thanh gốc. - Thực nghiệm trên GTZAN và FMA_SMALL:
- Khảo sát các mô hình học sâu CNN, LSTM, GRU, CSN (với cấu hình 300 tham số) và DenseNet169 trên các tập dữ liệu có cấu trúc tăng cường khác nhau (ký hiệu $S_0, S_1, S_2, S_2n1 \dots S_2n4, S_2u, S_2d, S_3e, S_3s, S_4fH, S_4fL, S_5s, S_5t, S_7, S_8, S_9$).
- So sánh giá trị trung bình cực đại và cực tiểu của Precision, Recall, F1-score và AUC giữa các mô hình qua 10 thể loại nhạc của tập GTZAN.
- Phân tích hiệu năng phân lớp của DenseNet169 phụ thuộc vào kích thước dữ liệu; đo lường thời gian trung bình để huấn luyện một epoch và thời gian hội tụ của hàm tổn thất.
Chương 4: Kết luận và định hướng phát triển
Tổng hợp toàn bộ các đóng góp khoa học, phân tích những điểm đạt được trong phương pháp xử lý tín hiệu và nhận dạng làn điệu dân ca, đồng thời vạch ra các hướng mở rộng nghiên cứu trong tương lai.
Kết quả và những đóng góp mới
Đóng góp về mặt lý luận và khoa học
- Phương pháp luận trích xuất đặc trưng dân ca: Hệ thống hóa và xác lập các bộ tham số đặc trưng tối ưu (kết hợp các hệ số MFCC, đạo hàm bậc 1-2, F0, phổ Mel, Spectral Contrast, Spectral Centroid, Chroma, Tonnetz) phù hợp với các thuộc tính âm học đặc thù của dân ca Việt Nam.
- Khảo sát toàn diện các mô hình phân lớp: Cung cấp kết quả thực nghiệm đối sánh có hệ thống giữa các thuật toán học máy truyền thống (SVM, GMM, i-vector PLDA) và các kiến trúc học sâu (CNN, LSTM, CRNN, GRU, RAN, DenseNet, CSN) trong bài toán định danh âm nhạc truyền thống và phân lớp thể loại âm nhạc.
- Đánh giá hiệu quả tăng cường dữ liệu: Chứng minh thực nghiệm tác động tích cực của các kỹ thuật chia đôi tệp, tạo tiếng vọng, thêm nhiễu trắng và biến đổi cao độ đối với việc nâng cao độ chính xác và giảm thiểu hiện tượng quá khớp (overfitting) của các mạng nơ-ron sâu.
Đóng góp về mặt thực tiễn
- Xây dựng bộ CSDL âm nhạc dân ca chuẩn: Thu thập, số hóa và gán nhãn thành công tập dữ liệu các làn điệu Chèo và Quan họ Bắc Ninh phục vụ nghiên cứu khoa học và ứng dụng công nghệ thông tin.
- Ứng dụng trong bảo tồn văn hóa và chuyển đổi số: Cung cấp công cụ tự động hóa quy trình phân loại, tìm kiếm và quản lý các tác phẩm âm nhạc truyền thống cho các thư viện số, viện lưu trữ âm nhạc và các nền tảng phân phối âm nhạc trực tuyến.
- Phục vụ giáo dục và phát triển nghệ thuật: Hỗ trợ công tác giảng dạy, phổ biến và giới thiệu các làn điệu dân gian cổ truyền cho thế hệ trẻ và công chúng thông qua các ứng dụng nhận dạng tự động.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế của nghiên cứu
- Phạm vi thể loại dân ca: Nghiên cứu thực nghiệm mới chỉ tập trung vào hai thể loại tiêu biểu của Bắc Bộ là Chèo và Quan họ Bắc Ninh; chưa bao phủ được toàn bộ các loại hình dân ca khác của ba miền (như Hát Xoan, Ca trù, Hát Văn, Ví dặm Nghệ Tĩnh, Ca Huế, Hò/Lý Nam Bộ, âm nhạc cồng chiêng Tây Nguyên...).
- Quy mô tập mẫu: Số lượng bản ghi âm gốc của một số làn điệu hiếm còn hạn chế, phụ thuộc vào các kỹ thuật tăng cường dữ liệu nhân tạo.
Hướng nghiên cứu tiếp
- Tiếp tục mở rộng việc thu thập và số hóa dữ liệu cho nhiều thể loại dân ca khác trên khắp các vùng miền của Việt Nam.
- Nghiên cứu tích hợp các kỹ thuật trích xuất đặc trưng mới và tối ưu hóa thêm cấu trúc các mô hình học sâu nhằm nâng cao tốc độ xử lý và độ chính xác định danh.
- Xây dựng các ứng dụng thực tế trên thiết bị di động và nền tảng web phục vụ tra cứu, nhận dạng tự động làn điệu dân ca cho cộng đồng.
Giá trị tham khảo
- Đối với nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành CNTT, Kỹ thuật Máy tính, Xử lý tín hiệu: Luận án là tài liệu tham khảo chi tiết về quy trình trích xuất đặc trưng âm thanh số (MFCC, Spectral features, Mel spectrogram), thiết lập mô hình GMM, i-vector, cũng như kỹ thuật cài đặt các mạng học sâu (CNN, LSTM, CRNN, RAN, CSN, DenseNet) trong bài toán phân loại chuỗi thời gian và xử lý tín hiệu âm thanh.
- Đối với các nhà nghiên cứu âm nhạc học và bảo tồn di sản văn hóa: Phần tổng quan về hệ thống 190 làn điệu Chèo, 213 làn điệu Quan họ và bảng so sánh 14 tiêu chí kỹ thuật thanh nhạc cổ truyền cung cấp góc nhìn liên ngành giữa âm nhạc học truyền thống và kỹ thuật xử lý tín hiệu hiện đại.
- Đối với các kỹ sư phát triển phần mềm và nhà quản trị CSDL nhạc số: Cung cấp phương pháp luận và thuật toán thực tế để xây dựng các module phân lớp, lập chỉ mục và truy xuất thông tin tự động cho các hệ thống âm nhạc số.
Câu hỏi thường gặp
1. Luận án sử dụng những nhóm đặc trưng âm học nào để định danh làn điệu dân ca?
Tác giả sử dụng hệ thống đặc trưng đa dạng bao gồm:
- Đặc trưng thống kê: Mean, Variance, Standard Deviation, Skewness, Kurtosis.
- Đặc trưng miền thời gian: RMS (giá trị hiệu dụng), Energy (năng lượng), ZCR (tỷ lệ cắt qua trục không).
- Đặc trưng âm sắc: Các hệ số MFCC cùng đạo hàm bậc 1 ($\Delta$) và bậc 2 ($\Delta\Delta$).
- Đặc trưng miền phổ: Spectral Centroid (trọng tâm phổ), Spectral Contrast (tương phản phổ), Spectral Rolloff (suy giảm phổ), Spectral Bandwidth (băng thông phổ), Spectral Flux (luồng phổ).
- Các tham số bổ sung: F0 và các biến thể của F0, phổ Mel, Pitch, Tonnetz và Chroma.
2. Hệ thống làn điệu Chèo và Quan họ được phân loại như thế nào trong luận án?
- Chèo: Có khoảng 190 làn điệu được chia thành 10 hệ thống: Đối đáp trữ tình (22 điệu), Đường trường (17 điệu), Sắp (29 điệu), Hề (28 điệu), Ra trò (36 điệu), Vãn/thảm (10 điệu), Nói sử (10 điệu), Sa lệch (5 điệu), Nói/vỉa/ngâm vịnh (9 điệu) và các bài ca lẻ.
- Quan họ: Có 213 làn điệu với hơn 400 bài ca được chia thành 3 hệ thống giọng: Giọng Lề lối (10 làn điệu), Giọng Vặt (183 làn điệu) và Giọng Giã bạn (20 làn điệu).
3. Tác giả áp dụng các phương pháp tăng cường dữ liệu (Data Augmentation) nào?
Luận án áp dụng 4 phương pháp tăng cường dữ liệu âm thanh:
- Chia đôi các tệp dữ liệu âm nhạc gốc.
- Tạo tiếng vọng (creating echo) mô phỏng không gian phòng.
- Cộng nhiễu trắng (adding white noise) với mức tỷ số tín hiệu trên nhiễu (SNR) xác định.
- Thay đổi cao độ (changing pitch) lên nửa cung và một cung.
4. Những kiến trúc học sâu nào được khảo sát trong luận án?
Luận án khảo sát nhiều kiến trúc học sâu:
- Mạng nơ-ron tích chập (CNN) và Mạng nơ-ron hồi quy kết hợp tích chập (CRNN).
- Bộ nhớ ngắn hạn dài (LSTM) và Đơn vị hồi quy có cổng (GRU).
- Mạng chú ý phần dư (Residual Attention Network - RAN).
- Mạng tích chập kết nối dày đặc (DenseNet169).
- Mạng nơ-ron viên nang (Capsule Neural Network - CSN) sử dụng thuật toán định tuyến động.
5. Khả năng tổng quát hóa của các mô hình được kiểm chứng trên những bộ dữ liệu nào?
Ngoài bộ dữ liệu dân ca tự xây dựng (Chèo và Quan họ), luận án kiểm chứng khả năng tổng quát hóa của mô hình trên tập dữ liệu nhạc Việt từ cuộc thi Zalo AI Challenge 2018 và hai bộ dữ liệu chuẩn quốc tế là GTZAN (gồm 10 thể loại âm nhạc) và FMA_SMALL (thuộc cơ sở dữ liệu Free Music Archive).
Kết luận
Luận án tiến sĩ "Định danh tự động một số làn điệu dân ca Việt Nam" của tác giả Chu Bá Thành là công trình nghiên cứu hoàn chỉnh, giải quyết bài toán định danh và phân loại tự động hai loại hình âm nhạc dân gian tiêu biểu là Chèo và Quan họ Bắc Ninh bằng các kỹ thuật xử lý tín hiệu số kết hợp học máy và học sâu. Tác giả đã thành công trong việc xây dựng bộ dữ liệu âm thanh chuẩn hóa, thiết lập hệ thống trích xuất đặc trưng âm học đa tầng và tiến hành thực nghiệm đối sánh trên nhiều mô hình phân lớp hiện đại (GMM, i-vector PLDA, CNN, LSTM, CRNN, RAN, DenseNet, CSN). Kết quả thực nghiệm trên dữ liệu dân ca Việt Nam và các bộ dữ liệu chuẩn quốc tế (GTZAN, FMA_SMALL) đã chứng minh tính đúng đắn của phương pháp tiếp cận, mở ra hướng ứng dụng thiết thực trong việc số hóa, quản trị cơ sở dữ liệu nhạc số và bảo tồn di sản văn hóa phi vật thể của dân tộc.