Nghiên Cứu Nhận Dạng Giọng Nói Tiếng Việt Đa Phương Ngữ

Khóa luận nghiên cứu về phân loại và nhận dạng giọng nói tiếng Việt đa phương ngữ, ứng dụng trong khoa học dữ liệu và công nghệ AI.

• Tác giả: Đinh Văn Nguyên
• Người hướng dẫn: ThS. Nguyễn Văn Kiệt
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Khoa học Dữ liệu
• Đề tài: Nghiên Cứu Nhận Dạng Giọng Nói Tiếng Việt Đa Phương Ngữ
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. Tổng quan về phân loại phương ngữ
• 1.2. Phương pháp truyền thống
• 1.3. Phương pháp hiện đại
• 1.4. Tính ứng dụng của nghiên cứu
• 1.5. Phân công thực hiện
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Các bộ dữ liệu đa phương ngữ trên thế giới
• 2.2. Các bộ dữ liệu đa phương ngữ trên tiếng Việt
• 3. CHƯƠNG 3: NGỮ ÂM VIỆT NAM
• 3.1. Sơ lược về âm tiết tiếng Việt
• 3.2. Sự khác biệt giữa phương ngữ Bắc Bộ, Trung Bộ và Nam Bộ
• 4. CHƯƠNG 4: BỘ DỮ LIỆU ViMD
• 4.1. Định nghĩa bộ dữ liệu
• 4.2. Quy trình xây dựng bộ dữ liệu
• 4.3. Thống kê tổng quan
• 4.4. Thống kê theo phương ngữ
• 4.5. Thống kê theo giới tính
• 4.6. Đánh giá chất lượng bộ dữ liệu
• 4.7. Hạn chế bộ dữ liệu
• 5. CHƯƠNG 5: CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Các mô hình sử dụng
• 5.2. Thiết kế thử nghiệm
• 5.3. Phân loại phương ngữ
• 5.4. Nhận dạng giọng nói
• 5.5. Tiền xử lý dữ liệu
• 5.6. Lựa chọn mô hình, cài đặt thử nghiệm
• 5.7. Kết quả thử nghiệm
• 5.8. Phân tích lỗi
• 6. CHƯƠNG 6: THẢO LUẬN
• 6.1. Ảnh hưởng của yếu tố địa lý đến các phương ngữ
• 6.2. Hạn chế của mô hình hiện nay đối với tác vụ nhận dạng giọng nói đa phương ngữ
• 7. CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Nghiên Cứu Nhận Dạng Giọng Nói Tiếng Việt Đa Phương Ngữ

Nghiên cứu nhận dạng giọng nói tiếng Việt đa phương ngữ là một lĩnh vực đang thu hút sự quan tâm lớn trong cộng đồng nghiên cứu. Tiếng Việt, với ba nhóm phương ngữ chính là Bắc Bộ, Trung Bộ và Nam Bộ, mang đến nhiều thách thức cho các hệ thống nhận dạng giọng nói. Việc phân loại và nhận dạng giọng nói không chỉ giúp cải thiện độ chính xác mà còn mở ra nhiều ứng dụng thực tiễn trong giao tiếp giữa người và máy.

1.1. Đặc điểm ngôn ngữ và phương ngữ tiếng Việt

Tiếng Việt có cấu trúc ngữ âm phong phú với nhiều phương ngữ khác nhau. Mỗi phương ngữ không chỉ khác nhau về từ vựng mà còn về ngữ âm, tạo ra những thách thức lớn cho việc nhận dạng giọng nói.

1.2. Tầm quan trọng của nghiên cứu nhận dạng giọng nói

Nghiên cứu này không chỉ giúp cải thiện các ứng dụng công nghệ mà còn góp phần vào việc bảo tồn và phát triển ngôn ngữ tiếng Việt trong bối cảnh toàn cầu hóa.

II. Vấn đề và Thách thức trong Nhận Dạng Giọng Nói Tiếng Việt

Mặc dù có nhiều tiến bộ trong công nghệ nhận dạng giọng nói, nhưng việc áp dụng cho tiếng Việt vẫn gặp nhiều khó khăn. Sự đa dạng về phương ngữ và cách phát âm khác nhau giữa các vùng miền là một trong những thách thức lớn nhất.

2.1. Sự đa dạng về phương ngữ và ảnh hưởng đến nhận dạng

Mỗi phương ngữ có những đặc điểm riêng biệt, ảnh hưởng đến khả năng nhận dạng của các hệ thống. Điều này dẫn đến việc cần thiết phải phát triển các mô hình phù hợp với từng phương ngữ.

2.2. Hạn chế của các bộ dữ liệu hiện có

Các bộ dữ liệu hiện tại chủ yếu tập trung vào ba nhóm phương ngữ chính, thiếu sự bao quát cho tất cả 63 tỉnh thành, gây khó khăn cho việc phát triển các mô hình nhận dạng chính xác.

III. Phương Pháp Nghiên Cứu Nhận Dạng Giọng Nói Đa Phương Ngữ

Để giải quyết các thách thức trong nhận dạng giọng nói tiếng Việt, nhiều phương pháp hiện đại đã được áp dụng. Các mô hình học sâu và kỹ thuật xử lý tín hiệu âm thanh đã cho thấy hiệu quả cao trong việc phân loại và nhận dạng giọng nói.

3.1. Các mô hình học sâu trong nhận dạng giọng nói

Mô hình như CNN, RNN và LSTM đã được sử dụng để cải thiện độ chính xác trong nhận dạng giọng nói. Những mô hình này giúp khai thác các đặc trưng âm thanh phức tạp từ dữ liệu.

3.2. Kỹ thuật tiền xử lý dữ liệu

Tiền xử lý dữ liệu là bước quan trọng giúp cải thiện chất lượng đầu vào cho các mô hình. Việc trích xuất các đặc trưng âm thanh như MFCCs và Spectral centroid là cần thiết để tối ưu hóa hiệu suất.

IV. Ứng Dụng Thực Tiễn của Nhận Dạng Giọng Nói Tiếng Việt

Nhận dạng giọng nói tiếng Việt đa phương ngữ có nhiều ứng dụng thực tiễn trong đời sống. Từ việc hỗ trợ giao tiếp đến các ứng dụng trong giáo dục và công nghệ thông tin, nghiên cứu này mở ra nhiều cơ hội mới.

4.1. Ứng dụng trong giao tiếp giữa người và máy

Hệ thống nhận dạng giọng nói giúp cải thiện trải nghiệm người dùng trong các ứng dụng như trợ lý ảo và dịch vụ khách hàng, tạo điều kiện thuận lợi cho giao tiếp.

4.2. Ứng dụng trong giáo dục và đào tạo

Công nghệ nhận dạng giọng nói có thể được áp dụng trong giáo dục, giúp học sinh cải thiện kỹ năng ngôn ngữ và phát âm thông qua các ứng dụng học tập tương tác.

V. Kết Luận và Hướng Phát Triển Tương Lai

Nghiên cứu nhận dạng giọng nói tiếng Việt đa phương ngữ đã đạt được những kết quả đáng khích lệ. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết trong tương lai để nâng cao hiệu suất của các hệ thống nhận dạng.

5.1. Đánh giá kết quả nghiên cứu

Kết quả nghiên cứu cho thấy sự cải thiện đáng kể trong khả năng nhận dạng giọng nói khi áp dụng các mô hình học sâu. Tuy nhiên, cần tiếp tục nghiên cứu để tối ưu hóa hơn nữa.

5.2. Định hướng nghiên cứu trong tương lai

Hướng nghiên cứu tiếp theo sẽ tập trung vào việc phát triển các bộ dữ liệu đa dạng hơn và cải thiện các mô hình nhận dạng giọng nói để đáp ứng tốt hơn nhu cầu thực tiễn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực xử lý tín hiệu âm thanh và ngôn ngữ tự nhiên, công nghệ phân loại phương ngữ (Dialect Identification - DI) và nhận dạng giọng nói tự động (Automatic Speech Recognition - ASR) đóng vai trò nền tảng cho việc tối ưu hóa giao tiếp người - máy. Mặc dù các hệ thống nhận dạng giọng nói hiện đại đã hỗ trợ đa ngôn ngữ, việc triển khai trên dữ liệu tiếng Việt vẫn đối mặt với nhiều rào cản kỹ thuật xuất phát từ tính đa dạng phương ngữ. Tiếng Việt được chia thành ba vùng phương ngữ chính gồm Bắc Bộ, Trung Bộ và Nam Bộ, song mỗi tỉnh thành lại có các biến thể phát âm và từ vựng đặc thù. Sự khác biệt này làm suy giảm độ chính xác của các mô hình nhận dạng giọng nói tiêu chuẩn. Thêm vào đó, tiếng Việt là ngôn ngữ tài nguyên thấp (low-resource language) trong mảng dữ liệu tiếng nói gắn nhãn phương ngữ; hầu hết các tập dữ liệu hiện có chỉ phân chia theo ba miền với quy mô hạn chế, thiếu vắng nguồn dữ liệu chi tiết cho từng đơn vị hành chính cấp tỉnh.

Trước thực trạng đó, khóa luận tốt nghiệp ngành Khoa học Dữ liệu với đề tài "Nghiên cứu về phân loại và nhận dạng giọng nói tiếng Việt đa phương ngữ" do sinh viên Đinh Văn Nguyên và Đặng Chí Thành thực hiện (Trường Đại học Công nghệ Thông tin, ĐHQG-HCM, năm 2024) tập trung giải quyết các bài toán sau:

Mục tiêu nghiên cứu (được đánh số theo văn bản):

1. Xây dựng bộ dữ liệu đa phương ngữ: Thiết lập bộ dữ liệu tiếng nói tiếng Việt toàn diện, chất lượng cao mang tên ViMD (Vietnamese Multi-Dialect), bao gồm âm thanh và bản phiên âm tương ứng của toàn bộ 63 tỉnh, thành phố tại Việt Nam.
2. Thử nghiệm các mô hình: Tiến hành tinh chỉnh và đánh giá các mô hình học sâu tiên tiến trên hai tác vụ phân loại phương ngữ (với 05 cấu hình thử nghiệm) và nhận dạng giọng nói (với 04 cấu hình thử nghiệm), phân tích lỗi và đánh giá tác động thực tế của phương ngữ đến hiệu suất hệ thống.
3. Đặt ra vấn đề: Phân tích sâu về các yếu tố địa lý ảnh hưởng đến ngữ âm và chỉ ra các thách thức, hạn chế của các kiến trúc mô hình nhận dạng giọng nói hiện đại khi xử lý dữ liệu đa phương ngữ.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Dữ liệu tiếng nói và văn bản phiên âm tiếng Việt đa phương ngữ, các phương pháp trích xuất đặc trưng và kiến trúc học sâu phục vụ phân loại phương ngữ và nhận dạng giọng nói tự động.
• Phạm vi nghiên cứu: 63 phương ngữ tương ứng với 63 tỉnh, thành phố trên phạm vi cả nước; dữ liệu được thu thập từ các chương trình thời sự, phóng sự của Đài Phát thanh và Truyền hình các địa phương.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình tiếp cận

Khóa luận xây dựng hệ thống cơ sở lý thuyết dựa trên hai trụ cột: ngữ âm học tiếng Việt và các kiến trúc học máy/học sâu xử lý giọng nói:

• Cấu trúc âm tiết tiếng Việt: Phân tích mô hình âm tiết gồm ba thành phần chính: Phụ âm đầu (Initial), Vần (Final - gồm Âm đầu, Âm chính, Âm cuối) và Thanh điệu (Tone). Trong đó, Thanh điệu và Nguyên âm chính là hai thành phần bắt buộc cấu thành âm tiết.
• Phân loại phương ngữ (DI): Tiếp cận từ các phương pháp truyền thống kết hợp trích xuất đặc trưng âm học (MFCCs, Chromagram, Zero-crossing, $F_0$, Spectral centroid, Spectral roll-off) với các mô hình máy học (GMM, HMM, SVM, TDNN) đến các kiến trúc hiện đại tích hợp cơ chế tập trung (Attention) như ECAPA-TDNN và Attentive Statistics Pooling (ASP).
• Nhận dạng giọng nói tự động (ASR): Đối sánh kiến trúc truyền thống (gồm mô hình âm thanh GMM-HMM/DNN, mô hình ngôn ngữ n-gram/Transformer/LSTM, mô hình phát âm) với các mô hình đầu cuối (End-to-End). Nhóm mô hình đầu cuối được chia thành hai nhánh chính: nhánh dựa trên CTC (Connectionist Temporal Classification) như wav2vec 2.0, XLSR-53, XLS-R và nhánh dựa trên bộ mã hóa - giải mã có cơ chế tập trung (AED - Attention-based Encoder-Decoder) như Whisper của OpenAI.

Phương pháp nghiên cứu thực nghiệm

Nghiên cứu áp dụng phương pháp thực nghiệm khoa học dữ liệu theo quy trình khép kín:

• Thu thập dữ liệu tự động: Sử dụng ngôn ngữ Python và các thư viện chuyên dụng (pytube, beautifulsoup4, selenium) để thu thập các bản tin, phóng sự từ kênh YouTube hoặc cổng thông tin chính thức của Đài Phát thanh - Truyền hình 63 tỉnh thành.
• Tách lọc và tiền xử lý âm thanh: Tách đoạn âm thanh dựa trên hình ảnh phỏng vấn người dân bản địa bằng công cụ Label Studio, loại bỏ giọng phát thanh viên/biên tập viên, chuẩn hóa định dạng WAV đơn kênh (mono), tần số lấy mẫu 16.000 Hz, giới hạn độ dài mỗi mẫu âm thanh $\le 10$ giây.
• Gán nhãn bán tự động và kiểm thử chéo: Sử dụng API của AssemblyAI để tạo bản phiên âm sơ bộ, sau đó nhóm gán nhãn A (10 người đại diện 3 miền) hiệu chỉnh theo 3 quy tắc (chuyển số thành chữ, viết đầy đủ đơn vị đo, giữ nguyên từ vựng phương ngữ). Nhóm gán nhãn B (2 người độc lập) kiểm định ngẫu nhiên 20% dữ liệu; chỉ chấp nhận dữ liệu khi tỉ lệ lỗi từ (WER) giữa hai nhóm dưới 8%.
• Huấn luyện và đánh giá mô hình: Tinh chỉnh các mô hình tiền huấn luyện (wav2vec 2.0, XLSR, XLS-R, Whisper) trên tập dữ liệu được phân chia theo tỉ lệ 8:1:1 (Train/Validation/Test). Đánh giá tác vụ phân loại phương ngữ bằng chỉ số $F_1$-macro và tác vụ nhận dạng giọng nói bằng chỉ số WER (Word Error Rate).

Nguồn dữ liệu

Nguồn dữ liệu sơ cấp được thu thập từ kênh truyền thông chính thống của 63 Đài Phát thanh và Truyền hình tỉnh/thành phố tại Việt Nam. Mã định danh tỉnh/thành phố được chuẩn hóa căn cứ theo quy định tại Thông tư số 58/2020/TT-BCA của Bộ Công an.

---

Nội dung chính theo từng chương

Chương 1: Giới thiệu chung về phân loại phương ngữ và nhận dạng giọng nói

Chương này tổng quan về lịch sử phát triển của các kỹ thuật xử lý tiếng nói, đối sánh chi tiết giữa phương pháp truyền thống và hiện đại. Tác giả phân tích các thách thức cốt lõi đối với tiếng Việt: tính phức tạp đa phương ngữ, sự thiếu hụt dữ liệu chuẩn hóa cấp tỉnh và hiện tượng ngôn ngữ tài nguyên thấp. Đồng thời, chương 1 khẳng định tính ứng dụng thực tiễn của đề tài trong các hệ thống tương tác người - máy, trợ lý ảo và xác thực người nói, kèm bảng phân công và tiến độ triển khai khóa luận từ tháng 01/2024 đến tháng 07/2024.

Chương 2: Các công trình nghiên cứu liên quan

Tác giả khảo cứu các tập dữ liệu giọng nói đa phương ngữ trên thế giới (QASR tiếng Ả Rập, KeSpeech tiếng Trung, STT4SG-350 tiếng Đức Thụy Sĩ, Thai Dialect Corpus tiếng Thái) và tại Việt Nam (VIVOS, VinBigdata-VLSP2020, FOSD, VNSpeechCorpus, VDSPEC, ViASR, LSVSC). Qua phân tích, nhóm nghiên cứu chỉ ra rằng các bộ dữ liệu tiếng Việt hiện có đều có quy mô nhỏ, quyền truy cập hạn chế, phân bố lệch miền hoặc chỉ dừng lại ở việc phân chia 3 đến 5 nhóm khu vực lớn, chưa bao quát được 63 tỉnh thành.

Tên bộ dữ liệu	Phong cách	Thời lượng	Quyền truy cập	Số lượng phương ngữ	Phân loại phương ngữ	Nhận dạng giọng nói
VNSpeechCorpus (2004)	Đọc	100 giờ	Hạn chế	3	Không	Không
VDSPEC (2016)	Đọc	45,12 giờ	Hạn chế	3	Có	Không
ViASR (2023)	Tự nhiên	32 giờ	Hạn chế	3	Không	Có
LSVSC (2024)	Tự nhiên	100,5 giờ	Công khai	5	Không	Có
ViMD (Khóa luận)	Tự nhiên	102,56 giờ	Công khai	63	Có	Có

Chương 3: Ngữ âm Việt Nam

Chương 3 trình bày cấu trúc âm tiết tiếng Việt gồm 6 thanh điệu (ngang, huyền, sắc, hỏi, ngã, nặng) và phân tích các đặc trưng ngữ âm khác biệt giữa ba miền Bắc, Trung, Nam:

• Phương ngữ Bắc Bộ: 20 phụ âm đầu, 6 thanh điệu đầy đủ, 10 phụ âm cuối; xuất hiện hiện tượng lẫn lộn phụ âm đầu "l" và "n" ở một số địa phương.
• Phương ngữ Trung Bộ: 23 phụ âm đầu, 5 thanh điệu (thanh ngã phát âm gần giống thanh nặng; riêng một số vùng như Nghệ An chỉ có 3-4 thanh điệu), 10 phụ âm cuối; có sự biến đổi nguyên âm (ví dụ Quảng Nam phát âm "a" thành "o", như "tám" thành "tóm").
• Phương ngữ Nam Bộ: 21 phụ âm đầu, 5 thanh điệu (đồng nhất thanh hỏi và thanh ngã), 8 phụ âm cuối; thường không phân biệt phụ âm cuối "m" và "ng" (như "lươn" và "lương"). Chương này cũng tổng hợp các cặp từ vựng đồng nghĩa nhưng khác biệt theo vùng miền (như bố/thầy/bọ/ba/tía, mẹ/u/mạ/me, thế nào/răng/sao).

Chương 4: Bộ dữ liệu ViMD

Trình bày chi tiết quy trình 5 bước xây dựng bộ ngữ liệu ViMD và phân tích các số liệu thống kê định lượng. Bộ dữ liệu đạt quy mô 102,56 giờ âm thanh tự nhiên từ 18.949 bản ghi của hơn 12.000 người nói, tương ứng 1.234.167 từ (tập từ vựng gồm 5.155 từ duy nhất). Phân chia tập dữ liệu tuân thủ nghiêm ngặt tỉ lệ 8:1:1 dựa trên thời lượng, giới tính và bảo đảm tính duy nhất của người nói giữa các tập (speaker-independent).

Phân loại ngữ liệu	Thời lượng (giờ)	Số bản ghi	Số người nói	Số từ	Số từ duy nhất
Tập huấn luyện (Train)	81,43	15.084	-	981.650	4.813
Tập phát triển (Valid)	10,26	1.884	-	122.951	2.660
Tập kiểm thử (Test)	10,87	1.981	-	129.566	2.723
Toàn bộ dữ liệu (Tổng cộng)	102,56	18.949	> 12.000	1.234.167	5.155
- Miền Bắc (25 tỉnh)	40,59	7.378	-	-	701 (từ riêng)
- Miền Trung (19 tỉnh)	31,47	5.922	-	-	649 (từ riêng)
- Miền Nam (19 tỉnh)	30,50	5.649	-	-	502 (từ riêng)

Chất lượng bộ dữ liệu được đánh giá dựa trên 5 tiêu chuẩn: Tính đúng-đủ, Tính đa dạng, Tính nhất quán, Tính minh bạch và Tính cập nhật.

Chương 5: Cài đặt, kết quả và đánh giá

Chương 5 mô tả chi tiết thiết lập kỹ thuật cho các mô hình tiền huấn luyện gồm wav2vec 2.0, XLSR-53, XLS-R và Whisper.

• Tác vụ phân loại phương ngữ (DI): Tiến hành 05 thử nghiệm độc lập: [DI_VN_3] (phân loại 3 miền trên toàn bộ dữ liệu), [DI_North] (phân loại 25 tỉnh miền Bắc), [DI_Central] (phân loại 19 tỉnh miền Trung), [DI_South] (phân loại 19 tỉnh miền Nam) và [DI_VN_63] (phân loại chi tiết 63 tỉnh thành). Đánh giá dựa trên $F_1$-macro để bảo đảm công bằng giữa các lớp.
• Tác vụ nhận dạng giọng nói (ASR): Thiết kế 04 kịch bản đánh giá: [SR_North], [SR_Central], [SR_South] và [SR_VN_63], so sánh hiệu suất giữa suy luận gốc (zero-shot inference) và sau khi tinh chỉnh (fine-tuning) trên ViMD, đo lường bằng chỉ số WER.

Chương 6: Thảo luận

Tác giả thảo luận về mối liên hệ giữa yếu tố địa lý và phương ngữ: các tỉnh miền Trung có dải phương ngữ phân hóa phức tạp do địa hình kéo dài và hẹp; các địa phương ven biển hoặc cận ven biển thể hiện đặc trưng ngữ âm địa phương rõ nét và ổn định hơn so với các vùng nội địa. Phân tích cũng chỉ ra rằng các kiến trúc mô hình nhận dạng giọng nói tiên tiến hiện nay vẫn gặp hạn chế khi xử lý các phương ngữ có độ biến thiên cao nếu không có cơ chế thích ứng phương ngữ chuyên biệt.

Chương 7: Kết luận và hướng phát triển

Tổng kết toàn diện các kết quả đạt được, chỉ ra các đóng góp khoa học và đề xuất các hướng nghiên cứu mở rộng trong tương lai.

---

Kết quả và đóng góp

Kết quả nghiên cứu chính

• Xây dựng hoàn chỉnh bộ ngữ liệu giọng nói đa phương ngữ ViMD với thời lượng 102,56 giờ, 18.949 tệp âm thanh, phủ đủ 63 tỉnh thành thuộc 3 miền địa lý của Việt Nam.
• Thiết lập điểm chuẩn thực nghiệm (benchmark) toàn diện cho hai bài toán DI (5 thử nghiệm) và ASR (4 thử nghiệm).
• Kết quả thực nghiệm chứng minh việc tinh chỉnh các mô hình học sâu (như Whisper, wav2vec 2.0, XLS-R) trên bộ dữ liệu ViMD giúp cải thiện đáng kể độ chính xác nhận dạng so với mô hình gốc, giảm thiểu tỷ lệ lỗi từ (WER) trên các phương ngữ địa phương khó.
• Xác lập phân tích định lượng về sự giao thoa từ vựng: trong 5.155 từ duy nhất của bộ dữ liệu, có 2.503 từ được sử dụng chung ở cả ba miền; độ giao thoa từ vựng giữa các miền liền kề (Bắc - Trung: 319 từ; Trung - Nam: 226 từ) cao hơn rõ rệt so với hai miền cách xa (Bắc - Nam: 215 từ).

Đóng góp mới của tác giả

1. Về mặt dữ liệu: Công bố bộ dữ liệu giọng nói tiếng Việt đầu tiên bao phủ toàn bộ 63 tỉnh thành với thông tin siêu dữ liệu phong phú (mã tỉnh, vùng miền, người nói, giới tính, độ dài).
2. Về mặt thực nghiệm: Cung cấp bộ điểm chuẩn chi tiết cho các mô hình SOTA trong xử lý tiếng nói đa phương ngữ tiếng Việt; đưa ra các ma trận nhầm lẫn và phân tích lỗi phiên âm chi tiết theo từng vùng địa lý.
3. Về mặt lý luận và ứng dụng: Chứng minh tác động của vị trí địa lý (đặc biệt là khu vực miền Trung và các tỉnh ven biển) đến ngữ âm, đồng thời chỉ ra giới hạn của các mô hình ASR hiện tại khi xử lý bài toán đa phương ngữ tiếng Việt.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

• Giả định về người bản địa: Nghiên cứu dựa trên giả định người dân xuất hiện trên bản tin truyền hình địa phương nói phương ngữ của tỉnh đó; tuy nhiên trong thực tế có hiện tượng di cư tạo ra các "phương ngữ lai" hoặc người nói vẫn giữ phương ngữ gốc nơi sinh sống trước đây.
• Mất cân bằng giới tính: Dữ liệu thu thập ngẫu nhiên dẫn đến thời lượng và số lượng người nói nam giới cao gấp khoảng 3 lần so với nữ giới.
• Sai sót trong phiên âm: Do một số từ ngữ địa phương có cách phát âm và từ vựng quá đặc thù, bản phiên âm vẫn tồn tại một tỉ lệ sai lệch nhỏ dù đã kiểm soát qua ngưỡng WER < 8%.

Hướng phát triển tiếp theo

• Mở rộng quy mô và thời lượng bộ dữ liệu ViMD, tiếp tục cân bằng tỉ trọng giới tính giữa các tỉnh thành.
• Nghiên cứu các kiến trúc mô hình học sâu mới tích hợp cơ chế nhận biết phương ngữ (dialect-aware ASR) nhằm tối ưu hóa hiệu suất nhận dạng trên các vùng có ngữ âm phức tạp.
• Ứng dụng bộ dữ liệu vào các bài toán mở rộng như xác thực người nói (speaker verification), nhận diện người nói (speaker identification) và tương tác giọng nói người - máy theo ngữ cảnh địa phương.

---

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo chuyên môn đối với:

• Sinh viên và nhà nghiên cứu ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo, Công nghệ Thông tin: Tham khảo quy trình xây dựng, gán nhãn và kiểm định chất lượng bộ dữ liệu âm thanh (Chương 4); phương pháp thiết kế thử nghiệm, tinh chỉnh và đánh giá các mô hình học sâu wav2vec 2.0, XLS-R, Whisper cho bài toán DI và ASR (Chương 5).
• Nhà nghiên cứu Ngôn ngữ học ứng dụng và Ngữ âm học tiếng Việt: Tham khảo bức tranh tổng thể về đặc trưng ngữ âm, thanh điệu, phụ âm và sự phân bố từ vựng dị biệt giữa 63 tỉnh thành trên cả nước (Chương 3 và Chương 6).

---

Câu hỏi thường gặp

1. Bộ dữ liệu ViMD có quy mô và cấu trúc phân chia như thế nào?
Bộ dữ liệu ViMD có tổng thời lượng 102,56 giờ âm thanh tự nhiên từ 18.949 bản ghi của hơn 12.000 người nói trên 63 tỉnh thành, chứa 1.234.167 từ với 5.155 từ vựng duy nhất. Dữ liệu được chia thành ba tập: Huấn luyện (81,43 giờ), Phát triển (10,26 giờ) và Kiểm thử (10,87 giờ) theo tỉ lệ 8:1:1, bảo đảm không trùng lặp người nói giữa các tập.

2. Quy trình kiểm soát chất lượng gán nhãn lời thoại trong khóa luận được thực hiện ra sao?
Quy trình gán nhãn được thực hiện bán tự động: sử dụng API của AssemblyAI để sinh lời thoại ban đầu, sau đó Nhóm A (10 người đại diện 3 miền) chỉnh sửa thủ công theo 3 quy tắc chuẩn hóa. Tiếp theo, Nhóm B (2 người độc lập) gán nhãn ngẫu nhiên 20% mẫu để tính chỉ số WER đối sánh; bản gán nhãn chỉ được chấp nhận khi đạt chỉ số WER dưới 8%.

3. Sự khác biệt cơ bản về hệ thống phụ âm và thanh điệu giữa ba miền được tác giả tổng hợp như thế nào?
Phương ngữ Bắc Bộ sử dụng 20 phụ âm đầu, 10 phụ âm cuối và 6 thanh điệu hoàn chỉnh. Phương ngữ Trung Bộ có hệ thống phụ âm đầu đa dạng nhất với 23 phụ âm, 10 phụ âm cuối và 5 thanh điệu (thanh ngã gần giống thanh nặng, một số vùng chỉ có 3-4 thanh). Phương ngữ Nam Bộ gồm 21 phụ âm đầu, 8 phụ âm cuối và 5 thanh điệu (thanh hỏi và thanh ngã phát âm giống nhau).

4. Những mô hình học sâu nào được sử dụng để thiết lập điểm chuẩn thực nghiệm?
Khóa luận sử dụng các mô hình học sâu tiên tiến gồm: wav2vec 2.0 (mô hình học tự giám sát dựa trên CTC), XLSR-53 và XLS-R (các biến thể đa ngôn ngữ của wav2vec 2.0) và Whisper (kiến trúc mã hóa - giải mã chuỗi dựa trên Transformer từ OpenAI).

5. Nghiên cứu chỉ ra những hạn chế chính nào của bộ dữ liệu ViMD?
Ba hạn chế chính được ghi nhận gồm: tồn tại hiện tượng người di cư nói phương ngữ lai làm ảnh hưởng đến tính đại diện thuần nhất của địa phương; sự mất cân bằng về giới tính khi thời lượng và số lượng người nói nam cao gấp 3 lần nữ; và một số sai sót nhỏ khó tránh khỏi trong phiên âm các từ ngữ địa phương quá đặc thù.

---

Kết luận

Khóa luận tốt nghiệp của Đinh Văn Nguyên và Đặng Chí Thành đã giải quyết trọn vẹn bài toán thiếu hụt tài nguyên ngữ liệu tiếng nói đa phương ngữ tại Việt Nam thông qua việc xây dựng thành công bộ dữ liệu ViMD với quy mô 102,56 giờ bao phủ 63 tỉnh thành. Các thử nghiệm tinh chỉnh trên các kiến trúc học sâu như wav2vec 2.0, XLS-R và Whisper không chỉ thiết lập bộ điểm chuẩn chuẩn mực cho hai tác vụ phân loại phương ngữ và nhận dạng giọng nói mà còn cung cấp cơ sở thực nghiệm rõ ràng về tác động của yếu tố địa lý đến ngữ âm tiếng Việt. Công trình là tài liệu tham khảo có giá trị cao cho việc nghiên cứu và phát triển các hệ thống xử lý ngôn ngữ và tiếng nói tiếng Việt trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu chung — Khái quát về lịch sử phát triển cũng như * “Ww các tiễn bộ trong lĩnh vực phân loại phương ngữ và nhận dạng giọng nói. Bên cạnh đó, nhóm cũng trình bày các thách thức phải đối mặt cũng như làm rõ, khang định tính cấp thiết và khả năng ứng dụng của đề tài. Chương 2: Các công trình liên quan - Giới thiệu và phân tích các bộ dữ liệu về phương ngữ đã được xây dựng trên toàn cầu và trong nước. Xem xét và nhận định các mặt hạn chế của những nghiên cứu ổi trước, rút ra kinh nghiệm quan trọng cho việc thiết lập và xây dựng bộ dữ liệu giọng nói phương ngữ tiếng Việt, cung cấp tiền đề vững chắc, chất lượng cho các công việc trong đề tài.

> + Chương 3: Ngữ âm Việt Nam - Tổng hợp các nội dung cơ bản, quan trọng về cấu trúc và các đặc trưng âm tiết tiếng Việt, bao gồm các thành phần như âm đầu, âm cuối và thanh điệu. Đồng thời, trình bày sự đặc trưng của các yếu tô này giữa các phương ngữ khác nhau, thông qua đó cung cấp cơ sở cho quá trình đánh giá kết quả và phân tích lỗi. Ww Chương 4: Bộ dữ liệu ViMD - Mô tả chỉ tiết về quy trình xây dựng bộ dữ liệu đa phương ngữ. Từ dữ liệu đó, chúng tôi trực quan các thống kê từ tông quan cho đến chi tiết về phương ngữ tỉnh, phương ngữ vùng, giới tính.

Ngoài ra, chúng tôi còn đề cập đến những mặt hạn chế mà bộ dit liệu gặp phải. s%* >, Chương 5: Cài đặt, thử nghiệm và đánh giá — Giới thiệu về các mô hình được sử dụng, cách thức thiết kế thử nghiệm cụ thé và phương pháp tiền xử lý dữ liệu trên hai tác vụ là Phân loại phương ngữ và Nhận dạng giọng nói. Bên cạnh đó, chúng tôi cũng trình bày chi tiết về độ đo, mô hình cụ thé cũng như phân tích các kết quả nồi bật và lỗi trong quá trình thử nghiệm nhằm chứng minh sự thách thức cũng như tầm quan trọng của bộ dữ liệu trong việc cải thiện các mô hình tiên tiến. Các siêu tham số của mô hình cũng sẽ được chúng tôi trình bày, nhằm bảo đảm tính minh bạch va kha năng tai tạo két qua.

* > Chương 6: Thao luận — Một s6 thao luan, suy đoán được tiến hành dựa trên kết quả thu được nhằm tìm hiểu kỹ hơn về các yếu tổ tác động đến phương ngữ. Đồng thời, hạn chế của cách tiếp cận hiện nay đối với tác vụ nhận dạng giọng nói đa phương ngữ cũng được chúng tôi trình bày. 2€ +, Chương 7: Kết luận và hướng phát triển - Tổng hợp, đánh giá các đóng góp của đề tài. Nêu ra hạn chế, từ đó đề xuất các hướng phát triển tiếp theo trong tương lai với mục tiêu tối ưu hiệu suất cho các tác vụ liên quan đến giọng nói tiếng Việt, đặc biệt là tác vụ nhận dạng giọng nói có yếu tố phương ngữ.

GIỚI THIEU CHUNG VE PHAN LOẠI PHƯƠNG NGỮ VÀ NHAN DẠNG GIỌNG NÓI 1. Tổng quan về phân loại phương ngữ Phương ngữ, hay còn gọi là tiếng địa phương, là một khái niệm quan trọng trong ngôn ngữ học và xử lý tín hiệu giọng nói. Khái niệm này đề cập đến sự khác biệt trong cách ngữ điệu, từ vựng và cách phát âm giữa các vùng địa lý khác nhau trong cùng một ngôn ngữ. Việc phân loại phương ngữ là quá trình xác định vùng địa lý hoặc nguồn gốc của một mẫu giọng nói dựa trên các đặc điểm ngôn ngữ và âm thanh đặc trưng.