Tổng quan luận án

Luận án tiến sĩ kỹ thuật với đề tài "Nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng Việt theo phương thức phát âm" được thực hiện bởi nghiên cứu sinh Phạm Ngọc Hưng dưới sự hướng dẫn khoa học của PGS. Trịnh Văn Loan và TS. Nguyễn Hồng Quang tại Viện Công nghệ Thông tin và Truyền thông, Trường Đại học Bách khoa Hà Nội.

Về tính cấp thiết và khoảng trống nghiên cứu, tác giả chỉ ra rằng trong lĩnh vực tương tác người - máy và xử lý tiếng nói, các hệ thống nhận dạng tự động tiếng nói (Automatic Speech Recognition - ASR) đối với tiếng Việt vẫn còn gặp nhiều hạn chế về độ chính xác và chất lượng nhận dạng khi triển khai vào các ứng dụng thực tế. Một trong những rào cản lớn nhất xuất phát từ sự đa dạng của các phương ngữ tiếng Việt. Giữa các vùng phương ngữ tồn tại sự khác biệt rõ rệt về cả từ vựng và ngữ âm. Về từ vựng, sự khác biệt thể hiện ở nguồn gốc hoặc biến thể cấu tạo từ (ví dụ: miền Bắc phân biệt "kính" và "gương", miền Nam dùng chung từ "kiếng", miền Trung dùng từ "gương"). Về ngữ âm, phương thức phát âm có sự biến đổi phụ âm cuối và nguyên âm (ví dụ: phương ngữ Nam biến đổi "nh", "ch" thành "n", "t", khiến "tịch" phát âm thành "tựt", "nhanh" thành "nhăn", "mình" thành "mừn"). Hầu hết các nghiên cứu về phương ngữ tiếng Việt trước đây chủ yếu tiếp cận dưới góc độ ngôn ngữ học thuần túy, trong khi các nghiên cứu tiếp cận theo hướng xử lý tín hiệu âm thanh và nhận dạng mẫu phục vụ ASR còn rất hạn chế.

Mục tiêu chính của luận án là nghiên cứu nhận dạng tiếng Việt nói cho các vùng phương ngữ chính, đánh giá ảnh hưởng của phương ngữ đến hiệu năng của hệ thống nhận dạng và đề xuất giải pháp kỹ thuật nhận dạng phương ngữ áp dụng vào hệ thống nhận dạng tiếng Việt nói nhằm nâng cao hiệu năng nhận dạng.

Để hoàn thành mục tiêu này, luận án thực hiện 4 nhiệm vụ nghiên cứu cụ thể được đánh số trong văn bản gồm:

  1. Nghiên cứu đặc điểm phương ngữ tiếng Việt từ đó xác định được các nét đặc trưng, sự khác biệt giữa các phương ngữ chính của tiếng Việt làm cơ sở cho nghiên cứu nhận dạng phương ngữ tiếng Việt; đánh giá sự ảnh hưởng của phương ngữ tới hệ thống nhận dạng tự động tiếng Việt nói.
  2. Xây dựng bộ ngữ liệu phương ngữ tiếng Việt phục vụ cho nghiên cứu nhận dạng phương ngữ tiếng Việt và nhận dạng tiếng Việt nói.
  3. Nghiên cứu, đề xuất mô hình hệ thống nhận dạng tự động, bộ tham số phù hợp để nhận dạng phương ngữ tiếng Việt.
  4. Nghiên cứu, đề xuất mô hình hệ thống nhận dạng tự động tiếng Việt nói theo phương ngữ chính của tiếng Việt, sử dụng các thông tin về phương ngữ nhằm nâng cao hiệu năng của hệ thống nhận dạng tiếng Việt nói.

Đối tượng và phạm vi nghiên cứu: Đối tượng nghiên cứu trọng tâm là nhận dạng phương ngữ tiếng Việt và xây dựng mô hình nhận dạng tiếng Việt nói phát âm liên tục có sử dụng thông tin phương ngữ. Về phạm vi không gian và đối tượng địa lý, luận án giới hạn nghiên cứu ở 3 vùng phương ngữ chính đại diện của tiếng Việt theo phương thức phát âm:

  • Phương ngữ Bắc (PNB), lấy giọng Hà Nội làm đại diện.
  • Phương ngữ Trung (PNT), lấy giọng Huế làm đại diện.
  • Phương ngữ Nam (PNN), lấy giọng Thành phố Hồ Chí Minh làm đại diện.

Về phạm vi kỹ thuật, nhận dạng phương ngữ được định vị là bước tiền xử lý diễn ra trước khi nhận dạng nội dung văn bản (khi chưa biết trước nội dung lời nói), do đó hệ thống tập trung khai thác các đặc trưng âm học của tín hiệu và phương thức phát âm thay vì thông tin từ vựng địa phương. Thử nghiệm nhận dạng phương ngữ được thực hiện trên tập ngữ liệu có vốn từ vựng giới hạn nhằm trích chọn các đặc trưng khu biệt.

Tổng quan tài liệu và vị trí của luận án

Luận án đã tổng hợp hệ thống tài liệu nghiên cứu trong và ngoài nước trên các hướng chính:

Các hướng nghiên cứu nhận dạng tiếng nói trên thế giới: Lịch sử nhận dạng tiếng nói ghi nhận sự hình thành của các mô hình thống kê, tiêu biểu là Mô hình Markov ẩn (Hidden Markov Model - HMM) do Baker và Jelinek đưa ra từ đầu thập niên 1970 cùng các thuật giải tối đa hóa kỳ vọng (Expectation Maximization - EM), thuật giải Baum - Welch; mô hình ngôn ngữ N-gram. Các kỹ thuật thích nghi người nói gồm thích nghi xác suất cực đại hậu nghiệm (MAP), hồi quy tuyến tính hợp lý cực đại (MLLR) của Leggetter và Woodland (1995), và huấn luyện thích nghi người nói (SAT) của Anastassakos và cộng sự (1996). Nghiên cứu của Huang và cộng sự (1993) đã chứng minh tỷ lệ lỗi từ giảm từ 4,3% (độc lập người nói) xuống 1,4% khi sử dụng dữ liệu phụ thuộc người nói có thích nghi. Về biểu diễn tri thức và trích chọn đặc trưng, các kỹ thuật được phát triển gồm hệ số Cepstral theo thang đo tần số Mel (MFCC) của Davis và Mermelstein (1980), tiên đoán cảm thụ tuyến tính (PLP) và RASTA của Hermansky (1990), trừ trung bình Cepstral (CMS), chuẩn hóa chiều dài tuyến âm (VTLN), phân tích phân biệt tuyến tính hiệp phương sai không đồng nhất (HLDA) và cực tiểu hóa lỗi âm theo không gian đặc trưng (fMPE). Các công cụ mã nguồn mở và bộ ngữ liệu chuẩn hóa được phân phối bởi NIST, LDC, ELRA như HTK, CMU SLM Toolkit, SRILM Toolkit.

Các hướng nghiên cứu nhận dạng phương ngữ trên thế giới:

  • Theo phương diện ngôn ngữ học và âm học: Bắt đầu từ các khảo sát của George Wenker (1877), Bailey (1968), Davis (1992). Nghiên cứu khoảng cách nguyên âm trong không gian formant F1/F2 của Peterson và Barney (1952), Hillenbrand, Clark và Wheeler (1995), Hagiwara (1997) và Fridland cùng cộng sự (2014). Phân biệt phương ngữ qua phụ âm của William Labov (1966, 1972).
  • Theo mô hình ràng buộc âm vị (Phonotactic Modeling): Gồm các kỹ thuật nhận dạng âm vị theo mô hình ngôn ngữ PRLM, PPRLM và PPR song song (Biadsy và cộng sự, 2009, 2010 trên tiếng Ả Rập đạt độ chính xác 81,60% đến 86,33%).
  • Theo mô hình âm học và học máy: Mô hình hỗn hợp Gauss (GMM) được ứng dụng bởi Chen, Chang, Wang (2003) cho tiếng Trung; Faria (2008) cho tiếng Anh trên ngữ liệu Fisher đạt 84,5%; M. Belgacem và cộng sự (2011) cho tiếng Ả Rập bằng công cụ ALIZE đạt 73,33%. Mô hình HMM được Nancy F. Chen, Wade Shen, Joseph P. Torres-Carrasquillo (2007) áp dụng trên 4 phương ngữ tiếng Ả Rập; Fadi Biadsy và cộng sự (2009) dùng HTK với 12 thành phần Gauss trên ngữ liệu TDT4 đạt 81,60%. Mô hình Máy học véc-tơ hỗ trợ (SVM) được Hanani (2007), Rao và Koolagudi (2011) ứng dụng cho tiếng Hindi đạt 81% khi kết hợp đặc trưng phổ, độ dài âm tiết, F0 và năng lượng. Mạng nơ-ron nhân tạo (ANN) với mô hình AANN 5 lớp của Rao và Koolagudi (2011) đạt 81%, mạng truyền thẳng 2 lớp của Sinha và cộng sự (2007) đạt 79% cho tiếng Hindi. Mạng nơ-ron sâu (DNN) được Jing Ya-peng và cộng sự (2014) áp dụng với phần mềm QuickNet cho tiếng Trung.

Nghiên cứu nhận dạng tiếng nói và phương ngữ tiếng Việt:

  • Về mặt ngôn ngữ học: Các công trình của Hoàng Thị Châu, Hoàng Phê, Nguyễn Kim Thản, Nguyễn Trọng Báu, Nguyễn Văn Tu, Mai Ngọc Chừ, Vũ Đức Nghiệu, Hoàng Trọng Phiến, Trần Thị Ngọc Lang, Võ Xuân Trang đã phân tích hệ thống ngữ âm, cấu trúc âm tiết, từ vựng và thanh điệu các vùng miền.
  • Về mặt xử lý tín hiệu và ASR: Khảo sát formant nguyên âm của Trần Đỗ Đạt; nhận dạng từ rời rạc của Nguyễn Hồng Quang, Trịnh Văn Loan; nhận dạng chuỗi số phát âm liên tục qua điện thoại đạt 96,83% từ chính xác (Trịnh Văn Loan và cộng sự); nhận dạng tiếng nói liên tục vốn từ lớn sử dụng HTK trên dữ liệu VOV (Vũ Tất Thắng và cộng sự); nhận dạng trên hệ nhúng thời gian thực; nhận dạng mức từ qua kiến trúc 2 lớp FlaVoR trên cơ sở dữ liệu VNBN (Lê Đình Thanh và cộng sự); tối ưu hóa học F0 và năng lượng bằng hàm logarit cho mô hình HMM với 8 mẫu thanh điệu (Phạm Ngọc Hưng, Trịnh Văn Loan, Nguyễn Hồng Quang, 2012).

Khoảng trống nghiên cứu luận án lựa chọn giải quyết: Mặc dù nhận dạng tiếng Việt nói đã có nhiều bước tiến, việc xử lý tín hiệu phương ngữ tiếng Việt vẫn chưa được nghiên cứu toàn diện. Chưa có công trình nào xây dựng hệ thống tự động nhận dạng phương ngữ tiếng Việt dựa trên phương thức phát âm làm bước tiền xử lý nhằm phục vụ trực tiếp cho việc nâng cao hiệu năng hệ thống nhận dạng tiếng Việt phát âm liên tục, đồng thời thiếu một bộ ngữ liệu tiếng nói phương ngữ chuẩn hóa cho 3 miền Bắc, Trung, Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án kết hợp nghiên cứu lý thuyết toán học - xử lý tín hiệu với nghiên cứu thực nghiệm dựa trên mô hình học máy.

+-----------------------------------------------------------------------------------+
| KHUNG NGHIÊN CỨU VÀ PHƯƠNG PHÁP CỦA LUẬN ÁN                                       |
+-----------------------------------------------------------------------------------+
| 1. Cơ sở lý thuyết ngữ âm:                                                        |
|    - Cấu trúc âm tiết tiếng Việt: Âm đầu - Âm đệm - Âm chính - Âm cuối - Thanh điệu |
|    - Biến thể ngữ âm và hệ thống thanh điệu 3 miền (Hà Nội, Huế, TP. Hồ Chí Minh) |
+-----------------------------------------------------------------------------------+
| 2. Phương pháp trích chọn đặc trưng tín hiệu:                                     |
|    - Đặc trưng phổ: MFCC (kèm đạo hàm Delta, Delta-Delta), Formant (F1, F2, F3)   |
|    - Đặc trưng ngôn điệu: Tần số cơ bản F0, đường bao F0, năng lượng              |
+-----------------------------------------------------------------------------------+
| 3. Kỹ thuật phân lớp nhận dạng phương ngữ:                                         |
|    - Mô hình GMM (công cụ ALIZE)                                                  |
|    - Phân lớp SVM (thuật giải SMO, các hàm kernel: Tuyến tính, RBF, Đa thức, Sigmoid) |
|    - Mạng nơ-ron Multilayer Perceptron (MLP với thuật giải lan truyền ngược lỗi)  |
|    - Các bộ phân lớp mẫu và luật: IBk (k-NN), JRip (RIPPER), PART                 |
|    - Phân tích phân biệt tuyến tính (LDA)                                         |
+-----------------------------------------------------------------------------------+
| 4. Mô hình nhận dạng tiếng nói liên tục:                                          |
|    - Mô hình Markov ẩn (HMM) với bộ công cụ HTK và Kaldi                         |
|    - Mô hình âm học Triphone, phân cụm cây quyết định, giải mã lưới từ            |
+-----------------------------------------------------------------------------------+
| 5. Nguồn dữ liệu thực nghiệm:                                                     |
|    - Bộ ngữ liệu phương ngữ tiếng Việt VDSPEC (thu âm chuẩn hóa 3 miền)           |
+-----------------------------------------------------------------------------------+

Cơ sở lý thuyết

  • Mô hình hỗn hợp Gauss (GMM): Biểu diễn hàm mật độ xác suất của véc-tơ đặc trưng liên tục $\mathbf{X}$ dưới dạng tổng chập có trọng số của các phân bố Gauss đa chiều $g(\mathbf{X}|\boldsymbol{\mu}, \mathbf{\Sigma})$ với véc-tơ trung bình $\boldsymbol{\mu}$ và ma trận hiệp phương sai $\mathbf{\Sigma}$.
  • Máy học véc-tơ hỗ trợ (SVM): Phân lớp dựa trên nguyên lý tối thiểu hóa rủi ro cấu trúc (SRM) nhằm cân bằng giữa rủi ro kinh nghiệm (ERM) và độ phức tạp mô hình. Sử dụng kỹ thuật quy hoạch toàn phương (QP), điều kiện Karush-Kuhn-Tucker (KKT), giải bài toán đối ngẫu Wolfe với tham số điều hòa $C$ và biến nới lỏng $\xi_i$. Sử dụng các hàm nhân (Kernel): Tuyến tính, RBF, Đa thức (Polynomial), Sigmoid. Luận án áp dụng thuật giải tối ưu hóa cực tiểu lần lượt (Sequential Minimal Optimization - SMO) để giải nhanh bài toán QP thay thế cho các thuật giải Chunking và Osuna.
  • Mạng nơ-ron nhân tạo (ANN / Multilayer Perceptron - MLP): Mạng truyền thẳng nhiều lớp gồm các nơ-ron có thiên áp $b_k$, bộ tổ hợp tuyến tính và các hàm kích hoạt (Hàm ngưỡng Heaviside, Hàm tuyến tính đoạn, Hàm Sigmoid/Logistic $\varphi(v) = \frac{1}{1+e^{-av}}$, Hàm Tang hyperbolic). Huấn luyện có giám sát bằng thuật giải lan truyền ngược lỗi (Back-Propagation) dựa trên luật sửa lỗi để cực tiểu hóa hàm năng lượng lỗi trung bình bình phương $E_{av}$.
  • Mô hình Markov ẩn (HMM): Sử dụng để mô hình hóa chuỗi thời gian của tín hiệu âm thanh với cấu trúc mô hình âm vị triphone phụ thuộc ngữ cảnh, phân cụm trạng thái bằng cây quyết định và giải mã tìm kiếm lời giải tối ưu.

Nguồn tư liệu và dữ liệu

Luận án xây dựng bộ ngữ liệu tiếng nói phương ngữ tiếng Việt VDSPEC (Vietnamese Dialect Speech Corpus). Tín hiệu được thu âm trực tiếp từ người bản ngữ của 3 vùng miền bằng micro Shure SM48 trong môi trường kiểm soát nhiễu, chuẩn hóa định dạng và phân chia theo các chủ đề văn bản cụ thể.

Nội dung chính theo từng chương

Chương 1: Tổng quan về nhận dạng tiếng nói và nhận dạng phương ngữ

Chương 1 hệ thống hóa cơ sở lý thuyết và tình hình nghiên cứu của ASR và nhận dạng phương ngữ trên thế giới và tại Việt Nam.

Tác giả phân tích 4 nhóm tiến bộ chủ chốt của công nghệ ASR:

  1. Nhóm mô hình thống kê và thuật giải huấn luyện: HMM, EM, Baum-Welch, N-gram, các kỹ thuật thích nghi MAP, MLLR, SAT.
  2. Nhóm hạ tầng tính toán phần cứng và tài nguyên ngữ liệu: Sự phát triển theo định luật Moore, vai trò của các tổ chức NIST, LDC, ELRA và các công cụ mã nguồn mở như HTK, CMU SLM Toolkit, SRILM.
  3. Nhóm biểu diễn tri thức và phân tích tham số: Kỹ thuật trích chọn đặc trưng MFCC, PLP, RASTA, CMS, VTLN, HLDA, fMPE.
  4. Nhóm giải mã và thuật giải tìm kiếm: Giải mã ngăn xếp ($A^*$), tìm kiếm đồng bộ thời gian Viterbi.

Chương này cũng phân loại ASR theo mức độ phụ thuộc người nói (phụ thuộc, độc lập, thích nghi), theo đặc tính liên tục của lời nói (từ rời rạc, từ liên kết, phát âm liên tục, tiếng nói tự nhiên) và theo quy mô từ vựng (nhỏ, trung bình, lớn). Về nhận dạng phương ngữ, tác giả phân tích hai trường phái chính: mô hình ràng buộc âm vị (PRLM, PPRLM, PPR) và mô hình âm học (GMM, HMM, SVM, ANN, DNN). Phần cuối chương tập trung trình bày chi tiết toán học của mô hình GMM, cấu trúc giải thuật SVM (lề mềm, quy hoạch toàn phương, thuật giải Chunking, Osuna, SMO, các hàm kernel) và cấu trúc mạng MLP cùng giải thuật lan truyền ngược lỗi Back-Propagation.

Chương 2: Xây dựng bộ ngữ liệu cho nghiên cứu nhận dạng phương ngữ tiếng Việt

Chương 2 phân tích đặc trưng ngữ âm của 3 vùng phương ngữ tiếng Việt và trình bày quy trình xây dựng, phân tích bộ ngữ liệu VDSPEC.

Phân tích ngữ âm và cấu trúc âm tiết:

  • Cấu trúc âm tiết tiếng Việt gồm 5 thành phần: Âm đầu, Âm đệm, Âm chính, Âm cuối và Thanh điệu.
  • Âm đầu: PNB có xu hướng ngạc hóa và không phân biệt các cặp phụ âm $r/d/gi$, $s/x$, $tr/ch$. Ngược lại, PNT và PNN duy trì sự phân biệt rõ ràng giữa $tr$ và $ch$, $s$ và $x$, $r$ và $d$.
  • Âm đệm: Luận án phân tích sơ đồ kết hợp âm đệm $/w/$ với các nguyên âm ở PNB, PNT và PNN.
  • Âm cuối: PNN có hiện tượng biến đổi phụ âm cuối ngạc hóa $/nh/, /ch/$ thành $/n/, /t/$.
  • Thanh điệu: PNB có 6 thanh điệu hoàn chỉnh (Ngang, Huyền, Ngã, Hỏi, Sắc, Nặng). PNT (Huế, Nghệ Tĩnh) và PNN (Đà Nẵng, TP. Hồ Chí Minh) có sự biến đổi và chập thanh (thanh Ngã và thanh Hỏi chập thành một biến thể có đường nét tương tự nhau; biến đổi cao độ và độ dài của thanh Nặng).

Quy trình xây dựng và đặc tính bộ ngữ liệu VDSPEC:

  • Văn bản thu âm được chọn lọc và chuẩn hóa theo các chủ đề đa dạng.
  • Thu âm sử dụng micro Shure SM48, kiểm soát đáp ứng tần số và đo lường tỷ số tín hiệu trên nhiễu (SNR) theo dB. Dữ liệu được tổ chức lưu trữ và phân chia thời lượng theo phương ngữ và theo chủ đề.

Phân tích đặc trưng âm học trên VDSPEC:

  • Khảo sát biến thiên tần số cơ bản F0 theo thời gian của 6 thanh điệu cho cả giọng nam và nữ ở Hà Nội, Huế và TP. Hồ Chí Minh.
  • Phân tích thống kê phân bố F0 của các thanh điệu.
  • Ứng dụng phân tích phân biệt tuyến tính (Linear Discriminant Analysis - LDA) trên các từ đơn tiết mang 6 thanh điệu để phân lớp phương ngữ: từ "chính" (thanh Sắc), "kinh" (thanh Ngang), "mạnh" (thanh Nặng), "thành" (thanh Huyền), "tỉnh" (thanh Hỏi), "vĩnh" (thanh Ngã).

Chương 3: Nhận dạng phương ngữ tiếng Việt

Chương 3 tập trung thử nghiệm và đánh giá thực nghiệm các mô hình học máy khác nhau để nhận dạng 3 phương ngữ tiếng Việt trên bộ ngữ liệu VDSPEC.

1. Nhận dạng phương ngữ bằng mô hình GMM (công cụ ALIZE):

  • Đánh giá lựa chọn số lượng hệ số MFCC tối ưu.
  • Thử nghiệm nhận dạng với các bộ tham số: MFCC đơn thuần, MFCC kết hợp F0 và các giá trị F0 chuẩn hóa; Formant kết hợp dải thông và tham số F0.
  • Khảo sát ảnh hưởng của số lượng thành phần Gauss ($M$) từ 20 đến 4096 thông qua đồ thị cân bằng sai số phát hiện (Detection Error Tradeoff - DET).

2. Nhận dạng phương ngữ bằng các bộ phân lớp trên Weka:

  • SVM với thuật giải SMO: Thử nghiệm trên 4 không gian đặc trưng: (1) Sử dụng toàn bộ 384 tham số; (2) Tập tham số không có F0; (3) Chỉ sử dụng các tham số liên quan trực tiếp đến F0; (4) Chỉ sử dụng các tham số liên quan trực tiếp đến MFCC. Kết quả được đánh giá chi tiết qua tỷ lệ nhận dạng và ma trận nhầm lẫn.
  • Bộ phân lớp k láng giềng gần nhất (IBk): Thử nghiệm đánh giá với $k = 1$ và $k = 5$, lập ma trận sai nhầm giữa 3 phương ngữ.
  • Mạng nơ-ron MultilayerPerceptron (MLP): Thử nghiệm mô hình mạng truyền thẳng nhiều lớp huấn luyện bằng Back-Propagation, phân tích ma trận nhầm lẫn nhận dạng 3 phương ngữ.
  • Bộ phân lớp dựa trên luật và cây quyết định (JRip và PART): Thử nghiệm thuật giải JRip (dựa trên thuật giải tối ưu hóa luật IREP/RIPPER) và bộ phân lớp PART, xuất ma trận sai nhầm tương ứng.
+---------------------------------------------------------------------------------------------+
| BẢNG TỔNG HỢP CÁC PHƯƠNG PHÁP VÀ MÔ HÌNH THỬ NGHIỆM NHẬN DẠNG PHƯƠNG NGỮ (CHƯƠNG 3)          |
+----------------------+--------------------+-------------------------------------------------+
| Mô hình phân lớp     | Công cụ thực hiện  | Tập tham số đặc trưng khảo sát                  |
+----------------------+--------------------+-------------------------------------------------+
| GMM                  | ALIZE              | - Hệ số MFCC                                    |
|                      |                    | - MFCC kết hợp F0 và F0 chuẩn hóa               |
|                      |                    | - Formant, dải thông kết hợp F0                 |
|                      |                    | - Số thành phần Gauss M biến thiên (20 - 4096)  |
+----------------------+--------------------+-------------------------------------------------+
| SVM (Thuật giải SMO) | Weka               | - Không gian 384 tham số tổng hợp               |
|                      |                    | - Không có thông tin F0                         |
|                      |                    | - Chỉ dùng tham số F0                           |
|                      |                    | - Chỉ dùng tham số MFCC                         |
+----------------------+--------------------+-------------------------------------------------+
| IBk (k-NN)           | Weka               | - Khảo sát với k = 1 và k = 5                   |
+----------------------+--------------------+-------------------------------------------------+
| MultilayerPerceptron | Weka               | - Mạng MLP truyền thẳng nhiều lớp               |
+----------------------+--------------------+-------------------------------------------------+
| JRip (RIPPER) / PART | Weka               | - Bộ luật suy diễn và cây quyết định phân lớp   |
+----------------------+--------------------+-------------------------------------------------+

Chương 4: Cải thiện hiệu năng nhận dạng tiếng Việt với thông tin về phương ngữ

Chương 4 hiện thực hóa mục tiêu cuối cùng của luận án: tích hợp bộ nhận dạng phương ngữ vào hệ thống nhận dạng tiếng Việt phát âm liên tục dựa trên mô hình Markov ẩn (HMM).

Kiến trúc hệ thống nhận dạng:

  • Mô hình âm học HMM được xây dựng cho các đơn vị âm phụ thuộc ngữ cảnh (triphone), thực hiện phân cụm trạng thái bằng cây quyết định.
  • Tích hợp bộ công cụ HTK và Kaldi để xây dựng cấu trúc lưới từ (word lattices) và mạng nhầm lẫn (confusion networks), kết hợp mô hình ngôn ngữ thống kê từ SRILM / CMU SLM.

Quy trình thực nghiệm và đánh giá:

  • Phân chia tập dữ liệu VDSPEC thành tập huấn luyện (training set) và tập thử nghiệm (test set) độc lập (Bảng 4.1).
  • Tiến hành thực nghiệm đối chứng theo 2 kịch bản:
    1. Kịch bản 1 (Chưa có thông tin phương ngữ): Hệ thống sử dụng một mô hình âm học chung duy nhất được huấn luyện trên toàn bộ dữ liệu hỗn hợp để nhận dạng tiếng nói của cả 3 miền (Bảng 4.2).
    2. Kịch bản 2 (Có sử dụng thông tin phương ngữ): Tín hiệu tiếng nói đầu vào trước tiên đi qua bộ tiền nhận dạng phương ngữ (đã được tối ưu ở Chương 3). Sau khi xác định được phương ngữ (Bắc, Trung hoặc Nam), hệ thống kích hoạt mô hình âm học HMM chuyên biệt tương ứng được huấn luyện riêng cho phương ngữ đó để giải mã nội dung văn bản (Bảng 4.3).

Kết quả thực nghiệm khẳng định việc tích hợp thông tin phương ngữ giúp giảm tỷ lệ lỗi từ (Word Error Rate - WER) và cải thiện rõ rệt độ chính xác nhận dạng tiếng Việt nói liên tục so với mô hình không phân tách phương ngữ.

Kết quả và những đóng góp mới

Luận án tự xác định các đóng góp mới về mặt khoa học lý luận và thực tiễn ứng dụng như sau:

  1. Về mặt phân tích đặc trưng tín hiệu phương ngữ: Luận án đã tiến hành nghiên cứu, phân tích có hệ thống các đặc điểm ngữ âm và sự khác biệt giữa ba phương ngữ chính của tiếng Việt (Bắc, Trung, Nam) dưới góc độ xử lý tín hiệu số. Xác lập cơ sở định lượng về sự biến thiên của tần số cơ bản F0 theo thanh điệu, không gian formant và áp dụng thành công phân tích phân biệt tuyến tính (LDA) để phân tách các phương ngữ trên các mẫu từ đại diện.
  2. Về mặt tài nguyên dữ liệu: Xây dựng thành công bộ ngữ liệu tiếng nói phương ngữ tiếng Việt VDSPEC chuẩn hóa, bao phủ 3 miền Bắc (Hà Nội), Trung (Huế) và Nam (TP. Hồ Chí Minh). Bộ ngữ liệu được gán nhãn, kiểm soát chất lượng âm thanh và cấu trúc theo chủ đề, phục vụ trực tiếp cho các nghiên cứu nhận dạng phương ngữ và nhận dạng tiếng nói tiếng Việt.
  3. Về mặt mô hình và tham số nhận dạng phương ngữ: Đề xuất mô hình nhận dạng phương ngữ tự động độc lập nội dung dựa trên các kỹ thuật học máy (GMM, SVM-SMO, MLP, IBk, JRip, PART); xác định được cấu hình số lượng thành phần Gauss tối ưu cho GMM và chứng minh hiệu quả phân lớp vượt trội khi kết hợp đặc trưng phổ MFCC với các tham số ngôn điệu F0.
  4. Về mặt kiến trúc hệ thống nhận dạng tiếng nói: Ứng dụng thành công mô hình HMM trên bộ ngữ liệu có phương ngữ và đề xuất kiến trúc hệ thống nhận dạng tiếng Việt phát âm liên tục 2 giai đoạn: sử dụng nhận dạng phương ngữ làm bước tiền xử lý để lựa chọn mô hình âm học HMM thích hợp cho từng vùng miền, giúp nâng cao hiệu năng nhận dạng tổng thể.

Kiến nghị của tác giả: Cần tiếp tục mở rộng quy mô bộ ngữ liệu VDSPEC và nghiên cứu tích hợp sâu hơn các mô hình ngôn ngữ đặc thù cho từng địa phương vào giai đoạn giải mã lời nói.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và nội dung được tác giả trình bày trong luận án, các hạn chế và hướng nghiên cứu mở rộng gồm:

  • Hạn chế về phạm vi địa lý và biến thể vùng miền: Luận án mới chỉ tập trung giải quyết 3 phương ngữ chính đại diện (Hà Nội, Huế, TP. Hồ Chí Minh). Thực tế phương ngữ tiếng Việt rất đa dạng, có sự thay đổi theo từng tỉnh, huyện, làng xã (như phương ngữ Nghệ - Tĩnh, Quảng Nam, Quảng Ngãi, Tây Nam Bộ) mà nghiên cứu chưa thể bao quát hết do giới hạn thời gian và nguồn lực.
  • Hạn chế về khai thác đặc trưng từ vựng: Do nhận dạng phương ngữ được thực hiện ở bước tiền xử lý (khi chưa giải mã nội dung văn bản), hệ thống chỉ mới khai thác thông tin âm học và phương thức phát âm, chưa tận dụng được kho từ vựng và ngữ pháp địa phương.
  • Quy mô ngữ liệu thử nghiệm: Các thử nghiệm nhận dạng phương ngữ được thực hiện trên tập ngữ liệu có vốn từ vựng giới hạn và môi trường ghi âm tương đối chuẩn hóa.
  • Hướng nghiên cứu tiếp:
    • Thu thập và mở rộng bộ ngữ liệu tiếng nói phương ngữ tiếng Việt với quy mô người nói lớn hơn, đa dạng hơn về vùng miền và môi trường âm học thực tế.
    • Nghiên cứu kết hợp nhận dạng phương ngữ ở cả mức âm học và mức mô hình ngôn ngữ (Language Model) khi giải mã nội dung.
    • Ứng dụng các mô hình học sâu (DNN, mạng hồi quy RNN, mạng tích chập CNN) để nâng cao độ chính xác nhận dạng trong môi trường có nhiễu phức tạp.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên sâu cho các đối tượng và lĩnh vực sau:

  • Nghiên cứu sinh, học viên cao học và sinh viên chuyên ngành Công nghệ thông tin, Kỹ thuật máy tính, Điện tử - Viễn thông: Có thể tham khảo phương pháp luận kết hợp giữa lý thuyết ngữ âm học tiếng Việt và các thuật toán học máy (GMM, SVM, ANN, HMM) trong xử lý tín hiệu âm thanh.
  • Các nhà nghiên cứu và kỹ sư phát triển hệ thống ASR, NLP tiếng Việt:
    • Chương 2 có giá trị cao về phương pháp thiết kế, thu âm và chuẩn hóa bộ ngữ liệu tiếng nói phương ngữ VDSPEC cũng như kỹ thuật phân tích F0, formant và LDA cho thanh điệu tiếng Việt.
    • Chương 3 cung cấp các quy trình trích chọn tham số đặc trưng (kết hợp MFCC và F0) và mã nguồn/công cụ thực nghiệm (ALIZE, Weka, SMO, IBk, MLP) để phân lớp phương ngữ.
    • Chương 4 cung cấp kiến trúc tích hợp bộ phân loại phương ngữ làm tiền xử lý để tối ưu hóa mô hình âm học HMM bằng HTK và Kaldi.
  • Các chuyên gia ngôn ngữ học ứng dụng: Cung cấp số liệu định lượng về đặc trưng âm học, cao độ F0 và sự khác biệt ngữ âm giữa 3 miền phục vụ nghiên cứu ngữ âm học thực nghiệm.

Câu hỏi thường gặp

1. Tại sao luận án thực hiện nhận dạng phương ngữ trước khi nhận dạng nội dung tiếng nói?

Việc nhận dạng phương ngữ được thực hiện như một bước tiền xử lý khi chưa biết nội dung lời nói. Khi xác định được tiếng nói thuộc phương ngữ nào (Bắc, Trung hay Nam), hệ thống sẽ định tuyến dữ liệu đến mô hình âm học được huấn luyện chuyên biệt cho phương ngữ đó. Cách tiếp cận này giúp giảm thiểu các sai nhầm nhận dạng do phương thức phát âm địa phương gây ra, từ đó nâng cao độ chính xác nhận dạng nội dung của hệ thống ASR phát âm liên tục.

2. Ba phương ngữ chính trong luận án được đại diện bởi những giọng địa phương nào?

Luận án lựa chọn 3 giọng đại diện tương ứng với 3 miền địa lý:

  • Phương ngữ Bắc (PNB): đại diện bởi giọng Hà Nội.
  • Phương ngữ Trung (PNT): đại diện bởi giọng Huế.
  • Phương ngữ Nam (PNN): đại diện bởi giọng Thành phố Hồ Chí Minh.

3. Bộ ngữ liệu VDSPEC được xây dựng như thế nào và dùng thiết bị gì để thu âm?

Bộ ngữ liệu VDSPEC (Vietnamese Dialect Speech Corpus) được xây dựng từ việc chuẩn bị và chuẩn hóa văn bản theo nhiều chủ đề khác nhau, sau đó tiến hành thu âm trực tiếp người bản ngữ của 3 vùng miền bằng microphone Shure SM48, có kiểm soát đáp ứng tần số và tỷ số tín hiệu trên nhiễu (SNR).

4. Những mô hình học máy nào được thử nghiệm để nhận dạng phương ngữ tiếng Việt trong Chương 3?

Luận án đã thử nghiệm:

  • Mô hình hỗn hợp Gauss (GMM) trên công cụ ALIZE.
  • Máy học véc-tơ hỗ trợ (SVM) với thuật giải tối ưu hóa cực tiểu lần lượt (SMO) trên Weka.
  • Bộ phân lớp k láng giềng gần nhất (IBk) với $k=1$ và $k=5$.
  • Mạng nơ-ron truyền thẳng nhiều lớp MultilayerPerceptron (MLP) với giải thuật lan truyền ngược lỗi.
  • Bộ phân lớp dựa trên luật JRip và cây quyết định PART.

5. Kết hợp tham số F0 với hệ số MFCC mang lại hiệu quả gì trong nhận dạng phương ngữ?

Tiếng Việt là ngôn ngữ thanh điệu, sự khác biệt giữa các phương ngữ thể hiện rất rõ ở đường nét biến thiên và phân bố của tần số cơ bản F0. Việc kết hợp F0 (đặc trưng ngôn điệu) với các hệ số MFCC (đặc trưng phổ bao quát tuyến âm) cung cấp thông tin toàn diện hơn về cả phương thức phát âm lẫn ngữ điệu, giúp các bộ phân lớp (GMM, SVM) đạt độ chính xác nhận dạng phương ngữ cao hơn so với việc chỉ sử dụng đơn lẻ từng loại đặc trưng.

Kết luận

Luận án tiến sĩ của tác giả Phạm Ngọc Hưng đã giải quyết bài toán nâng cao chất lượng nhận dạng tiếng Việt phát âm liên tục thông qua việc khai thác thông tin phương ngữ theo phương thức phát âm. Tác giả đã xây dựng thành công bộ ngữ liệu chuẩn hóa VDSPEC cho 3 vùng phương ngữ đại diện (Hà Nội, Huế, TP. Hồ Chí Minh), khảo sát toàn diện các đặc trưng âm học F0, formant, MFCC và đánh giá thực nghiệm nhiều mô hình phân lớp (GMM, SVM, MLP, k-NN, HMM). Kết quả nghiên cứu chứng minh việc tích hợp bộ nhận dạng phương ngữ làm tiền xử lý giúp tối ưu hóa mô hình âm học và cải thiện hiệu năng cho hệ thống nhận dạng tự động tiếng Việt nói.