Tổng quan luận án

Bản luận án tiến sĩ toán học mang tên "Nghiên cứu các đặc trưng tín hiệu và ràng buộc ngôn điệu để nâng cao chất lượng tổng hợp và nhận dạng tiếng Việt" do nghiên cứu sinh Ngô Hoàng Huy thực hiện dưới sự hướng dẫn khoa học của PGS.TS Lương Chi Mai và PGS.TS Ngô Quốc Tạo. Công trình được bảo vệ năm 2016 tại Học viện Khoa học và Công nghệ thuộc Viện Hàn lâm Khoa học và Công nghệ Việt Nam, thuộc chuyên ngành Cơ sở Toán học cho Tin học (mã số: 62 46 01 10).

Trong bối cảnh tương tác người – máy thông qua ngôn ngữ tự nhiên, bài toán tổng hợp và nhận dạng tiếng nói đóng vai trò quan trọng đối với các hệ thống tương tác tự nhiên, thiết bị thông minh và công nghệ hỗ trợ. Tuy nhiên, đối với tiếng Việt, do bản chất ngôn ngữ đơn âm, có thanh điệu phức tạp, cấu trúc âm tiết tính và các hiện tượng biến thanh mạnh mẽ trong dòng ngữ lưu, các giải pháp kỹ thuật ngoại ngữ không thể chuyển giao nguyên trạng. Phần lớn các công trình trong nước giai đoạn trước chỉ dừng lại ở mức tiếp cận ban đầu, sử dụng trực tiếp công nghệ nguồn dành cho tiếng Anh hoặc xây dựng các hệ thống dựa trên máy chủ lớn đòi hỏi tài nguyên tính toán cao.

Khoảng trống nghiên cứu được tác giả xác định tập trung vào hai điểm nghẽn chính:

  1. Thiếu các nghiên cứu mô hình hóa quy luật ngôn điệu (tần số cơ bản F0, trường độ, âm lượng) của âm tiết tiếng Việt trong ngữ lưu nhằm tích hợp vào hệ thống tổng hợp tiếng nói có độ tự nhiên cao nhưng vẫn tối ưu hóa được tài nguyên lưu trữ và tính toán cho các thiết bị nhúng.
  2. Trong nhận dạng tiếng nói độc lập người nói, các hệ thống HMM dựa trên đặc trưng MFCC truyền thống bị suy giảm độ chính xác rõ rệt do sai lệch phổ và hình dáng cấu âm cá nhân; thiếu các phương pháp kết hợp tham số thanh điệu (F0) và chuẩn hóa độ dài đường cấu âm (VTLN) có chi phí tính toán thấp phù hợp với môi trường hạn chế tài nguyên.

Mục tiêu nghiên cứu tổng quát của đề tài là tập trung giải quyết vấn đề xử lý ngôn điệu và đặc trưng tín hiệu âm học nhằm nâng cao chất lượng tổng hợp và nhận dạng tiếng Việt. Luận án xác định hai phạm vi nghiên cứu cụ thể:

  1. Nghiên cứu các mô hình dự báo các hiện tượng ngôn điệu như trường độ, âm lượng, thanh điệu của các âm tiết tiếng Việt trong ngữ lưu, tích hợp trong các hệ thống tổng hợp tiếng Việt, tối ưu hiệu quả sử dụng tài nguyên lưu trữ và tính toán ứng dụng cho hệ thống nhúng.
  2. Nghiên cứu các phương pháp giảm thiểu sự sai lệch về cấu âm, phổ của tập giọng nói huấn luyện và giọng của người sử dụng dựa trên đặc trưng ngữ âm tiếng Việt để tăng độ chính xác nhận dạng tiếng nói cho các hệ thống nhận dạng tiếng Việt độc lập người nói.

Đối tượng nghiên cứu của luận án bao gồm: các mô hình học máy (HMM, CART); các đặc trưng âm học tiếng nói (MFCC, F0, formant, VTL); các mô hình biểu diễn và cách điệu hóa đường nét F0, mô hình xử lý nhiễu; phương pháp tổng hợp ghép nối âm thanh; và phép chuẩn hóa VTLN trong nhận dạng tiếng nói.

Phạm vi không gian và thời gian: Các nghiên cứu lý thuyết, phân tích ngữ âm học và thực nghiệm thuật toán được tiến hành tại Phòng Nhận dạng và Công nghệ Tri thức thuộc Viện Công nghệ Thông tin (Viện Hàn lâm Khoa học và Công nghệ Việt Nam) trong giai đoạn 2011–2016. Dữ liệu thực nghiệm tập trung vào tiếng Việt tiêu chuẩn (phương ngữ Bắc Bộ), các văn bản ngữ liệu văn học và tập khẩu lệnh điều khiển thiết bị tự hành thực tế.

Tổng quan tài liệu và vị trí của luận án

Luận án điểm lại các mảng nghiên cứu nền tảng của quốc tế và các hệ thống xử lý tiếng Việt đã công bố:

Về lý thuyết tạo âm và các phương pháp tổng hợp tiếng nói:

  • Tổng hợp theo cấu âm: Tác giả điểm lại mô hình ống thanh của P. Mermelstein với hệ thống tham số mô tả vị trí cơ quan cấu âm; phương pháp ma trận chuỗi ABCD để mô phỏng sự lan truyền sóng âm trong ống thanh; mô hình nguồn kích thanh hai khối lượng của K. Ishizaka và J. L. Flanagan.
  • Tổng hợp formant theo quy luật: Dựa trên mô hình nguồn - bộ lọc và mô hình giải phẫu âm thanh của Gunnar Fant, sử dụng giải thuật dự đoán tuyến tính (LPC) để xác định các tần số formant (F1 đến F5) và băng thông tương ứng (W1 đến W5).
  • Tổng hợp tham số thống kê: Hệ thống HTS tổng hợp tiếng nói dựa trên mô hình Markov ẩn (HMM) do H. Zen, K. Tokuda và cộng sự phát triển.
  • Mô hình hóa đường tần số cơ bản F0: Mô hình Fujisaki của H. Fujisaki biểu diễn F0 dưới dạng hàm chồng chập của lệnh ngữ toàn cục và lệnh trọng âm cục bộ; mô hình Tilt của P. Taylor và mô hình RFC (Rise/Fall/Connection) được tích hợp trong bộ tổng hợp Festival.

Về các hệ thống tổng hợp tiếng Việt trong nước, tác giả xây dựng bảng đối chiếu đặc tính kỹ thuật:

Tên hệ thống Phương pháp Ưu điểm Nhược điểm Nguồn gốc Ứng dụng
VnVoice Ghép nối đơn vị (bán âm tiết) Dung lượng nhỏ (1.5 MB); giữ được giọng đọc; đọc câu ngắn rõ ràng; tạo giọng mới nhanh; phù hợp ứng dụng nhúng Tiếng nói chưa trơn về phổ; tốc độ đọc chưa bảo đảm trường độ âm tiết trong câu Sản phẩm đề tài KC.03, KC.01/06-10 (Viện CNTT) Bộ đọc màn hình Jaws; cổng thoại học đường; đọc web đa ngữ Việt - Anh
VietTalk Bộ mã nguồn mở HTS (mô hình HMM) Tiếng nói trơn về phổ; dự báo tốt F0 và trường độ âm tiết; tạo giọng mới nhanh; phù hợp ứng dụng máy chủ Không bảo toàn được giọng đọc thực tế; giọng đôi khi bị rè; đọc câu ngắn suy giảm chất lượng Đề tài cấp Bộ Thông tin và Truyền thông; đề tài KC.DA01/11-15 Bộ đọc màn hình Jaws; hệ thống báo nói
VOS Ghép nối đơn vị (âm tiết và cụm từ) Tiếng nói tự nhiên; bảo toàn giọng đọc (tiếng nói phương Nam); phù hợp ứng dụng máy chủ Dung lượng dữ liệu lớn; tạo giọng đọc mới lâu; có thể gặp câu chưa được phủ bởi kho ngữ liệu Viện Ứng dụng Công nghệ, ĐHQG TP. Hồ Chí Minh Đọc văn bản tiếng Việt phương ngữ Nam Bộ
VnSpeech Formant theo quy luật Dung lượng nhỏ, tiết kiệm bộ nhớ; đọc được hầu hết âm tiết Mức độ tự nhiên thấp, phụ thuộc nhiều vào chất lượng phân tích quy luật Viện CNTT Đọc văn bản tiếng Việt

Ngoài ra, luận án điểm lại phần mềm V-Talk (Viện Khoa học Kỹ thuật Bưu điện) dựa trên ghép nối diphone, phần mềm VietVoice, Sao Mai (ghép nối âm tiết), VietSound (Đại học Bách khoa TP. Hồ Chí Minh kết hợp diphone và formant), các nghiên cứu của Viện Quốc tế MICA (Đại học Bách khoa Hà Nội) và Phòng thí nghiệm AILab (Đại học Khoa học Tự nhiên TP. Hồ Chí Minh).

Về nhận dạng tiếng nói và ứng dụng điều khiển: Tác giả phân tích các hệ thống nhận dạng độc lập người nói dùng đặc trưng MFCC, kỹ thuật chuẩn hóa chiều dài đường cấu âm VTLN (Vocal Tract Length Normalization) của L. Lee, R. Rose, S. Wegmann. Về ứng dụng thực tế tại Việt Nam, tác giả dẫn chứng đề tài "Nghiên cứu thiết kế và chế tạo hệ thống điều khiển bằng tiếng nói tích hợp vào robot hút bụi tự động thông minh" (2011–2013) của Viện Hàn lâm Khoa học và Công nghệ Việt Nam và robot hướng dẫn bảo tàng thử nghiệm tại Bảo tàng Dân tộc học của Viện MICA (2009).

Khoảng trống luận án lựa chọn giải quyết: Luận án không đi theo hướng mở rộng kho ngữ liệu khổng lồ cho các hệ thống máy chủ, mà tập trung giải quyết bài toán cốt lõi: mô hình hóa các tham số ngôn điệu tiếng Việt (trường độ, âm lượng, thanh điệu) bằng mô hình học máy CART để đưa vào hệ thống tổng hợp ghép nối gọn nhẹ; đồng thời kết hợp đặc trưng F0 và chuẩn hóa VTLN ước lượng bằng formant để tối ưu hóa mô hình nhận dạng HMM trên các chip vi hệ thống tài nguyên hạn chế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án dựa trên cơ sở ngữ âm học tiếng Việt và các mô hình học máy trong xử lý tín hiệu:

Cơ sở ngữ âm và âm học tiếng Việt:

  • Đặc điểm loại hình: Tiếng Việt là ngôn ngữ đơn âm, có thanh điệu và kết cấu âm tiết tính; âm tiết trùng hình vị. Tiếng Việt có khoảng 17.000 vỏ ngữ âm trên lý thuyết và 6.900 âm tiết thực tế tồn tại.
  • Cấu trúc âm tiết: Âm tiết tiếng Việt có cấu trúc hai bậc chặt chẽ. Bậc một gồm ba thành phần: thanh điệu, phụ âm đầu và phần vần. Bậc hai là các thành tố của phần vần, gồm âm đệm (bán nguyên âm), nguyên âm chính và âm cuối (phụ âm hoặc bán nguyên âm).
  • Phân loại âm tiết: Tác giả sử dụng bảng phân loại âm tiết 4 nhóm:
STT Loại âm tiết Đặc điểm cấu tạo Ví dụ minh họa
1 Âm mở Không có âm cuối, kết thúc bằng nguyên âm chính má, mẹ
2 Âm nửa mở Kết thúc âm tiết bằng một bán nguyên âm mai, sau
3 Âm đóng Âm cuối là phụ âm tắc vô thanh (/p, t, k, c/) tập, học
4 Âm nửa đóng Âm cuối là một phụ âm vang, phụ âm mũi làm, ngành
  • Hệ thống thanh điệu: Gồm 6 thanh điệu chia làm hai nhóm âm vực và hai nhóm âm điệu:
    • Nhóm bằng: thanh ngang (không dấu, âm vực cao), thanh huyền (âm vực thấp).
    • Nhóm trắc: thanh ngã (âm vực cao, đường nét gãy đổi hướng), thanh hỏi (âm vực thấp, đường nét đổi hướng), thanh sắc (âm vực cao, đường nét đi lên), thanh nặng (âm vực thấp, đường nét đi xuống đột ngột).
    • Ràng buộc âm học: Ở các âm tiết đóng kết thúc bằng phụ âm tắc vô thanh (/p, t, c/), âm tiết chỉ xuất hiện với hai thanh điệu là thanh sắc và thanh nặng.

Khung mô hình toán học và học máy:

  1. Mô hình Markov ẩn (HMM): Sử dụng mô hình HMM liên tục (CD-HMM) với phân bố hỗn hợp Gauss (GMM) để mô hình hóa trạng thái âm học của âm vị và từ vựng; áp dụng thuật toán Baum-Welch (EM) trong huấn luyện và giải thuật Viterbi trong nhận dạng.
  2. Mô hình cây phân lớp và hồi quy CART (Classification and Regression Trees): Sử dụng công cụ Wagon thuộc hệ thống Festival để xây dựng các cây quyết định dự báo giá trị trường độ và âm lượng từ các đặc trưng ngữ cảnh văn bản.
  3. Thuật toán PSOLA (Pitch Synchronous Overlap Add): Dùng để phân tích chu kỳ pitch, dịch chuyển tần số cơ bản và co dãn thời gian của các đoạn sóng âm cơ bản mà không làm méo dạng phổ formant.
  4. Mô hình Fujisaki: Mô hình định lượng biểu diễn đường cong tần số cơ bản $F_0(t)$ thông qua công thức: $$\ln F_0(t) = \ln F_b + \sum_{i=1}^{I} A_{pi} G_p(t - T_{0i}) + \sum_{j=1}^{J} A_{aj} \left[ G_a(t - T_{1j}) - G_a(t - T_{2j}) \right]$$ Trong đó $F_b$ là tần số gốc; $G_p(t)$ là hàm đáp ứng lệnh ngữ với cường độ $A_p$ và thời điểm $T_0$; $G_a(t)$ là hàm đáp ứng lệnh trọng âm với biên độ $A_a$, thời điểm bắt đầu $T_1$ và kết thúc $T_2$; $\alpha$ và $\beta$ là các hằng số thời gian.

Phương pháp xử lý tín hiệu và thực nghiệm:

  • Trích chọn đặc trưng MFCC (Mel-Frequency Cepstral Coefficients) qua hệ thống băng lọc tam giác tần số Mel, năng lượng logarit, kết hợp đạo hàm bậc một ($\Delta$) và bậc hai ($\Delta\Delta$).
  • Thuật toán chuẩn hóa VTLN (Vocal Tract Length Normalization) biến đổi trục tần số bằng hệ số co dãn $\alpha$ nhằm bù trừ sai lệch chiều dài ống âm thanh của người nói.
  • Giải thuật ước lượng hệ số VTLN bằng formant kết hợp bộ phát hiện tiếng nói (VAD - Voice Activity Detection).
  • Phương pháp lọc nhiễu môi trường: Lọc trừ phổ (Spectral Subtraction - SS) và lọc Wiener (Wiener Filter - WF).

Nguồn dữ liệu nghiên cứu:

  • Cơ sở dữ liệu ngữ âm tiếng Việt gán nhãn mức âm vị, âm tiết và thanh điệu.
  • Cơ sở dữ liệu văn bản gồm các câu trích từ tập truyện "Dế mèn phiêu lưu ký" của nhà văn Tô Hoài được phân tích cú pháp, từ loại, phiên âm để huấn luyện mô hình CART.
  • Cơ sở dữ liệu mẫu âm thanh khẩu lệnh thu âm trong môi trường yên tĩnh và môi trường có tiếng ồn động cơ thực tế.

Nội dung chính theo từng chương

Chương 1: Tổng quan về tổng hợp và nhận dạng tiếng nói

Chương 1 thiết lập bức tranh tổng thể về lý thuyết và công nghệ xử lý tiếng nói, phân tích chi tiết bốn giai đoạn của hệ thống TTS (chuẩn hóa văn bản, chuyển văn bản sang âm vị, dự báo ngôn điệu và sinh âm thanh). Tác giả so sánh chi tiết ưu nhược điểm của các phương pháp tổng hợp: tổng hợp cấu âm, tổng hợp formant theo quy luật, tổng hợp ghép nối (ghép chọn đơn vị, diphone, theo miền) và tổng hợp tham số thống kê HMM.

Chương này đi sâu vào bản chất âm học của tiếng Việt trong dòng ngữ lưu. Tác giả khảo sát dạng sóng âm, vùng tần số formant, và đường nét F0 của 6 thanh điệu tiếng Việt. Khảo sát chỉ ra hiện tượng biến thanh quan trọng: cao độ bắt đầu của một thanh điệu phụ thuộc mật thiết vào âm vực của thanh điệu đứng trước nó hơn là thanh điệu đứng sau. Khi đi sau một thanh có âm vực cao (thanh sắc, thanh ngã, thanh ngang), đường nét thanh điệu có độ dốc thấp hơn so với khi đứng sau một thanh có âm vực thấp (thanh huyền, thanh hỏi, thanh nặng). Trong dòng ngữ lưu liên tục, các thanh có đường nét gãy như thanh ngã và thanh hỏi có xu hướng triệt tiêu điểm gãy đổi chiều, chỉ diễn tiến theo một hướng nhất định.

Về mô hình hóa F0, chương phân tích việc áp dụng mô hình định lượng Fujisaki và mô hình Tilt (dựa trên biểu diễn sự kiện rise/fall/connection - RFC). Các khảo sát tham số Fujisaki cho các âm tiết tiếng Việt rời rạc cho thấy mô hình xấp xỉ tốt các đường nét F0, tuy nhiên việc sinh tự động các lệnh ngữ và lệnh trọng âm cho câu liên tục còn gặp nhiều khó khăn. Phần cuối chương hệ thống hóa các bài toán nhận dạng tiếng nói, cấu trúc chuỗi xử lý MFCC và mô hình mạng lai ghép HMM/ANN.

Chương 2: Xử lý tiếng nói và các mô hình học máy

Chương 2 trình bày các công cụ toán học và thuật toán xử lý tín hiệu được sử dụng xuyên suốt luận án. Tác giả phân tích các dạng nhiễu thực tế ảnh hưởng đến quá trình thu nhận tín hiệu âm thanh như nhiễu động cơ robot, âm thanh phản hồi từ tường khi thiết bị di chuyển sát chân tường hoặc di chuyển xoắn ốc. Luận án trình bày sơ đồ khối và thuật toán xử lý tín hiệu bằng hai phương pháp: trừ phổ (Spectral Subtraction - SS) và lọc Wiener (Wiener Filter - WF) nhằm làm sạch tín hiệu trước khi trích đặc trưng.

Quy trình trích chọn đặc trưng MFCC được chi tiết hóa qua các bước: tiền xử lý (pre-emphasis), phân khung cửa sổ Hamming, biến đổi Fourier rời rạc (DFT/FFT), đưa qua hệ thống ngân hàng lọc tam giác trên thang Mel, tính logarit năng lượng và áp dụng biến đổi cosin rời rạc nghịch đảo (IDCT) để thu được các hệ số cepstrum, bổ sung các hệ số vận tốc ($\Delta$) và gia tốc ($\Delta\Delta$).

Chương 2 cũng trình bày thuật toán PSOLA dùng để biến đổi thời gian và tần số cơ bản trong bộ tổng hợp ghép nối; cơ sở lý thuyết của cây quyết định CART sử dụng giải thuật phân cụm Wagon để xử lý các thuộc tính ngữ âm phân loại rời rạc và liên tục; và cuối cùng là cấu trúc của mô hình Continuous-Density HMM (CD-HMM) 6 trạng thái với các ma trận xác suất chuyển trạng thái và hàm mật độ xác suất quan sát Gauss.

Chương 3: Dự báo trường độ, âm lượng và tổng hợp thanh điệu tiếng Việt

Chương 3 trình bày các kết quả thực nghiệm về tổng hợp tiếng nói tiếng Việt:

  1. Khảo sát đặc tính âm học: Tác giả tiến hành đo đạc và xây dựng các bảng số liệu chi tiết về trường độ nguyên âm trong kết hợp với thanh điệu; vùng tần số formant trung bình (F1, F2, F3) của các nguyên âm kết hợp với 6 thanh điệu; sự phụ thuộc của độ dài nguyên âm /a/ vào các phụ âm đầu và âm cuối khép kín; độ dài các thanh điệu ràng buộc bởi loại âm tiết kết thúc.
  2. Cách điệu hóa đường F0: Tác giả đề xuất phương pháp tuyến tính hóa từng phân đoạn đường F0 thực nghiệm của các âm tiết mang thanh điệu tiếng Việt, loại bỏ các biến thiên vi mô không mang tính khu biệt nhằm phục vụ thuật toán sinh đường nét F0 chuẩn cho bộ ghép nối.
  3. Xây dựng mô hình dự báo CART: Thiết kế bộ phân tích ngôn điệu tự động trích chọn tập tham số đầu vào cho mô hình CART, bao gồm:
    • Đặc trưng âm vị hiện tại, âm vị bên trái, âm vị bên phải.
    • Vị trí của âm vị trong âm tiết, vị trí âm tiết trong từ và ngữ đoạn.
    • Thanh điệu của âm tiết hiện tại và thanh điệu lân cận.
    • Loại âm tiết (âm mở, nửa mở, đóng, nửa đóng), độ dài ngữ đoạn. Dữ liệu huấn luyện sử dụng tập ngữ liệu câu chuẩn hóa trích từ tác phẩm "Dế mèn phiêu lưu ký". Kết quả thực nghiệm chứng minh mô hình CART dự báo trường độ và âm lượng đạt sai số bình phương trung bình (RMSE) thấp, cải thiện rõ rệt nhịp điệu của câu nói tổng hợp.
  4. Tổng hợp tiếng Việt trên hệ thống tài nguyên hạn chế: Luận án đề xuất giải pháp tối ưu hóa kho ngữ liệu mẫu âm (sử dụng đơn vị bán âm tiết/diphone), nén dữ liệu và tinh giản giải thuật ghép nối PSOLA, cho phép hệ thống tổng hợp tiếng Việt chạy trực tiếp trên vi điều khiển nhúng với bộ nhớ nhỏ.

Chương 4: Kết hợp tham số cấu âm, formant và thanh điệu để nâng cao chất lượng nhận dạng tiếng Việt

Chương 4 tập trung giải quyết bài toán nhận dạng tiếng Việt, đặc biệt là nhận dạng độc lập người nói và nhận dạng trên nền tảng phần cứng nhúng:

  1. Nhận dạng thanh điệu: Tác giả khảo sát các giải pháp nhận dạng thanh điệu trên tiếng nói rời rạc và câu liên tục, phân tích đường nét biến thiên F0 được chuẩn hóa theo thang logarit.
  2. Tổ hợp đặc trưng MFCC biến đổi theo VTLN kết hợp F0: Nhằm giải quyết sự suy giảm chất lượng khi nhận dạng độc lập người nói, tác giả tích hợp trực tiếp giá trị tần số cơ bản F0 vào vector đặc trưng MFCC, đồng thời áp dụng phép chuẩn hóa chiều dài ống cấu âm VTLN để nắn chỉnh trục tần số của người nói mới về mô hình chuẩn.
  3. Ước lượng tham số VTLN bằng formant: Thay vì sử dụng phương pháp khả thực cực đại (Maximum Likelihood - ML) vốn đòi hỏi lặp tính toán nặng qua nhiều mô hình âm học giả định, tác giả đề xuất thuật toán ước lượng hệ số co dãn $\alpha$ của VTLN trực tiếp thông qua vị trí các tần số formant trích chọn từ các nguyên âm ổn định kết hợp bộ phát hiện tiếng nói (VAD). Giải pháp này giảm thiểu thời gian tính toán, cho phép thực hiện chuẩn hóa trực tuyến.
  4. Hệ thống nhận dạng tiếng Việt nhúng: Luận án thiết kế giải pháp đưa mô hình nhận dạng CD-HMM vào chip vi hệ thống có tài nguyên thấp:
    • Chuyển đổi toàn bộ cấu trúc tính toán dấu chấm động (floating-point) của thuật toán Viterbi và hàm mật độ xác suất Gauss sang dấu chấm tĩnh (fixed-point).
    • Biểu diễn và sắp xếp lại các tham số mô hình HMM gọn trong bộ nhớ tĩnh SRAM dung lượng 64 KB của chip PSoC5 (lõi ARM Cortex-M3, 256 KB Flash) và họ chip OMAP3 (lõi ARM7, 128 MB RAM).
    • Thử nghiệm cấu hình khuếch đại GAIN và bộ lọc thông thấp (LPF) loại bỏ nhiễu động cơ.
    • Thử nghiệm nhận dạng tập khẩu lệnh điều khiển thiết bị tự hành gồm: xe lăn điện hỗ trợ người khuyết tật (các lệnh di chuyển, rẽ, dừng) và robot hút bụi tự động thông minh (khẩu lệnh men tường, đi xoắn ốc, về trạm sạc).

Kết quả và những đóng góp mới

Các kết quả và đóng góp mới của luận án được phản ánh qua các công trình công bố và các giải pháp kỹ thuật cụ thể:

Đóng góp về mặt lý luận và phương pháp:

  1. Luận án đã hệ thống hóa và làm sáng tỏ quy luật biến đổi của các tham số âm học (trường độ, formant và đường nét tần số cơ bản F0) của tiếng Việt trong dòng ngữ lưu dưới ảnh hưởng của ngữ cảnh kết hợp âm vị và các loại thanh điệu.
  2. Đề xuất quy trình và tập thuộc tính ngôn ngữ - ngữ cảnh phù hợp cho mô hình cây quyết định CART, cho phép dự báo đồng thời trường độ và âm lượng của âm tiết tiếng Việt trong ngữ cảnh câu từ văn bản đầu vào.
  3. Đề xuất phương pháp kết hợp vector đặc trưng MFCC được chuẩn hóa theo VTLN với thành phần tần số cơ bản F0 trong bài toán nhận dạng tiếng nói liên tục độc lập người nói, cải thiện độ chính xác nhận dạng khi người sử dụng có cấu trúc ống âm thanh khác biệt với tập dữ liệu huấn luyện.
  4. Đề xuất thuật toán ước lượng tham số co dãn trục tần số VTLN dựa trên các tần số formant đo được kết hợp bộ phát hiện tiếng nói (VAD), thay thế cho phương pháp Maximum Likelihood (ML) truyền thống nhằm cắt giảm khối lượng tính toán.

Đóng góp về mặt kỹ thuật và thực tiễn:

  1. Đề xuất giải pháp nén dữ liệu và tối ưu thuật toán ghép nối tín hiệu tiếng nói cho phép xây dựng hệ thống tổng hợp tiếng Việt gọn nhẹ trên các vi hệ thống có tài nguyên lưu trữ và năng lực tính toán hạn chế.
  2. Thiết kế hoàn chỉnh giải thuật nhận dạng tiếng nói dựa trên mô hình Markov ẩn sử dụng tính toán số học chấm tĩnh (fixed-point), tối ưu hóa cấu trúc dữ liệu để nằm trọn trong 64 KB bộ nhớ SRAM của chip nhúng PSoC5.
  3. Ứng dụng thành công các kết quả nghiên cứu vào việc chế tạo hệ thống nhận dạng khẩu lệnh điều khiển robot dịch vụ (robot hút bụi tự động thông minh thuộc đề tài cấp Viện Hàn lâm KH&CN Việt Nam) và xe lăn điện hỗ trợ người khuyết tật.

Các công trình khoa học đã công bố liên quan trực tiếp đến luận án:

  • 02 bài báo trên tạp chí chuyên ngành:
    1. "Tổ hợp đường F0 và VTLN cho nhận dạng tên riêng tiếng Việt", Tạp chí Tin học và Điều khiển học, Tập 27, số 3, 2011, tr. 273–282.
    2. "Dự báo các giá trị ngôn điệu tiếng Việt cho tiếng nói tổng hợp", Tạp chí Công nghệ Thông tin và Truyền thông, Tập V-1, số 6(26), 2011, tr. 236–241.
  • 03 bài báo cáo trong kỷ yếu hội thảo khoa học quốc gia:
    1. "Trích chọn đặc trưng âm học tiếng Việt dựa trên F0 và biến thể của MFCC với ước lượng VTLN từ các giá trị formant", Kỷ yếu Hội nghị Quốc gia lần thứ VII FAIR, 2014.
    2. "Tối ưu lưu trữ và tính toán tín hiệu tiếng nói cho hệ tổng hợp Tiếng Việt dựa trên ghép nối", Kỷ yếu Hội nghị Quốc gia lần thứ VII FAIR, 2014.
    3. "Thiết kế hệ thống nhận dạng khẩu lệnh tiếng Việt điều khiển thiết bị tự hành trên nền các vi hệ thống điện năng thấp với phép chuẩn hóa VTLN – MFCC", Kỷ yếu Hội nghị VCM, 2012.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

  • Mô hình ngữ điệu Fujisaki trong luận án mới chỉ được khảo sát, kiểm nghiệm tốt trên phạm vi các âm tiết tiếng Việt phát âm rời rạc; việc trích xuất và sinh tự động các tham số Fujisaki (lệnh ngữ, lệnh trọng âm) trên câu nói liên tục chưa đạt độ ổn định để đưa vào bộ tổng hợp thực tế.
  • Hệ thống nhận dạng nhúng trên chip vi hệ thống tài nguyên thấp (64 KB SRAM) mới giới hạn trong việc nhận dạng tập khẩu lệnh đóng (các từ điều khiển cố định cho xe lăn, robot hút bụi) và tập tên riêng rời rạc, chưa đáp ứng bài toán nhận dạng tiếng nói liên tục vốn từ lớn không giới hạn.
  • Cơ sở dữ liệu huấn luyện mô hình ngôn điệu CART mới sử dụng một giọng đọc chuẩn trong phạm vi văn bản văn học, chưa bao quát được các phương ngữ khác ngoài phương ngữ Bắc Bộ và các phong cách phát âm đa dạng.

Hướng nghiên cứu tiếp theo:

  • Tiếp tục nghiên cứu hoàn thiện phương pháp ước lượng tự động các tham số của mô hình Fujisaki cho các ngữ đoạn và câu tiếng Việt liên tục.
  • Nâng cao độ chính xác của các thuật toán nhận dạng trong môi trường nhiễu âm thanh phức tạp và di động.
  • Nghiên cứu mở rộng tập từ vựng nhận dạng trên các dòng vi xử lý nhúng thế hệ mới có năng lực tính toán và dung lượng bộ nhớ lớn hơn.

Giá trị tham khảo

Bản luận án là tài liệu tham khảo chuyên khảo hữu ích cho các nhóm đối tượng nghiên cứu và ứng dụng kỹ thuật sau:

  • Nghiên cứu sinh, học viên cao học và giảng viên ngành Công nghệ thông tin, Toán tin, Xử lý tín hiệu và Ngôn ngữ học tính toán: Luận án cung cấp hệ thống số liệu âm học thực nghiệm phong phú về nguyên âm, phụ âm, formant và các quy luật biến thanh của 6 thanh điệu tiếng Việt trong ngữ lưu. Đặc biệt, phương pháp thiết kế bộ thuộc tính ngữ âm cho mô hình CART ở Chương 3 là tài liệu tham khảo trực tiếp cho các nghiên cứu về xử lý ngôn điệu tiếng Việt.
  • Kỹ sư phát triển hệ thống nhúng, thiết bị IoT và robot thông minh: Chương 4 của luận án cung cấp giải pháp chuyển đổi tính toán HMM sang số học dấu chấm tĩnh (fixed-point) và kỹ thuật quản lý bộ nhớ SRAM hạn chế (64 KB). Đây là kinh nghiệm thiết kế thực tế cho các kỹ sư muốn triển khai thuật toán học máy trực tiếp trên vi điều khiển mà không cần kết nối máy chủ đám mây.
  • Các đơn vị nghiên cứu và chế tạo thiết bị trợ giúp người khuyết tật: Mô hình điều khiển xe lăn và thiết bị gia dụng bằng khẩu lệnh tiếng Việt ngoại tuyến chứng minh tính khả thi kỹ thuật trong việc chế tạo các sản phẩm hỗ trợ người già, người khuyết tật vận động với chi phí thấp và độ trễ phản hồi tối thiểu.

Câu hỏi thường gặp

1. Luận án giải quyết vấn đề nhận dạng tiếng Việt độc lập người nói bằng những giải pháp kỹ thuật nào?
Luận án kết hợp hai kỹ thuật: tích hợp đường tần số cơ bản F0 vào vector đặc trưng MFCC để nắm bắt đặc trưng thanh điệu tiếng Việt, và áp dụng phép chuẩn hóa chiều dài ống cấu âm VTLN. Đặc biệt, tác giả đề xuất ước lượng hệ số co dãn phổ của VTLN trực tiếp thông qua tần số formant của các nguyên âm và bộ phát hiện tiếng nói (VAD), thay thế cho phương pháp Maximum Likelihood (ML) để giảm khối lượng tính toán.

2. Tại sao tác giả lại chọn phương pháp tổng hợp ghép nối thay vì mô hình HMM hay tổng hợp formant?
Dựa trên bảng phân tích so sánh các sản phẩm trong nước, phương pháp tổng hợp formant (như VnSpeech) cho chất lượng âm thanh không tự nhiên. Phương pháp tổng hợp dựa trên HMM (như HTS/VietTalk) đòi hỏi năng lực tính toán và bộ nhớ lớn phù hợp với máy chủ hơn là vi điều khiển. Phương pháp ghép nối đơn vị cơ bản được lựa chọn vì tạo ra giọng đọc tự nhiên, rõ ràng, dễ tối ưu hóa dung lượng kho âm để triển khai trên các thiết bị nhúng có tài nguyên hạn chế.

3. Cơ sở dữ liệu văn bản nào được tác giả sử dụng để huấn luyện mô hình dự báo trường độ và âm lượng bằng CART?
Tác giả sử dụng cơ sở dữ liệu ngữ âm tiếng Việt chuẩn hóa, trong đó phần dữ liệu văn bản được trích xuất từ tập truyện "Dế mèn phiêu lưu ký" của nhà văn Tô Hoài. Các câu văn bản được phân tích thành phần ngữ âm, từ loại, gán nhãn thanh điệu, vị trí âm vị và cấu trúc ngữ đoạn để làm dữ liệu huấn luyện cho công cụ Wagon của Festival.

4. Hệ thống nhận dạng nhúng của luận án được cài đặt trên phần cứng nào và tối ưu hóa bộ nhớ ra sao?
Hệ thống được thử nghiệm trên chip vi hệ thống điện năng thấp PSoC5 (lõi ARM Cortex-M3, 64 KB RAM SRAM, 256 KB Flash) và chip OMAP3 (lõi ARM7, 128 MB RAM). Để chạy được trong 64 KB SRAM, toàn bộ giải thuật Viterbi và mô hình CD-HMM được chuyển đổi sang tính toán số học dấu chấm tĩnh (fixed-point) và cấu trúc lại bảng tham số mô hình âm học để loại bỏ các phép tính dấu chấm động tốn kém.

5. Hiện tượng biến thanh của tiếng Việt trong ngữ lưu được luận án ghi nhận có quy luật chính như thế nào?
Khảo sát thực nghiệm cho thấy cao độ bắt đầu của âm tiết phụ thuộc nhiều vào âm vực của thanh điệu đứng trước nó hơn là thanh điệu đứng sau. Khi đi sau thanh có âm vực cao (ngang, sắc, ngã), đường nét thanh điệu sau có độ dốc thấp hơn so với khi đứng sau thanh có âm vực thấp (huyền, hỏi, nặng). Nửa trước của âm tiết biến đổi để đạt cao độ cần thiết, trong khi đặc trưng thanh điệu thực sự thể hiện rõ ở nửa sau. Các thanh ngã và hỏi trong ngữ lưu liên tục có xu hướng diễn tiến theo một chiều, triệt tiêu điểm gãy đổi hướng.

Kết luận

Bản luận án tiến sĩ của tác giả Ngô Hoàng Huy đã giải quyết một cách có hệ thống bài toán kết hợp đặc trưng âm học tiếng Việt (tần số F0, formant, trường độ) và các ràng buộc ngôn điệu nhằm nâng cao chất lượng của cả hai bài toán tổng hợp và nhận dạng tiếng nói. Công trình đã xây dựng thành công mô hình CART dự báo trường độ và âm lượng từ văn bản cho bộ tổng hợp ghép nối, đồng thời đề xuất giải pháp tổ hợp MFCC, VTLN ước lượng bằng formant và F0 cho nhận dạng độc lập người nói. Điểm nổi bật về mặt kỹ thuật của luận án là việc tối ưu hóa thành công mô hình Markov ẩn với tính toán dấu chấm tĩnh để cài đặt hoàn chỉnh trên vi điều khiển nhúng 64 KB SRAM, phục vụ hiệu quả cho các ứng dụng điều khiển xe lăn và robot hút bụi tự động bằng khẩu lệnh tiếng Việt.