Tổng quan nghiên cứu

Công nghệ tổng hợp tiếng nói từ văn bản đóng vai trò cốt lõi trong việc xây dựng giao tiếp tự nhiên giữa người và máy tính. Trong bối cảnh tiếng Việt là một ngôn ngữ đơn âm đa thanh điệu với khoảng 17.000 vỏ ngữ âm tiềm năng và hơn 6.900 âm tiết tồn tại thực tế, việc tạo ra giọng đọc nhân tạo vừa chuẩn xác vừa tự nhiên luôn là thách thức lớn. Phần lớn các giải pháp tổng hợp giọng nói tiếng Việt giai đoạn đầu chỉ dừng lại ở mức độ đọc rõ ràng từng âm rời rạc, chưa đạt được độ mượt mà của lời nói tự nhiên do thiếu hụt các mô hình xử lý ngôn điệu hoàn chỉnh.

Mục tiêu trọng tâm của nghiên cứu là phân tích các đặc trưng ngữ âm học tiếng Việt, khảo sát các phương pháp tổng hợp tiếng nói tiên tiến trên thế giới, từ đó đề xuất và tích hợp các giải pháp cải tiến ngôn điệu vào phần mềm tổng hợp tiếng Việt VnVoice. Nghiên cứu tập trung giải quyết tình trạng gián đoạn biên độ, sai lệch năng lượng và đứt gãy đường tần số cơ bản tại các điểm ghép nối âm thanh.

Phạm vi nghiên cứu được thực hiện tại Trường Đại học Công nghệ thuộc Đại học Quốc gia Hà Nội, tập trung vào tiếng Việt tiêu chuẩn theo giọng đọc Bắc Bộ. Về mặt ý nghĩa thực tiễn, việc tối ưu hóa giải thuật tổng hợp giúp nâng cao chỉ số đánh giá chất lượng giọng nói trung bình từ mức 2.9 điểm lên trên 3.8 điểm theo thang đo chuẩn 5 mức, đồng thời giảm thiểu độ lệch tần số cơ bản xuống dưới 10%, tạo nền tảng vững chắc cho các hệ thống hỗ trợ người khiếm thị và các dịch vụ viễn thông thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên ba trụ cột lý thuyết chính gồm âm vị học tiếng Việt, mô hình nguồn âm và bộ lọc tuyến âm, cùng các giải thuật xử lý tín hiệu số hiện đại:

  • Lý thuyết cấu trúc âm tiết tiếng Việt hai bậc: Hệ thống âm vị tiếng Việt bao gồm 21 phụ âm đầu, 11 nguyên âm đơn, 3 nguyên âm đôi, 2 bán nguyên âm và 6 phụ âm cuối, kết hợp cùng 6 thanh điệu phân chia theo hai nhóm bằng và trắc. Đặc tính âm vực cao hoặc thấp kết hợp với sự biến thiên đường tần số cơ bản F0 tạo nên nét đặc thù bắt buộc phải mô hình hóa chính xác khi tổng hợp.
  • Mô hình nguồn âm và tuyến âm của Klatt: Tiếp cận quá trình phát âm của con người thông qua hệ thống gồm 40 tham số điều khiển, cho phép mô phỏng sự tương tác giữa nguồn kích hữu thanh, vô thanh và mạng lưới bộ lọc cộng hưởng formant nối tiếp kết hợp song song.
  • Mô hình tổng hợp ghép nối và thuật toán TD-PSOLA: Phương pháp ghép nối các đoạn sóng âm được ghi âm sẵn trong miền thời gian, sử dụng thuật toán cộng chồng đồng bộ bước sóng để điều chỉnh cao độ và độ dài âm tiết mà không làm biến dạng phổ tần số.
  • Các mô hình biểu diễn ngôn điệu: Sử dụng mô hình tham số hóa Fujisaki, mô hình đường nghiêng Tilt và cây quyết định hồi quy CART nhằm tham số hóa và dự báo các thuộc tính siêu đoạn tính như trường độ, năng lượng và tần số cơ bản.

Phương pháp nghiên cứu

  • Nguồn dữ liệu và cỡ mẫu: Ngữ liệu nghiên cứu bao gồm một kho âm thanh được thu âm chuẩn từ giọng đọc nữ miền Bắc, bao phủ hơn 2.000 đơn vị bán âm tiết và diphone đại diện cho toàn bộ hệ thống âm thanh tiếng Việt. Tập văn bản thử nghiệm gồm 100 câu trần thuật và hội thoại đa dạng ngữ cảnh với tổng số hơn 1.500 từ đơn và từ ghép.
  • Phương pháp chọn mẫu: Áp dụng phương pháp chọn mẫu phân tầng theo cấu trúc âm vị học. Mẫu thu âm được thiết kế sao cho xuất hiện đầy đủ các tổ hợp chuyển tiếp giữa phụ âm và nguyên âm, các biến thể thanh điệu và hiện tượng thanh hầu hóa trong câu.
  • Phương pháp phân tích dữ liệu: Sử dụng kỹ thuật phân tích dự báo tuyến tính LPC kết hợp phân tích ảnh phổ ba chiều để trích xuất các formant từ F1 đến F5, băng thông và đường F0. Cây hồi quy CART được lựa chọn vì khả năng xấp xỉ phi tuyến tính tốt, xử lý hiệu quả các quy luật ngôn ngữ phức tạp và đem lại độ diễn giải tường minh cao.
  • Trục thời gian nghiên cứu: Quá trình phân tích âm học, thu thập dữ liệu ngữ âm, xây dựng mô hình toán học và cài đặt thử nghiệm trên mã nguồn phần mềm VnVoice được triển khai hoàn chỉnh trong chu kỳ 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đạt được các kết quả định lượng cụ thể thông qua quá trình thử nghiệm thực tế:

  • Tối ưu hóa dự báo trường độ âm tiết: Việc ứng dụng cây phân lớp và hồi quy CART vào phân tích ngữ cảnh câu giúp giảm sai số dự báo trường độ âm tiết xuống dưới 15% so với mô hình tham số tĩnh cố định, đảm bảo nhịp điệu ngắt nghỉ câu tự nhiên hơn.
  • Triệt tiêu lỗi gián đoạn biên độ và năng lượng: Kỹ thuật làm trơn tuyến tính tại các biên ghép nối diphone và bán âm tiết đã loại bỏ hiện tượng vỡ tiếng và giật cục trên 80% các trường hợp thử nghiệm, tạo ra dòng ngữ lưu liền mạch.
  • Tái tạo chính xác đường nét thanh điệu: Mô hình hiệu chỉnh đường F0 kết hợp mô hình Tilt giúp tái hiện chính xác quỹ đạo của 6 thanh điệu tiếng Việt trong ngữ cảnh câu hoàn chỉnh. Kết quả đánh giá thực nghiệm cho thấy điểm trung bình chất lượng MOS tăng từ 2.9/5.0 lên mức 3.85/5.0, tương đương mức cải thiện 32.7% về độ tự nhiên và tính dễ hiểu.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự gia tăng vượt trội về chất lượng giọng đọc nằm ở việc giải quyết triệt để sự mất liên tục của tín hiệu tại các điểm nối âm thanh. Trong các hệ thống ghép nối truyền thống, sự chênh lệch đột ngột về mức áp suất âm thanh và độ cao F0 giữa hai âm vị kế tiếp tạo ra các tiếng ồn nhân tạo rất dễ nhận biết bằng tai người. Bằng cách áp dụng thuật toán TD-PSOLA kết hợp với mô hình làm trơn tham số, các bước nhảy biên độ đã được làm mịn hoàn toàn.

Khi so sánh với phương pháp tổng hợp formant thuần túy theo quy luật như ở phần mềm VnSpeech, giải pháp ghép nối cải tiến trên VnVoice giữ lại được trọn vẹn đặc tính âm sắc tự nhiên của giọng người thật nhờ khai thác trực tiếp dữ liệu sóng âm gốc.

Dữ liệu thực nghiệm này có thể được trình bày trực quan qua biểu đồ đường cong biến thiên tần số cơ bản F0 theo thời gian, đặt cạnh ảnh phổ âm thanh thực tế để chứng minh sự tương đồng giữa giọng đọc tổng hợp và giọng nói của người bản ngữ. Bên cạnh đó, bảng thống kê phân bố điểm MOS theo từng tiêu chí như độ rõ ràng âm vị, tính tự nhiên ngữ điệu và mức độ dễ chịu khi nghe liên tục sẽ làm nổi bật tính ưu việt của giải pháp cải tiến.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, bốn giải pháp mang tính hành động cao được đề xuất nhằm tiếp tục hoàn thiện công nghệ tổng hợp tiếng Việt:

  • Mở rộng quy mô cơ sở dữ liệu tiếng nói: Các viện nghiên cứu và trường đại học cần phối hợp thu âm mở rộng kho ngữ liệu lên trên 15.000 câu đa dạng lĩnh vực trong vòng 6 đến 12 tháng tới, nhằm nâng cao tỷ lệ bao phủ ngữ cảnh âm vị đạt mức 99%.
  • Tối ưu hóa thuật toán lựa chọn đơn vị động: Đội ngũ kỹ sư phát triển phần mềm cần tích hợp thuật toán quy hoạch động Viterbi để tự động tìm kiếm chuỗi đơn vị âm thanh tối ưu trên miền thời gian thực, giảm độ trễ phản hồi của hệ thống xuống dưới 50 mili-giây.
  • Chuẩn hóa mô đun phân tích văn bản và xử lý ngôn ngữ tự nhiên: Nâng cấp bộ phân tích cú pháp, từ điển nhận dạng thực thể tên riêng, từ viết tắt và các ký hiệu số nhằm đạt độ chính xác phân tách từ và gán nhãn từ loại trên 98% trong lộ trình 6 tháng.
  • Phát triển bộ tham số đa phương ngữ: Các nhóm nghiên cứu âm học cần xây dựng bổ sung bộ quy tắc và cơ sở dữ liệu cho giọng miền Trung và miền Nam trong thời gian 18 tháng, giúp các ứng dụng tổng hợp giọng nói phục vụ đồng đều người dùng trên toàn quốc.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và thực tiễn phong phú cho 4 nhóm đối tượng chuyên môn:

  • Kỹ sư xử lý ngôn ngữ tự nhiên và tiếng nói: Cung cấp tài liệu tham khảo chi tiết về thuật toán TD-PSOLA, kỹ thuật phân tích LPC và phương pháp điều khiển tham số ngôn điệu để ứng dụng trực tiếp vào việc xây dựng trợ lý ảo và tổng đài tự động.
  • Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Nắm bắt phương pháp luận khoa học trong việc ứng dụng mô hình cây quyết định CART và các mô hình toán học âm thanh vào bài toán xử lý tín hiệu tiếng Việt phức tạp.
  • Nhóm phát triển phần mềm hỗ trợ người yếu thế: Khai thác kiến trúc phần mềm VnVoice để tích hợp giải pháp đọc văn bản tiếng Việt chất lượng cao vào các thiết bị đọc màn hình dành cho người khiếm thị và các ứng dụng giáo dục đặc biệt.
  • Chuyên gia ngôn ngữ học thực nghiệm: Tiếp cận góc nhìn liên ngành giữa ngữ âm học truyền thống và công nghệ thông tin, phân tích 12 đặc trưng âm học và cấu trúc 6 thanh điệu dưới dạng tín hiệu số.

Câu hỏi thường gặp

  • Tại sao việc tổng hợp tiếng Việt lại phức tạp hơn so với các ngôn ngữ không dấu như tiếng Anh? Tiếng Việt là ngôn ngữ đơn âm mang 6 thanh điệu đặc trưng với tần số cơ bản F0 biến đổi liên tục từ 0 đến 500 Hz tùy thuộc vào từng loại thanh. Sự thay đổi cao độ không chỉ mang tính ngữ điệu câu mà trực tiếp làm thay đổi ngữ nghĩa của từ, đòi hỏi mô hình tổng hợp phải kiểm soát chính xác từng bước nhảy tần số.

  • Phương pháp ghép nối có ưu điểm gì vượt trội so với phương pháp tổng hợp Formant? Phương pháp ghép nối sử dụng trực tiếp các đoạn sóng âm thu từ người thật nên giữ được âm sắc tự nhiên và độ ấm của giọng nói. Trong khi đó, phương pháp tổng hợp formant theo quy luật phụ thuộc vào hệ thống hơn 40 tham số nhân tạo, khiến giọng đọc có xu hướng cứng nhắc và mang tính máy móc.

  • Thuật toán TD-PSOLA đóng vai trò gì trong việc nâng cao chất lượng giọng nói? Thuật toán TD-PSOLA cho phép phân tích tín hiệu âm thanh thành các khung thời gian ngắn từ 10 đến 15 mili-giây đồng bộ theo chu kỳ bước sóng. Nhờ đó, hệ thống có thể thay đổi tần số dao động F0 và kéo giãn hoặc nén trường độ âm thanh linh hoạt mà không làm biến dạng cấu trúc phổ tần.

  • Hiện tượng vỡ âm tại các điểm ghép nối trong phần mềm VnVoice được khắc phục như thế nào? Hiện tượng này được giải quyết bằng kỹ thuật làm trơn tuyến tính các vector tham số biên độ và năng lượng tại điểm tiếp giáp giữa hai âm đoạn. Quá trình nội suy giá trị giúp triệt tiêu sự chênh lệch năng lượng đột ngột, loại bỏ hơn 80% tạp âm cơ học phát sinh ở biên âm tiết.

  • Thang đo nào được sử dụng phổ biến nhất để kiểm chứng chất lượng tiếng nói tổng hợp? Nghiên cứu sử dụng thang đo chuẩn quốc tế Mean Opinion Score với 5 mức đánh giá từ 1 điểm đến 5 điểm. Đánh giá được thực hiện qua các bài kiểm tra nghe thực nghiệm trên nhóm người nghe độc lập, tập trung vào hai tiêu chí cốt lõi là độ rõ ràng âm vị và tính tự nhiên của ngữ điệu.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện cơ sở âm học tiếng Việt với cấu trúc chặt chẽ của hơn 6.900 âm tiết và hệ thống 6 thanh điệu phức tạp.
  • Phân tích sâu sắc các hạn chế cố hữu về gián đoạn năng lượng và sai lệch đường nét F0 trong các hệ thống tổng hợp ghép nối giai đoạn đầu.
  • Ứng dụng thành công cây quyết định CART và các mô hình điều khiển F0 tiên tiến để mô hình hóa chính xác các tham số ngôn điệu tiếng Việt.
  • Nâng cao điểm đánh giá chất lượng giọng đọc tổng hợp trên phần mềm VnVoice từ mức 2.9 lên 3.85 điểm theo thang đo chuẩn quốc tế.
  • Tạo tiền đề kỹ thuật quan trọng cho việc phát triển các giải pháp đọc văn bản tự động phục vụ cộng đồng và các dịch vụ tương tác thông minh.

Trong giai đoạn 2 đến 3 năm tiếp theo, hướng phát triển tất yếu là ứng dụng các mạng nơ-ron học sâu để tự động hóa hoàn toàn quá trình sinh ngôn điệu tự nhiên. Độc giả và các nhà phát triển quan tâm có thể khai thác ngay các kiến thức nền tảng trong tài liệu này để tối ưu hóa các hệ thống tổng hợp giọng nói tiếng Việt hiện đại.