Luận văn thạc sĩ nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng việt theo phương thức phát âm

Luận văn thạc sĩ nghiên cứu nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng Việt, ứng dụng công nghệ AI hiện đại.

• Tác giả: Phạm Ngọc Hưng
• Người hướng dẫn: PGS. Trịnh Văn Loan
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nhận Dạng Tự Động Tiếng Nói Phát Âm Liên Tục Cho Các Phương Ngữ Chính Của Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về nhận dạng tiếng nói

Nhận dạng tiếng nói là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, đặc biệt là trong bối cảnh phát triển của công nghệ nhận dạng. Lịch sử phát triển của lĩnh vực này đã chứng kiến nhiều tiến bộ đáng kể, từ các mô hình đơn giản đến các hệ thống phức tạp sử dụng machine learning và trí tuệ nhân tạo. Các thách thức lớn trong nhận dạng tiếng nói bao gồm sự đa dạng về ngữ âm và ngữ nghĩa, đặc biệt là trong ngữ cảnh tiếng Việt với nhiều phương ngữ khác nhau. Việc phân loại hệ thống nhận dạng tiếng nói cũng rất quan trọng, giúp xác định các phương pháp và công nghệ phù hợp cho từng loại ngữ liệu. Nghiên cứu về nhận dạng phương ngữ tiếng Việt đã chỉ ra rằng sự khác biệt trong cách phát âm giữa các vùng miền có thể ảnh hưởng lớn đến hiệu suất của hệ thống nhận dạng. Các mô hình như GMM, SVM và mạng nơ-ron đã được áp dụng để cải thiện độ chính xác trong nhận dạng tiếng nói.

1.1. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói

Lịch sử nhận dạng tiếng nói bắt đầu từ những năm 1950 với các mô hình đơn giản, nhưng đã nhanh chóng phát triển nhờ vào sự tiến bộ của công nghệ AI và machine learning. Các nghiên cứu gần đây đã tập trung vào việc cải thiện độ chính xác và khả năng nhận diện của các hệ thống thông qua việc sử dụng các mô hình phức tạp hơn như mạng nơ-ron sâu. Những thành tựu này đã mở ra nhiều ứng dụng thực tiễn trong đời sống, từ trợ lý ảo đến các hệ thống giao tiếp người-máy. Tuy nhiên, việc nhận dạng tiếng Việt vẫn gặp nhiều khó khăn do sự đa dạng về phương ngữ và cách phát âm khác nhau giữa các vùng miền.

1.2. Các thách thức đối với nhận dạng tự động tiếng nói

Một trong những thách thức lớn nhất trong nhận dạng tiếng nói là sự khác biệt về ngữ âm giữa các phương ngữ. Tiếng Việt có ba phương ngữ chính: Bắc, Trung và Nam, mỗi phương ngữ có những đặc điểm riêng biệt về âm vị và từ vựng. Sự khác biệt này không chỉ gây khó khăn cho con người trong giao tiếp mà còn làm giảm hiệu suất của các hệ thống nhận dạng. Các nghiên cứu cho thấy rằng nếu hệ thống nhận dạng có thể xác định được phương ngữ của người nói, nó có thể cải thiện đáng kể độ chính xác của việc nhận diện. Do đó, việc phát triển các mô hình nhận dạng tiếng nói phù hợp với từng phương ngữ là rất cần thiết.

II. Xây dựng bộ ngữ liệu cho nghiên cứu nhận dạng phương ngữ tiếng Việt

Việc xây dựng bộ ngữ liệu cho nhận dạng phương ngữ tiếng Việt là một bước quan trọng trong nghiên cứu này. Bộ ngữ liệu này cần phản ánh đầy đủ các đặc điểm ngữ âm và từ vựng của ba phương ngữ chính. Đặc điểm ngữ âm của từng phương ngữ, bao gồm âm tiết, âm vị và thanh điệu, cần được phân tích kỹ lưỡng để tạo ra một bộ dữ liệu chính xác và phong phú. Sự khác biệt về từ vựng giữa các phương ngữ cũng cần được ghi nhận, vì điều này có thể ảnh hưởng đến khả năng nhận diện của hệ thống. Việc chuẩn bị và chuẩn hóa văn bản là một phần quan trọng trong quá trình xây dựng bộ ngữ liệu, giúp đảm bảo tính nhất quán và chính xác trong việc thu thập và phân tích dữ liệu.

2.1. Tổng quan phương ngữ tiếng Việt

Tiếng Việt được chia thành ba phương ngữ chính: Bắc, Trung và Nam. Mỗi phương ngữ có những đặc điểm riêng về âm vị và từ vựng. Phương ngữ Bắc thường được coi là chuẩn mực trong ngôn ngữ viết, trong khi phương ngữ Nam và Trung có nhiều biến thể và cách phát âm khác nhau. Sự khác biệt này không chỉ ảnh hưởng đến cách giao tiếp mà còn tác động đến các hệ thống nhận dạng tiếng nói. Việc nghiên cứu và phân tích các đặc điểm này là cần thiết để phát triển các mô hình nhận dạng hiệu quả hơn.

2.2. Đặc điểm ngữ âm ba vùng phương ngữ chính của tiếng Việt

Đặc điểm ngữ âm của ba phương ngữ tiếng Việt rất đa dạng. Phương ngữ Bắc có hệ thống thanh điệu phong phú và rõ ràng, trong khi phương ngữ Nam thường có xu hướng đơn giản hóa âm vị. Phương ngữ Trung lại có những biến thể độc đáo, tạo nên sự khác biệt trong cách phát âm. Những đặc điểm này cần được ghi nhận và phân tích để xây dựng các mô hình nhận dạng phù hợp. Sự khác biệt trong âm tiết và âm vị giữa các phương ngữ có thể gây ra những khó khăn trong việc nhận diện chính xác, do đó, việc phát triển các phương pháp nhận dạng phù hợp với từng phương ngữ là rất quan trọng.

III. Nhận dạng phương ngữ tiếng Việt

Nhận dạng phương ngữ tiếng Việt là một lĩnh vực nghiên cứu đang được quan tâm. Các mô hình như GMM, SVM và mạng nơ-ron đã được áp dụng để cải thiện độ chính xác trong nhận dạng tiếng nói. Việc sử dụng các tham số như MFCC và F0 trong quá trình nhận dạng đã cho thấy hiệu quả rõ rệt. Các thử nghiệm cho thấy rằng việc kết hợp các tham số này có thể nâng cao hiệu suất nhận dạng, đặc biệt là trong các trường hợp có sự khác biệt rõ rệt giữa các phương ngữ. Hệ thống nhận dạng cần được tối ưu hóa để có thể hoạt động hiệu quả trong môi trường thực tế, nơi mà sự đa dạng về ngữ âm và từ vựng là rất lớn.

3.1. Nhận dạng phương ngữ tiếng Việt với GMM

Mô hình GMM (Gaussian Mixture Model) đã được áp dụng để nhận dạng phương ngữ tiếng Việt. Các thử nghiệm cho thấy rằng GMM có khả năng phân loại tốt các âm thanh từ các phương ngữ khác nhau. Việc sử dụng các tham số như MFCC và F0 đã giúp cải thiện đáng kể độ chính xác của mô hình. Kết quả cho thấy rằng GMM có thể nhận diện chính xác các phương ngữ trong nhiều tình huống khác nhau, từ đó mở ra hướng đi mới cho việc phát triển các hệ thống nhận dạng tiếng nói hiệu quả hơn.

3.2. SVM nhận dạng phương ngữ tiếng Việt

SVM (Support Vector Machines) là một trong những phương pháp hiệu quả trong nhận dạng tiếng nói. Các thử nghiệm với SVM cho thấy khả năng phân loại cao đối với các phương ngữ tiếng Việt. Việc lựa chọn số lượng hệ số MFCC phù hợp là rất quan trọng để đạt được kết quả tốt nhất. SVM có thể xử lý tốt các biến thể trong cách phát âm giữa các phương ngữ, từ đó nâng cao hiệu suất nhận dạng. Kết quả cho thấy rằng SVM có thể là một công cụ mạnh mẽ trong việc phát triển các hệ thống nhận dạng tiếng nói cho tiếng Việt.

Trích đoạn nội dung tài liệu

Chương 1 cũng tổng hợp các nghiên cứu liên quan về nhận dạng tiếng Việt và phương ngữ tiếng Việt, nêu bật những mặt còn tồn tại, những vấn đề cần giải quyết đối với nhận dạng tiếng Việt và phương ngữ tiếng Việt từ đó tìm hướng tiếp cận nhằm nâng cao hiệu năng cho hệ thống nhận dạng tiếng Việt nói. Nhận dạng tiếng nói 1. Tổng quan về nhận dạng tiếng nói Nhiệm vụ của hệ thống nhận dạng tiếng nói là làm cho hệ thống hiểu được tiếng nói của con người. Nhờ hệ thống này, tiếng nói có thể được chuyển đổi tự động thành văn bản, hoặc tự động điều khiển các quá trình khác [179].

Phương thức truyền thông tự nhiên nhất đối với con người là thông qua tiếng nói nên ước mơ cuối cùng của nhận dạng tiếng nói là cho phép con người có ngôn ngữ khác nhau giao tiếp với nhau và với máy một cách tự nhiên, hiệu quả hơn. Có thể nói, các ứng dụng nhận dạng tiếng nói hiện đang dần trở nên phổ biến, phục vụ đời sống con người cũng như trong các lĩnh vực kỹ thuật khác nhau. Trong lĩnh vực tương tác người máy, nhận dạng tiếng nói được định nghĩa là khả năng hệ thống máy tính có thể chấp nhận đầu vào là lời nói theo định dạng file âm thanh và tạo ra được văn bản chứa nội dung tương ứng. Nhận dạng tự động tiếng nói ASR (Automatic Speech Recognition) mô phỏng khả năng nghe và hiểu lời nói của con người.

Hệ thống ASR có thể chuyển đổi lời nói thành văn bản. Bài toán nhận dạng tự động tiếng nói là một chương trình máy tính tiếp nhận đầu vào là các mẫu tiếng nói và tạo ra văn bản tương ứng mà con người có thể hiểu được như khi trực tiếp nghe tiếng nói đó. ASR là một trong các lĩnh vực của nhận dạng mẫu. ASR phát triển mạnh tương xứng với các lĩnh vực khác của nhận dạng mẫu vì mong muốn tạo ra được cỗ máy có khả năng tạo ra được các quyết định phức tạp và thực tế, có chức năng nhanh như con người đồng thời có thể hiểu được lời nói.

Tương tự như bất kỳ hệ thống nhận dạng mẫu nào, ASR tìm kiếm để hiểu được các mẫu tiếng nói đầu vào. Các nghiên cứu về xử lý tín hiệu, xử lý tiếng nói và đặc biệt là nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia và mang lại nhiều thành tựu trong các lĩnh vực này [33, 37, 55, 57, 63, 75, 94, 95, 135]. 19 Mục tiếp theo dưới đây sẽ trình bày tóm lược về lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói Điều đầu tiên quan trọng cần phải kể đến trong lịch sử phát triển của nhận dạng tiếng nói là việc thành lập các mô hình thống kê và các thuật giải liên quan tạo điều kiện cho việc thực hiện các mô hình này.

Mô hình HMM đã được giới thiệu như là một mô hình âm học của hệ thống nhận dạng tiếng nói từ đầu những năm 1970 [12, 82]. Hơn 30 năm sau, phương pháp này vẫn còn được sử dụng rộng rãi. Một lượng lớn các mô hình và thuật giải đã được đề xuất và sử dụng hiệu quả trong lĩnh vực này. Thuật giải tối đa hóa kỳ vọng EM (Expectation Maximization) và thuật giải quay lui (Forward – Backward) hoặc thuật giải Baum – Welch [14, 36] đã có vai trò chủ yếu và quan trọng trong việc huấn luyện mô hình HMM một cách hiệu quả.

Tương tự như vậy, mô hình ngôn ngữ N-gram và các biến thể được huấn luyện với các tính toán cơ bản hoặc sử dụng kỹ thuật EM-Style đã đạt được các hiệu quả quan trọng. Bên cạnh mô hình âm học HMM và mô hình ngôn ngữ cơ bản N-gram, đã có nghiên cứu mới được công bố như các mô hình phân đoạn [38, 39, 60] và các mô hình ngôn ngữ và tiếng nói có cấu trúc [27, 40, 176]. Các thuật giải thích nghi hiệu quả cho phép tích hợp được trên các ứng dụng đòi hỏi xử lý nhanh. Đây là chìa khóa dẫn đến thành công cho việc phát triển các sản phẩm thương mại của công nghệ nhận dạng tiếng nói.

Các kỹ thuật thích nghi phổ biến có thể kể đến là tối đa xác suất hậu nghiệm MAP (Maximum a Posteriori probability), ước lượng MLLR (Estimation và Maximum Likelihood Linear Regression) [96]. Các kỹ thuật thích nghi đã được tổng quát hóa để huấn luyện các mô hình chung, một đại diện tốt trong số đó có thể kể đến là mô hình thống kê toàn thể của tập dữ liệu huấn luyện đầy đủ. Kỹ thuật này được gọi là kỹ thuật huấn luyện thích nghi người nói SAT (Speaker Adaptive Training) [9]. Huang cùng cộng sự đã có nghiên cứu so sánh các phương pháp nhận dạng độc lập người nói, nhận dạng phụ thuộc người nói và nhận dạng thích nghi người nói [74].

Kết quả nghiên cứu này cho thấy: khi nhận dạng độc lập người nói, tỷ lệ lỗi từ đạt 4,3%, còn khi sử dụng dữ liệu phụ thuộc người nói, tỷ lệ lỗi từ đã giảm đến 1,4%. Trong các thử nghiệm, nhóm tác giả đều áp dụng phương pháp thich nghi người nói. Nhóm thứ hai trong những tiến bộ đáng kể của lĩnh vực xử lý tiếng nói là sự hình thành cơ sở hạ tầng tính toán mạnh về phần cứng cho phép phát triển được các thuật giải, mô hình thống kê nêu trên. Định luật Moore quan sát sự tiến bộ trong lĩnh vực phát triển của máy tính và dự báo khả năng tính toán tăng gấp đôi sau mỗi khoảng thời gian từ 12 đến 18 tháng.

Cũng như vậy, chi phí cho bộ nhớ sẽ được giảm đi. Cơ sở hạ tầng mạnh nói trên là phương tiện cho phép các nhà nghiên cứu về nhận dạng tiếng nói có thể phát triển và đánh giá độ phức tạp các thuật giải trên các tác vụ đủ lớn. Ngữ liệu tiếng nói đóng vai trò quan trọng để thực hiện các nghiên cứu nhận dạng tiếng nói. Ngữ liệu tiếng nói lớn cho phép các mô hình thống kê học hiệu quả hơn.

Trong những năm qua, Viện Tiêu chuẩn và 20 Công nghệ NIST (National Institute of Standard and Technology), Hiệp hội dữ liệu ngôn ngữ học LDC (Linguistic Data Consortium), Hiệp hội Tài nguyên Ngôn ngữ châu Âu ELRA (European Language Resources Association) và các tổ chức khác đã xây dựng được các bộ ngữ liệu tiếng nói, chú giải và chia sẻ rộng rãi cho cộng đồng trên toàn thế giới. Với sự phát triển, hội nhập và chia sẻ trên phạm vi toàn cầu, hiện nay, nhiều phòng thí nghiệm, các nhà nghiên cứu đã được hưởng lợi ích từ các công cụ phục vụ cho nghiên cứu được cung cấp miễn phí như HTK (Hidden Markov Model Toolkit), Sphinx, CMU LM toolkit và SRILM toolkit. Mặt khác, các hỗ trợ cho nghiên cứu sâu, rộng, kết hợp với các hội nghị, hội thảo, hệ thống đánh giá được DARPA (U. Department of Defense Advanced Research Projects Agency) và các tổ chức, cá nhân khác tài trợ đã trở nên cần thiết cho sự phát triển hệ thống nhận dạng tiếng nói hiện nay.

Nhóm tiến bộ thứ 3 có thể kể đến thuộc về lĩnh vực biểu diễn tri thức. Các kỹ thuật phân tích tham số tiếng nói như MFCC (Mel-Frequency Cepstral Coefficients) [35], tiên đoán cảm thụ tuyến tính PLP (Perceptual Linear Prediction) [70], chuẩn hóa thông qua trừ trung bình cepstral CMS (Cepstral Mean Subtraction) [139], RASTA [70] và chuẩn hóa chiều dài tuyến âm VTLN (Vocal Tract Length Normalization) [42]. Gần đây, có nhiều thuật giải đã được đề xuất cho nhận dạng tiếng nói mang lại hiệu quả cao như Phân tích phân biệt tuyến tính hiệp phương sai không đồng nhất HLDA (Heteroscedastic Linear Discriminant Analysis) [90], cực tiểu lỗi từ theo không gian đặc trưng fMPE (feature-space Minimum Phone Error) [132] và mạng nơ ron dựa trên các đặc trưng [112]. Nhóm cuối cùng trong các tiến bộ lớn của nhận dạng tiếng nói là giải mã và các thuật giải tìm kiếm.

Ban đầu tập trung vào giải mã ngăn xếp (thuật giải tìm kiếm A∗) [84] và tìm kiếm đồng bộ thời gian Viterbi (time-synchronous Viterbi search) [115, 143, 169, 171]. Nếu không có các thuật giải khả thi thì các nhận dạng tiếng nói liên tục có quy mô lớn khó có thể thực hiện được. Như vậy có thể thấy, nhận dạng tiếng nói đã đạt được nhiều tiến bộ trong các năm qua. Có nhiều mô hình nhận dạng đã được đề xuất trong đó mô hình HMM với nền tảng chính không có nhiều thay đổi song việc mô hình hóa, các kỹ thuật cài đặt cụ thể vẫn liên tục được cải tiến.

Vì thế, HMM vẫn giữ được vị trí quan trọng trong các hệ thống nhận dạng tiếng nói. Bên cạnh đó, các kỹ thuật phân tích tham số cũng đạt được những bước tiến quan trọng. Các thuật giải tìm kiếm được cải tiến giúp bộ giải mã thực hiện các nhiệm vụ tìm kiếm, cho ra lời giải hiệu quả hơn. Các thách thức đối với nhận dạng tự động tiếng nói Vì có nhiều ý nghĩa trong nghiên cứu cũng như thực tiễn ứng dụng, nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia nhưng lĩnh vực này cũng phải đối mặt với nhiều thách thức.

Thách thức lớn đầu tiên đối với nhận dạng tự động tiếng nói có thể kể đến là làm thế nào để xử lý được các biến thiên trong tiếng nói. Cùng một âm do cùng một người nói ở những thời điểm khác nhau song tín hiệu tiếng nói có thể không hoàn toàn như nhau. 21 Trong các hệ thống nhận dạng tiếng nói phụ thuộc người nói, sự khác biệt của tiếng nói thường không lớn so với hệ thống nhận dạng độc lập người nói. Ngay cả khi tiếng nói được giới hạn bởi một người nói thì sự thay đổi về môi trường ghi âm, điều kiện nói, thiết bị ghi âm.

vẫn là tồn tại khách quan tạo ra sự khác biệt trong tín hiệu tiếng nói cần nhận dạng. Thách thức lớn khác đối với ASR là phải giải quyết bài toán nhận dạng nhầm, khi mà hệ thống thường phải đối mặt với thực tế là tiếng nói cần nhận dạng không hoàn toàn theo đúng với tiếng nói đã được huấn luyện. Trong ASR, một số người nói thường sẽ đọc các văn bản đã được chọn từ trước và sử dụng tiếng nói thu được theo cách đó để xây dựng các mô hình. Độ chính xác của ASR thường tỷ lệ với sự tương tự giữa dữ liệu huấn luyện và dữ liệu thử nghiệm.

Dễ dàng nhận thấy, hệ thống nhận dạng cho độ chính xác cao khi dữ liệu huấn luyện và nhận dạng đều do một người nói và nội dung nói tương tự nhau.