Luận án TS. Phạm Ngọc Hưng: Nhận dạng tiếng nói liên tục cho phương ngữ Việt Nam

Tài liệu nghiên cứu Luận án nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng việt theo, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Trường học: Trường Đại Học Công Nghệ Thông Tin
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Luận Án Nhận Dạng Tự Động Tiếng Nói Phát Âm Liên Tục Cho Các Phương Ngữ Chính Của Tiếng Việt Theo Phương Thức Phát Âm
• Loại tài liệu: luận án
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan về nhận dạng tự động tiếng nói phát âm liên tục

Nhận dạng tự động tiếng nói là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, đặc biệt là trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo. Luận án này tập trung vào việc nhận dạng tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng Việt. Việc nghiên cứu này không chỉ giúp cải thiện độ chính xác của các hệ thống nhận dạng mà còn góp phần vào việc phát triển các ứng dụng công nghệ thông tin phục vụ người dùng. Các phương ngữ tiếng Việt có sự khác biệt rõ rệt về ngữ âm và từ vựng, điều này đặt ra thách thức lớn cho các hệ thống nhận dạng tiếng nói.

1.1. Lịch sử phát triển và tiến bộ trong nhận dạng tiếng nói

Lịch sử nhận dạng tiếng nói bắt đầu từ những năm 1950 với các mô hình đơn giản. Qua thời gian, công nghệ đã phát triển mạnh mẽ với sự xuất hiện của các mô hình học sâu, giúp cải thiện đáng kể độ chính xác trong nhận dạng tiếng nói. Các nghiên cứu gần đây đã chỉ ra rằng việc áp dụng các phương pháp học máy tiên tiến có thể nâng cao hiệu suất nhận dạng tiếng nói, đặc biệt là trong các ngữ cảnh đa dạng như phương ngữ.

1.2. Các thách thức trong nhận dạng tiếng nói tiếng Việt

Nhận dạng tiếng nói tiếng Việt gặp nhiều thách thức do sự đa dạng của các phương ngữ. Sự khác biệt về âm vị, ngữ âm và từ vựng giữa các vùng miền tạo ra khó khăn trong việc phát triển các hệ thống nhận dạng chính xác. Đặc biệt, các yếu tố như ngữ cảnh và cách phát âm cũng ảnh hưởng lớn đến hiệu suất của hệ thống.

II. Phương pháp nghiên cứu nhận dạng tiếng nói phát âm liên tục

Để giải quyết các thách thức trong nhận dạng tiếng nói, luận án áp dụng nhiều phương pháp nghiên cứu khác nhau. Các phương pháp này bao gồm việc xây dựng bộ ngữ liệu phong phú, phát triển các mô hình học máy và áp dụng các thuật toán nhận dạng tiên tiến. Mục tiêu là tạo ra một hệ thống nhận dạng tiếng nói có khả năng nhận diện chính xác các phương ngữ khác nhau của tiếng Việt.

2.1. Xây dựng bộ ngữ liệu cho nhận dạng phương ngữ

Bộ ngữ liệu được xây dựng từ nhiều nguồn khác nhau, bao gồm các cuộc hội thoại tự nhiên và các bài phát biểu. Việc chuẩn hóa và phân loại ngữ liệu theo các phương ngữ giúp tăng cường độ chính xác của hệ thống nhận dạng. Các đặc điểm ngữ âm của từng phương ngữ cũng được ghi nhận để phục vụ cho quá trình phân tích.

2.2. Mô hình học máy trong nhận dạng tiếng nói

Luận án áp dụng các mô hình học máy như GMM, SVM và mạng nơ-ron để nhận dạng tiếng nói. Các mô hình này được tối ưu hóa để phù hợp với đặc điểm của tiếng Việt, giúp cải thiện hiệu suất nhận dạng. Việc lựa chọn các tham số phù hợp cho từng mô hình cũng là một yếu tố quan trọng trong nghiên cứu.

III. Ứng dụng thực tiễn của nhận dạng tiếng nói tiếng Việt

Nhận dạng tiếng nói tiếng Việt có nhiều ứng dụng thực tiễn trong đời sống hàng ngày. Từ các hệ thống trợ lý ảo đến các ứng dụng trong giáo dục và y tế, công nghệ này đang dần trở thành một phần không thể thiếu trong cuộc sống hiện đại. Việc cải thiện độ chính xác của các hệ thống nhận dạng sẽ mở ra nhiều cơ hội mới cho người dùng.

3.1. Ứng dụng trong giáo dục

Công nghệ nhận dạng tiếng nói có thể được áp dụng trong giáo dục để hỗ trợ việc học ngôn ngữ. Hệ thống có thể giúp người học cải thiện phát âm và ngữ điệu thông qua việc phản hồi chính xác. Điều này không chỉ giúp nâng cao kỹ năng ngôn ngữ mà còn tạo ra một môi trường học tập tương tác hơn.

3.2. Ứng dụng trong y tế

Trong lĩnh vực y tế, nhận dạng tiếng nói có thể được sử dụng để ghi chép thông tin bệnh nhân một cách nhanh chóng và chính xác. Điều này giúp giảm thiểu thời gian và công sức cho các bác sĩ và nhân viên y tế, đồng thời nâng cao chất lượng dịch vụ chăm sóc sức khỏe.

IV. Kết luận và triển vọng tương lai của nhận dạng tiếng nói

Nhận dạng tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng Việt đang mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng công nghệ. Với sự phát triển không ngừng của công nghệ học máy và trí tuệ nhân tạo, tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cải tiến đáng kể. Việc tiếp tục nghiên cứu và phát triển sẽ giúp nâng cao hiệu suất và độ chính xác của các hệ thống nhận dạng tiếng nói.

4.1. Triển vọng nghiên cứu trong tương lai

Nghiên cứu trong lĩnh vực nhận dạng tiếng nói sẽ tiếp tục được mở rộng với sự phát triển của các công nghệ mới. Các mô hình học sâu và các thuật toán tiên tiến sẽ được áp dụng để cải thiện độ chính xác và khả năng nhận diện của hệ thống. Điều này sẽ tạo ra nhiều cơ hội mới cho các ứng dụng trong thực tế.

4.2. Tác động đến xã hội

Công nghệ nhận dạng tiếng nói không chỉ ảnh hưởng đến các lĩnh vực công nghệ mà còn có tác động lớn đến xã hội. Việc cải thiện khả năng giao tiếp giữa con người và máy móc sẽ giúp nâng cao chất lượng cuộc sống và tạo ra một môi trường làm việc hiệu quả hơn.

Trích đoạn nội dung tài liệu

Chương 1 cũng tổng hợp các nghiên cứu liên quan về nhận dạng tiếng Việt và phương ngữ tiếng Việt, nêu bật những mặt còn tồn tại, những vấn đề cần giải quyết đối với nhận dạng tiếng Việt và phương ngữ tiếng Việt từ đó tìm hướng tiếp cận nhằm nâng cao hiệu năng cho hệ thống nhận dạng tiếng Việt nói. Nhận dạng tiếng nói 1. Tổng quan về nhận dạng tiếng nói Nhiệm vụ của hệ thống nhận dạng tiếng nói là làm cho hệ thống hiểu được tiếng nói của con người. Nhờ hệ thống này, tiếng nói có thể được chuyển đổi tự động thành văn bản, hoặc tự động điều khiển các quá trình khác [178].

Phương thức truyền thông tự nhiên nhất đối với con người là thông qua tiếng nói nên ước mơ cuối cùng của nhận dạng tiếng nói là cho phép con người có ngôn ngữ khác nhau giao tiếp với nhau và với máy một cách tự nhiên, hiệu quả hơn. Có thể nói, các ứng dụng nhận dạng tiếng nói hiện đang dần trở nên phổ biến, phục vụ đời sống con người cũng như trong các lĩnh vực kỹ thuật khác nhau. Trong lĩnh vực tương tác người máy, nhận dạng tiếng nói được định nghĩa là khả năng hệ thống máy tính có thể chấp nhận đầu vào là lời nói theo định dạng file âm thanh và tạo ra được văn bản chứa nội dung tương ứng. Nhận dạng tự động tiếng nói ASR (Automatic Speech Recognition) mô phỏng khả năng nghe và hiểu lời nói của con người.

Hệ thống ASR có thể chuyển đổi lời nói thành văn bản. Bài toán nhận dạng tự động tiếng nói là một chương trình máy tính tiếp nhận đầu vào là các mẫu tiếng nói và tạo ra văn bản tương ứng mà con người có thể hiểu được như khi trực tiếp nghe tiếng nói đó. ASR là một trong các lĩnh vực của nhận dạng mẫu. ASR phát triển mạnh tương xứng với các lĩnh vực khác của nhận dạng mẫu vì mong muốn tạo ra được cỗ máy có khả năng tạo ra được các quyết định phức tạp và thực tế, có chức năng nhanh như con người đồng thời có thể hiểu được lời nói.

Tương tự như bất kỳ hệ thống nhận dạng mẫu nào, ASR tìm kiếm để hiểu được các mẫu tiếng nói đầu vào. Các nghiên cứu về xử lý tín hiệu, xử lý tiếng nói và đặc biệt là nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia và mang lại nhiều thành tựu trong các lĩnh vực này [33, 37, 55, 57, 63, 75, 94, 95, 134]. 18 Mục tiếp theo dưới đây sẽ trình bày tóm lược về lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói Điều đầu tiên quan trọng cần phải kể đến trong lịch sử phát triển của nhận dạng tiếng nói là việc thành lập các mô hình thống kê và các thuật giải liên quan tạo điều kiện cho việc thực hiện các mô hình này.

Mô hình HMM đã được giới thiệu như là một mô hình âm học của hệ thống nhận dạng tiếng nói từ đầu những năm 1970 [12, 82]. Hơn 30 năm sau, phương pháp này vẫn còn được sử dụng rộng rãi. Một lượng lớn các mô hình và thuật giải đã được đề xuất và sử dụng hiệu quả trong lĩnh vực này. Thuật giải tối đa hóa kỳ vọng EM (Expectation Maximization) và thuật giải quay lui (Forward – Backward) hoặc thuật giải Baum – Welch [14, 36] đã có vai trò chủ yếu và quan trọng trong việc huấn luyện mô hình HMM một cách hiệu quả.

Tương tự như vậy, mô hình ngôn ngữ N-gram và các biến thể được huấn luyện với các tính toán cơ bản hoặc sử dụng kỹ thuật EM-Style đã đạt được các hiệu quả quan trọng. Bên cạnh mô hình âm học HMM và mô hình ngôn ngữ cơ bản N-gram, đã có nghiên cứu mới được công bố như các mô hình phân đoạn [38, 39, 60] và các mô hình ngôn ngữ và tiếng nói có cấu trúc [27, 40, 175]. Các thuật giải thích nghi hiệu quả cho phép tích hợp được trên các ứng dụng đòi hỏi xử lý nhanh. Đây là chìa khóa dẫn đến thành công cho việc phát triển các sản phẩm thương mại của công nghệ nhận dạng tiếng nói.

Các kỹ thuật thích nghi phổ biến có thể kể đến là tối đa xác suất hậu nghiệm MAP (Maximum a Posteriori probability), ước lượng MLLR (Estimation và Maximum Likelihood Linear Regression) [96]. Các kỹ thuật thích nghi đã được tổng quát hóa để huấn luyện các mô hình chung, một đại diện tốt trong số đó có thể kể đến là mô hình thống kê toàn thể của tập dữ liệu huấn luyện đầy đủ. Kỹ thuật này được gọi là kỹ thuật huấn luyện thích nghi người nói SAT (Speaker Adaptive Training) [9]. Huang cùng cộng sự đã có nghiên cứu so sánh các phương pháp nhận dạng độc lập người nói, nhận dạng phụ thuộc người nói và nhận dạng thích nghi người nói [74].

Kết quả nghiên cứu này cho thấy: khi nhận dạng độc lập người nói, tỷ lệ lỗi từ đạt 4,3%, còn khi sử dụng dữ liệu phụ thuộc người nói, tỷ lệ lỗi từ đã giảm đến 1,4%. Trong các thử nghiệm, nhóm tác giả đều áp dụng phương pháp thich nghi người nói. Nhóm thứ hai trong những tiến bộ đáng kể của lĩnh vực xử lý tiếng nói là sự hình thành cơ sở hạ tầng tính toán mạnh về phần cứng cho phép phát triển được các thuật giải, mô hình thống kê nêu trên. Định luật Moore quan sát sự tiến bộ trong lĩnh vực phát triển của máy tính và dự báo khả năng tính toán tăng gấp đôi sau mỗi khoảng thời gian từ 12 đến 18 tháng.

Cũng như vậy, chi phí cho bộ nhớ sẽ được giảm đi. Cơ sở hạ tầng mạnh nói trên là phương tiện cho phép các nhà nghiên cứu về nhận dạng tiếng nói có thể phát triển và đánh giá độ phức tạp các thuật giải trên các tác vụ đủ lớn. Ngữ liệu tiếng nói đóng vai trò quan trọng để thực hiện các nghiên cứu nhận dạng tiếng nói. Ngữ liệu tiếng nói lớn cho phép các mô hình thống kê học hiệu quả hơn.

Trong những năm qua, Viện Tiêu chuẩn và 19 Công nghệ NIST (National Institute of Standard and Technology), Hiệp hội dữ liệu ngôn ngữ học LDC (Linguistic Data Consortium), Hiệp hội Tài nguyên Ngôn ngữ châu Âu ELRA (European Language Resources Association) và các tổ chức khác đã xây dựng được các bộ ngữ liệu tiếng nói, chú giải và chia sẻ rộng rãi cho cộng đồng trên toàn thế giới. Với sự phát triển, hội nhập và chia sẻ trên phạm vi toàn cầu, hiện nay, nhiều phòng thí nghiệm, các nhà nghiên cứu đã được hưởng lợi ích từ các công cụ phục vụ cho nghiên cứu được cung cấp miễn phí như HTK (Hidden Markov Model Toolkit), Sphinx, CMU LM toolkit và SRILM toolkit. Mặt khác, các hỗ trợ cho nghiên cứu sâu, rộng, kết hợp với các hội nghị, hội thảo, hệ thống đánh giá được DARPA (U. Department of Defense Advanced Research Projects Agency) và các tổ chức, cá nhân khác tài trợ đã trở nên cần thiết cho sự phát triển hệ thống nhận dạng tiếng nói hiện nay.

Nhóm tiến bộ thứ 3 có thể kể đến thuộc về lĩnh vực biểu diễn tri thức. Các kỹ thuật phân tích tham số tiếng nói như MFCC (Mel-Frequency Cepstral Coefficients) [35], tiên đoán cảm thụ tuyến tính PLP (Perceptual Linear Prediction) [70], chuẩn hóa thông qua trừ trung bình cepstral CMS (Cepstral Mean Subtraction) [138], RASTA [70] và chuẩn hóa chiều dài tuyến âm VTLN (Vocal Tract Length Normalization) [42]. Gần đây, có nhiều thuật giải đã được đề xuất cho nhận dạng tiếng nói mang lại hiệu quả cao như Phân tích phân biệt tuyến tính hiệp phương sai không đồng nhất HLDA (Heteroscedastic Linear Discriminant Analysis) [90], cực tiểu lỗi từ theo không gian đặc trưng fMPE (feature-space Minimum Phone Error) [131] và mạng nơ ron dựa trên các đặc trưng [111]. Nhóm cuối cùng trong các tiến bộ lớn của nhận dạng tiếng nói là giải mã và các thuật giải tìm kiếm.

Ban đầu tập trung vào giải mã ngăn xếp (thuật giải tìm kiếm A∗) [84] và tìm kiếm đồng bộ thời gian Viterbi (time-synchronous Viterbi search) [114, 142, 168, 170]. Nếu không có các thuật giải khả thi thì các nhận dạng tiếng nói liên tục có quy mô lớn khó có thể thực hiện được. Như vậy có thể thấy, nhận dạng tiếng nói đã đạt được nhiều tiến bộ trong các năm qua. Có nhiều mô hình nhận dạng đã được đề xuất trong đó mô hình HMM với nền tảng chính không có nhiều thay đổi song việc mô hình hóa, các kỹ thuật cài đặt cụ thể vẫn liên tục được cải tiến.

Vì thế, HMM vẫn giữ được vị trí quan trọng trong các hệ thống nhận dạng tiếng nói. Bên cạnh đó, các kỹ thuật phân tích tham số cũng đạt được những bước tiến quan trọng. Các thuật giải tìm kiếm được cải tiến giúp bộ giải mã thực hiện các nhiệm vụ tìm kiếm, cho ra lời giải hiệu quả hơn. Các thách thức đối với nhận dạng tự động tiếng nói Vì có nhiều ý nghĩa trong nghiên cứu cũng như thực tiễn ứng dụng, nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia nhưng lĩnh vực này cũng phải đối mặt với nhiều thách thức.

Thách thức lớn đầu tiên đối với nhận dạng tự động tiếng nói có thể kể đến là làm thế nào để xử lý được các biến thiên trong tiếng nói. Cùng một âm do cùng một người nói ở những thời điểm khác nhau song tín hiệu tiếng nói có thể không hoàn toàn như nhau. 20 Trong các hệ thống nhận dạng tiếng nói phụ thuộc người nói, sự khác biệt của tiếng nói thường không lớn so với hệ thống nhận dạng độc lập người nói. Ngay cả khi tiếng nói được giới hạn bởi một người nói thì sự thay đổi về môi trường ghi âm, điều kiện nói, thiết bị ghi âm.

vẫn là tồn tại khách quan tạo ra sự khác biệt trong tín hiệu tiếng nói cần nhận dạng. Thách thức lớn khác đối với ASR là phải giải quyết bài toán nhận dạng nhầm, khi mà hệ thống thường phải đối mặt với thực tế là tiếng nói cần nhận dạng không hoàn toàn theo đúng với tiếng nói đã được huấn luyện. Trong ASR, một số người nói thường sẽ đọc các văn bản đã được chọn từ trước và sử dụng tiếng nói thu được theo cách đó để xây dựng các mô hình. Độ chính xác của ASR thường tỷ lệ với sự tương tự giữa dữ liệu huấn luyện và dữ liệu thử nghiệm.

Dễ dàng nhận thấy, hệ thống nhận dạng cho độ chính xác cao khi dữ liệu huấn luyện và nhận dạng đều do một người nói và nội dung nói tương tự nhau.