Luận văn thạc sĩ: Nghiên cứu và phát triển hệ thống nhận dạng tiếng Việt phát âm liên tục

Luận văn thạc sĩ nghiên cứu vnu uet nghiên cứu và phát triển hệ thống nhận dạng tiếng việt phát âm liên tục trên bộ từ vựng nhỏ, đánh giá hiện trạng, phân tích vấn đề, đề xuất

• Tác giả: Phạm Anh Tú
• Người hướng dẫn: Pgs. Lương Chi Mai
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu và phát triển hệ thống nhận dạng tiếng Việt phát âm liên tục trên bộ từ vựng nhỏ và trung bình
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU VÀ CÁC VẤN ĐỀ CƠ BẢN CỦA NHẬN DẠNG TIẾNG NÓI
• 1.1. Tổng quan về nhận dạng tiếng nói
• 1.2. Các vấn đề trong nhận dạng tiếng nói
• 1.3. Giới thiệu hệ thống nhận dạng tiếng nói
• 1.3.1. Các thành phần chính trong hệ thống nhận dạng tiếng nói
• 1.3.2. Đặc trưng của tiếng nói
• 1.3.3. Mô hình âm học
• 1.3.4. Mô hình ngôn ngữ
• 1.4. Tình hình nghiên cứu trong và ngoài nước
• 2. CHƯƠNG 2: NHẬN DẠNG TIẾNG VIỆT PHÁT ÂM LIÊN TỤC
• 2.1. Tổng quan về tiếng Việt
• 2.1.1. Âm tiết và đặc điểm của âm tiết
• 2.1.2. Âm vị tiếng Việt
• 2.2. Mô hình Markov ẩn
• 2.2.1. Mô hình Markov
• 2.2.2. Mô hình Markov ẩn
• 2.2.3. Ba bài toán cơ bản của mô hình Markov ẩn và giải pháp
• 2.3. Các phương pháp trích chọn đặc trưng và xử lý tiếng nói
• 2.3.1. Mel Frequency Cepstral Coefficients (MFCC)
• 2.3.2. Perceptual Linear Prediction (PLP)
• 3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG NHẬN DẠNG TIẾNG VIỆT LIÊN TỤC SỬ DỤNG HTK
• 3.1. Giới thiệu về HTK
• 3.2. Chuẩn bị dữ liệu
• 3.3. Huấn luyện âm đơn
• 3.4. Huấn luyện âm buộc
• 3.5. Tạo mạng từ nhận dạng
• 3.6. Mô hình ngôn ngữ bigram
• 3.7. Đánh giá kết quả nhận dạng
• 3.8. Chương trình nhận dạng mười chữ số tiếng Việt phát âm liên tục
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu hệ thống nhận dạng tiếng Việt phát âm liên tục

Nghiên cứu hệ thống nhận dạng tiếng Việt phát âm liên tục là một lĩnh vực quan trọng trong công nghệ thông tin. Hệ thống này cho phép máy tính nhận diện và chuyển đổi tiếng nói thành văn bản, giúp cải thiện khả năng tương tác giữa con người và máy móc. Đặc biệt, tiếng Việt với đặc trưng ngữ âm và thanh điệu phức tạp đòi hỏi các phương pháp nhận dạng tiên tiến. Việc phát triển hệ thống này không chỉ giúp nâng cao hiệu quả giao tiếp mà còn mở ra nhiều ứng dụng thực tiễn trong đời sống.

1.1. Định nghĩa và vai trò của nhận dạng tiếng nói

Nhận dạng tiếng nói là quá trình chuyển đổi tín hiệu âm thanh thành văn bản. Vai trò của nó ngày càng trở nên quan trọng trong các ứng dụng như trợ lý ảo, hệ thống điều khiển bằng giọng nói và nhiều lĩnh vực khác. Hệ thống nhận dạng tiếng nói giúp cải thiện khả năng giao tiếp giữa con người và máy móc, tạo ra trải nghiệm người dùng tốt hơn.

1.2. Tình hình nghiên cứu nhận dạng tiếng nói tại Việt Nam

Tại Việt Nam, nghiên cứu về nhận dạng tiếng nói còn nhiều hạn chế so với các nước phát triển. Các hệ thống hiện có chủ yếu tập trung vào tiếng Anh, trong khi tiếng Việt với đặc điểm ngữ âm riêng biệt cần được nghiên cứu sâu hơn. Việc phát triển hệ thống nhận dạng tiếng Việt sẽ giúp nâng cao khả năng giao tiếp và ứng dụng công nghệ trong nhiều lĩnh vực.

II. Các thách thức trong nghiên cứu hệ thống nhận dạng tiếng Việt

Việc phát triển hệ thống nhận dạng tiếng Việt gặp nhiều thách thức do đặc điểm ngôn ngữ và môi trường âm thanh. Các yếu tố như sự đa dạng trong cách phát âm, tiếng ồn xung quanh và sự khác biệt giữa các vùng miền làm cho việc nhận dạng trở nên khó khăn. Để giải quyết những vấn đề này, cần có các phương pháp nghiên cứu và công nghệ tiên tiến.

2.1. Đặc điểm ngôn ngữ tiếng Việt và ảnh hưởng đến nhận dạng

Tiếng Việt là ngôn ngữ đơn âm với nhiều thanh điệu, điều này tạo ra sự phức tạp trong việc nhận dạng. Các âm vị và cách phát âm khác nhau giữa các vùng miền có thể dẫn đến sai sót trong quá trình nhận dạng. Do đó, việc xây dựng mô hình âm học phù hợp là rất cần thiết.

2.2. Ảnh hưởng của tiếng ồn và môi trường đến nhận dạng

Môi trường xung quanh có thể ảnh hưởng lớn đến chất lượng tín hiệu âm thanh. Tiếng ồn từ các nguồn khác nhau có thể làm giảm độ chính xác của hệ thống nhận dạng. Cần có các phương pháp xử lý tín hiệu để lọc bỏ tiếng ồn và cải thiện độ chính xác của hệ thống.

III. Phương pháp nghiên cứu và phát triển hệ thống nhận dạng tiếng Việt

Để phát triển hệ thống nhận dạng tiếng Việt, cần áp dụng các phương pháp nghiên cứu hiện đại như mô hình Markov ẩn (HMM) và các thuật toán học máy. Việc sử dụng các đặc trưng âm thanh như MFCC và PLP sẽ giúp cải thiện độ chính xác của hệ thống. Ngoài ra, việc thu thập và xử lý dữ liệu huấn luyện cũng rất quan trọng.

3.1. Mô hình Markov ẩn trong nhận dạng tiếng nói

Mô hình Markov ẩn (HMM) là một trong những phương pháp phổ biến trong nhận dạng tiếng nói. Nó cho phép mô hình hóa mối quan hệ giữa tín hiệu âm thanh và các âm vị trong ngôn ngữ. Việc áp dụng HMM giúp cải thiện độ chính xác và khả năng nhận diện của hệ thống.

3.2. Các phương pháp trích chọn đặc trưng âm thanh

Trích chọn đặc trưng âm thanh là bước quan trọng trong quá trình nhận dạng. Các phương pháp như MFCC và PLP giúp chuyển đổi tín hiệu âm thanh thành các vector đặc trưng, từ đó cải thiện khả năng nhận diện của hệ thống. Việc lựa chọn phương pháp phù hợp sẽ ảnh hưởng lớn đến kết quả cuối cùng.

IV. Ứng dụng thực tiễn của hệ thống nhận dạng tiếng Việt

Hệ thống nhận dạng tiếng Việt phát âm liên tục có nhiều ứng dụng thực tiễn trong đời sống. Từ việc hỗ trợ giao tiếp cho người khuyết tật đến việc cải thiện trải nghiệm người dùng trong các thiết bị thông minh, công nghệ này đang ngày càng trở nên phổ biến. Các ứng dụng trong lĩnh vực giáo dục, y tế và giao thông cũng đang được phát triển.

4.1. Ứng dụng trong giáo dục và đào tạo

Trong lĩnh vực giáo dục, hệ thống nhận dạng tiếng nói có thể hỗ trợ việc học ngôn ngữ, giúp người học cải thiện kỹ năng phát âm và giao tiếp. Các ứng dụng này giúp tạo ra môi trường học tập tương tác và hiệu quả hơn.

4.2. Ứng dụng trong lĩnh vực y tế

Trong y tế, nhận dạng tiếng nói có thể được sử dụng để ghi chép thông tin bệnh nhân, giúp giảm thiểu thời gian và công sức cho bác sĩ. Điều này không chỉ nâng cao hiệu quả làm việc mà còn cải thiện chất lượng dịch vụ y tế.

V. Kết luận và triển vọng tương lai của hệ thống nhận dạng tiếng Việt

Nghiên cứu và phát triển hệ thống nhận dạng tiếng Việt phát âm liên tục là một lĩnh vực đầy tiềm năng. Với sự phát triển của công nghệ và nhu cầu ngày càng cao trong việc giao tiếp giữa con người và máy móc, hệ thống này sẽ tiếp tục được cải thiện và mở rộng ứng dụng. Tương lai của nhận dạng tiếng nói tiếng Việt hứa hẹn sẽ mang lại nhiều giá trị cho xã hội.

5.1. Tương lai của công nghệ nhận dạng tiếng nói

Công nghệ nhận dạng tiếng nói sẽ tiếp tục phát triển với sự hỗ trợ của trí tuệ nhân tạo và học máy. Các hệ thống sẽ ngày càng chính xác và linh hoạt hơn, đáp ứng tốt hơn nhu cầu của người dùng.

5.2. Khuyến nghị cho nghiên cứu và phát triển

Cần tiếp tục đầu tư vào nghiên cứu và phát triển hệ thống nhận dạng tiếng nói, đặc biệt là trong việc thu thập dữ liệu và cải thiện các thuật toán. Việc hợp tác giữa các nhà nghiên cứu và doanh nghiệp cũng sẽ giúp thúc đẩy sự phát triển của công nghệ này.

Nội dung chính

Tổng quan nghiên cứu

Lĩnh vực nhận dạng tiếng nói tự động đóng vai trò cầu nối then chốt trong giao tiếp giữa con người và máy tính. Trong bối cảnh công nghệ xử lý ngôn ngữ tự nhiên phát triển mạnh mẽ, việc nghiên cứu nhận dạng tiếng nói tiếng Việt đặt ra nhiều thách thức đặc thù do tính chất đơn âm tiết và hệ thống thanh điệu phức tạp. Nghiên cứu này tập trung giải quyết bài toán nhận dạng chuỗi tiếng Việt phát âm liên tục với bộ từ vựng nhỏ và trung bình theo mô hình độc lập người nói. Mục tiêu cốt lõi là làm chủ công cụ xây dựng hệ thống nhận dạng giọng nói, tối ưu hóa các tham số mô hình âm học và mô hình ngôn ngữ nhằm nâng cao độ chính xác nhận dạng chuỗi từ phát âm không ngắt quãng.

Phạm vi thực nghiệm của đề tài tập trung vào tập dữ liệu tiếng nói qua mạng điện thoại thuộc cơ sở dữ liệu chuẩn CSLU với chuỗi các chữ số tiếng Việt từ không đến chín. Tập dữ liệu huấn luyện quy tụ 158 người nói với 1686 từ, trong khi tập kiểm thử độc lập bao gồm 47 người nói với 317 từ. Ý nghĩa khoa học và thực tiễn của công trình thể hiện qua việc xây dựng thành công hệ thống nhận dạng âm ba buộc đạt độ chính xác nhận dạng từ 76,60% và độ chính xác câu 19,60%. Kết quả này cung cấp một nền tảng thực nghiệm vững chắc, giúp định lượng hiệu quả của việc chia sẻ tham số trạng thái trong xử lý âm thanh tiếng Việt và mở ra tiềm năng ứng dụng trực tiếp vào các hệ thống phản hồi thoại tự động, tổng đài viễn thông cũng như điều khiển thiết bị thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được thiết lập dựa trên hệ thống cơ sở lý thuyết đa ngành vững chắc:

• Cấu trúc âm tiết và ngữ âm tiếng Việt: Tiếng Việt là ngôn ngữ đơn lập, âm tiết có tính độc lập cao và cấu trúc hai bậc chặt chẽ gồm năm thành phần: âm đầu, âm đệm, âm chính, âm cuối và thanh điệu. Hệ thống bao gồm sáu thanh điệu phân chia theo âm vực và âm điệu, kết hợp cùng 21 âm vị phụ âm đầu, 14 nguyên âm chính và 10 âm vị phụ âm hoặc bán nguyên âm cuối.
• Mô hình Markov ẩn (HMM): Đây là công cụ toán học thống kê mô hình hóa quá trình ngẫu nhiên kép. Lý thuyết HMM giải quyết ba bài toán cơ bản: thuật toán Forward-Backward tính xác suất chuỗi quan sát, thuật toán Viterbi tìm chuỗi trạng thái tối ưu và thuật toán Baum-Welch (tối đa hóa kỳ vọng EM) ước lượng tham số mô hình.
• Kỹ thuật trích chọn đặc trưng âm thanh: Hai phương pháp chủ đạo là hệ số phổ tần số Mel (MFCC) và dự báo tuyến tính cảm thụ (PLP), giúp mô phỏng chính xác đặc tính thính giác của tai người và loại bỏ tạp âm môi trường.
• Mô hình ngôn ngữ thống kê: Ứng dụng mô hình N-gram, cụ thể là Bigram kết hợp kỹ thuật làm mịn giảm xác suất (discounting) và giải thuật back-off để xử lý các cụm từ có tần suất xuất hiện thấp.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được trích xuất từ cơ sở dữ liệu tiếng nói điện thoại tiếng Việt của Trung tâm CSLU thuộc Viện Sau đại học Oregon. Tổng quy mô mẫu nghiên cứu gồm 442 câu thoại: tập huấn luyện gồm 300 câu với 1686 từ do 158 người nói (104 nam, 54 nữ) thực hiện; tập phát triển gồm 74 câu với 342 từ do 38 người nói (27 nam, 11 nữ); tập kiểm tra gồm 68 câu với 317 từ do 47 người nói (34 nam, 13 nữ). Phương pháp chọn mẫu áp dụng nguyên tắc phân tầng độc lập người nói, bảo đảm những người trong tập kiểm tra hoàn toàn không trùng với tập huấn luyện nhằm đánh giá khách quan khả năng tổng quát hóa.

Phương pháp phân tích dựa trên bộ công cụ HTK phiên bản 3.1. Tín hiệu âm thanh được đóng khung 25 mili-giây với bước nhảy khung 10 mili-giây qua cửa sổ Hamming, trích xuất vector đặc trưng MFCC 39 chiều (13 hệ số MFCC, 13 hệ số delta và 13 hệ số gia tốc). Lý do lựa chọn HTK và cấu trúc mô hình HMM topo trái-phải ba trạng thái phát xạ là khả năng tối ưu hóa tham số mạnh mẽ, hỗ trợ huấn luyện nhúng và xử lý hiện tượng đồng phát âm thông qua kỹ thuật buộc trạng thái âm ba dựa trên cây quyết định.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm trên 68 câu kiểm tra với 317 từ đơn đã mang lại những phát hiện quan trọng:

• Hệ thống âm ba buộc (Tied-state Triphone) đạt độ chính xác nhận dạng từ 76,60% và độ chính xác nhận dạng câu 19,60%.
• Hệ thống âm đơn (Monophone) đạt độ chính xác nhận dạng từ 75,14% và độ chính xác nhận dạng câu 18,26%.
• Mô hình âm ba buộc thể hiện sự vượt trội rõ rệt khi nâng cao độ chính xác nhận dạng từ thêm 1,46% và tăng độ chính xác câu thêm 1,34% so với mô hình âm đơn.
• Việc áp dụng 32 trạng thái buộc kết hợp với 5 thành phần phân phối hỗn hợp Gaussian (Gaussian mixtures) giúp mô hình kiểm soát tốt sự biến thiên âm học và hiện tượng chuyển tiếp âm thanh trong chuỗi số phát âm liên tục.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình âm ba buộc bắt nguồn từ khả năng nắm bắt hiện tượng đồng phát âm (coarticulation). Trong tiếng Việt phát âm liên tục, ranh giới giữa các âm tiết bị mờ nhạt do sự biến đổi cấu âm của các từ đứng trước và đứng sau. Cấu trúc âm ba phụ thuộc ngữ cảnh dạng L-X+R đã mô hình hóa chính xác sự tương tác này. Kỹ thuật chia sẻ trạng thái (tying) thông qua công cụ HHed giải quyết triệt để vấn đề dữ liệu thưa, cho phép ước lượng tham số vững chắc ngay cả với những âm ba hiếm gặp trong tập dữ liệu 1686 từ huấn luyện.

Khi so sánh với các nghiên cứu nhận dạng tiếng nói trên thế giới thực hiện qua kênh truyền thoại, mức độ chính xác từ 76,60% là kết quả khả quan đối với một cơ sở dữ liệu có độ nhiễu cao, đa dạng về thiết bị thu âm và độc lập 47 người nói kiểm tra. Về mặt trình bày trực quan, dữ liệu thực nghiệm có thể được tổng hợp thành bảng đối sánh hiệu năng và biểu đồ cột biểu diễn tỷ lệ lỗi từ (Word Error Rate), minh họa rõ nét mức suy giảm sai số từ 24,86% ở mô hình âm đơn xuống còn 23,40% ở mô hình âm ba buộc.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và nâng cao hiệu năng hệ thống nhận dạng tiếng Việt phát âm liên tục, bốn giải pháp trọng tâm được đề xuất như sau:

• Mở rộng quy mô cơ sở dữ liệu âm thanh: Tăng số lượng người tham gia thu âm từ 158 người hiện tại lên tối thiểu 1000 người, cân bằng phương ngữ ba miền Bắc, Trung, Nam với thời lượng trên 100 giờ ghi âm, thực hiện trong vòng 12 tháng dưới sự chủ trì của các viện nghiên cứu và trường đại học công nghệ.
• Nâng cấp kiến trúc mô hình âm học: Ứng dụng mạng nơ-ron sâu kết hợp mô hình Markov ẩn (DNN-HMM) hoặc kiến trúc học sâu End-to-End, hướng tới mục tiêu nâng độ chính xác nhận dạng từ lên trên 90% trong lộ trình 6 tháng do nhóm kỹ sư AI đảm nhiệm.
• Phát triển mô hình ngôn ngữ bậc cao: Nâng cấp mô hình ngôn ngữ từ Bigram lên Tri-gram và mô hình ngôn ngữ nơ-ron, đồng thời mở rộng từ điển phát âm lên hơn 50.000 từ vựng tiếng Việt nhằm mở rộng phạm vi ứng dụng từ chuỗi chữ số sang văn bản tổng quát trong thời gian 9 tháng.
• Tích hợp kỹ thuật khử nhiễu thích nghi: Bổ sung các giải thuật lọc thích nghi và chuẩn hóa kênh truyền âm thanh nhằm giảm tỷ lệ méo tín hiệu xuống dưới 5% trước khi đưa vào khối trích xuất vector MFCC 39 chiều, hoàn thiện trong 3 tháng đầu kỳ nghiên cứu tiếp theo.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo học thuật và kỹ thuật giá trị dành cho bốn nhóm đối tượng chính:

• Kỹ sư phát triển phần mềm AI và xử lý tiếng nói: Tiếp cận chi tiết quy trình xây dựng hệ thống nhận dạng với bộ công cụ HTK, cấu hình tham số trích chọn đặc trưng MFCC 39 chiều và triển khai các ứng dụng tổng đài thoại thông minh.
• Nhà nghiên cứu ngôn ngữ học tính toán: Khai thác phương pháp phân tích cấu trúc âm tiết hai bậc, hệ thống âm vị và các đặc tính thanh điệu tiếng Việt để xây dựng từ điển phiên âm chuẩn cho các hệ thống ASR quy mô lớn.
• Học viên cao học và sinh viên ngành Công nghệ thông tin: Nắm vững phương pháp luận nghiên cứu thực nghiệm, các thuật toán nền tảng như Viterbi, Baum-Welch và kỹ thuật phân cụm trạng thái bằng cây quyết định.
• Doanh nghiệp viễn thông và tài chính ngân hàng: Vận dụng mô hình nhận dạng chuỗi chữ số liên tục để tự động hóa các dịch vụ tra cứu số dư, xác thực mã số định danh khách hàng qua tổng đài với độ chính xác cao.

Câu hỏi thường gặp

• Tại sao nhận dạng tiếng Việt liên tục lại phức tạp hơn các ngôn ngữ không dấu? Tiếng Việt là ngôn ngữ đơn lập với sáu thanh điệu mang chức năng khu biệt nghĩa. Khi phát âm liên tục, hiện tượng đồng phát âm làm thay đổi đường nét thanh điệu và ranh giới âm tiết, đòi hỏi mô hình âm học phải xử lý đồng thời cả đặc trưng phổ và cao độ âm thanh.

• Vector đặc trưng MFCC 39 chiều trong nghiên cứu bao gồm những thành phần nào? Vector 39 chiều bao gồm 12 hệ số Mel-cepstral cơ sở kết hợp một hệ số năng lượng khung, 13 hệ số vi phân bậc một (delta) thể hiện sự biến thiên vận tốc âm học và 13 hệ số vi phân bậc hai (acceleration) phản ánh gia tốc biến đổi của tín hiệu.

• Kỹ thuật buộc trạng thái (state tying) âm ba giải quyết vấn đề gì? Kỹ thuật này nhóm các trạng thái âm học có sự tương đồng cao giữa các âm ba khác nhau bằng cây quyết định. Giải pháp giúp chia sẻ dữ liệu tham số, giải quyết triệt để hiện tượng thiếu dữ liệu huấn luyện cho những ngữ cảnh âm thanh hiếm gặp.

• Quy trình huấn luyện nhúng bằng công cụ HERest có ưu điểm gì? HERest cập nhật đồng thời tất cả các tham số mô hình HMM trên toàn bộ tập dữ liệu huấn luyện thông qua chuỗi nhãn âm vị mà không cần nhãn thời gian chi tiết cho từng âm, giúp tối ưu hóa toàn cục và tiết kiệm thời gian gán nhãn thủ công.

• Mô hình ngôn ngữ Bigram đóng vai trò gì trong giải mã nhận dạng chuỗi số? Bigram cung cấp phân phối xác suất có điều kiện giữa hai từ liền kề. Kết hợp cùng thuật toán tìm kiếm Viterbi và Token Passing, Bigram giúp định hướng đường đi tối ưu trong mạng từ, loại bỏ các chuỗi kết hợp từ phi lý và tăng độ chính xác câu.

Kết luận

• Luận văn đã làm chủ trọn vẹn quy trình xây dựng hệ thống nhận dạng tiếng Việt phát âm liên tục độc lập người nói sử dụng bộ công cụ HTK.
• Trích xuất thành công vector đặc trưng âm học MFCC 39 chiều trên nền tảng cơ sở dữ liệu chuẩn CSLU qua mạng điện thoại.
• Chứng minh tính ưu việt của mô hình âm ba buộc với 32 trạng thái chia sẻ, đạt độ chính xác nhận dạng từ 76,60%, vượt trội 1,46% so với mô hình âm đơn.
• Đóng góp khung phương pháp luận hoàn chỉnh từ chuẩn bị ngữ pháp, thiết lập từ điển phiên âm 20 âm vị đến giải mã và đánh giá tự động.
• Lộ trình 12 tháng tiếp theo mở ra tiềm năng ứng dụng mô hình học sâu kết hợp dữ liệu lớn nhằm thương mại hóa hệ thống nhận dạng tiếng nói tiếng Việt.

Quý độc giả, nhà nghiên cứu và các kỹ sư phát triển phần mềm hãy tiếp tục nghiên cứu sâu hơn tài liệu này để khai thác và ứng dụng các kỹ thuật xử lý âm thanh tiếng Việt vào những dự án trí tuệ nhân tạo thực tiễn.

Trích đoạn nội dung tài liệu

phần mở đầu và kết thúc, luận văn đƣợc chia làm ba chƣơng: - Chƣơng 1: Tổng quan vấn đề nghiên cứu và các vấn đề cơ bản của nhận dạng tiếng nói - Chƣơng 2:Nhận dạng giọng nói tiếng Việt phát âm liên tục - Chƣơng 3: Xây dựng hệ thống nhận dạng tiếng Việt liên tục sử dụng HTK LUAN VAN CHAT LUONG download : add [e-mail] 9 CHƢƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU VÀ CÁC VẤN ĐỀ CƠ BẢN CỦA NHẬN DẠNG TIẾNG NÓI 1.1 Tổng quan về nhận dạng tiếng nói 1.1 Giới thiệu Nhận dạng tiếng nói là một lĩnh vực liên ngành của ngôn ngữ học tính toán nhằm phát triển các phƣơng pháp và công nghệ cho phép nhận dạng và chuyển lời nói thành văn bản bằng máy tính. Nó còn đƣợc gọi là “Nhận dạng tiếng nói tự động” (Automatic Speech Recognition), “Nhận dạng tiếng nói băng máy tính” (Computer Speech Recognition) hay chỉ là “Tiếng nói thành văn bản” (Speech To Text). Nó kết hợp kiễn thức và nghiên cứu giữa các lĩnh vực ngôn ngữ học, khoa học máy tính và kỹ thuậtđiện. Nhận dạng tiếng nói là một quá trình nhận dạng mẫu, với mục đích là phân lớp (classify) thông tin đầu vào là tín hiệu tiếng nói thành một dãy tuần tự các mẫu đã đƣợc học trƣớc đó và lƣu trữ trong bộ nhớ.

Các mẫu là các đơn vị nhận dạng, chúng có thể là các từ, hoặc các âm vị. Tuy nhiên khó khăn cơ bản của nhận dạng tiếng nói đó là tiếng nói luôn biến thiên theo thời gian và có sự khác biệt lớn giữa tiếng nói của những ngƣời nói khác nhau, tốc độ nói, ngữ cảnh và môi trƣờng âm học khác nhau. Xác định những thông tin biến thiên nào của tiếng nói là có ích và những thông tin nào là không có ích đối với nhận dạng tiếng nói là rất quan trọng. Đây là một nhiệm vụ rất khó khăn mà ngay cả với các kỹ thuật xác suất thống kê mạnh cũng khó khăn trong việc tổng quát hoá từ các mẫu tiếng nói những biến thiên quan trọng cần thiết trong nhận dạng tiếng nói.

Một số hệ thống nhận dạng tiếng nói đòi hỏi phảiđƣợc “huấn luyện” bằng cách một ngƣời sẽđọc cácđoạn văn bản hoặc các từ vựng đơn lẻ và nhập vào hệ thống. Hệ thống sẽ phân tích tiếng nói của ngƣờiđó và sử dụng những dữ liệu phân tích đƣợc cho việc nhận dạng tiếng nói của ngƣờiđó, dẫn đến độ chính xác sẽ cao hơn. Các hệ thống không sử dụng việc “huấn luyện” này đƣợc gọi là các hệ thống “độc lập ngƣời nói”. Còn các hệ thống sử dụng việc “huấn luyện” đƣợc gọi là “phụ thuộc ngƣời nói”.

Các nghiên cứu về nhận dạng tiếng nói dựa trên ba nguyên tắc cơ bản [7]: - Tín hiệu tiếng nói đƣợc biểu diễn chính xác bởi các giá trị phổ trong một khung thời gian ngắn (short-term amplitude spectrum). Nhờ vậy ta có thể LUAN VAN CHAT LUONG download : add [e-mail] 10 trích ra các đặc điểm tiếng nói từ những khoảng thời gian ngắn và dùng các đặc điểm này làm dữ liệu để nhận dạng tiếng nói. - Nội dung của tiếng nói đƣợc biểu diễn dƣới dạng chữ viết, là một dãy các ký hiệu ngữ âm. Do đó ý nghĩa của một phát âm đƣợc bảo toàn khi chúng ta phiên âm phát âm thành dãy các ký hiệu ngữ âm.

- Nhận dạng tiếng nói là một quá trình nhận thức. Thông tin về ngữ nghĩa (semantics) và suy đoán (pragmatics) có giá trị trong quá trình nhận dạng tiếng nói, nhất là khi thông tin về âm học là không rõ ràng.2 Ứng dụng Trong thờiđại công nghệ ngày càng phát triển nhƣ hiện nay thì nhận dạng tiếng nói ngày càng có nhiềuứng dụng vào thực tế. Trong đó, có thể liệt kệ một sốứng dụng nổi bật sau: - Các hệ thống trong xe hơi: Giờ đây, thay vì việc phải thao tác bằng tay để thực hiện một số chức năng nhƣ gọi điện, dẫn đƣờng, nghe nhạc,…thì nhận dạng tiếng nói đã đƣợc áp dụng vào để thực hiện các lệnh bằng tiếng nói giúp cho ngƣời lái xe có thể tập trung hơn, đảm bảo an toàn hơn. - Trong lĩnh vực chăm sóc sức khỏe: Nhận dạng tiếng nói có thể đƣợc áp dụng ở phần đầu hoặc cuối của quá trình tạo hồ sơ y tế bằng cách ghi lại lời nói của bệnh nhân và chuyển thành văn bản lƣu vào bệnh lý chữa trị của ngƣời bệnh.

Hay nhƣ có làm đơn giản hóa việc tƣơng tác giữa ngƣời bệnh với các hệ thống chuẩn đoán bênh tự động để đƣa ra những giải đáp cơ bản cho ngƣời bệnh một cách thân thiện và trực quan hơn. - Trong quân đội: Một số nƣớc nhƣ Mỹ, Pháp, Anh đã áp dụng nhận dạng tiếng nói trong việc điều khiển các máy bay chiến đấu, giúp cho phi công giảm bớt các thao tác điều khiển nhƣ: cài đặt tần số vô tuyến, điều khiển hệ thống lái tự động, cài đặt các tọa độ, các thông số cho việc sử dụng các vũ khí trên máy bay. - Trong viễn thông và các lĩnh vực giải trí: Hiện nay, tự động nhận dạng tiếng nói rất phổ biến trong lĩnh vực viễn thông và đang lan rộng sang các lĩnh vực khác nhƣ mô phỏng và trò chơi máy tính, nhằm làm cho tƣơng tác mô phỏng cũng nhƣ trò chơi trở nên sinh động và thật hơn. Ngoài ra, sự chạy đua về cấu hình của điện thoại đã giúp cho các điện thoại trở nên mạnh và thông minh hơn và các trợ lý ảo sử dụng nhận dạng tiếng nói đã ra đời nhƣ Siri của Apple, Google Now, Cortana,… để giúp ngƣời sử dụng tƣơng tác với thiết bị thuận tiện hơn.

LUAN VAN CHAT LUONG download : add [e-mail] 11 - Trong lĩnh vực giáo dục: Nhƣ đối với việc học ngôn ngữ, nhận dạng tiếng nói có thể có ích cho việc học ngôn ngữ nƣớc ngoài. Nó có thể dạy và kiểm tra cách phát âm cũng nhƣ giúp ngƣời học phát triển thành thạo hơn kỹ năng nói của họ. - Đối với người khuyết tật: Nhận dạng tiếng nói có thể giúp cho những ngƣời bị điếc hoặc khiếm thính có thể hiểu đƣợc các cuộc trò chuyện nhƣ thảo luận trong phòng họp, các bài giảng trên lớp, hay giao tiếp với ngƣời khác. Nó cũng giúp cho những ngƣời gặp khó khăn trong việc sử dụng tay của họ để soạn thảo hay điều khiển các thiết bị điện tử.

Và còn rất nhiều ứng dụng hữuích khác mà nó mang lại nhƣ: Nhà thông minh, robot, tự động tạo phụ đề,… 1.3 Các vấn đề trong nhận dạng tiếng nói 1.1 Sự phụ thuộc người nói Lời nói đƣợc nói ra có thể theo phong cách khác nhau theo từng ngƣời. Nócòn phụ thuộc vào độ tuổi, giới tính của ngƣời nói. Hay mỗi vùng miền sẽ có tiếng nói, cách phátâm khác nhau. Nhận dạng tiếng nói thƣờng đƣợc xây dựng để chỉ nhận làm việc với một hoặc một số ngƣời nhấtđịnh, những hệ thống nhƣ vậy gọi là phụ thuộc ngƣời nói.

Còn một loại là độc lập ngƣời nói, tức là hệ thống có thể nhận dạng cho bất cứ ngƣời nói nào, tuy nhiên tỷ lệ lỗi sẽ cao hơn.2 Kích thước bộ từ điển Kích thƣớc của bộ từđiển là lƣợng tự vựng mà nó chứa để phục vụ khả năng nhận dạng của hệ thống. Kích thƣớc này càng lớn thì việc tính toán để nhận dạng càng phức tạp và tỷ lệ lỗi cũng sẽ tăng lên.3 Tốc độ nói và hiện tượng đồng phát âm Ngƣời nói có thể nói với tốc độ khác nhau ở những thời điểm, hoàn cảnh khác nhau. Nếu ngƣời nói căng thẳng, lời nói sẽ đƣợc đẩy nhanh hơn, còn ngƣời nói nếu mệt mỏi, tốc độ sẽ có xu hƣớng giảmđi. Hay hiện tƣợng đồngâm là để chỉ những từ có cùngâm nhƣng cách viết lại khác nhau vàý nghĩa cũng khác nhau.

Có thể thấy rất khó để nhận dạng đƣợc những từ nhƣ vậy và nhất là khi chúng đƣợc nói trong một ngữ cảnh rộng.4 Sự biến đổi trong lời nói LUAN VAN CHAT LUONG download : add [e-mail] 12 Ngoài ra, nó còn do tiếngồn xung quanh thay đổi theo thời gian, và có thể từ các vị trí đặt micro khác nhau dẫn đếnảnh hƣởng tớiâm thanh của ngƣời nói, hiện tƣợng này đƣợc gọi là sự thay đổi kênh.5 Điều kiện môi trường (nhiễu) Tiếng nói bị lẫn trọng môi trƣờng có nhiềuâm thanh khác nhƣ tiếng đồng hồ, tiếngồn từ máy tính, đang mởđài hoặc tiếng của những ngƣời khác, v.v… Chúng thƣờng đƣợc gọi là nhiễu, những tính hiệuâm thanh không mong muốn. Trong nhận dạng tiếng nói, chúng ta phải xácđịnh và lọc bỏ những tạpâm này ra khỏi tính hiệu tiếng nói.Một loại tiếng nhiễu khác là hiệu ứng tiếng vang, đó là tín hiệu tiếng nói bị vang vọng xung quanh, và đến microphone vài mili giây sau đó. Nếu ở mộtvị trí mà trong khi nói âm thanh đƣợc tạo ra vang lên rõ rệt, thì nó gọi là hiện tƣợng hồi âm và có thể kéo dài tới vài giây.6 Giới hạn về ngôn ngữ Các hệ thốngnhận dạng có thể làm việc tốt với các câu có ngữ pháp, phátâm rõ ràng trong các chƣơng trình cụ thể, tuy nhiên mỗi ngôn ngữ có những đặc điểm riêng làm cho việc phátâm khác nhau hay cách sử dụng ngữ pháp tự do sẽ khiến cho việc nhận dạng trở nên khó khăn hơn.2 Giới thiệuhệ thống nhận dạng tiếng nói 1.1 Các thành phần chính trong hệ thống nhận dạng tiếng nói Hình 1.1đƣa ra một cấu trúc cơ bản của hệ thống nhận dạng tiếng nói. Đầu tiên, tiến trình trích chọn đặc trƣng sẽ chuyển tín hiệu tiếng nói dạng sóng thành các vector đặc trƣng.

Vector đặc trƣng nàyđại diện cho thông tin âm thanh, nó là đầu vào quan trọng của hệ thống nhận dạng. Các vector đặc trƣng này đƣợc chia làm hai nhóm, một nhóm dùng để huấn luyện mô hìnhâm học và nhóm còn lại dùng cho việcnhận dạng. Sau đó, mô hình ngôn ngữ dựa trên HMM và từ điển ngữâm là tập danh sách các từ xuất hiện trong dữ liệu huấn luyện và phiên âm tƣơng ứng của nó sẽ đƣợc kết hợp để giải mã ra văn bản của tiếng nói ban đầu. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1 Các thành phần trong hệ thống nhận dạng tiếng nói 1.2 Đặc trƣng của tiếng nói Đặc trƣng tiếng nói là các vectortham sốđại diện cho thông tin củaâm thanh đƣợc chuyển từ tín hiệu tiếng nói trƣớc khi đƣợcđƣa tới công cụ nhận dạng.

Vector đặc trƣng này lƣu lại các thông tin riêng biệt trong các lớp của tín hiệu tiếng nói bất kể trong môi trƣờng có nhiều loại tiếngồn hay mức độ nhiễuâm khác nhau. Để tạo ra đặc trƣng, tín hiệu tiếng nói đƣợc chia thành các khung thƣờng có độ dài từ 20ms đến 40ms để mã hóa thành các thông tin nhằm giảm lƣợng dữ liệu cao của tín hiệu tiếng nói gốc[8].