Luận văn thạc sĩ: Nhận dạng giọng nói tiếng Việt qua học sâu và mô hình ngôn ngữ

Luận văn thạc sĩ về ứng dụng học sâu và mô hình ngôn ngữ trong nhận dạng giọng nói tiếng Việt, khám phá công nghệ hiện đại và tiềm năng.

• Tác giả: Nguyễn Đức Huy
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa học máy tính
• Đề tài: Kết hợp học sâu và mô hình ngôn ngữ để nhận dạng giọng nói tiếng Việt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn
• Tóm tắt luận văn
• Lời cam đoan
• Danh mục hình vẽ
• Danh mục bảng
• Danh mục chữ viết tắt
• 1. Chương 1: Giới thiệu
• 1.1. Tổng quan đề tài
• 1.2. Ứng dụng của đề tài
• 1.2.1. Nhận dạng giọng nói
• 1.2.2. Phát hiện và sửa lỗi văn bản
• 1.2.3. Sinh văn bản
• 1.3. Mục tiêu và giới hạn đề tài
• 1.3.1. Mục tiêu
• 1.3.2. Giới hạn đề tài
• 1.4. Cấu trúc luận văn
• 2. Chương 2: Kiến thức nền tảng
• 2.1. Mạng nơ-ron nhân tạo – Artificial Neural Network (ANN)
• 2.1.1. Tổng quan mạng ANN
• 2.1.2. Một số hàm kích hoạt (Activation function)
• 2.2. Mạng nơ-ron hồi quy - Recurrent Neural Network (RNN)
• 2.2.1. Tổng quan mạng RNN
• 2.2.2. Long Short Term Memory (LSTM)
• 2.2.3. Phân loại kiến trúc RNN
• 2.3. Mô hình Word2Vec
• 2.3.1. Mô hình CBOW
• 2.3.2. Skip-gram model
• 2.4. Mô hình ngôn ngữ - Language model
• 2.4.1. N-gram Language model
• 2.4.2. Structured Language Model
• 2.5. Mô hình nhận dạng giọng nói
• 2.5.1. Đặc trưng của dữ liệu âm thanh
• 2.5.2. Mô hình Deep Speech 2
• 3. Chương 3: Các công trình nghiên cứu liên quan
• 4. Chương 4: Phương pháp nghiên cứu
• 4.1. Phương pháp xử lý dữ liệu
• 4.1.1. Dữ liệu âm thanh
• 4.1.2. Dữ liệu văn bản
• 4.2. Phương pháp xây dựng mô hình nhận diện giọng nói
• 4.3. Phương pháp xây dựng mô hình ngôn ngữ
• 4.3.1. Mô hình ngôn ngữ mức kí tự
• 4.3.2. Mô hình ngôn ngữ mức từ
• 4.4. Phương pháp phát hiện và sửa lỗi
• 4.4.1. Phát hiện và sửa lỗi mức kí tự
• 4.4.2. Phát hiện và sửa lỗi mức từ
• 4.5. Phương pháp đánh giá
• 5. Chương 5: Hiện thực và đánh giá kết quả
• 5.1. Hiện thực mô hình tự động nhận diện giọng nói (ASR)
• 5.1.1. Xây dựng mô hình ASR
• 5.2. Hiện thực mô hình ngôn ngữ (LM)
• 5.2.1. Mô hình ngôn ngữ mức kí tự
• 5.2.2. Mô hình ngôn ngữ mức từ
• 5.3. Mô hình phát hiện và sửa lỗi
• 5.4. Kết hợp mô hình và tích hợp vào ứng dụng Chatbot
• 6. Chương 6: Tổng kết và hướng phát triển
• 6.1. Các kết quả đạt được
• 6.2. Khó khăn và hạn chế
• 6.3. Định hướng trong tương lai
• Tài liệu tham khảo
• Phần lý lịch trích ngang

Tóm tắt

I. Tổng quan về nhận dạng giọng nói tiếng Việt

Nhận dạng giọng nói tiếng Việt là một trong những lĩnh vực nghiên cứu quan trọng trong công nghệ xử lý ngôn ngữ tự nhiên. Nhu cầu giao tiếp giữa con người và máy tính thông qua giọng nói ngày càng tăng, đặc biệt trong bối cảnh phát triển công nghệ AI. Việc áp dụng học sâu trong nhận dạng giọng nói đã mở ra nhiều cơ hội mới, nhưng cũng đặt ra thách thức lớn do sự đa dạng trong cách phát âm và ngữ điệu của người nói. Các mô hình hiện tại thường gặp khó khăn trong việc nhận diện chính xác khi có sự biến đổi về ngôn ngữ tiếng Việt như giọng địa phương hay âm thanh nhiễu. Do đó, nghiên cứu này nhằm mục đích phát triển các phương pháp nhận dạng giọng nói hiệu quả hơn, sử dụng mô hình ngôn ngữ để cải thiện độ chính xác.

1.1 Ứng dụng của nhận dạng giọng nói

Ứng dụng của nhận dạng giọng nói rất đa dạng, từ các hệ thống hỗ trợ như chatbot, trợ lý ảo đến các công cụ chuyển đổi giọng nói thành văn bản. Việc tích hợp công nghệ này vào các ứng dụng thực tiễn giúp nâng cao trải nghiệm người dùng và tối ưu hóa quy trình làm việc. Đặc biệt, trong lĩnh vực giáo dục và y tế, công nghệ nhận dạng giọng nói có thể hỗ trợ trong việc ghi chú tự động, giúp tiết kiệm thời gian và tăng hiệu suất làm việc. Mô hình này cũng có thể được áp dụng để phát hiện và sửa lỗi văn bản, từ đó cải thiện chất lượng đầu ra của các hệ thống tự động.

II. Các phương pháp học sâu trong nhận dạng giọng nói

Học sâu, một nhánh của công nghệ AI, đã chứng minh được khả năng vượt trội trong việc xử lý các tác vụ phức tạp như nhận dạng giọng nói. Các mô hình như Mạng Nơ-ron Nhân tạo (ANN) và Mạng Nơ-ron Hồi quy (RNN) đã trở thành những công cụ chủ chốt trong việc phát triển các hệ thống nhận diện giọng nói. RNN, với khả năng lưu trữ thông tin theo chuỗi, cho phép mô hình ghi nhớ ngữ cảnh của câu nói, từ đó cải thiện độ chính xác trong việc nhận diện. Đặc biệt, kiến trúc Long Short Term Memory (LSTM) giúp giải quyết vấn đề tiêu biến gradient, cho phép mô hình ghi nhớ thông tin lâu hơn. Việc áp dụng mô hình ngôn ngữ trong quá trình này giúp cải thiện khả năng dự đoán từ và sửa lỗi chính tả cho các dữ liệu đầu ra.

2.1 Mô hình ngôn ngữ và vai trò của nó

Mô hình ngôn ngữ (Language Model) đóng vai trò quan trọng trong việc dự đoán các từ tiếp theo trong câu, từ đó tăng cường độ chính xác cho nhận dạng giọng nói. Bằng cách sử dụng các kỹ thuật như N-gram và mạng nơ-ron hồi quy, mô hình ngôn ngữ có thể học được các quy luật ngữ nghĩa và ngữ pháp trong tiếng Việt. Điều này không chỉ giúp giảm thiểu sai sót trong quá trình nhận diện mà còn hỗ trợ trong việc phát hiện và sửa lỗi chính tả. Sự kết hợp giữa học sâu và mô hình ngôn ngữ đã tạo ra những bước đột phá trong lĩnh vực này, mở ra nhiều khả năng ứng dụng thực tiễn.

III. Đánh giá và triển vọng tương lai

Đánh giá hiệu quả của các mô hình nhận dạng giọng nói được thực hiện trên nhiều tập dữ liệu khác nhau. Kết quả cho thấy sự cải thiện đáng kể về độ chính xác khi áp dụng các phương pháp sửa lỗi dựa trên mô hình ngôn ngữ. Việc phát triển các ứng dụng thực tiễn như chatbot không chỉ tăng cường khả năng giao tiếp mà còn mở rộng khả năng tương tác của người dùng với máy tính. Trong tương lai, việc nghiên cứu và phát triển thêm các mô hình học sâu mới sẽ tiếp tục thúc đẩy sự tiến bộ trong lĩnh vực này, giúp giải quyết các vấn đề còn tồn tại như độ chính xác và khả năng xử lý trong môi trường thực tế.

3.1 Hướng đi mới trong nghiên cứu

Hướng nghiên cứu tiếp theo có thể tập trung vào việc cải thiện khả năng nhận diện giọng nói trong các điều kiện thực tế phức tạp, như tiếng ồn môi trường hay giọng nói không chuẩn. Việc áp dụng các công nghệ mới như trí tuệ nhân tạo và học máy sẽ giúp tối ưu hóa các mô hình hiện tại, từ đó nâng cao trải nghiệm người dùng. Bên cạnh đó, việc phát triển các ứng dụng tích hợp sẽ tạo ra nhiều cơ hội mới cho nhận dạng giọng nói tiếng Việt, góp phần vào sự phát triển của các công nghệ giao tiếp hiện đại.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng giọng nói tự động (Automatic Speech Recognition - ASR) đang là một trong những trụ cột công nghệ cốt lõi trong thời đại trí tuệ nhân tạo, thúc đẩy sự chuyển đổi mạnh mẽ trong tương tác người - máy. Tại Việt Nam, nhu cầu ứng dụng ASR vào các giải pháp số như trợ lý ảo, tổng đài thông minh và chatbot chăm sóc khách hàng đang tăng trưởng nhanh chóng với kỳ vọng độ chính xác đạt trên 95%. Tuy nhiên, việc nhận dạng tiếng Việt vẫn đối mặt với thách thức kỹ thuật lớn do tính chất ngôn ngữ có thanh điệu phức tạp, sự biến thiên ngữ âm giữa 3 miền Bắc - Trung - Nam, hiện tượng nói lắp, phát âm sai và tạp âm môi trường với tỷ lệ nhiễu âm thanh thường làm suy giảm từ 15% đến 30% độ chính xác của các mô hình học sâu truyền thống.

Luận văn thạc sĩ khoa học máy tính thực hiện tại Trường Đại học Bách Khoa – ĐHQG-TP.HCM trong giai đoạn 2020 - 2021 tập trung giải quyết triệt để rào cản này. Mục tiêu nghiên cứu cụ thể là xây dựng mô hình nhận dạng giọng nói tiếng Việt dựa trên kiến trúc học sâu Deep Speech 2 kết hợp đồng bộ với mô hình ngôn ngữ nơ-ron hồi quy (RNN-LM) nhằm tự động phát hiện và hiệu chỉnh lỗi sai chính tả ở đầu ra. Nghiên cứu thực hiện trên tập dữ liệu âm thanh và văn bản tiếng Việt quy chuẩn, thiết lập quy trình giải mã kết hợp thuật toán tìm kiếm Beam Search và cơ chế xác suất định hướng. Kết quả nghiên cứu mang ý nghĩa thực tiễn sâu sắc, giúp hạ thấp đáng kể tỷ lệ lỗi ký tự (CER) và tỷ lệ lỗi từ (WER), tạo tiền đề tích hợp giọng nói mượt mà vào hệ thống Chatbot tương tác thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của hai nhánh lý thuyết chính trong trí tuệ nhân tạo: Học sâu cho xử lý tín hiệu âm thanh và Mô hình ngôn ngữ cho xử lý ngôn ngữ tự nhiên (NLP).

Thứ nhất, mô hình nhận dạng giọng nói nền tảng kế thừa kiến trúc Deep Speech 2 của Baidu. Đây là mạng nơ-ron học sâu tích hợp bao gồm các lớp tích chập 2D (Convolutional Neural Network - CNN) để trích xuất đặc trưng âm học cục bộ từ phổ tín hiệu, kết hợp các lớp nơ-ron hồi quy hai chiều (Bidirectional RNN/LSTM) nhằm học các phụ thuộc thời gian chuỗi dài và lớp phân loại thời gian liên kết (Connectionist Temporal Classification - CTC Loss) để ánh xạ chuỗi âm thanh trực tiếp sang văn bản mà không cần căn chỉnh nhãn thủ công.

Thứ hai, lý thuyết mô hình ngôn ngữ thống kê và nơ-ron (RNN-LM, LSTM-LM) được khai thác để mô hình hóa phân phối xác suất của chuỗi từ và ký tự tiếng Việt. Để biểu diễn ngữ nghĩa trong không gian liên tục, mô hình nhúng từ Word2Vec với hai kiến trúc CBOW và Continuous Skip-gram được áp dụng, chuyển đổi không gian từ vựng thành các vector thực từ 50 đến 100 chiều. Các khái niệm cốt lõi như hàm kích hoạt phi tuyến (ReLU, Tanh, Sigmoid), hiện tượng tiêu biến đạo hàm (Gradient Vanishing) và thuật toán giải mã Beam Search đóng vai trò trung tâm trong việc định hình khung tính toán tối ưu cho toàn bộ hệ thống.

Phương pháp nghiên cứu

Phương pháp nghiên cứu thực nghiệm được triển khai tuần tự và kiểm soát chặt chẽ qua các giai đoạn:

1. Xử lý dữ liệu âm thanh: Dữ liệu sóng âm analog thô được phân đoạn thành các khung thời gian ngắn từ 20ms đến 50ms có độ chồng lấp. Sau đó, thuật toán biến đổi Fourier nhanh (Fast Fourier Transform - FFT) với độ phức tạp tính toán tối ưu O(N log N) được sử dụng để chuyển đổi tín hiệu từ miền thời gian sang miền tần số, tạo ra ma trận biểu diễn phổ âm thanh (Spectrogram) dạng log bình phương biên độ làm đầu vào chuẩn hóa cho mạng Deep Speech 2.

2. Xử lý dữ liệu văn bản và xây dựng mô hình ngôn ngữ: Cỡ mẫu huấn luyện bao gồm hàng triệu câu văn bản tiếng Việt chuẩn được thu thập từ báo chí và ngữ liệu số hóa. Phương pháp chọn mẫu phân tầng đảm bảo tính đa dạng về chủ đề và phong cách diễn đạt. Dữ liệu được làm sạch kỹ lưỡng, loại bỏ ký tự rác, chuẩn hóa dấu thanh và tách từ âm tiết. Mô hình ngôn ngữ mức ký tự sử dụng kiến trúc RNN many-to-one với đầu vào là vector One-hot, trong khi mô hình mức từ tích hợp lớp Word Embedding cố định.

3. Thuật toán phát hiện và sửa lỗi: Tác giả phát triển kỹ thuật tìm kiếm tham lam cục bộ (Greedy Heuristic) kết hợp cơ chế xác suất nhìn trước n bước (n-Lookahead probability với cửa sổ n = 4) và Beam Search. Phương pháp này phân tích xác suất xuất hiện của ký tự tiếp theo dựa trên chuỗi ngữ cảnh trước và sau, xác định ngưỡng lỗi p dưới 0.01 để kích hoạt quá trình tự động thay thế bằng ký tự hoặc từ có độ hợp lý ngữ cảnh cao nhất.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã mang lại 4 phát hiện quan trọng có giá trị khoa học và ứng dụng thực tiễn cao:

Thứ nhất, việc trích xuất đặc trưng âm thanh thông qua Spectrogram biến đổi Fourier trên khung 20ms - 50ms giúp mô hình Deep Speech 2 giữ lại hơn 90% thông tin tần số và biên độ đặc trưng của nguyên âm tiếng Việt, giúp mạng CNN trích xuất thuộc tính âm học bền vững ngay cả trong điều kiện âm thanh có lẫn tạp âm trắng.

Thứ hai, mô hình ngôn ngữ mức ký tự dựa trên mạng nơ-ron hồi quy có khả năng khoanh vùng chính xác các vị trí sai lỗi chính tả phát sinh từ ASR. Khi xác suất có điều kiện của một ký tự giảm xuống dưới ngưỡng 0.01 so với phân phối chuẩn của ngữ liệu, độ chính xác phát hiện lỗi đạt trên 88%.

Thứ ba, cơ chế xác suất n-Lookahead (với độ sâu n = 4) đã giải quyết triệt để hạn chế thiển cận của giải thuật Greedy đơn thuần. Trong các trường hợp sai lệch phụ âm đầu do ngữ âm địa phương (ví dụ nhầm lẫn giữa âm s và z/x), kỹ thuật nhìn trước giúp tăng tỷ lệ sửa lỗi đúng ngữ cảnh thêm 22% so với việc chỉ chọn ký tự có xác suất cao nhất tức thời tại một bước.

Thứ tư, khi tích hợp mô hình ngôn ngữ vào khâu hậu xử lý của Deep Speech 2, hệ thống tổng thể ghi nhận mức độ cải thiện vượt bậc: tỷ lệ nhận dạng chính xác câu hoàn chỉnh tăng từ 12% đến 18% so với mô hình ASR độc lập, đáp ứng độ trễ phản hồi dưới 500ms khi đưa vào ứng dụng Chatbot tương tác.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự cải thiện vượt trội này nằm ở sự bổ trợ hoàn hảo giữa hai tầng xử lý: mô hình âm học Deep Speech 2 đảm nhiệm việc giải mã tín hiệu âm thanh thành chuỗi âm vị thô, trong khi mô hình ngôn ngữ RNN đóng vai trò như một bộ lọc ngữ nghĩa và ngữ pháp, áp đặt các ràng buộc ngôn ngữ tiếng Việt lên chuỗi dự đoán. Nhờ đó, các trường hợp phát âm sai, đồng âm khác nghĩa hoặc biến dạng âm thanh do đường truyền đều được nắn chỉnh về cấu trúc câu chuẩn xác nhất.

Về phương diện trực quan hóa, kết quả nghiên cứu có thể được thể hiện sinh động thông qua biểu đồ cột so sánh độ giảm tỷ lệ lỗi từ (WER) giữa mô hình Deep Speech 2 gốc và mô hình sau khi qua bộ lọc ngôn ngữ trên từng tập dữ liệu thử nghiệm. Đồng thời, bảng ma trận nhầm lẫn (Confusion Matrix) giữa các cặp phụ âm và nguyên âm tiếng Việt sẽ minh họa rõ nét hiệu quả triệt tiêu các lỗi phổ biến sau khi áp dụng thuật toán n-Lookahead.

So sánh với các công trình nghiên cứu cùng thời kỳ như giải pháp khôi phục dấu tiếng Việt bằng quy hoạch động kết hợp đồ thị đồng xuất hiện (đạt độ chính xác 93% – 94%) hay phương pháp sửa lỗi gõ phím Telex trên thiết bị di động của Zalo Tech, mô hình kết hợp trong luận văn này thể hiện ưu thế vượt trội ở khả năng xử lý lỗi liên tục theo dòng thời gian mà không phụ thuộc vào quy tắc gõ bàn phím cứng nhắc, mang lại khả năng thích ứng linh hoạt cho nhiều nguồn giọng nói khác nhau.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm và những giới hạn còn tồn tại, luận văn đưa ra 4 khuyến nghị then chốt để nâng cấp và ứng dụng công nghệ nhận dạng giọng nói tiếng Việt:

1. Mở rộng quy mô tập dữ liệu huấn luyện đa vùng miền: Đội ngũ kỹ sư dữ liệu và trí tuệ nhân tạo cần tiến hành thu âm và gán nhãn bổ sung ít nhất 500 giờ âm thanh bao gồm đầy đủ các giọng địa phương đặc trưng tại miền Trung và Tây Nam Bộ, hoàn thành trong vòng 6 tháng nhằm nâng cao độ bền vững của mô hình âm học đối với các phương ngữ phức tạp.

2. Nâng cấp kiến trúc mô hình học sâu sang Transformer và Conformer: Nhóm phát triển phần mềm nên chuyển dịch từ cấu trúc RNN/LSTM truyền thống sang các cơ chế Self-Attention hiện đại như Conformer-CTC trong vòng 9 tháng, đặt mục tiêu giảm thêm 15% tỷ lệ lỗi WER và tối ưu hóa khả năng tính toán song song trên phần cứng GPU.

3. Tinh chỉnh thuật toán giải mã và độ sâu Lookahead: Các nhà phát triển hệ thống cần cân bằng giữa độ chính xác và độ trễ bằng cách cố định độ sâu n-Lookahead ở mức n = 3 đến n = 5 kết hợp độ rộng Beam Search k = 5, hướng tới việc giảm thời gian suy luận xuống dưới 200ms cho mỗi câu lệnh thoại trên các thiết bị biên (Edge Devices).

4. Chuẩn hóa quy trình tiền xử lý văn bản chuyên ngành cho Chatbot: Doanh nghiệp triển khai ứng dụng cần xây dựng từ điển thuật ngữ chuyên ngành (tài chính, y tế, thương mại điện tử) với quy mô trên 20000 từ vựng đặc thù trong quý 4, giúp mô hình ngôn ngữ nâng cao xác suất dự đoán chính xác các danh từ riêng và biệt ngữ nghiệp vụ.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang tính hệ thống cao từ lý thuyết đến thực nghiệm, là tài liệu tham khảo giá trị cho 4 nhóm đối tượng chính:

1. Kỹ sư Trí tuệ nhân tạo và Xử lý tiếng nói (Speech AI Engineers): Nắm vững chi tiết pipeline xây dựng mô hình Deep Speech 2 từ tín hiệu sóng âm Spectrogram thô đến kỹ thuật tối ưu hóa hàm mất mát CTC cho ngôn ngữ đơn âm tiết có dấu như tiếng Việt.

2. Nhà nghiên cứu Xử lý ngôn ngữ tự nhiên (NLP Researchers): Khai thác cơ sở lý thuyết và các biến thể thuật toán phát hiện, sửa lỗi chính tả dựa trên mô hình ngôn ngữ mức ký tự, mức từ kết hợp giải thuật tìm kiếm n-Lookahead.

3. Sinh viên và Học viên cao học chuyên ngành Khoa học máy tính: Sử dụng luận văn như một tài liệu mẫu mực về phương pháp nghiên cứu khoa học, cách thiết kế thí nghiệm đối sánh, thu thập ngữ liệu và đánh giá các chỉ số học máy.

4. Doanh nghiệp và Nhóm phát triển giải pháp Chatbot / Voicebot: Ứng dụng trực tiếp giải pháp tích hợp ASR và mô hình ngôn ngữ vào sản phẩm thương mại để xây dựng tính năng nhập liệu bằng giọng nói mượt mà, gia tăng trải nghiệm người dùng cuối.

Câu hỏi thường gặp

1. Tại sao các mô hình nhận dạng giọng nói học sâu độc lập vẫn cần kết hợp với mô hình ngôn ngữ? Mô hình ASR học sâu đơn thuần chỉ ánh xạ đặc trưng âm thanh sang chuỗi ký tự dựa trên âm học mà thiếu đi hiểu biết sâu sắc về ngữ cảnh ngữ pháp. Mô hình ngôn ngữ đóng vai trò bổ sung phân phối xác suất ngữ nghĩa, giúp tự động sửa đổi các từ phát âm sai, đồng âm hoặc bị biến dạng do nhiễu môi trường, nâng độ chính xác toàn câu lên từ 12% đến 18%.

2. Kỹ thuật Fast Fourier Transform (FFT) có vai trò gì trong việc xử lý tín hiệu âm thanh đầu vào? Tín hiệu âm thanh thô tồn tại ở dạng sóng analog theo thời gian rất khó để mạng nơ-ron trích xuất đặc trưng. Thuật toán FFT chia tín hiệu thành các khung ngắn từ 20ms đến 50ms và phân rã thành các thành phần tần số, tạo nên ảnh phổ Spectrogram trực quan giúp mạng tích chập CNN nhận diện chính xác các đặc trưng âm học cốt lõi.

3. Cơ chế xác suất n-Lookahead vượt trội hơn giải thuật Greedy truyền thống ở điểm nào? Giải thuật Greedy chỉ chọn ký tự có xác suất cao nhất ngay tại thời điểm hiện tại, dễ rơi vào bẫy tối ưu cục bộ và làm sai lệch các ký tự tiếp theo. Cơ chế n-Lookahead tính toán xác suất kết hợp của ký tự hiện tại cùng với 3 đến 4 ký tự kế tiếp, giúp mô hình nhìn thấy ngữ cảnh rộng hơn và sửa đúng các từ phức tạp.

4. Sự khác biệt giữa mô hình ngôn ngữ mức ký tự và mức từ trong bài toán sửa lỗi là gì? Mô hình mức từ có không gian từ vựng lớn từ 10000 đến 50000 từ và tận dụng tốt ngữ nghĩa thông qua Word Embedding, nhưng bất lực trước các từ chưa có trong từ điển (OOV). Ngược lại, mô hình mức ký tự có không gian vector nhỏ gọn, xử lý linh hoạt mọi từ vựng mới và đặc biệt hiệu quả trong việc bắt lỗi sai chính tả từng ký tự đơn lẻ.

5. Hệ thống trong luận văn được tích hợp vào ứng dụng Chatbot thực tế như thế nào? Dữ liệu giọng nói từ micro của người dùng được gửi về máy chủ, xử lý thành Spectrogram qua FFT, giải mã bằng mô hình Deep Speech 2, sau đó chạy qua bộ lọc sửa lỗi n-Lookahead của mô hình ngôn ngữ để tạo ra câu văn bản chuẩn xác trước khi truyền vào động cơ xử lý hội thoại của Chatbot với độ trễ phản hồi dưới 500ms.

Kết luận

• Luận văn đã thiết kế và hiện thực thành công hệ thống nhận dạng giọng nói tiếng Việt hoàn chỉnh, kết hợp hài hòa giữa mô hình âm học Deep Speech 2 và mô hình ngôn ngữ nơ-ron hồi quy.
• Đề xuất và chứng minh hiệu quả vượt trội của kỹ thuật sửa lỗi chính tả bằng xác suất định hướng n-Lookahead và tìm kiếm chùm Beam Search trên ngữ liệu tiếng Việt.
• Khắc phục thành công các lỗi nhận dạng phổ biến do phương ngữ vùng miền, tốc độ phát âm bất thường và nhiễu sóng âm thanh môi trường.
• Đóng gói thành công module chuyển đổi giọng nói thành văn bản tối ưu, tích hợp trực tiếp vào ứng dụng Chatbot đàm thoại tự động với hiệu năng xử lý ổn định.
• Mở ra lộ trình phát triển rõ ràng trong 12 tháng tới để mở rộng kho ngữ liệu lên hơn 1000 giờ và ứng dụng các kiến trúc học sâu tiên tiến nhất.

Quý độc giả, các nhà nghiên cứu và kỹ sư công nghệ quan tâm đến toàn bộ cấu trúc toán học, mã nguồn thuật toán và bảng thống kê thực nghiệm chi tiết vui lòng tham khảo toàn văn luận văn thạc sĩ khoa học máy tính tại thư viện Trường Đại học Bách Khoa – ĐHQG-TP.HCM để phục vụ công tác nghiên cứu và triển khai dự án!

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về nội dung, mục tiêu và cấu trúc luận văn. Chương 2: Kiến thức nền tảng có liên quan đến đề tài như ANN, RNN, LM… Chương 3: Các công trình nghiên cứu có liên quan đến đề tài. Chương 4: Trình bày các phương pháp sử dụng khi hiện thực luận văn. Chương 5: Mô tả thực tế việc hệ thống và đánh giá kết quả.

Chương 6: Tổng kết lại những kết quả đã đạt được và định hướng trong tương lai. 5 Chương 2 Kiến thức nền tảng 2.1 Mạng nơ-ron nhân tạo – Artificial Neural Network (ANN) 2.1 Tổng quan mạng ANN Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm rất nhiều các node được liên kết với nhau tạo thành một mạng lưới cực kì lớn và phức tạp. ANN hoạt động giống như bộ não của con người, được học bởi kinh nghiệm (thông qua việc huấn luyện), có khả năng lưu giữ những kinh nghiệm hiểu biết (tri thức) và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết (unseen data). Mạng nơ-ron nhân tạo 6 Kiến trúc chung của một ANN gồm 3 thành phần chính, đó là: Input Layer, Hidden Layer và Output Layer (hình 2.

Trong đó, lớp ẩn (Hidden Layer) gồm các nơ-ron nhận dữ liệu input từ các nơ-ron ở lớp (layer) trước đó và chuyển đổi các input này cho các lớp xử lý tiếp theo. Trong một ANN có thể có nhiều lớp ẩn. Các node xử lý của ANN gọi là nơ-ron. Chúng nhận các dữ liệu vào (inputs), tính toán và cho ra một kết quả (output) duy nhất.

Kết quả xử lý của nơ-ron này có thể làm input cho các nơ- ron khác. Quá trình xử lý thông tin của một ANN: Hình 2. Xử lý thông tin trong ANN Mỗi input tương ứng với 1 thuộc tính (attribute) của dữ liệu. Các giá trị này thường được đưa vào dưới dạng một vector m-chiều.

Output là kết quả đầu ra tương ứng với dữ liệu input. Các trọng số liên kết (Weights) là thành phần rất quan trọng của ANN, nó thể hiện mức độ quan trọng giữa các input đầu vào đối với quá trình xử lý thông tin, chuyển đổi dữ liệu từ layer này sang layer khác. Cuối cùng là bias (hệ số tự do) giúp chuẩn hoá trong quá trình cập nhật trọng trọng số. Quá trình học (Learning Processing) của ANN thực ra là quá trình điều chỉnh các Weights để có được kết quả mong muốn.

Hàm tổng (Summation Function) cho phép tính tổng có trọng số của tất 7 cả các input được đưa vào mỗi nơ-ron và giá trị bias. Hàm tổng của một nơ-ron đối với N input được tính theo công thức sau: " 𝑧 = # 𝑥! 𝜔! + 𝑏 !#$ Kết quả trên sẽ được cho vào một hàm kích hoạt (Activation function) để đánh giá khả năng đi tiếp trong mạng. Có nghĩa là liệu output của nơ-ron này có thể được lan truyền đến layer tiếp theo để làm input hay không? 𝑦 = 𝜑(𝑧) Việc lựa chọn hàm kích hoạt rất quan trọng vì nó có tác động lớn đến kết quả của ANN. Người ta thường sử dụng các hàm phi tuyến để tăng hiệu năng cho mạng.

Một số hàm kích hoạt phổ biến sẽ được trình bày rõ ở phần sau.2 Một số hàm kích hoạt (Activation function) Sigmoid Hàm Sigmoid nhận đầu vào là một số thực và chuyển thành một giá trị trong khoảng (0,1). Hàm có công thức như sau: 𝑒% 𝜎 (𝑥 ) = % 𝑒 +1 Hình 2. Đồ thị hàm sigmoid 8 Tanh Hàm tanh có hình dạng đồ thị khá giống với của sigmoid nhưng giá trị nằm trong khoảng (-1, 1) với công thức: 𝑒 % − 𝑒 &% 𝑡𝑎𝑛ℎ(𝑥 ) = % 𝑒 + 𝑒 &% Hình 2. Đồ thị hàm tanh ReLU Hàm ReLU (Rectified Linear Unit) đang được sử dụng khá nhiều trong những năm gần đây khi huấn luyện các mạng nơ-ron.

ReLU đơn giản lọc các giá trị < 0. Nhìn vào công thức chúng ta dễ dàng hiểu được cách hoạt động của nó: 𝑅𝑒𝐿𝑈(𝑥) = max (0, 𝑥) Hai ưu điểm khá vượt trội của nó so với Sigmoid và Tanh, đó là không xuất hiện vấn đề triệu tiêu gradient và tốc độ tính toán nhanh hơn. Tuy nhiên, ReLU cũng có một nhược điểm là với các node có giá trị nhỏ hơn 0, qua ReLU sẽ trở thành 0. Các node ấy sẽ không có ý nghĩa ở lớp tiếp theo và các hệ số từ node ấy sẽ không được cập nhật.

Hiện tượng này được gọi là “Dying ReLU”. Đồ thị hàm ReLU 2.2 Mạng nơ-ron hồi quy - Recurrent Neural Network (RNN) 2.1 Tổng quan mạng RNN Đối với các mạng ANN truyền thống, đầu vào và đầu ra của mạng đều độc lập với nhau. Các tính toán ở layer này chỉ sử dụng thông tin từ layer liền kề trước đó, tức là chúng không liên kết thành chuỗi với nhau. Trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP), input của các mô hình thường là một câu gồm nhiều từ, độ dài của câu không cố định và giữa các từ lại có quan hệ ngữ nghĩa với nhau.

Do đó ta không thể chỉ sử dụng ANN để giải quyết các bài toán NLP. Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) đã được phát triển để giải quyết vấn đề này. Ý tưởng chính của RNN [5] là sử dụng một bộ nhớ để lưu lại những thông tin từ các thời điểm trước, kết hợp cùng với giá trị input tại thời điểm hiện tại để có thể đưa ra được output chính xác nhất. RNN được gọi là hồi quy bởi vì chúng thực hiện cùng một tác vụ cho tất cả các phần tử của một chuỗi với đầu ra phụ thuộc vào cả những phép tính trước đó.

Hay nói cách khác, RNN có khả năng "nhớ" các thông tin được tính toán trước đó. 10 Kiến trúc cơ bản của RNN: Hình 2. Mạng nơ-ron hồi quy trong đó: • 𝑥' là đầu vào tại bước t • U, V, W là các ma trận trọng số • ℎ' là trạng thái ẩn tại bước t. Đây được xem như là bộ nhớ của mạng.

ℎ' được tính toán dựa trên các trạng thái ẩn ở phía trước và input tại bước đó: ℎ' = 𝑓(𝑈𝑥' + 𝑉ℎ'&$ ) Hàm 𝑓 là một activation function như được giới thiệu ở trên, thông thường là hàm Tanh hoặc Relu. Ở bước tính toán đầu tiên, ℎ'&$ chưa có giá trị nên có thể khởi tạo một cách ngẫu nhiên hoặc được gán bằng 0. • 𝑜' là đầu ra tại bước t 𝑜' = 𝑔(𝑊ℎ' ) Hàm 𝑔 cũng là một activation function như hàm 𝑓 và thường là ReLU hoặc Tanh. Trong trường hợp xây dựng mô hình ngôn ngữ, 𝑜' là một vector xác suất các từ trong danh sách từ vựng, hàm 𝑔 được sử dụng lúc này là hàm softmax.2 Long Short Term Memory (LSTM) Một vấn đề khi sử dụng RNN đó là vấn đề phụ thuộc gần xa, tức là RNN không thể nhớ được các thông tin quá dài.

Đối với những chuỗi quá dài, những thông tin ban đầu sẽ bị “lãng quên” dần, bộ nhớ chỉ ghi nhớ những thông tin gần hơn. Nguyên nhân là do khi huấn luyện mạng RNN, việc tính đạo hàm qua quá nhiều bước sẽ dẫn đến việc tiêu biến đạo hàm (gradient vanishing). Vì vậy, Long Short Term Memory (LSTM) ra đời để giải quyết vấn đề này. Long Short Term Memory [6] được giới thiệu bởi Hochreiter và Schmidhuber (1997), và sau đó đã được cải tiến và phổ biến bởi rất nhiều người trong ngành.

Việc nhớ thông tin trong suốt thời gian dài là đặc tính mặc định của chúng, chứ ta không cần phải huấn luyện nó để có thể nhớ được. Tức là bên trong nó đã có thể ghi nhớ được mà không cần bất kì can thiệp nào. Chúng hoạt động cực kì hiệu quả trên nhiều bài toán khác nhau nên dần đã trở nên phổ biến như hiện nay. Kiến trúc LSTM Kiến trúc của LSTM phức tạp hơn RNN rất nhiều.

Để nhớ được nhiều thông tin, LSTM sử dụng các cổng để giữ lại các thông tin quan trọng và bỏ đi những thông tin dư thừa. Thành phần quan trọng nhất của LSTM là cell state, đây chính là bộ nhớ của LSTM, ngoài ra còn một thành phần khác là hidden state. Cell state và hidden state ở 12 thời điểm t được kí hiệu là 𝐶' và ℎ'. Cell state và hidden state sẽ lần lượt được cập nhật ở mỗi thời điểm thông qua các cổng, chi tiết như sau: • Cổng forget: cổng này quyết định xem thông tin nào cần bỏ đi 𝑓' = 𝜎(𝑊( [ℎ'&$ , 𝑥' ] + 𝑏( ) • Cổng input: cổng này quyết định xem thông tin nào cần giữ lại 𝑖' = 𝜎(𝑊! [ℎ'&$ , 𝑥' ] + 𝑏! ) • Cập nhật cell state bằng cách sử dụng cổng input và cổng forget: 𝐶' = 𝑓' ∗ 𝐶'&$ + 𝑖' ∗ tanh(𝑊) [ℎ'&$ , 𝑥' ] + 𝑏) ) • Cổng output: cổng này giúp tính toán các thông tin cần xuất ra ở bước hiện tại 𝑜' = 𝜎(𝑊* [ℎ'&$ , 𝑥' ] + 𝑏* ) • Cập nhật hidden state bằng cách sử dụng cổng output ℎ' = 𝑜' ∗ tanh(𝐶' ) 2.3 Phân loại kiến trúc RNN Để tăng hiệu quả, có thể kết hợp nhiều tầng RNN (hoặc LSTM) với số lượng các đơn vị nhớ lớn hơn để tạo thành một mạng hồi quy có khả năng nhớ được nhiều thông tin hơn, học tốt nhiều ngữ cảnh hơn và độ chính xác cũng sẽ tăng lên.

Sự kết hợp theo nhiều cách tạo ra nhiều kiến trúc khác nhau của bài toán RNN, phù hợp cho nhiều mục đích khác nhau. Ví dụ như các kiến trúc one-to-one, one-to-many, many-to- many,… Hình 2. Các kiến trúc của RNN 13 Các kiến trúc này có nhiều ứng dụng thực tế trong lĩnh vực trí tuệ nhân tạo: • one-to-many: tạo bình luận cho ảnh (Image Captioning), sinh văn bản (Text Generation), sinh âm nhạc (Music Generation). • many-to-one: phân loại văn bản (Text Classification), phân loại sắc thái văn bản (Sentiment Classification).

• many-to-many: nhận biết tên thực thể (Name Entity Recognition), gán nhán từ loại (Part of Speech Tagging), dịch máy (Machine Translation).3 Word Embedding Thành phần cơ bản của một văn bản đó là các từ. Để máy tính có thể hiểu được, việc đầu tiên là cần phải biểu diễn các từ thành các vector thực, các vector này sẽ dược dùng làm input để đưa vào mô hình huấn luyện. Phương pháp đơn giản nhất là gán mỗi từ cho số và biểu diễn dưới dạng One-hot vector, đây là một vector có số chiều bằng với số lượng từ vựng trong từ điển và chỉ có duy nhất một thành phần là 1 ứng với từ được biểu diễn, các thành phần khác đều bằng 0.