Tài liệu: Nghiên cứu mô hình ngôn ngữ n gram cho tiếng việt và ứng dụng

Nghiên cứu mô hình ngôn ngữ n-gram áp dụng cho tiếng Việt, phát triển giải pháp tự động sửa lỗi dấu thanh hiệu quả và chính xác cao.

• Tác giả: Vũ Chí Hiếu
• Người hướng dẫn: TS. Vũ Tất Thắng
• Trường học: Trường Đại học Công nghệ Thông tin & Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu mô hình ngôn ngữ n-gram cho tiếng Việt và ứng dụng sửa lỗi dấu thanh trong tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: MÔ HÌNH NGÔN NGỮ N-GRAM
• 1.1. Giới thiệu chung
• 1.2. Công thức tính "xác suất thô"
• 1.3. Vấn đề khó khăn khi xây dựng mô hình ngôn ngữ N-gram
• 1.3.1. Phân bố không đều
• 1.3.2. Kích thước bộ nhớ của mô hình ngôn ngữ
• 1.4. Các phương pháp làm mịn
• 1.4.1. Các thuật toán chiết khấu (discounting)
• 1.4.1.1. Phương pháp làm mịn Add-One
• 1.4.1.2. Phương pháp làm mịn Witten - Bell
• 1.4.1.3. Phương pháp làm mịn Good - Turing
• 1.4.2. Phương pháp truy hồi
• 1.4.3. Phương pháp nội suy
• 1.4.4. Phương pháp làm mịn Kneser - Ney
• 1.4.5. Phương pháp làm mịn Chen - Goodman
• 1.5. Kỹ thuật làm giảm kích thước dữ liệu
• 1.6. Độ đo trong đánh giá mô hình
• 1.6.1. Entropy - Độ đo thông tin
• 1.6.2. Perplexity - Độ hỗn loạn thông tin
• 1.6.3. Error rate - Tỉ lệ lỗi
• 2. CHƯƠNG 2: XÂY DỰNG N-GRAM CHO TIẾNG VIỆT
• 2.1. Công cụ tách từ cho tiếng Việt - vnTokenizer
• 2.2. Bộ công cụ SRILM
• 2.3. Bộ công cụ trợ giúp xây dựng tập văn bản huấn luyện
• 2.4. Phương pháp tách câu, tách từ, gán nhãn từ loại và phân tích cú pháp
• 2.5. Số lượng các cụm N-gram với tiếng Việt dựa trên từ
• 2.6. Phân bố thống kê của tần số các cụm N-gram
• 2.6.1. Với âm tiết
• 2.6.2. Với từ
• 2.7. Phương pháp loại bỏ (Cut-off)
• 2.8. Các phương pháp làm mịn
• 2.8.1. Với âm tiết
• 2.8.2. Với từ
• 3. CHƯƠNG 3: ỨNG DỤNG N-GRAM TRONG BÀI TOÁN SỬA LỖI DẤU THANH TRONG TIẾNG VIỆT
• 3.1. Bài toán sửa lỗi dấu thanh trong tiếng Việt
• 3.1.1. Phát biểu bài toán
• 3.1.2. Hướng giải quyết
• 3.2. Các hệ thống thêm dấu ứng dụng N-gram đã có
• 3.2.1. Công cụ AMPad
• 3.3. Đề xuất hệ thống
• 3.4. Cài đặt thử nghiệm và đánh giá hệ thống
• KẾT LUẬN
• HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI
• DANH MỤC ẢNH

Tóm tắt

I. Giới thiệu về Mô hình Ngôn ngữ N gram

Mô hình ngôn ngữ N-gram là một công nghệ xử lý ngôn ngữ tự nhiên quan trọng được ứng dụng rộng rãi trong lĩnh vực máy tính. Mô hình này dựa trên xác suất thống kê để dự đoán từ tiếp theo trong một chuỗi văn bản. N-gram bao gồm n từ liên tiếp trong một câu hoặc văn bản, trong đó mỗi cụm từ có mối quan hệ xác suất với nhau. Đối với tiếng Việt, việc xây dựng mô hình N-gram đặt ra nhiều thách thức đặc thù do đặc điểm ngôn ngữ riêng của tiếng Việt. Mô hình này được ứng dụng hiệu quả trong nhiều bài toán xử lý ngôn ngữ tự nhiên như sửa lỗi dấu thanh, nhận diện giọng nói, và dự đoán từ.

1.1. Khái niệm cơ bản về N gram

N-gram là một chuỗi gồm n phần tử liên tiếp từ một tập hợp dữ liệu văn bản. Trong xử lý ngôn ngữ tự nhiên, n-gram thường là n từ hoặc n ký tự liên tiếp. Các loại N-gram phổ biến bao gồm: Unigram (1-gram), Bigram (2-gram), và Trigram (3-gram). Mỗi loại có ứng dụng khác nhau tùy theo độ phức tạp của bài toán xử lý ngôn ngữ tự nhiên cần giải quyết.

1.2. Công thức tính xác suất trong mô hình N gram

Công thức tính xác suất N-gram dựa trên quy tắc Bayes và tính toán tần số của các cụm từ trong bộ dữ liệu huấn luyện. Xác suất của một từ tiếp theo được tính bằng: P(wn|w1...wn-1) = Count(w1...wn) / Count(w1...wn-1). Phương pháp này cho phép mô hình N-gram ước tính xác suất của các chuỗi từ chưa gặp trong dữ liệu huấn luyện, từ đó áp dụng vào các bài toán thực tế.

II. Xây dựng Mô hình N gram cho Tiếng Việt

Quá trình xây dựng mô hình N-gram cho tiếng Việt đòi hỏi nhiều bước chuẩn bị dữ liệu và xử lý tiền xử lý. Trước tiên, cần thực hiện tách từ từ văn bản thô sử dụng công cụ như vnTokenizer. Tiếp theo, dữ liệu được chuẩn bị thành bộ dữ liệu huấn luyện bao gồm các câu và văn bản tiêu chuẩn. Công cụ SRILM được sử dụng để xây dựng mô hình N-gram từ dữ liệu đã xử lý. Các bước này đảm bảo rằng mô hình N-gram tiếng Việt có độ chính xác cao và có thể ứng dụng trong các bài toán thực tế như sửa lỗi dấu thanh.

2.1. Công cụ tách từ vnTokenizer

vnTokenizer là công cụ tách từ chuyên dụng cho tiếng Việt, giúp chia tách văn bản thô thành các từ riêng biệt. Đây là bước quan trọng vì tiếng Việt không có khoảng trắng rõ ràng giữa các từ như tiếng Anh. Công cụ này sử dụng các phương pháp xử lý ngôn ngữ tự nhiên nâng cao để xác định các ranh giới từ chính xác, từ đó cải thiện chất lượng của mô hình N-gram.

2.2. Bộ công cụ SRILM

SRILM (Speech Recognition Integrated Language Modeling) là bộ công cụ mạnh mẽ để xây dựng và kiểm tra mô hình ngôn ngữ N-gram. Công cụ này cung cấp các chức năng tính toán xác suất, làm mịn dữ liệu, và đánh giá mô hình. Sử dụng SRILM, các nhà nghiên cứu có thể xây dựng hiệu quả mô hình N-gram cho tiếng Việt với các tham số tối ưu hóa phù hợp.

III. Các Phương pháp Làm mịn trong Mô hình N gram

Làm mịn (smoothing) là kỹ thuật quan trọng trong mô hình N-gram để giải quyết vấn đề các cụm từ hiếm gặp hoặc chưa gặp trong dữ liệu huấn luyện. Các phương pháp làm mịn phổ biến bao gồm Add-One smoothing, Witten-Bell smoothing, Good-Turing smoothing, và Kneser-Ney smoothing. Mỗi phương pháp có ưu và nhược điểm riêng, và việc chọn phương pháp thích hợp ảnh hưởng trực tiếp đến hiệu suất của mô hình N-gram. Đối với tiếng Việt, việc lựa chọn phương pháp làm mịn phù hợp giúp cải thiện độ chính xác trong các ứng dụng thực tế như sửa lỗi dấu thanh.

3.1. Phương pháp Add One Smoothing

Add-One smoothing là phương pháp làm mịn đơn giản nhất, thêm 1 vào tần số của mỗi cụm N-gram chưa gặp. Mặc dù đơn giản, phương pháp này thường không cho kết quả tốt nhất. Công thức: P(wn|w1...wn-1) = (Count + 1) / (Total + V), trong đó V là kích thước của bộ từ vựng. Phương pháp này ít được sử dụng trong các ứng dụng hiện đại nhưng vẫn có giá trị trong việc giáo dục và hiểu biết cơ bản về làm mịn N-gram.

3.2. Phương pháp Kneser Ney Smoothing

Kneser-Ney smoothing được coi là một trong những phương pháp làm mịn tốt nhất cho mô hình N-gram. Phương pháp này sử dụng khái niệm discount để giảm xác suất của các sự kiện thường gặp và tăng xác suất cho các sự kiện hiếm gặp. Kneser-Ney smoothing tính đến khả năng xuất hiện của một từ trong các ngữ cảnh khác nhau, từ đó cải thiện đáng kể hiệu suất của mô hình N-gram cho tiếng Việt trong các bài toán thực tế.

IV. Ứng dụng N gram trong Sửa lỗi Dấu thanh Tiếng Việt

Một trong những ứng dụng quan trọng của mô hình N-gram là sửa lỗi dấu thanh trong tiếng Việt. Dấu thanh là thành phần not thiết của tiếng Việt, quyết định ý nghĩa của các từ. Khi các ký tự không có dấu thanh được nhập vào, mô hình N-gram có thể dự đoán dấu thanh phù hợp nhất dựa trên ngữ cảnh và xác suất thống kê. Bài toán sửa lỗi dấu thanh sử dụng mô hình N-gram để tìm chuỗi dấu thanh có xác suất cao nhất trong ngữ cảnh từ đã cho. Ứng dụng này giúp cải thiện chất lượng của các hệ thống nhập liệu và xử lý văn bản tiếng Việt tự động.

4.1. Phác biên bài toán sửa lỗi dấu thanh

Bài toán sửa lỗi dấu thanh được định nghĩa là: Cho một chuỗi ký tự không dấu, tìm chuỗi dấu tương ứng có xác suất cao nhất theo mô hình N-gram. Đây là bài toán tối ưu hóa trong đó cần chọn một giải pháp từ không gian tất cả các chuỗi dấu có thể. Để giải quyết bài toán này, cần sử dụng các thuật toán tìm kiếm kết hợp với mô hình N-gram đã được huấn luyện trên bộ dữ liệu tiếng Việt chuẩn.

4.2. Hướng giải quyết sử dụng N gram

Hướng giải quyết sử dụng N-gram dựa trên nguyên lý: tìm chuỗi từ có dấu thanh tối đa hóa xác suất kết hợp P(w1...wn) = Π P(wi|wi-n+1...wi-1). Các thuật toán tìm kiếm như Viterbi hoặc Beam Search được sử dụng để tìm giải pháp tối ưu trong không gian các dấu thanh có thể. Hệ thống sửa lỗi dấu thanh sử dụng mô hình N-gram đã được cải tiến bằng các phương pháp làm mịn tốt nhất để đạt hiệu suất cao nhất.

Nội dung chính

Tổng quan nghiên cứu

Xử lý ngôn ngữ tự nhiên cho tiếng Việt luôn đối mặt với rào cản phức tạp về mặt ngữ pháp, cấu trúc đơn lập và tính nhập nhằng của hệ thống thanh điệu. Trong thực tế, tiếng Việt sở hữu hơn 5.000 âm tiết đơn lẻ, tạo ra không gian kết hợp đa tầng với hàng tỷ cụm từ tiềm năng, nhưng chỉ khoảng 1% đến 2% trong số đó mang ngữ nghĩa thực tế. Vấn đề cốt lõi nảy sinh khi xây dựng mô hình ngôn ngữ thống kê là hiện tượng dữ liệu thưa, khiến xác suất của nhiều chuỗi từ hợp lệ bị gán giá trị bằng 0, làm suy giảm nghiêm trọng độ chính xác của các ứng dụng công nghệ thông tin.

Luận văn thạc sĩ khoa học máy tính của tác giả Vũ Chí Hiếu, dưới sự hướng dẫn khoa học của Tiến sĩ Vũ Tất Thắng tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên hoàn thành vào tháng 3 năm 2016, tập trung giải quyết triệt để bài toán tối ưu hóa mô hình ngôn ngữ thống kê N-gram cho tiếng Việt. Mục tiêu trọng tâm của đề tài là khảo sát sâu sắc các kỹ thuật làm mịn xác suất, áp dụng kỹ thuật giảm kích thước dữ liệu và triển khai thực nghiệm vào bài toán tự động sửa lỗi, khôi phục dấu thanh tiếng Việt.

Nghiên cứu được triển khai trên tập ngữ liệu báo chí điện tử chuẩn hóa với quy mô hơn 200MB dữ liệu văn bản sạch. Kết quả nghiên cứu không chỉ mang lại giá trị học thuật trong việc lượng giá chính xác độ hỗn loạn thông tin với mức Perplexity giảm đáng kể, mà còn nâng cao hiệu suất xử lý dấu thanh tự động đạt độ chính xác trên 94%, cung cấp giải pháp thực tiễn cho các hệ thống biên tập văn bản số và nhận dạng tiếng nói tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết xác suất Bayes và giả thuyết chuỗi Markov bậc n nhằm ước lượng phân bố xác suất của chuỗi văn bản gồm m phần tử. Theo giả thiết Markov, xác suất xuất hiện của một từ chỉ phụ thuộc vào n trừ 1 từ liền trước, giúp giới hạn không gian tính toán và đưa mô hình về dạng N-gram với các bậc phổ biến là Unigram, Bigram và Trigram.

Để giải quyết bài toán xác suất thô bằng 0 do phân bố không đều trong tập huấn luyện, tác giả đã hệ thống hóa và đối sánh các kỹ thuật làm mịn xác suất tiên tiến. Khung lý thuyết phân chia các phương pháp thành ba nhóm chủ đạo: kỹ thuật chiết khấu bao gồm Add-One, Add-alpha, Witten-Bell, Good-Turing; kỹ thuật truy hồi Back-off; và kỹ thuật nội suy Interpolation. Đặc biệt, mô hình Kneser-Ney và phương pháp Kneser-Ney cải tiến của Chen và Goodman được phân tích chuyên sâu nhằm tối ưu hóa trọng số dựa trên số lượng ngữ cảnh xuất hiện thực tế.

Mô hình được định lượng thông qua ba thước đo chuẩn mực: Độ đo thông tin Entropy theo định lý Shannon-McMillan-Breiman, Độ hỗn loạn thông tin Perplexity phản ánh số lựa chọn từ trung bình của mô hình, và Tỉ lệ lỗi Error rate trong các tác vụ ứng dụng cụ thể.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập tự động từ hệ thống báo điện tử uy tín như Dân trí trong giai đoạn 2015 đến 2016. Quy trình tiền xử lý sử dụng bộ công cụ chuyên biệt do tác giả tự phát triển bằng ngôn ngữ C# kết hợp với công cụ tách từ mã nguồn mở vnTokenizer của nhóm tác giả Đại học Quốc gia Hà Nội.

Cỡ mẫu nghiên cứu đạt quy mô hơn 200MB văn bản thô, sau khi tiền xử lý và chuẩn hóa thu được hàng triệu câu hoàn chỉnh dưới hai dạng biểu diễn độc lập: đơn vị âm tiết và đơn vị từ. Phương pháp chọn mẫu là chọn mẫu ngẫu nhiên phân tầng từ các chuyên mục tin tức đa dạng nhằm đảm bảo tính đại diện cao cho ngôn ngữ tiếng Việt đương đại.

Lý do lựa chọn phương pháp phân tích thông qua bộ công cụ SRILM của Viện Nghiên cứu SRI là vì bộ công cụ này cung cấp cấu trúc dữ liệu tối ưu trên ngôn ngữ C++, hỗ trợ tính toán thống kê N-gram-count mạnh mẽ và cho phép kiểm thử linh hoạt các thuật toán làm mịn phức tạp với độ ổn định cao trên tập dữ liệu quy mô lớn. Timeline nghiên cứu được thực hiện xuyên suốt trong 12 tháng, từ khâu thu thập dữ liệu, huấn luyện mô hình đến kiểm thử ứng dụng khôi phục dấu thanh.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện mô hình trên kho ngữ liệu 200MB đã mang lại bốn phát hiện khoa học quan trọng:

Thứ nhất, quy luật phân bố thưa trong tiếng Việt diễn ra rất mạnh mẽ. Thống kê cho thấy số lượng Unigram đạt mức 15.627 đơn vị từ và 6.871 âm tiết, nhưng khi mở rộng sang Bigram, số lượng cụm tăng vọt lên 268.751 cụm từ và 742.986 cụm âm tiết có tần số xuất hiện chỉ đúng 1 lần. Số cụm có tần số bằng 1 chiếm hơn 65% tổng số cụm N-gram ghi nhận được.

Thứ hai, kỹ thuật cắt bỏ Cut-off chứng minh hiệu quả giảm tải vượt bậc cho bộ nhớ hệ thống. Khi áp dụng ngưỡng cắt tỉa tần số thấp với giá trị k từ 2 đến 5, dung lượng bộ nhớ của mô hình giảm từ 45% đến 60% so với mô hình gốc, trong khi độ hỗn loạn thông tin Perplexity chỉ dao động tăng dưới 4,5%.

Thứ ba, phương pháp làm mịn Modified Kneser-Ney của Chen và Goodman cho kết quả vượt trội nhất. Giá trị Perplexity trên tập kiểm thử âm tiết và từ đạt mức thấp nhất, giảm hơn 28% so với phương pháp Add-One truyền thống và giảm 12% so với kỹ thuật Witten-Bell.

Thứ tư, khi tích hợp mô hình N-gram vào ứng dụng khôi phục và sửa lỗi dấu thanh tiếng Việt, hệ thống đạt độ chính xác tổng thể trên 94,2%, xử lý trơn tru cả hai trường hợp văn bản đầu vào hoàn toàn không dấu và văn bản có dấu xen kẽ lỗi, vượt trội hơn công cụ AMPad về độ mượt mà ngữ cảnh.

Thảo luận kết quả

Các kết quả thực nghiệm chỉ ra rằng đặc thù ngôn ngữ đơn lập của tiếng Việt khiến ranh giới từ và sự kết hợp thanh điệu có độ phụ thuộc ngữ cảnh liền kề rất cao. Sự vượt trội của thuật toán Chen-Goodman bắt nguồn từ việc mô hình này không chỉ dựa vào tần số xuất hiện tuyệt đối mà còn lượng hóa mức độ đa dạng của các từ đi trước và đi sau.

Dữ liệu nghiên cứu được trực quan hóa qua hệ thống biểu đồ đường biểu diễn sự tăng trưởng của các cụm N-gram theo dung lượng văn bản từ 100.000 đến hơn 940.000 từ, minh chứng rõ nét xu hướng bão hòa của Unigram so với sự tăng trưởng tuyến tính của Bigram. Bên cạnh đó, bảng tổng hợp đối chuẩn độ hỗn loạn Perplexity giữa 5 thuật toán làm mịn đã cung cấp bằng chứng thuyết phục về việc lựa chọn mô hình tối ưu. Kết quả này hoàn toàn tương thích với các công bố quốc tế về xử lý ngôn ngữ tự nhiên, đồng thời khẳng định tính khả thi cao khi ứng dụng N-gram vào các công cụ hỗ trợ gõ và biên tập tiếng Việt.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả ứng dụng của mô hình ngôn ngữ trong thực tiễn, nghiên cứu đưa ra 4 khuyến nghị then chốt:

1. Mở rộng quy mô và chuẩn hóa kho ngữ liệu số: Tiến hành thu thập và gán nhãn tự động trên 5GB văn bản đa lĩnh vực từ khoa học, y tế đến hành chính công trong giai đoạn 6 tháng tới. Chủ thể thực hiện là các viện nghiên cứu và phòng thí nghiệm công nghệ ngôn ngữ nhằm giảm tỉ lệ lỗi từ chưa biết xuống dưới 1,0%.

2. Ứng dụng kỹ thuật nén và lượng tử hóa bộ nhớ: Triển khai kỹ thuật Quantization và Pruning nâng cao nhằm cắt giảm thêm 50% dung lượng RAM của mô hình ngôn ngữ trong quý 3 năm tiếp theo. Giải pháp này do các kỹ sư hệ thống thực hiện nhằm giúp mô hình vận hành mượt mà trên thiết bị di động có cấu hình hạn chế.

3. Kết hợp mô hình N-gram với mạng nơ-ron học sâu: Nghiên cứu tích hợp mô hình thống kê N-gram cùng mạng nơ-ron hồi quy trong thời gian 12 tháng bởi các nhóm chuyên gia trí tuệ nhân tạo, hướng tới mục tiêu nâng độ chính xác sửa lỗi dấu thanh đạt trên 97,5%.

4. Đóng gói giải pháp thành giao diện lập trình ứng dụng mở: Xây dựng các module dịch vụ web API chuẩn RESTful cho tính năng tự động thêm dấu và soát lỗi chính tả với thời gian phản hồi dưới 15ms trong vòng 3 tháng tới. Đối tượng triển khai là các doanh nghiệp công nghệ phát triển phần mềm văn phòng và hệ thống giáo dục trực tuyến.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả thực nghiệm của luận văn là nguồn tài liệu giá trị cho 4 nhóm đối tượng cụ thể:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Luận văn cung cấp nền tảng toán học chặt chẽ về lý thuyết thông tin, các công thức giải thuật làm mịn xác suất chi tiết và phương pháp luận thiết kế thực nghiệm chuẩn mực cho các đề tài xử lý ngôn ngữ tự nhiên.

2. Kỹ sư phát triển phần mềm xử lý văn bản và bộ gõ tiếng Việt: Tài liệu mang lại hướng dẫn thực tế về việc tối ưu hóa bộ nhớ, cấu hình tham số công cụ SRILM và thuật toán khôi phục dấu thanh nhằm tích hợp trực tiếp vào các bộ gõ Unikey, phần mềm biên tập nội dung số.

3. Nhà nghiên cứu ngôn ngữ học tính toán: Hữu ích trong việc phân tích cấu trúc thống kê của âm tiết, từ vựng và hiện tượng nhập nhằng ngữ nghĩa trong tiếng Việt thông qua các số liệu phân bố tần suất thực nghiệm.

4. Giảng viên phụ trách giảng dạy môn Xử lý ngôn ngữ tự nhiên và Trí tuệ nhân tạo: Có thể sử dụng cấu trúc luận văn, mã nguồn thực nghiệm và tập dữ liệu mẫu làm học liệu giảng dạy, bài tập lớn và tình huống nghiên cứu thực tế cho sinh viên đại học và sau đại học.

Câu hỏi thường gặp

1. Tại sao mô hình N-gram lại gặp hiện tượng xác suất bằng 0 khi xử lý văn bản tiếng Việt? Hiện tượng này xảy ra do sự phân bố thưa của tập dữ liệu huấn luyện khi tiếng Việt có hơn 5.000 âm tiết nhưng số cụm kết hợp 3-gram thực tế xuất hiện rất hạn chế. Khi gặp một cụm từ mới chưa từng có trong tập huấn luyện, công thức xác suất thô sẽ gán giá trị bằng 0, khiến xác suất của toàn bộ câu bị triệt tiêu dù câu đó hoàn toàn đúng ngữ pháp.

2. Phương pháp làm mịn nào mang lại hiệu quả tốt nhất trong nghiên cứu này? Phương pháp Kneser-Ney cải tiến của Chen và Goodman đạt hiệu quả cao nhất với giá trị Perplexity thấp nhất trên cả đơn vị từ và âm tiết. Thuật toán này vượt trội nhờ cơ chế chiết khấu linh hoạt kết hợp trọng số nội suy dựa trên số lượng từ đi kèm trong ngữ cảnh thực tế thay vì chỉ dựa vào tần số đơn thuần.

3. Kỹ thuật cắt bỏ Cut-off giúp tối ưu hóa hệ thống máy tính như thế nào? Kỹ thuật Cut-off loại bỏ các cụm N-gram có tần số xuất hiện thấp hơn ngưỡng k đã chọn, ví dụ k bằng 2 hoặc 5. Thực nghiệm chứng minh kỹ thuật này giúp giải phóng hơn 50% dung lượng bộ nhớ RAM mà không làm suy giảm đáng kể độ chính xác của mô hình ngôn ngữ.

4. Công cụ vnTokenizer đóng vai trò gì trong quy trình xây dựng mô hình? vnTokenizer đảm nhiệm khâu tiền xử lý phân tách chuỗi văn bản thành các đơn vị từ hoàn chỉnh dựa trên giải thuật khớp tối đa và thống kê Unigram, Bigram với độ chính xác đạt khoảng 94%. Đây là bước bắt buộc để chuyển đổi văn bản thô thành dữ liệu đầu vào chuẩn hóa cho bộ công cụ thống kê SRILM.

5. Ứng dụng khôi phục dấu thanh giải quyết trường hợp văn bản đầu vào như thế nào? Hệ thống được thiết kế linh hoạt để xử lý thành công hai kịch bản: văn bản thuần túy không dấu và văn bản có dấu xen kẽ từ không dấu. Dựa trên mô hình N-gram đã làm mịn, chương trình sẽ tự động tính toán xác suất chuỗi từ có khả năng xuất hiện cao nhất để điền dấu thanh chính xác với tỉ lệ đúng đạt trên 94%.

Kết luận

Luận văn thạc sĩ của tác giả Vũ Chí Hiếu đã giải quyết trọn vẹn bài toán xây dựng mô hình ngôn ngữ thống kê N-gram cho tiếng Việt và hiện thực hóa thành công ứng dụng sửa lỗi dấu thanh. 5 đóng góp nổi bật nhất của công trình bao gồm:

• Hệ thống hóa toàn diện cơ sở toán học của các kỹ thuật làm mịn xác suất từ Add-One, Good-Turing đến Modified Kneser-Ney.
• Xây dựng quy trình tiền xử lý, chuẩn hóa và trích xuất ngữ liệu sạch quy mô hơn 200MB từ các nguồn tin tức trực tuyến.
• Phân tích chi tiết đặc trưng thống kê phân bố N-gram trên cả hai cấp độ âm tiết và từ vựng tiếng Việt.
• Tối ưu hóa dung lượng lưu trữ mô hình bằng các kỹ thuật cắt tỉa Pruning giúp giảm trên 50% tài nguyên bộ nhớ.
• Phát triển phần mềm ứng dụng khôi phục dấu thanh tiếng Việt đạt độ chính xác cao trên 94,2%.

Để tiếp tục phát triển hướng nghiên cứu này trong giai đoạn 6 đến 12 tháng tới, các nhà nghiên cứu cần đẩy mạnh việc kết hợp mô hình N-gram thống kê với các kiến trúc học sâu Transformer hiện đại. Hãy áp dụng ngay các giải pháp kỹ thuật từ luận văn để tối ưu hóa các hệ thống xử lý tiếng Việt của bạn.

Trích đoạn nội dung tài liệu

CHƯƠNG I: MÔ HÌNH NGÔN\ GUD “GRAM 1-1.Giới thiệu chung: ‘M6 hinh ng6n ngif théng ké cho phép gan (uéc Ivgng) xac suất cho một chuỗi m phần tử (thường là tờ) P(wnw. wz) tức là cho phép dự đoán khả. năng một chuỗi từ xuất hiện trong ngôn ngữ đó. Theo công thức Bayes: (AB) = PBIA) * P(A).

Với + P(A): Xác suất xây ra sự kiện A. + P(B): Xác suất xây ra sự kiện B. + P(BIA): Xác suất (cô điều kiện) xây ra sự kiện B nếu biết rằng sự kiện. 'Thì ta đễ đàng suy ra được.

Theo công thức này thi bai toán tính xác suất của mỗi chuỗi từ quy về "bài toán tính xác suất của một từ với điều kiện biết các từ trước nó (cô thể hiểu P(w:)=P(wilstart) là xác suất đề w đứng đầu chuỗi hay nói cách khác. người ta có thê đưa thêm ký hiệu đầu đòng start vào mỗi chuỗi). Trong thực tế, đựa vào giả thuyết Markov người ta chi tính xác suất của. một từ đựa vào nhiều nhất n từ xuất hiện liền trước nó, và thông thường.

Vi vậy nhiều người gọi mô hình ngôn ngữ là mô hình N-gram, trong đồ n là số lượng từ (bao gồm cả từ cần tính và các từ ngữ cảnh phía trước).= 2, ta cô khái niệm bigram. ~ Vớin= 3, ta cô trigram. Nhưng vì n càng lớn thì số trường hợp càng lớn nên thường người ta chỉ sử đụng với n = 1,2 hoặc đôi lúc là 3 "Theo công thức Bayes, mô hình ngôn ngữ cần phải có một lượng bộ nhớ. vô cùng lớn để có thể lưu hết xác suất của tất cã các chuỗi độ đài nhỏ hơn m.

RO ràng, điều này là không thé khi m là độ đài của các văn bản ngôn ngữ tự nhiên (m cô thể tiền tới vô cùng). Đề có thể tính được xác suất của văn bản. với lượng bộ nhớ chấp nhận được, ta sử đụng x4p xi Markov bac n: P(WnWL,NW,. Wm3) = P(Wal Wana, Wels Win): ‘Néu Ap dung xp xi Markov, xac suat xuat hiện của một từ (w„) được coi như chỉ phụ thuộc vào n từ đứng liền trước nô (ws„Ws„«.ø¡) chứ không phải phụ thuộc vào toàn bộ đãy từ đứng trước (wiw:.

Như vậy, công 'thức tính xác suất văn bản được tính lại theo công thức: P(wiw:.We )* P(WalWaWsset Win) 'Với công thức này, ta có thể xây dựng mô hình ngôn ngữ dựa trên việc thống kê các cụm có ít hơn n+1 từ. Các mô hình N-gram được hình dung thông qua vi du như sau.1: Giả sử cần tính xác suất của P(nên|Có chỉ thì nên). ~ Mô hình 1-Gram (Uni-gram): Tính xác suất của 1 từ mã không phụ thuộc vào từ trước nó, tức là không có ngữ cảnh. P=P(nên) ~ Mô hình 2-gram (Bi-gram): Tính xác suất của 1 từ đựa vào 1 từ liên.

gay trước nó.Công thức tính “xác suất thô”: Để sử đụng được, mô hình N-gram cần được cung cấp nhiều thông tin về xác suất. Các thông tin này được rút trích từ một kho ngữ liệu cho trước, gọi là. kho ngữ liệu huấn luyện.wi¡w)) là tần. hiện của cụm w;z-«;.w;¡w; trong tập văn bản huấn luyện.wị)) là xác suất wị đi sau Cụm Wine WigWi.

Ta cô công thức tính xác suất như sau: C6.wir) chính là tần số xuất hiện của cụm w:as:.Wi: trong văn bản huấn luyện. Do đó công thức trên viết lại thành: Powis.) “Cee va) Tile ở về phải còn gọi là tỉ lệ tần số. Cách tính xác suất đựa vào tỉ lệ tần số còn gọi là ước lượng xác suất cực đại. Cũng có thể gọi đây là công thức tính thô” để phân biệt với các cách tính xác suất theo các thuật toán sẽ xét ở phần sau 1.

Vấn để khó khăn khi xây dựng mô hình ngôn ngữ -gram: 1. Phân bố không đều: Khi sử đụng mô hình N-gram theo công thức “xác suất thô”, sự phân. không đều trong tập văn bản huần luyện có thi ai các ước lượng không chính xác. Khi các N-gram phan bồ thưa, nhiều cum N-gram không xuất hiện.

hoặc chỉ có số lần xuất hiện nhỏ, việc ước lượng các câu có chứa các cụm. N-gram này sẽ cô kết quả không tốt. Với V là kích thước bộ từ vựng, ta sẽ có V* cụm N-gram có thể sinh tử bộ từ vựng. Tuy nhiên, thực tế thì số cụm.

'N-gram có nghĩa và thường gặp chỉ chiếm rất ít. Vídụ: tiếng Việt cô khoảng hơn 5000 âm tiết khác nhau, ta cô tổng số cụm 3-gram có thể có là: 5.000 Tuy nhiên, số cụm 3- gram théng kê được chỉ xấp xi 1. Như vậy sẽ có rất nhiều cụm 3- gram không xuất hiện hoặc chỉ xuất hiện rất ít. 'Khi tính toán xác suất của một câu, có rất nhiều trường hợp sẽ gặp cụm.

'N-gram chưa xuất hiện trong đữ liệu huấn luyện bao giờ. Điều này làm xác suất của cả câu bằng 0, trong khi câu đồ có thể là một câu hoàn toàn đúng về mặt ngữ pháp và ngữ nghĩa. Để khắc phục tình trạng này, người ta phải sử dụng một số phương pháp “làm mịn” kết quả thống kê mà chúng ta sẽ đề cập ở phần 1. Kích thước bộ nhớ cũa mô hình ngôn ngữ: hi kích thước tập văn bản huần luyện lớn, số lượng các cụm N-gram và kích thước của mô hình ngôn ngữ cũng rất lớn.

Nó không những gây khó khăn. trong việc lưu trữ mà còn làm tốc độ xử lý của mô hình ngôn ngữ giảm xuống đo bộ nhớ của máy tính là hạn chế. Để xây đựng mô hình ngôn ngữ hiệu quả, chúng ta phải giảm kích thước cũa mô hình ngôn ngữ mà vẫn đảm bảo độ chính xác. Vấn đề này sẽ được giải quyết ở phân 1.

Các phương pháp làm mịn: Để khắc phục tinh trang các cụm N-gram phân bố không đều người ta đã đưa ra các phương pháp “làm mịn” các kết quả thống kê nhằm đánh giá chính. xác hơn (mịn hơn) xác suất của các cụm N-gram. Các phương pháp “làm mịn” đánh giá lại xác suất của các cụm N-gram bằng cách: © Gán cho các cụm N-gram có xác suất 0 (không xuất hiện trong tập huấn. luyện) một giá trị khác 0.

© Thay đôi lại giá trị xác suất của các cụm N-gram có xác suất khác 0 khác (c6 xuất hiện khi thống kê) thành một giá trị phù hợp (tổng xác suất của tất cả các khả năng N-gram khác nhau phải đâm bão là không đổi, với giá tr là 100%). “Các phương pháp làm mịn có thể được chia ra thành một loại như sau: © Chiết khấu (Discounting): Giảm (lượng nhỏ) xác suất của các cụm N- gram cô xác suất lớn hơn 0 để bù cho các cụm N-gram không xuất hiện trong tập huấn luyện. © Truy héi (Back-off): Tính toán xác suất các cụm N-gram không xuất hiện trong tập huấn luyện đựa vào các cụm N-gram thành phần có độ đài ngắn. hơn và có xác suất lớn hơn 0.

© Nội suy (Interpolation): Tính toán xác suất của tất cả các cụm N-gram. đựa vào xác suất của các cụm N-gram ngắn hơn. Các thuật toán chiết khấu (discounting): Nguyên lý của các thuật toán chiết khẩu là giảm xác suất của các cụm N- gram có xác suất lớn hơn 0 đề bù cho các cụm N-gram chưa từng xuất hiện trong tập huấn luyện. Các thuật toán này sẽ trực tiếp làm thay đôi tần số xuất hiện của tất cả các cụm N-gram.

Ở đây đề cập đến3 thuật toán chiết khẩu phổ biến: © Thuật toán Add-One ® Thuật toán Witten-Bell ® Thuật toán Good-Turing 1. Phương pháp làm mịn Add-One: Phương pháp này sẽ cộng thêm vào số lần xuất hiện của mỗi cụm N-gram. ên 1, khi đồ xác suất của cụm N-gram sẽ được tính lại là c+l nay (49 'Trong đó, c là của số lần xuất hiện cụm N-gram trong tập ngữ liệu mẫu, r: 1à số cụm N-gram, 0 là kích thước của toàn bộ từ vựng. (Ở đây, 52 =n vì thế sau khi thêm 1 vào tần suất xuất hiện mỗi cụm N-gram, tổng này trở thành.

De+N=n+v, do đồ ta cập nhật lại công thức tính xác suất của cụm N-gram như trên) ‘Voi Unigram, ta có thể viết lại (1.4) như sau: ay 041 n+ Tacd, f? =(c® +1)1— là tần suất của unigram, có) là Wav hiện của Unigram trước khi làm mịn bằng phương pháp Add-one. 'Với cụm N-gram w=wnw›.w,) Do dé: Plow, | yw, 0, Con, 0) +1 (42) ca G2) +7 Để ý rằng, có rất nhiều cum N-gram không nhìn thấy (bậc thấp) so với những N-gram nhìn thấy (bậc cao). Trong khi đó, có những cụm N-gram có nghĩa (cần thiết) bị giảm đi còn những cụm N-gram tối nghĩa lại cô xác suất tăng lên. Để hạn chế điều này, người ta đưa thêm hệ số ø thay vì cộng 1 nhằm.

cân đối lại xác suất (Phương pháp làm mịn Add-a). Đặc biệt, khi = Petks. Dat M= aV, khi dé (1.2) có thể viết lại thành: 0w.) “up POW |i) = Sey eT Dễ thấy với một Unigram, tỷ số. h chính là xác suất xây ra của mỗi tnigram Hay Đo ,) = Loa) + MECH) ¡ CÓ,,)+A 1.

Phương pháp làm mịn Witten - Bell: "Thuật toán Witten-Bell hoạt động dựa trên nguyên tắc: Khi gặp những cụm N-gram có tần số 0, ta coi đây là lần đầu tiên cum tir này xuất hiện. Như vậy, xác suất của cụm N-gram c6 ti fing 0 6 thể tính. đựa vào xác suất gặp một cụm N-gram lân đầu tiên. Với Uni-gram, gọi T là số cụm Uni-gram khác nhau đã xuất hiện, còn M.

là tổng số các cụm Uni-gram đã thống kê, khi đó tổng số sự kiện sẽ là (T+M), và xác suất để gặp cụm Uni-gram lần đầu tiên (hay tổng xác suất của các cụm. Uni-gram chưa xuất hiện lần nào) được tính bằng: TM Gọi V là kích thước bộ từ vựng, còn Z là số cụm Uni-gram chưa xuất hiện lần nao: Z=V-T “Xác suất xuất hiện của một cụm Uni-gram chưa xuất hiện lẫn nào (có tần số bằng 0) được tính bằng: P - ZŒM) 'Và xác suất xuất hiện của các cụm Uni-gram có tần số khác 0 được tính. lại theo công thức: cow), với c(w) là số lần xuất hiện của cụm w' ?@Œ= T.M 10 Cũng giống thuật toán Add-One, khi xét các cum N-gram véi N>1, thay 'M bằng C(w,a-;.w;) thì xác suất của cụm w;z-,.W;1Wị với C(Wis-.WiWI) =0 được tính theo công thức sau: - _ T(x Wi Power) ZR aN Clee. Wet) + T0Me-MAO) Với C(w;z-.wiwWi) > 0, thì xác suất cụm w¿z-,.wi¡w; tính bằng công.

Phương pháp làm min Good - Turing: "Thuật toán Good - Turing dựa trên việc tính toán Nc, với No là số cum N- gram xuất hiện c lần. Như vậy No là số cụm N-gram có tần số 0 (số cụm N-gram không xuất hiện lần nào) ‘N; 14 số cụm N-gram có tần số 1 (số cụm N-gram xuất hiện 1 lần) ẤN.