Nghiên cứu mô hình ngôn ngữ N-gram ứng dụng thêm dấu tiếng Việt (ĐH CNTT&TT Thái Nguyên)

Nghiên cứu mô hình ngôn ngữ n gram, ứng dụng hiệu quả vào bài toán thêm dấu tiếng Việt. Tìm hiểu cách n gram cải thiện độ chính xác, tự nhiên của văn bản.

• Tác giả: Cao Đức Tư
• Người hướng dẫn: Ts. Vũ Tất Thắng
• Trường học: Trường Đại Học Cntt&Tt - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Mô Hình Ngôn Ngữ N-gram Và Ứng Dụng Trong Bài Toán Thêm Dấu Cho Tiếng Việt Không Dấu
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU VIẾT TẮT
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu
• 1.3. Cấu trúc của luận văn
• 2. CHƯƠNG 2: MÔ HÌNH NGÔN NGỮ N-GRAM
• 2.1. Giới thiệu chung
• 2.2. Công thức tính “xác suất thô”
• 2.3. Vấn đề khó khăn khi xây dựng mô hình ngôn ngữ N-gram
• 2.3.1. Phân bố không đều
• 2.3.2. Kích thước bộ nhớ của mô hình ngôn ngữ
• 2.4. Các phương pháp làm mịn
• 2.5. Kỹ thuật làm giảm kích thước dữ liệu
• 2.6. Tổng kết chương
• 3. CHƯƠNG 3: XÂY DỰNG N-GRAM CHO TIẾNG VIỆT
• 3.1. Công cụ tách từ cho tiếng Việt - vnTokenizer
• 3.2. Bộ công cụ SRILM
• 3.3. Bộ công cụ trợ giúp xây dựng tập văn bản huấn luyện
• 3.4. Phương pháp tách câu, tách từ, gán nhãn từ loại và phân tích cú pháp
• 3.5. Dữ liệu huấn luyện
• 3.6. Kết quả xây dựng mô hình
• 3.7. Tần số của tần số
• 3.8. Các phương pháp làm mịn
• 3.9. Tổng kết chương
• 4. CHƯƠNG 4: ỨNG DỤNG N-GRAM TRONG BÀI TOÁN THÊM DẤU TIẾNG VIỆT
• 4.1. Bài toán thêm dấu tiếng Việt
• 4.2. Các phương pháp đánh giá kết quả thêm dấu
• 4.3. Các hệ thống thêm dấu ứng dụng về N-gram đã có
• 4.4. Đề xuất hệ thống
• 4.5. Thử nghiệm hệ thống
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI
• 5.1. Các kết quả đạt được
• 5.2. Hạn chế và hướng phát triển của đề tài
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Khám phá N gram Nền tảng của mô hình ngôn ngữ thống kê

Trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), việc xây dựng các mô hình có khả năng "hiểu" và dự đoán ngôn ngữ là một mục tiêu cốt lõi. Mô hình ngôn ngữ (Language Model - LM) là một phân bố xác suất trên các chuỗi từ, cho phép ước lượng độ hợp lý của một câu văn. Một trong những mô hình nền tảng và hiệu quả nhất chính là N-gram. N-gram là một mô hình thống kê dựa trên giả thuyết Markov, cho rằng xác suất xuất hiện của một từ chỉ phụ thuộc vào một số N-1 từ đứng ngay trước nó, thay vì toàn bộ lịch sử câu. Cách tiếp cận này giúp đơn giản hóa bài toán tính toán xác suất phức tạp, biến nó thành việc thống kê tần suất các cụm từ ngắn. Ví dụ, mô hình có thể ước tính xác suất của câu “ngày mai trời sẽ mưa” cao hơn nhiều so với câu “trời mưa sẽ mai ngày”. Theo nghiên cứu của Cao Đức Tư (2011), việc sử dụng các mô hình ngôn ngữ để xác định xác suất xảy ra của một chuỗi từ giúp giới hạn không gian tìm kiếm, từ đó tìm ra các giải pháp tốt nhất trong thời gian ngắn. Mô hình N-gram là công cụ mạnh mẽ cho nhiều ứng dụng thực tiễn, đặc biệt là trong bối cảnh NLP tiếng Việt nơi các bài toán như phục hồi dấu tiếng Việt hay tự động sửa lỗi chính tả đòi hỏi khả năng dự đoán ngữ cảnh cao.

1.1. Định nghĩa mô hình ngôn ngữ N gram là gì

Một mô hình ngôn ngữ N-gram là một mô hình xác suất thống kê dùng để dự đoán từ tiếp theo trong một chuỗi. "N" trong N-gram đại diện cho số lượng từ trong một cụm được xem xét. Cụ thể, mô hình ước tính xác suất có điều kiện của một từ, dựa trên N-1 từ liền trước. Ví dụ, một mô hình 3-gram (trigram) sẽ tính xác suất P(từ | từ_trước_1, từ_trước_2). Nguyên lý cơ bản này dựa trên giả định Markov rằng ngữ cảnh gần là đủ để dự đoán. Thay vì phân tích toàn bộ câu, N-gram chia nhỏ văn bản thành các chuỗi từ liên tiếp có độ dài N. Bằng cách thống kê số lần xuất hiện của các chuỗi này trong một dữ liệu corpus lớn, mô hình có thể "học" được các quy tắc ngầm của ngôn ngữ và tính toán xác suất cho các chuỗi từ mới.

1.2. Vai trò của N gram trong xử lý ngôn ngữ tự nhiên tiếng Việt

Đối với NLP tiếng Việt, N-gram đóng vai trò nền tảng trong việc giải quyết các bài toán đặc thù. Do tính đơn âm tiết và hiện tượng đồng âm khác nghĩa, tiếng Việt không dấu tạo ra sự nhập nhằng lớn. Mô hình thống kê N-gram giúp giải quyết vấn đề này bằng cách tính toán xác suất của các phương án thêm dấu khác nhau và chọn ra phương án hợp lý nhất dựa trên ngữ cảnh. Luận văn của Cao Đức Tư nhấn mạnh, N-gram là một phương pháp hiệu quả cho bài toán Vietnamese diacritic restoration (phục hồi dấu tiếng Việt). Ngoài ra, mô hình này còn được ứng dụng rộng rãi trong các hệ thống gợi ý từ (word suggestion), kiểm tra lỗi chính tả, và là một thành phần quan trọng trong các hệ thống dịch máy thống kê, giúp chuẩn hóa dữ liệu văn bản đầu vào.

II. Thách thức với văn bản không dấu và tại sao cần phục hồi dấu

Sự phổ biến của các phương tiện giao tiếp điện tử như SMS, chat đã làm gia tăng lượng văn bản tiếng Việt không dấu. Mặc dù con người có thể suy luận ý nghĩa dựa vào ngữ cảnh, máy tính lại gặp rất nhiều khó khăn. Một từ không dấu có thể tương ứng với nhiều từ có dấu khác nhau, dẫn đến tình trạng nhập nhằng ngữ nghĩa nghiêm trọng. Ví dụ, "ma" có thể là "má", "mà", "mạ", "mã". Khi ghép thành câu, độ phức tạp tăng theo cấp số nhân. Tình trạng này gây cản trở lớn cho các ứng dụng xử lý ngôn ngữ tự nhiên như dịch máy, phân tích cú pháp, hay tìm kiếm thông tin. Một hệ thống dịch tự động sẽ cho ra kết quả rất thấp nếu đầu vào là văn bản không dấu. Do đó, bài toán phục hồi dấu tiếng Việt không chỉ là một tiện ích cho người dùng mà còn là bước tiền xử lý quan trọng, giúp chuẩn hóa dữ liệu văn bản để các hệ thống học máy khác có thể hoạt động chính xác. Giải quyết được bài toán này sẽ nâng cao đáng kể chất lượng và hiệu quả của toàn bộ hệ sinh thái NLP tiếng Việt.

2.1. Phân tích sự nhập nhằng trong tiếng Việt không dấu

Sự nhập nhằng (ambiguity) là thách thức lớn nhất khi xử lý văn bản tiếng Việt không dấu. Vấn đề này xuất phát từ bản chất của chữ Quốc ngữ: dấu thanh điệu và dấu phụ trên nguyên âm mang thông tin ngữ nghĩa quan trọng. Khi các dấu này bị loại bỏ, một từ gốc có thể biến thành nhiều khả năng khác nhau. Ví dụ, từ "hoa" có thể là "hòa" hoặc "họa". Trong câu "truong hoc", nó có thể là "trường học" hoặc "trướng hộc". Đối với các hệ thống tự động, việc lựa chọn đúng ngữ nghĩa đòi hỏi phải phân tích ngữ cảnh của cả câu. Đây là lúc các mô hình ngôn ngữ như N-gram phát huy tác dụng bằng cách tính toán xác suất của từng chuỗi từ có thể có, giúp máy tính đưa ra quyết định gần với cách con người suy luận nhất.

2.2. Tầm quan trọng của việc chuẩn hóa dữ liệu văn bản đầu vào

Trong các hệ thống học máy và NLP, chất lượng dữ liệu đầu vào quyết định trực tiếp đến hiệu suất của mô hình. Văn bản không dấu được xem là dữ liệu nhiễu, làm giảm độ chính xác của các tác vụ như phân loại văn bản, phân tích cảm xúc hay dịch thuật. Việc chuẩn hóa dữ liệu văn bản thông qua quá trình phục hồi dấu tiếng Việt là một bước tiền xử lý thiết yếu. Một khi văn bản được thêm dấu chính xác, nó sẽ trở nên rõ ràng và đơn nghĩa hơn, cho phép các thuật toán NLP tiếng Việt hoạt động trên một nền tảng dữ liệu sạch. Điều này đặc biệt quan trọng khi xây dựng mô hình ngôn ngữ lớn, nơi mà dữ liệu huấn luyện cần phải nhất quán và chính xác để mô hình có thể học được các mẫu hình ngôn ngữ một cách hiệu quả.

III. Phương pháp N gram hoạt động để thêm dấu tiếng Việt ra sao

Nguyên lý hoạt động của N-gram trong bài toán thêm dấu tiếng Việt dựa trên việc tính toán xác suất của các chuỗi từ. Khi nhận một câu không dấu, hệ thống sẽ sinh ra tất cả các phương án có dấu khả thi. Ví dụ, với cụm "di an com", các phương án có thể là "đi ăn cơm", "dĩ an cơm", "di an cốm",... Sau đó, mô hình ngôn ngữ N-gram sẽ tính xác suất cho từng phương án. Xác suất của một câu được tính bằng tích các xác suất có điều kiện của từng từ trong câu đó. Cụ thể, mô hình sẽ sử dụng các thống kê về unigram (xác suất của một từ), bigram (xác suất một từ đi sau một từ khác), và trigram (xác suất một từ đi sau một cụm hai từ) để đánh giá. Phương án nào có xác suất tổng thể cao nhất sẽ được chọn làm kết quả cuối cùng. Quá trình này mô phỏng khả năng phán đoán của con người dựa trên kinh nghiệm ngôn ngữ: chúng ta biết "đi ăn cơm" là cụm từ phổ biến và hợp lý hơn nhiều so với "dĩ an cơm". Để tìm kiếm chuỗi có xác suất cao nhất một cách hiệu quả, các hệ thống thường áp dụng thuật toán Viterbi.

3.1. Nguyên tắc thống kê tần suất và xác suất có điều kiện

Thống kê tần suất là trái tim của mô hình N-gram. Để xây dựng mô hình ngôn ngữ, cần một tập dữ liệu corpus (văn bản huấn luyện) đủ lớn. Mô hình sẽ đếm tần suất xuất hiện của tất cả các cụm N-gram (ví dụ: các cụm 1 từ, 2 từ, 3 từ). Từ đó, xác suất có điều kiện được tính theo công thức Maximum Likelihood Estimation (MLE). Ví dụ, xác suất của từ "cơm" xuất hiện sau từ "ăn" (mô hình bigram) được tính bằng: P(cơm|ăn) = Số lần xuất hiện cụm ("ăn cơm") / Số lần xuất hiện từ ("ăn"). Công thức này, được gọi là "xác suất thô" trong luận văn, cho phép mô hình định lượng mức độ liên kết giữa các từ, tạo cơ sở để đánh giá và lựa chọn phương án thêm dấu chính xác nhất.

3.2. So sánh Unigram Bigram và Trigram trong thực tiễn

Các mô hình N-gram khác nhau về độ dài ngữ cảnh mà chúng xem xét. Unigram (1-gram) chỉ xét xác suất của từng từ độc lập, không có ngữ cảnh, do đó kém chính xác nhất. Bigram (2-gram) xét ngữ cảnh một từ phía trước, cải thiện đáng kể độ chính xác. Ví dụ, P(học | trường) sẽ cao hơn P(hộc | trường). Trigram (3-gram) xét ngữ cảnh hai từ, cho kết quả chính xác hơn nữa, vì nó nắm bắt được các cấu trúc ngữ pháp phức tạp hơn. Tuy nhiên, việc tăng giá trị N cũng làm tăng độ thưa của dữ liệu (nhiều cụm N-gram không xuất hiện trong corpus) và yêu cầu bộ nhớ lớn hơn. Nghiên cứu của Cao Đức Tư cho thấy, khi kích thước dữ liệu huấn luyện tăng, số lượng các cụm bigram và trigram tăng lên nhanh chóng, đòi hỏi các kỹ thuật xử lý hiệu quả.

IV. Bí quyết tối ưu mô hình N gram Các phương pháp làm mịn dữ liệu

Một trong những thách thức lớn nhất khi xây dựng mô hình ngôn ngữ N-gram là vấn đề dữ liệu thưa (data sparsity). Điều này xảy ra khi nhiều cụm N-gram hợp lệ không xuất hiện trong tập dữ liệu huấn luyện, dẫn đến xác suất của chúng bị gán bằng 0. Nếu một câu kiểm tra chứa một cụm từ chưa từng thấy này, xác suất của cả câu sẽ bằng 0, ngay cả khi câu đó hoàn toàn đúng. Để giải quyết vấn đề này, các kỹ thuật "làm mịn" (Smoothing) được áp dụng. Mục đích của làm mịn là phân phối lại một phần xác suất từ các cụm N-gram đã thấy cho các cụm chưa thấy. Bằng cách này, không có cụm từ nào có xác suất bằng 0 tuyệt đối. Các phương pháp làm mịn giúp mô hình trở nên tổng quát hơn và hoạt động tốt hơn với dữ liệu mới. Theo tài liệu nghiên cứu, có nhiều thuật toán làm mịn khác nhau, từ đơn giản như Add-one cho đến phức tạp hơn như Witten-Bell, Good-Turing hay Kneser-Ney, mỗi phương pháp có ưu và nhược điểm riêng trong việc cải thiện độ chính xác của mô hình thống kê.

4.1. Kỹ thuật Chiết khấu Discounting Add one và Good Turing

Các thuật toán chiết khấu hoạt động bằng cách giảm một lượng nhỏ xác suất của các N-gram đã xuất hiện để dành phần đó cho các N-gram chưa xuất hiện. Phương pháp Add-one (cộng 1) là kỹ thuật đơn giản nhất, cộng một giá trị nhỏ (thường là 1) vào tần suất của tất cả các N-gram, kể cả những cụm chưa từng thấy. Tuy đơn giản nhưng nó có thể làm thay đổi đáng kể phân bố xác suất gốc. Thuật toán Good-Turing là một phương pháp tinh vi hơn, ước tính tổng xác suất của các N-gram có tần suất bằng 0 dựa trên số lượng các N-gram chỉ xuất hiện một lần. Kỹ thuật này được đánh giá là hiệu quả hơn trong việc tái phân bổ xác suất mà không làm sai lệch nhiều mô hình gốc.

4.2. Phương pháp Truy hồi Back off và Nội suy Interpolation

Thay vì chỉ điều chỉnh tần suất, các phương pháp này kết hợp thông tin từ các N-gram bậc thấp hơn. Phương pháp Truy hồi (Back-off) hoạt động theo nguyên tắc: nếu một trigram không có trong dữ liệu huấn luyện, mô hình sẽ "truy hồi" về mô hình bigram để ước tính xác suất. Nếu bigram cũng không có, nó sẽ tiếp tục truy hồi về unigram. Phương pháp Nội suy (Interpolation) thì khác, nó luôn tính toán xác suất của một N-gram bằng cách kết hợp có trọng số xác suất từ tất cả các mô hình bậc thấp hơn (ví dụ: xác suất trigram được tính bằng tổ hợp của xác suất từ trigram, bigram và unigram). Các phương pháp này đảm bảo mô hình có thể xử lý mọi chuỗi từ, ngay cả khi các cụm từ dài chưa từng xuất hiện.

V. Xây dựng hệ thống thêm dấu tự động Từ lý thuyết đến thực tiễn

Việc áp dụng lý thuyết N-gram vào thực tiễn để xây dựng mô hình ngôn ngữ cho bài toán thêm dấu tiếng Việt đòi hỏi một quy trình bài bản. Đầu tiên là thu thập và xử lý một dữ liệu corpus khổng lồ. Luận văn của Cao Đức Tư đã sử dụng dữ liệu từ các trang báo mạng, với dung lượng lên tới hàng trăm megabyte. Dữ liệu này sau đó phải được chuẩn hóa dữ liệu văn bản: tách câu, tách từ (sử dụng các công cụ như vnTokenizer), và làm sạch. Bước tiếp theo là sử dụng một bộ công cụ chuyên dụng như SRILM để thống kê tần suất các unigram, bigram, trigram và xây dựng mô hình N-gram hoàn chỉnh, có áp dụng các kỹ thuật làm mịn. Khi mô hình đã sẵn sàng, nó có thể được tích hợp vào một ứng dụng. Ứng dụng này nhận đầu vào là văn bản không dấu, tạo ra các ứng viên có dấu và dùng mô hình N-gram để chấm điểm xác suất cho từng ứng viên. Cuối cùng, hệ thống sẽ trả về chuỗi có xác suất cao nhất, đây chính là kết quả phục hồi dấu tiếng Việt được dự đoán là chính xác nhất.

5.1. Quy trình thu thập và xử lý dữ liệu corpus tiếng Việt

Chất lượng của một mô hình ngôn ngữ phụ thuộc lớn vào chất lượng và quy mô của dữ liệu corpus. Quá trình này bắt đầu bằng việc thu thập văn bản từ nhiều nguồn đa dạng (báo chí, sách, văn bản luật...) để đảm bảo độ phủ ngôn ngữ. Sau đó, dữ liệu thô phải trải qua các bước tiền xử lý quan trọng. Thứ nhất là tách câu, xác định ranh giới các câu độc lập. Thứ hai là tách từ, một bước đặc biệt quan trọng cho tiếng Việt vì ranh giới từ không được phân định bằng khoảng trắng. Các công cụ như vnTokenizer được sử dụng để thực hiện tác vụ này. Cuối cùng là chuẩn hóa văn bản, bao gồm việc chuyển đổi về chữ thường, loại bỏ các ký tự đặc biệt và xử lý các định dạng không nhất quán. Một corpus sạch và được cấu trúc tốt là tiền đề cho một mô hình N-gram mạnh mẽ.

5.2. Công cụ SRILM và vai trò trong việc xây dựng mô hình N gram

SRILM (The SRI Language Modeling Toolkit) là một bộ công cụ mã nguồn mở mạnh mẽ và phổ biến, được thiết kế chuyên cho việc xây dựng mô hình ngôn ngữ thống kê. Trong nghiên cứu được đề cập, SRILM được sử dụng để thực hiện các nhiệm vụ chính. Chương trình ngram-count của nó có khả năng đọc một dữ liệu corpus lớn, thống kê tần suất của tất cả các cụm N-gram (từ unigram đến N-gram bậc cao hơn), và áp dụng các phương pháp làm mịn phức tạp như Good-Turing, Kneser-Ney. Kết quả là một tệp mô hình ngôn ngữ chứa xác suất (thường ở dạng logarit) và trọng số truy hồi của các N-gram. Tệp mô hình này sau đó có thể được chương trình ngram sử dụng để tính toán độ hỗn loạn (perplexity) hoặc xác suất của một văn bản mới, phục vụ trực tiếp cho bài toán phục hồi dấu tiếng Việt.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và truyền thông trực tuyến, xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt đối mặt với thách thức lớn khi hàng triệu tin nhắn SMS, thư điện tử và nội dung diễn đàn bị lược bỏ toàn bộ dấu thanh. Tiếng Việt là ngôn ngữ đơn lập với 6 thanh điệu và hệ thống nguyên âm phức tạp gồm 5 nguyên âm cơ bản kết hợp cùng nhiều ký tự biến thể như ă, â, ê, ô, ơ, ư. Việc thiếu dấu thanh và dấu phụ làm biến đổi hoàn toàn ngữ nghĩa, gia tăng tính đa nghĩa và gây ra mức độ nhập nhằng nghiêm trọng cho các hệ thống dịch tự động Việt - Anh, công cụ tìm kiếm và phân tích cú pháp tự động.

Nghiên cứu của học viên Cao Đức Tư dưới sự hướng dẫn khoa học của Tiến sĩ Vũ Tất Thắng tại Đại học Thái Nguyên tập trung giải quyết triệt để bài toán khôi phục dấu tự động cho văn bản tiếng Việt thông qua mô hình ngôn ngữ thống kê N-gram. Mục tiêu cốt lõi của đề tài là xây dựng hệ thống thêm dấu tự động có độ chính xác cao, khảo sát toàn diện các phương pháp làm mịn phân bố xác suất và tối ưu hóa kích thước mô hình nhằm giảm độ hỗn loạn thông tin.

Phạm vi nghiên cứu được thực nghiệm trên tập ngữ liệu tiếng Việt quy mô hơn 300 MB thu thập từ các trang báo điện tử chính thống. Về mặt giá trị ứng dụng, công trình cung cấp giải pháp chuẩn hóa dữ liệu đầu vào cho các hệ sinh thái dịch máy, giúp nâng cao độ chính xác dịch thuật lên hơn 30% và giảm tỷ lệ lỗi chính tả trong xử lý văn bản tiếng Việt xuống mức tối thiểu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết xác suất Bayes kết hợp giả thuyết chuỗi Markov bậc n nhằm ước lượng xác suất xuất hiện của một chuỗi gồm m từ trong ngôn ngữ tự nhiên. Để vượt qua giới hạn bộ nhớ khi độ dài chuỗi tiến tới vô cùng, xấp xỉ Markov bậc n giới hạn sự phụ thuộc của từ hiện tại vào n trừ 1 từ liền trước, phân định thành các mô hình Unigram (n bằng 1), Bigram (n bằng 2) và Trigram (n bằng 3).

Trọng tâm lý thuyết của luận văn tập trung vào việc giải quyết hiện tượng phân bố thưa (Zero-frequency problem). Với ước tính khoảng 5.000 âm tiết cơ bản trong tiếng Việt, không gian kết hợp lý thuyết của mô hình 3-gram có thể lên tới hơn 125 tỷ cụm từ, nhưng số lượng xuất hiện thực tế trong kho ngữ liệu chỉ chiếm tỷ lệ rất nhỏ. Tác giả đã hệ thống hóa và áp dụng 3 nhóm kỹ thuật làm mịn chính:

1. Kỹ thuật chiết khấu (Discounting): Bao gồm thuật toán Add-one (Laplace), hiệu chỉnh Jeffreys-Perks với tham số delta bằng 0,5, thuật toán Good-Turing hiệu chỉnh tần số dựa trên số lượng cụm từ xuất hiện một lần và thuật toán Witten-Bell dựa trên xác suất gặp từ mới.
2. Kỹ thuật truy hồi (Back-off): Sử dụng mô hình Katz Back-off để chuyển dịch trọng số xác suất từ các cụm n-gram bậc cao về các cụm n-gram bậc thấp hơn khi tần số xuất hiện bằng 0.
3. Kỹ thuật nội suy (Interpolation) và Kneser-Ney cải tiến: Ứng dụng mô hình Kneser-Ney hiệu chỉnh bởi Chen và Goodman nhằm phân bổ xác suất thông qua tính liên tục của ngữ cảnh trước và sau từ.

Để đánh giá chất lượng mô hình, lý thuyết độ đo thông tin Entropy theo định lý Shannon-McMillan-Breiman và độ hỗn loạn thông tin Perplexity được áp dụng làm thước đo định lượng chuẩn xác mức độ tương thích ngôn ngữ.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm định lượng kết hợp phân tích thống kê trên nguồn dữ liệu văn bản lớn. Quy trình nghiên cứu được triển khai đồng bộ qua 4 giai đoạn chính:

• Thu thập và tiền xử lý dữ liệu: Tác giả phát triển bộ công cụ chuyên dụng bằng ngôn ngữ C# để tự động thu thập hàng ngàn tệp HTML từ các trang báo mạng như Dân Trí, loại bỏ mã nguồn, chuẩn hóa bảng mã tiếng Việt, xử lý khoảng trắng và tách câu dựa trên thuật toán Heuristics 4 trường hợp nhận diện dấu chấm câu.
• Phân tích hình thái và tách từ: Tích hợp công cụ mã nguồn mở vnTokenizer dựa trên giải thuật so khớp tối đa (Maximum Matching) kết hợp từ điển từ vựng tiếng Việt nhằm xử lý nhập nhằng từ ghép và từ đơn, đạt độ chính xác gán nhãn từ loại lên đến 98%.
• Huấn luyện mô hình thống kê: Sử dụng bộ công cụ tiêu chuẩn quốc tế SRILM (Stanford Research Institute Language Modeling Toolkit) phát triển từ năm 1995 trên nền tảng C++ để thống kê tần số, tính toán xác suất thô và áp dụng các thuật toán làm mịn.
• Tối ưu hóa kích thước mô hình: Áp dụng kỹ thuật cắt tỉa (Cut-off Pruning) với ngưỡng tần số k từ 1 đến 5 và kỹ thuật phân tích khác biệt trọng số (Weighted Difference) nhằm loại bỏ các cụm n-gram rác, giảm áp lực bộ nhớ RAM mà vẫn duy trì độ chính xác của mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện trên kho ngữ liệu sạch hơn 300 MB đã mang lại những kết quả thống kê quan trọng về cấu trúc ngữ liệu tiếng Việt ở cả hai cấp độ: âm tiết (tiếng) và từ hoàn chỉnh:

• Sự bùng nổ của các cụm N-gram: Khi kích thước tập huấn luyện tăng dần, số lượng cụm 1-gram âm tiết đạt hơn 687.105 cụm, trong khi số lượng 2-gram và 3-gram tăng trưởng theo hàm số mũ với hàng triệu cụm phân tán. Tương tự, ở cấp độ từ, số lượng cụm 1-gram đạt 940.995 cụm, cho thấy tính đa dạng từ vựng vượt trội của văn bản tiếng Việt hiện đại.
• Tần số của các cụm xuất hiện một lần (Singleton): Thống kê tần số của tần số chỉ ra rằng các cụm n-gram chỉ xuất hiện 1 lần chiếm tới hơn 50% tổng số cụm ghi nhận được trong kho ngữ liệu, khẳng định hiện tượng phân bố thưa là rào cản lớn nhất cần xử lý bằng kỹ thuật làm mịn.
• Hiệu quả của các thuật toán làm mịn: Thuật toán Kneser-Ney cải tiến (Modified Kneser-Ney của Chen và Goodman) cho chỉ số độ hỗn loạn Perplexity thấp nhất trên tập kiểm thử, vượt trội hơn hẳn so với thuật toán Add-one truyền thống vốn làm sai lệch phân bố xác suất gốc tới gần 10 lần đối với các tập từ vựng lớn.
• Khả năng tối ưu hóa bộ nhớ: Kỹ thuật Cut-off với ngưỡng k bằng 2 giúp giảm hơn 45% dung lượng lưu trữ mô hình ngôn ngữ trên đĩa cứng và bộ nhớ RAM, trong khi chỉ số Perplexity chỉ biến thiên tăng dưới 2%, đảm bảo tốc độ đáp ứng thời gian thực cho hệ thống thêm dấu.

Thảo luận kết quả

Các kết quả thực nghiệm được minh họa rõ nét thông qua hệ thống Bảng 3-1, Bảng 3-2 và biểu đồ Hình 3-2 trong công trình. Đồ thị tăng trưởng cho thấy đường cong biểu diễn số lượng 3-gram có độ dốc lớn nhất khi mở rộng dung lượng tập dữ liệu, phản ánh tính chất ngữ cảnh phong phú của tiếng Việt.

Nguyên nhân giúp mô hình đề xuất đạt hiệu năng vượt trội là việc kết hợp linh hoạt giữa phương pháp tiếp cận theo đơn vị từ và đơn vị âm tiết. Khi so sánh với các công cụ thêm dấu truyền thống như hệ thống VietPad hay các giải pháp thuần luật (Rule-based), mô hình N-gram kết hợp Kneser-Ney của luận văn giúp nâng độ chính xác khôi phục dấu tổng thể lên trên 90%, giảm tỷ lệ lỗi phân đoạn từ và sai dấu ngữ cảnh xuống dưới 10%.

Đặc biệt, việc xử lý thành công tính nhập nhằng của các xâu ký tự không dấu có nhiều hơn 3 biến thể dấu (ví dụ: "chua" có thể thành "chùa", "chúa", "chưa", "chửa") chứng minh mô hình Trigram nắm bắt ngữ cảnh cục bộ hiệu quả hơn hẳn các mô hình Markov bậc thấp.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và kiểm thử thực nghiệm, luận văn đưa ra 4 nhóm giải pháp chiến lược nhằm tối ưu hóa bài toán khôi phục dấu và mở rộng ứng dụng mô hình ngôn ngữ tiếng Việt:

1. Nâng cấp thuật toán làm mịn đa tầng: Các viện nghiên cứu và nhóm phát triển NLP cần áp dụng mô hình Modified Kneser-Ney kết hợp cơ chế nội suy động (Dynamic Interpolation), đặt mục tiêu nâng độ chính xác thêm dấu lên mức 96% trong lộ trình 6 tháng thử nghiệm tiếp theo.
2. Tối ưu hóa cấu trúc dữ liệu và nén mô hình: Doanh nghiệp công nghệ cần ứng dụng kết hợp kỹ thuật lượng tử hóa tần số (Quantization) và cấu trúc cây Trie hoặc mạng chuyển dịch trạng thái hữu hạn có trọng số (WFST), hướng tới mục tiêu giảm 40% dung lượng RAM tiêu thụ và đạt độ trễ phản hồi dưới 50 mili-giây cho mỗi trang văn bản.
3. Mở rộng quy mô tập ngữ liệu đa lĩnh vực: Đội ngũ phát triển cần thiết lập hệ thống thu thập dữ liệu tự động với quy mô từ 1 GB đến 5 GB trong vòng 12 tháng, bao quát các chuyên ngành đặc thù như y tế, pháp luật, tài chính và ngôn ngữ hội thoại mạng xã hội nhằm triệt tiêu hiện tượng từ ngoài từ điển (OOV).
4. Chuẩn hóa dịch vụ API thêm dấu tự động: Các đơn vị phát triển dịch máy và cổng thông tin số cần tích hợp module thêm dấu N-gram vào tầng tiền xử lý dữ liệu trước quý 4 năm tới, nhằm tự động chuẩn hóa 100% văn bản đầu vào không dấu từ người dùng.

Đối tượng nên tham khảo luận văn

• Kỹ sư Xử lý Ngôn ngữ Tự nhiên (NLP Engineers): Tiếp cận chi tiết mã nguồn, phương pháp cấu hình bộ công cụ SRILM, vnTokenizer và cách thức tối ưu hóa giải thuật làm mịn xác suất cho các bài toán xử lý văn bản tiếng Việt.
• Học viên cao học và Nghiên cứu sinh ngành Khoa học Máy tính: Nắm vững cơ sở toán học về lý thuyết thông tin Shannon, chuỗi Markov, công thức Bayes và phương pháp xây dựng khung đánh giá mô hình ngôn ngữ theo chuẩn học thuật quốc tế.
• Nhà phát triển ứng dụng phần mềm và dịch vụ viễn thông: Vận dụng giải pháp khôi phục dấu tự động để phát triển các tính năng hỗ trợ nhập liệu thông minh, gõ tiếng Việt không cần chuyển chế độ và tự động sửa lỗi chính tả tin nhắn SMS.
• Chuyên gia phân tích dữ liệu và số hóa tài liệu: Sử dụng quy trình tiền xử lý văn bản bằng C# và thuật toán làm sạch dữ liệu để chuẩn hóa các kho tài liệu số hóa lịch sử bị mất dấu hoặc lỗi font chữ.

Câu hỏi thường gặp

Tại sao mô hình N-gram lại phù hợp cho bài toán thêm dấu tiếng Việt? Tiếng Việt là ngôn ngữ đơn lập, ý nghĩa của câu phụ thuộc chặt chẽ vào trật tự kết hợp giữa các âm tiết và từ. Mô hình N-gram (đặc biệt là 2-gram và 3-gram) tính toán xác suất xuất hiện của từ dựa trên ngữ cảnh 1 đến 2 từ liền trước, giúp máy tính lựa chọn chính xác tổ hợp dấu có xác suất xảy ra cao nhất trong thực tế.

Hiện tượng phân bố thưa trong mô hình ngôn ngữ là gì và gây hậu quả như thế nào? Phân bố thưa xảy ra khi một cụm từ hoàn toàn đúng ngữ pháp nhưng chưa từng xuất hiện trong tập huấn luyện, khiến xác suất thô của cụm từ bị gán bằng 0. Khi nhân chuỗi xác suất, toàn bộ câu văn sẽ có xác suất bằng 0, làm hệ thống không thể đưa ra dự đoán chính xác.

Kỹ thuật làm mịn Kneser-Ney vượt trội hơn Add-one ở những điểm nào? Thuật toán Add-one cộng 1 vào tần số mọi cụm từ, gây biến dạng nghiêm trọng phân bố xác suất khi kích thước từ điển lớn. Ngược lại, Kneser-Ney sử dụng xác suất tiếp nối (Continuation probability), đánh giá mức độ linh hoạt của một từ khi đi kèm với các ngữ cảnh khác nhau, giúp bảo toàn tính tự nhiên của ngôn ngữ.

Tập ngữ liệu huấn luyện của nghiên cứu có quy mô bao nhiêu và lấy từ nguồn nào? Nghiên cứu sử dụng kho dữ liệu văn bản sạch hơn 300 MB được thu thập tự động từ các báo điện tử lớn như Dân Trí. Toàn bộ dữ liệu được chuẩn hóa, lọc bỏ mã HTML và phân đoạn thành hai tập dữ liệu độc lập theo đơn vị âm tiết và đơn vị từ.

Làm thế nào để giảm dung lượng bộ nhớ khi triển khai mô hình N-gram thực tế? Tác giả áp dụng kỹ thuật Cut-off loại bỏ các cụm n-gram có tần số xuất hiện dưới ngưỡng k quy định (k bằng 1 hoặc 2), kết hợp phương pháp lượng tử hóa bảng tần số. Giải pháp này giúp cắt giảm hơn 45% dung lượng bộ nhớ mà vẫn giữ nguyên độ chính xác thêm dấu trên 90%.

Kết luận

• Đề tài đã hệ thống hóa toàn diện cơ sở toán học của mô hình ngôn ngữ N-gram, lý thuyết thông tin Bayes - Shannon và các giải thuật làm mịn xác suất chuyên sâu.
• Xây dựng thành công quy trình xử lý dữ liệu tự động hóa gồm công cụ cào dữ liệu C#, bộ tách từ vnTokenizer và công cụ thống kê mô hình ngôn ngữ SRILM.
• Thực nghiệm và chứng minh thuật toán Modified Kneser-Ney đạt hiệu năng tối ưu nhất trên tập ngữ liệu tiếng Việt quy mô hơn 300 MB.
• Cung cấp giải pháp khôi phục dấu tự động cho tiếng Việt với độ chính xác đạt trên 90%, giải quyết triệt để tính nhập nhằng của văn bản không dấu.
• Định hình lộ trình nâng cấp hệ thống trong 12 tháng tới hướng tới việc mở rộng ngữ liệu đa ngành 5 GB và đóng gói thành chuẩn API vi dịch vụ.

Quý độc giả, nhà nghiên cứu và kỹ sư công nghệ quan tâm đến việc ứng dụng mô hình ngôn ngữ thống kê trong xử lý văn bản tiếng Việt có thể khai thác trực tiếp luận văn này làm tài liệu tham khảo nền tảng để phát triển các sản phẩm trí tuệ nhân tạo chuyên sâu.

Trích đoạn nội dung tài liệu

Đặt vấn đề: Ngôn ngữ tự nhiên là những ngôn ngữ đƣợc con ngƣời sử dụng trong các giao tiếp hàng ngày: nghe, nói, đọc, viết[13]. Mặc dù con ngƣời có thể dễ dàng hiểu và học các ngôn ngữ tự nhiên, việc làm cho máy hiểu đƣợc ngôn ngữ tự nhiên không phải là chuyện dễ dàng. Sở dĩ có khó khăn là do ngôn ngữ tự nhiên có các bộ luật, cấu trúc ngữ pháp phong phú hơn nhiều các ngôn ngữ máy tính, hơn nữa để hiểu đúng nội dung các giao tiếp, văn bản trong ngôn ngữ tự nhiên cần phải nắm đƣợc ngữ cảnh của nội dung đó. Do vậy, để có thể xây dựng đƣợc một bộ ngữ pháp, từ vựng hoàn chỉnh, chính xác để máy có thể hiểu ngôn ngữ tự nhiên là một việc rất tốn công sức và đòi hỏi ngƣời thực hiện phải có hiểu biết rất sâu sắc về ngôn ngữ học.

Mô hình ngôn ngữ là một phân bố xác suất trên các tập văn bản[8],[13]. Nói một cách đơn giản, mô hình ngôn ngữ có thể cho biết xác suất một câu (hoặc cụm từ) thuộc một ngôn ngữ là có xác suất sinh ra là bao nhiêu.1: Khi áp dụng mô hình ngôn ngữ cho tiếng Việt, ta có thể có một kết quả có dạng tƣơng tự nhƣ sau: P[“ngày mai trời sẽ mưa”] ~ 0.001 P[“trời mưa sẽ mai ngày”] ~ 0 Với các vấn đề của xử lí ngôn ngữ tự nhiên, việc sử dụng các mô hình ngôn ngữ để xác định xác suất xẩy ra nhƣ trên sẽ giúp giới hạn lại không gian tìm kiếm, để có thể tìm ra các giải pháp tốt nhất trong một khoảng thời gian đủ ngắn. Cốt lõi nhất của các phƣơng pháp để máy tính xử lý ngôn ngữ tự nhiên chính là việc xây dựng mô hình ngôn ngữ, mà ngày nay ngƣời ta thƣờng dùng ở dạng mô hình thống kê. Các phƣơng pháp xử lý ngôn ngữ tự nhiên dựa trên thống kê không nhằm tới việc con ngƣời tự xây dựng mô hình ngữ pháp mà lập chƣơng trình cho máy tính có thể “học” nhờ vào việc thống kê các từ và Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.vn 13 cụm từ có trong các văn bản.

Trong các mô hình ngôn ngữ tiếng nói, thì N- gram là một trong số những mô hình đƣợc sử dụng rộng rãi nhất. Mục tiêu của luận văn, là nghiên cứu nắm bắt đƣợc những vấn đề cốt lõi của mô hình ngôn ngữ N-gram, đặc biệt là các kỹ thuật làm trơn các phân bố xác suất thống kê (Smoothing techniques), nhằm nâng cao chất lƣợng về lƣợng giá xác suất bởi mô hình. Ngoài ra, luận văn hƣớng tới việc đƣa ra một ứng dụng cụ thể của mô hình này cho tiếng Việt, mà cụ thể là bài toán thêm dấu cho văn bản tiếng Việt không dấu. Dấu là một thành phần không thể thiếu và mang những thông tin, nội dung quan trọng của văn bản tiếng Việt.

Chúng không là mẫu tự mà là một phần của mẫu tự. Tuy nhiên có rất nhiều trƣờng hợp mà ngƣời sử dụng đã loại bỏ các thành phần này, chẳng hạn trong các tin nhắn SMS qua điện thoại, các liên lạc kiểu thƣ điện tử, chat, … Khái niệm dấu ở đây không chỉ giới hạn với 5 ký hiệu về dấu thanh điệu đƣợc thể hiện trong chữ Việt để thể hiện cho sáu loại thanh điệu khác nhau: ngang, huyền, ngã, hỏi, sắc, và nặng. Mà hơn thế nữa, nó còn bao gồm các nhiều dấu phụ trợ cho 5 nguyên âm không dấu: a, i, u, e, o để tạo lập các ký tự đủ đa dạng cho việc ký âm các nguyên âm tiếng Việt, a ă â e ê i o ô ơ u ƣ y.