Phát Hiện và Sửa Lỗi Chính Tả Tiếng Việt: Nghiên Cứu và Ứng Dụng

Chuyên khảo phân tích Phát hiện và sửa lỗi hính tả tiếng việt, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Vũ Thành Bút
• Người hướng dẫn: PGS. Lê Thanh Hương
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phát Hiện và Sửa Lỗi Chính Tả Tiếng Việt
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: Tổng quan về bài toán
• 1.1. Giới thiệu bài toán
• 1.2. Một số đặc điểm trong tiếng Việt
• 1.3. Đặc điểm của tiếng Việt
• 1.4. Các đơn vị của tiếng Việt
• 1.5. Một số lỗi chính tả cơ bản và phương pháp kiểm lỗi mức độ âm tiết
• 1.6. Các nguyên nhân gây ra lỗi chính tả
• 1.7. Phân loại lỗi chính tả
• 1.8. Phát hiện lỗi chính tả
• 1.9. Sửa lỗi chính tả
• 1.10. Mục tiêu của luận văn
• 2. CHƯƠNG 2: Cơ sở lý thuyết mạng nơ-ron nhân tạo
• 2.1. Kiến trúc mạng nơ-ron nhân tạo
• 2.2. Mạng nơ-ron hồi quy RNN
• 2.3. Các ứng dụng của mạng RNN
• 2.4. Các mạng nơ-ron mở rộng
• 2.5. Mạng Long Short-term Memory
• 2.6. Vấn đề lưu trữ thông tin ngữ cảnh phụ thuộc xa
• 3. CHƯƠNG 3: Ứng dụng RNN cho bài toán sửa lỗi chính tả tiếng Việt
• 3.1. Bài toán sửa lỗi chính tả sử dụng RNN
• 3.2. Mô hình hóa ngôn ngữ
• 3.3. Các bước thực hiện của bài toán
• 3.4. Áp dụng LSTM trong bài toán sửa lỗi chính tả tiếng Việt
• 3.5. Mô hình seq2seq (LSTM Encoder - Decoder) và kỹ thuật attention
• 4. CHƯƠNG 4: Cài đặt và thử nghiệm
• 4.1. Thư viện tensorflow
• 4.2. Xây dựng bộ dữ liệu
• 4.3. Các bước tiền xử lý
• 4.4. Tạo data noise
• 4.5. Cài đặt cho mô hình
• 4.6. Tiến hành huấn luyện
• 4.7. Thử nghiệm, đánh giá
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Bài Toán Phát Hiện Lỗi Chính Tả Tiếng Việt

Bài toán kiểm tra chính tả tự động cho văn bản tiếng Việt ngày càng được quan tâm, đặc biệt với sự phát triển của công nghệ thông tin và khối lượng văn bản điện tử khổng lồ. Ứng dụng của bài toán này có ý nghĩa thực tế lớn đối với các hệ thống xử lý văn bản. Tại Việt Nam, những nghiên cứu về kiểm tra chính tả tiếng Việt hiện nay đã thu được một số kết quả, tuy nhiên còn gặp nhiều khó khăn như có nhiều chuẩn chính tả khác nhau và chưa thống nhất. Một số phần mềm kiểm tra chính tả tiếng Việt đã được công bố như VietSpell, Unikey, MSWord. Tuy nhiên, ngoài VietSpell, hầu hết chúng chưa được áp dụng khả quan trong thực tế. Chính tả là sự chuẩn hóa hình thức chữ viết của ngôn ngữ.

1.1. Giới Thiệu Bài Toán Kiểm Tra Chính Tả Tiếng Việt

Bài toán kiểm tra chính tả tự động cho văn bản tiếng Việt được quan tâm do sự phát triển của CNTT và khối lượng văn bản điện tử khổng lồ. Ứng dụng của bài toán này có ý nghĩa thực tế lớn đối với các hệ thống xử lý văn bản khác nhau. Các nghiên cứu về kiểm tra chính tả tiếng Việt đã thu được một số kết quả, tuy nhiên, vẫn còn những khó khăn và thách thức cần phải giải quyết. Ví dụ, tồn tại nhiều chuẩn chính tả khác nhau và chưa có sự thống nhất chung trên cả nước, cũng như chưa có chuẩn chính âm.

1.2. Các Pha Kiểm Tra Chính Tả Tiếng Việt Âm Tiết Từ Câu

Mô hình tổng quan kiểm tra chính tả cho tiếng Việt bao gồm 3 pha: kiểm tra chính tả ở mức 'âm tiết', kiểm tra chính tả ở mức 'từ' và kiểm tra chính tả ở mức 'câu' (mức ngữ pháp). Luận văn này tập trung trình bày giải pháp cho pha kiểm tra chính tả ở mức âm tiết. Vấn đề kiểm tra lỗi chính tả là một trong những vấn đề quan trọng của xử lý ngôn ngữ tự nhiên. Có nhiều nguyên nhân tạo ra lỗi chính tả, ví dụ: lỗi do gõ sai từ, lỗi do sử dụng từ điển sai.

II. Thách Thức Và Nguyên Nhân Gây Lỗi Chính Tả Tiếng Việt

Có nhiều nguyên nhân khác nhau gây ra lỗi chính tả, tuy vậy có thể tổng hợp lại một số nguyên nhân như sau: Nguyên nhân do nhập liệu sai: Lỗi này có thể do gõ sai/ thiếu/ thừa phím gây ra, do cách cài đặt bàn phím, loại bàn phím, do quy tắc gõ tiếng Việt của các kiểu gõ khác nhau (Telex, VNI, TCVN, Unicode). Nguyên nhân do phát âm sai: Lỗi này do sự nhầm lẫn giữa cách đọc và cách viết của những từ đồng âm hoặc âm gần với nhau dẫn đến viết sai. Nguyên nhân do sử dụng từ vựng sai: Lỗi này do khi sử dụng từ sai với ý nghĩa thực của nó.

2.1. Các Nguyên Nhân Phổ Biến Dẫn Đến Sai Chính Tả Tiếng Việt

Các nguyên nhân dẫn đến lỗi chính tả có thể kể đến như lỗi do nhập liệu sai (gõ sai, thiếu, thừa phím), lỗi do phát âm sai (nhầm lẫn giữa cách đọc và cách viết của những từ đồng âm), lỗi do sử dụng từ vựng sai (sử dụng từ không đúng nghĩa) và các nguyên nhân khác như viết hoa, viết tên riêng, thuật ngữ không đúng quy cách.

2.2. Phân Loại Lỗi Chính Tả Tiếng Việt Non Word và Real Word

Lỗi chính tả có thể được phân loại thành hai loại chính là lỗi non-word và lỗi real-word. Lỗi non-word là lỗi tạo ra từ sai, từ đó hoàn toàn không có trong từ điển tiếng Việt. Lỗi real-word là lỗi mà từ đó có trong từ điển nhưng sử dụng sai. Lỗi non-word thường dễ phát hiện hơn so với lỗi real-word, vì lỗi real-word cần dựa vào ngữ cảnh xung quanh để xác định.

III. Giải Pháp Phát Hiện Và Sửa Lỗi Chính Tả Bằng RNN

Giải pháp đơn giản để phát hiện lỗi chính tả là dùng một cấu trúc dữ liệu để lưu tất cả các từ đã biết (được lưu trong từ điển). Nếu không có trong từ điển có nghĩa là từ đó bị sai. Giải pháp này cần một số heuristic để tránh xem các con số, ngày tháng, … là lỗi sai. Đối với trình bắt lỗi chính tả truyền thống thì từ điển là một phần rất quan trọng. Từ điển có thể được lưu theo dạng cấu trúc dữ liệu như bảng băm hoặc cấu trúc dữ liệu dạng cây có thể được sử dụng. Với những lỗi sai dạng từ vựng, ta phải dùng một số phương pháp khác phức tạp hơn để phát hiện.

3.1. Sử Dụng Từ Điển Để Phát Hiện Lỗi Chính Tả Non Word

Một phương pháp đơn giản để phát hiện lỗi chính tả là sử dụng từ điển. Nếu một từ không có trong từ điển, nó có thể là một lỗi chính tả. Phương pháp này cần một số heuristic để loại trừ các trường hợp ngoại lệ như số, ngày tháng, v.v. Cấu trúc dữ liệu như bảng băm hoặc cây có thể được sử dụng để lưu trữ từ điển.

3.2. Ứng Dụng RNN Trong Phát Hiện và Sửa Lỗi Chính Tả Tiếng Việt

Luận văn hướng tới việc tìm hiểu và ứng dụng kiểm lỗi chính tả tiếng Việt mức độ âm tiết dựa vào thông tin ngữ cảnh, sử dụng phương pháp học máy trên mô hình mạng nơ-ron. Nhờ khả năng học, chương trình có thể thích ứng được với sự thay đổi không ngừng của ngôn ngữ mà không tốn quá nhiều công sức của con người.

IV. Cấu Trúc Và Ứng Dụng Mạng Nơ Ron Hồi Quy RNN

Mạng nơ-ron hồi quy Recurrent Neural Network (RNN) là một trong những mô hình Deep learning được đánh giá có nhiều ưu điểm trong các tác vụ xử lý ngôn ngữ tự nhiên (NLP). Trong phần này, sẽ trình bày các khái niệm, các đặc điểm cũng như những ứng dụng của RNN trong các bài toán thực tế. RNN là một mô hình có trí nhớ (memory), có khả năng nhớ được thông tin đã tính toán trước đó không như các mô hình nơron truyền thống đó là thông tin đầu vào (input) hoàn toàn độc lập với thông tin đầu ra (output). Về lý thuyết, RNN có thể nhớ được thông tin của chuỗi có chiều dài bất kì, nhưng trong thực tế mô hình này chỉ nhớ được thông tin ở vài bước trước đó.

4.1. Tổng Quan Về Mạng RNN Trong Xử Lý Ngôn Ngữ Tự Nhiên

Mạng RNN là một loại mạng nơ-ron có khả năng xử lý dữ liệu tuần tự, như văn bản. RNN có khả năng ghi nhớ thông tin từ các bước trước đó, cho phép nó hiểu ngữ cảnh của văn bản. Điều này làm cho RNN trở thành một công cụ mạnh mẽ cho các tác vụ NLP như dịch máy, phân tích cảm xúc và phát hiện lỗi chính tả.

4.2. Ứng Dụng Của Mạng RNN Trong Kiểm Tra Chính Tả Tiếng Việt

RNN có thể được sử dụng để xây dựng các mô hình kiểm tra chính tả có khả năng học các quy tắc chính tả và ngữ pháp của tiếng Việt. Mô hình có thể được huấn luyện trên một tập dữ liệu lớn các văn bản tiếng Việt đã được sửa lỗi chính tả, sau đó có thể sử dụng để phát hiện và sửa lỗi chính tả trong các văn bản mới.

V. LSTM Giải Pháp Cho Vấn Đề Phụ Thuộc Xa Trong RNN

RNN tạo ra các mạng vòng lặp bên trong chúng, cho phép thông tin được lưu trữ lại cho các lần phân tích tiếp theo. Huấn luyện RNN tương tự như huấn luyện mạng Nơ-ron truyền thống. Ta cũng sử dụng đến thuật toán backpropagation (lan truyền ngược) nhưng có một chút tinh chỉnh. Gradient tại mỗi output không chỉ phụ thuộc vào kết quả tính toán của bước hiện tại mà còn phụ thuộc vào kết quả tính toán của các bước trước đó. Vì các tham số trong mạng RNN được sử dụng chung cho tất cả các bước trong mạng.

5.1. Vấn Đề Phụ Thuộc Xa Trong Mạng RNN Truyền Thống

Trong mạng RNN truyền thống, việc học các phụ thuộc xa (long-term dependencies) trở nên khó khăn do hiện tượng vanishing gradient. Gradient bị suy giảm khi lan truyền ngược qua nhiều bước thời gian, khiến mạng khó học được mối quan hệ giữa các từ ở xa nhau trong câu.

5.2. Mạng LSTM Khắc Phục Hạn Chế Của RNN Trong Ghi Nhớ Dài Hạn

Mạng LSTM (Long Short-Term Memory) là một biến thể của RNN được thiết kế để giải quyết vấn đề vanishing gradient và học các phụ thuộc xa hiệu quả hơn. LSTM sử dụng các cổng (gates) để kiểm soát luồng thông tin vào và ra khỏi bộ nhớ, cho phép nó ghi nhớ thông tin quan trọng trong thời gian dài.

VI. Ứng Dụng Thực Tế Và Triển Vọng Phát Triển Công Nghệ

Luận văn này hướng tới việc tìm hiểu và ứng dụng kiểm lỗi chính tả tiếng Việt mức độ âm tiết dựa vào thông tin ngữ cảnh, sử dụng phương pháp học máy trên mô hình mạng nơ-ron. Nhờ khả năng học, chương trình có thể thích ứng được với sự thay đổi không ngừng của ngôn ngữ mà không tốn quá nhiều công sức của con người. Kết quả thử nghiệm sẽ được đánh giá và so sánh với các phương pháp sửa lỗi khác.

6.1. Ứng Dụng Mô Hình LSTM Trong Các Công Cụ Soạn Thảo Văn Bản

Mô hình LSTM có thể được tích hợp vào các công cụ soạn thảo văn bản để cung cấp khả năng kiểm tra và sửa lỗi chính tả tự động. Điều này giúp người dùng tiết kiệm thời gian và công sức trong việc kiểm tra lỗi sai trong văn bản của mình.

6.2. Triển Vọng Phát Triển Của Công Nghệ Kiểm Tra Chính Tả Tiếng Việt

Công nghệ kiểm tra chính tả tiếng Việt ngày càng được cải thiện nhờ sự phát triển của học máy và xử lý ngôn ngữ tự nhiên. Trong tương lai, chúng ta có thể mong đợi các công cụ kiểm tra chính tả thông minh hơn, có khả năng hiểu ngữ cảnh tốt hơn và đưa ra các gợi ý sửa lỗi chính xác hơn.

Nội dung chính

## Tổng quan nghiên cứu

Trong bối cảnh công nghệ thông tin phát triển mạnh mẽ, việc soạn thảo văn bản điện tử ngày càng phổ biến, dẫn đến nhu cầu kiểm tra và sửa lỗi chính tả tự động trở nên cấp thiết. Theo ước tính, hàng triệu văn bản tiếng Việt được tạo ra mỗi ngày trên các nền tảng khác nhau, trong đó lỗi chính tả là vấn đề phổ biến do nhiều nguyên nhân như lỗi gõ phím, nhầm lẫn ngữ âm, hoặc sử dụng từ sai. Luận văn tập trung nghiên cứu phát hiện và sửa lỗi chính tả tiếng Việt ở mức độ âm tiết, một đặc điểm riêng biệt của ngôn ngữ đơn lập này, trong khoảng thời gian từ năm 2015 đến 2018 tại Việt Nam.

Mục tiêu chính của nghiên cứu là xây dựng một hệ thống phát hiện và sửa lỗi chính tả tiếng Việt sử dụng mạng nơ-ron nhân tạo, đặc biệt là mạng LSTM kết hợp kỹ thuật attention, nhằm nâng cao hiệu quả so với các phương pháp truyền thống dựa trên từ điển và luật. Phạm vi nghiên cứu bao gồm xử lý dữ liệu văn bản tiếng Việt thu thập từ khoảng 1.000 bài báo trên vnthuquan.net, với kích thước dữ liệu khoảng 35 Mb, tương đương gần 200.000 câu. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác phát hiện và sửa lỗi, giảm thiểu thời gian xử lý và tăng tính ứng dụng trong các hệ thống soạn thảo văn bản tự động.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

- **Mạng nơ-ron nhân tạo (ANN):** Mô hình xử lý thông tin mô phỏng hoạt động của hệ thần kinh sinh vật, gồm các tầng input, hidden và output, có khả năng học từ dữ liệu và dự đoán kết quả cho dữ liệu chưa thấy.
- **Mạng nơ-ron hồi quy (RNN):** Mạng có khả năng xử lý dữ liệu chuỗi, ghi nhớ thông tin từ các bước trước, phù hợp với các bài toán xử lý ngôn ngữ tự nhiên.
- **Mạng Long Short-Term Memory (LSTM):** Một dạng RNN đặc biệt, giải quyết vấn đề phụ thuộc dài hạn trong chuỗi dữ liệu bằng cách sử dụng các cổng (gate) để kiểm soát thông tin lưu giữ và loại bỏ.
- **Mô hình sequence-to-sequence (seq2seq) và kỹ thuật attention:** Giúp mã hóa chuỗi đầu vào thành vector cố định và giải mã thành chuỗi đầu ra, attention cho phép tập trung vào các phần quan trọng của chuỗi đầu vào khi dự đoán.

Các khái niệm chính bao gồm: âm tiết trong tiếng Việt, lỗi chính tả non-word và real-word, lan truyền ngược liên hồi (BPTT), và kỹ thuật soft attention.

### Phương pháp nghiên cứu

- **Nguồn dữ liệu:** Văn bản tiếng Việt thu thập từ trang vnthuquan.net, gồm khoảng 200.000 câu, đã qua xử lý loại bỏ câu trùng lặp và câu không phải tiếng Việt.
- **Phương pháp phân tích:** Sử dụng mô hình học sâu với mạng LSTM hai chiều (Bidirectional LSTM) kết hợp seq2seq và attention để phát hiện và sửa lỗi chính tả mức âm tiết.
- **Cỡ mẫu:** Khoảng 100.000 câu dùng cho huấn luyện (85%) và 15.700 câu dùng cho kiểm thử (15%).
- **Timeline nghiên cứu:** Từ năm 2015 đến 2018, trong đó quá trình huấn luyện mô hình trên GPU Geforce GTX 1060 mất khoảng 1 ngày với 100 epochs.
- **Tiền xử lý dữ liệu:** Loại bỏ ký tự không mong muốn, chuẩn hóa chữ thường, phân tách câu và từ, tạo từ điển ký tự, thêm ký tự đặc biệt <GO> và <EOS>.
- **Tạo dữ liệu lỗi (data noise):** Tạo lỗi chính tả giả định bằng cách đổi chỗ ký tự, thêm hoặc loại bỏ ký tự với xác suất 5%, tương đương 1 lỗi trên 20 ký tự.
- **Huấn luyện mô hình:** Sử dụng thuật toán Stochastic Gradient Descent (SGD) với hàm mất mát cross-entropy, áp dụng lan truyền ngược liên hồi (BPTT) để cập nhật tham số.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

- Mô hình LSTM hai chiều kết hợp seq2seq và attention đạt hiệu quả cao trong phát hiện và sửa lỗi chính tả mức âm tiết, giảm đáng kể lỗi nhầm lẫn tích cực và tiêu cực.
- Tỷ lệ dữ liệu huấn luyện lên đến 85% (khoảng 89.000 câu) và kiểm thử 15% (khoảng 15.700 câu) cho thấy mô hình có khả năng tổng quát tốt trên tập dữ liệu lớn.
- Độ mất mát (loss) giảm dần qua các epoch, từ mức ban đầu 0.001 xuống mức thấp hơn đáng kể sau 100 lần huấn luyện, minh chứng cho sự hội tụ của mô hình.
- Thời gian huấn luyện khoảng 1 ngày trên GPU Geforce GTX 1060 cho thấy tính khả thi của phương pháp trong thực tế.

### Thảo luận kết quả

Nguyên nhân thành công của mô hình là do khả năng ghi nhớ thông tin dài hạn của LSTM và việc sử dụng kỹ thuật attention giúp mô hình tập trung vào các phần quan trọng của câu khi sửa lỗi. So với các phương pháp truyền thống dựa trên từ điển và luật, mô hình học sâu này có ưu điểm tự động học và thích ứng với ngôn ngữ thay đổi mà không cần can thiệp thủ công. Kết quả cũng phù hợp với các nghiên cứu quốc tế về ứng dụng mạng LSTM và seq2seq trong xử lý ngôn ngữ tự nhiên. Dữ liệu có thể được trình bày qua biểu đồ giảm loss theo epoch và bảng so sánh tỷ lệ lỗi trước và sau khi áp dụng mô hình.

## Đề xuất và khuyến nghị

- **Phát triển hệ thống kiểm tra chính tả tự động tích hợp mô hình LSTM seq2seq:** Nhằm nâng cao độ chính xác phát hiện và sửa lỗi, giảm thiểu nhầm lẫn tích cực và tiêu cực, triển khai trong vòng 12 tháng bởi các đơn vị công nghệ thông tin.
- **Mở rộng bộ dữ liệu huấn luyện:** Thu thập thêm dữ liệu từ nhiều nguồn đa dạng để cải thiện khả năng tổng quát của mô hình, đặt mục tiêu tăng số lượng câu lên gấp đôi trong 18 tháng.
- **Tối ưu hóa mô hình và tăng tốc độ xử lý:** Nghiên cứu áp dụng các kỹ thuật giảm chiều dữ liệu và tăng tốc phần cứng để rút ngắn thời gian huấn luyện và dự đoán, hướng tới thời gian xử lý dưới 1 giây cho mỗi văn bản trung bình, thực hiện trong 6 tháng.
- **Đào tạo và chuyển giao công nghệ:** Tổ chức các khóa đào tạo cho các nhà phát triển phần mềm và chuyên gia ngôn ngữ để ứng dụng mô hình vào các phần mềm soạn thảo văn bản, hoàn thành trong 12 tháng.
- **Phát triển giao diện người dùng thân thiện:** Thiết kế giao diện dễ sử dụng cho người dùng cuối, hỗ trợ đa nền tảng (web, mobile), dự kiến hoàn thành trong 9 tháng.

## Đối tượng nên tham khảo luận văn

- **Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin:** Nắm bắt kiến thức về ứng dụng mạng nơ-ron trong xử lý ngôn ngữ tự nhiên, đặc biệt là kỹ thuật LSTM và seq2seq.
- **Các công ty phát triển phần mềm xử lý văn bản:** Áp dụng mô hình để nâng cao chất lượng sản phẩm kiểm tra và sửa lỗi chính tả tiếng Việt.
- **Chuyên gia ngôn ngữ học và xử lý ngôn ngữ tự nhiên:** Hiểu sâu về đặc điểm chính tả tiếng Việt và các phương pháp phát hiện, sửa lỗi dựa trên học máy.
- **Cơ quan giáo dục và đào tạo:** Sử dụng kết quả nghiên cứu để phát triển công cụ hỗ trợ giảng dạy và học tập tiếng Việt chuẩn xác hơn.

## Câu hỏi thường gặp

1. **Mô hình LSTM có ưu điểm gì so với các phương pháp truyền thống trong sửa lỗi chính tả?**  
LSTM có khả năng ghi nhớ thông tin dài hạn và xử lý phụ thuộc ngữ cảnh xa, giúp phát hiện và sửa lỗi chính tả dựa trên ngữ cảnh toàn câu, vượt trội so với phương pháp dựa trên từ điển và luật cứng nhắc.

2. **Dữ liệu huấn luyện được chuẩn bị như thế nào?**  
Dữ liệu gồm khoảng 200.000 câu tiếng Việt thu thập từ các bài báo, đã được làm sạch, loại bỏ câu trùng lặp và không phải tiếng Việt, sau đó tạo lỗi giả định để huấn luyện mô hình.

3. **Kỹ thuật attention giúp gì cho mô hình seq2seq?**  
Attention cho phép mô hình tập trung vào các phần quan trọng của chuỗi đầu vào khi dự đoán từ tiếp theo, cải thiện độ chính xác và khả năng xử lý chuỗi dài.

4. **Thời gian huấn luyện mô hình mất bao lâu?**  
Trên cấu hình GPU Geforce GTX 1060, thời gian huấn luyện khoảng 1 ngày với 100 epochs, phù hợp với quy mô dữ liệu và mô hình phức tạp.

5. **Mô hình có thể áp dụng cho các ngôn ngữ khác không?**  
Mô hình seq2seq kết hợp LSTM và attention có thể áp dụng cho nhiều ngôn ngữ khác nhau, tuy nhiên cần điều chỉnh và huấn luyện lại với dữ liệu đặc thù của từng ngôn ngữ.

## Kết luận

- Luận văn đã xây dựng thành công mô hình phát hiện và sửa lỗi chính tả tiếng Việt mức âm tiết sử dụng mạng LSTM hai chiều kết hợp seq2seq và kỹ thuật attention.  
- Mô hình cho kết quả khả quan với độ mất mát giảm dần qua các epoch và khả năng xử lý dữ liệu lớn.  
- Phương pháp học sâu vượt trội so với các giải pháp truyền thống dựa trên từ điển và luật.  
- Nghiên cứu mở ra hướng phát triển các ứng dụng kiểm tra chính tả tự động hiệu quả cho tiếng Việt.  
- Đề xuất các bước tiếp theo bao gồm mở rộng dữ liệu, tối ưu mô hình, phát triển giao diện và đào tạo chuyển giao công nghệ nhằm ứng dụng rộng rãi trong thực tế.  

Hãy bắt đầu áp dụng các giải pháp này để nâng cao chất lượng xử lý văn bản tiếng Việt trong các hệ thống hiện đại.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------- VŨ THÀNH BÚT VŨ THÀNH BÚT CÔNG NGHỆ THÔNG TIN PHÁT HIỆN VÀ SỬA LỖI CHÍNH TẢ TIẾNG VIỆT LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN 2015B Hà Nội – Năm 2018 17057205252181000000 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------- VŨ THÀNH BÚT PHÁT HIỆN VÀ SỬA LỖI CHÍNH TẢ TIẾNG VIỆT Chuyên ngành: Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC : PGS. Lê Thanh Hƣơng Hà Nội – Năm 2018 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ và tên tác giả luận văn: Vũ Thành Bút Đề tài luận văn: Phát hiện và sửa lỗi chính tả tiếng Việt Chuyên ngành: Công nghệ thông tin Mã số SV: CB150303 Tác giả, Ngƣời hƣớng dẫn khoa học và Hội đồng chấm luận văn xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày 27/10/2018 với các nội dung sau: 1. Chỉnh sửa, tinh lọc lại cho rõ nghĩa một số câu trong luận văn. Sửa một số lỗi chính tả có trong luận văn.

Loại bỏ các tài liệu tham khảo không sử dụng và bổ sung các tài liệu tham khảo đƣợc sử dụng trong luận văn. Ngày 16 tháng 11 năm 2018 Giáo viên hƣớng dẫn Tác giả luận văn PGS. Lê Thanh Hƣơng Vũ Thành Bút CHỦ TỊCH HỘI ĐỒNG PGS. Nguyễn Thị Kim Anh LỜI CAM ĐOAN Những kiến thức trình bày trong luận văn là do tôi tìm hiểu, nghiên cứu và trình bày theo những kiến thức tổng hợp của cá nhân.

Kết quả nghiên cứu trong luận văn này chƣa từng đƣợc công bố tại bất kỳ công trình nào khác. Trong quá trình làm luận văn, tôi có tham khảo các tài liệu có liên quan và đã ghi rõ nguồn tài liệu tham khảo. Tôi xin cam đoan đây là công trình nghiên cứu của tôi và không sao chép của bất kỳ ai. Tôi xin chịu hoàn toàn trách nhiệm, nếu sai, tôi xin chịu mọi hình thức kỷ luật theo quy định.

Hà Nội, ngày 18 tháng 10 năm 2018 Học viên Vũ Thành Bút LỜI CẢM ƠN Trƣớc tiên, tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS. Lê Thanh Hƣơng và các thầy cô Viện CNTT-TT, Trƣờng Đại học Bách Khoa Hà Nội đã nhiệt tình hƣớng dẫn và đào tạo cho tôi để tạo điều kiện thuận lợi cho tôi nghiên cứu và học tập, và giúp tôi có thể hoàn thành luận văn một cách tốt nhất. Cuối cùng tôi xin gửi lời cám ơn đến gia đình, bạn bè, những ngƣời đã luôn bên tôi, động viên và khuyến khích tôi trong quá trình thực hiện đề tài nghiên cứu của mình. Học viên Vũ Thành Bút MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT.

1 DANH MỤC HÌNH VẼ. 2 DANH MỤC BẢNG. 4 CHƢƠNG 1: Tổng quan về bài toán. Giới thiệu bài toán.

Một số đặc điểm trong tiếng Việt. Đặc điểm của tiếng Việt. Các đơn vị của tiếng Việt. Một số lỗi chính tả cơ bản và phƣơng pháp kiểm lỗi mức độ âm tiết.

Các nguyên nhân gây ra lỗi chính tả. Phân loại lỗi chính tả. Phát hiện lỗi chính tả. Sửa lỗi chính tả.

Mục tiêu của luận văn. 11 CHƢƠNG 2: Cơ sở lý thuyết mạng nơ-ron nhân tạo. Kiến trúc mạng nơ-ron nhân tạo. Mạng nơ-ron hồi quy RNN.

Mạng nơ-ron hồi quy RNN. Các ứng dụng của mạng RNN. Các mạng nơ-ron mở rộng. Mạng Long Short-term Memory.

Vấn đề lƣu trữ thông tin ngữ cảnh phụ thuộc xa. Mạng Long Short-term Memory. 20 CHƢƠNG 3: Ứng dụng RNN cho bài toán sửa lỗi chính tả tiếng Việt. Bài toán sửa lỗi chính tả sử dụng RNN.

Mô hình hóa ngôn ngữ. Các bƣớc thực hiện của bài toán. Áp dụng LSTM trong bài toán sửa lỗi chính tả tiếng Việt. Mô hình seq2seq (LSTM Encoder - Decoder) và kỹ thuật attention .32 CHƢƠNG 4: Cài đặt và thử nghiệm.

Thƣ viện tensorflow. Xây dựng bộ dữ liệu. Các bƣớc tiền xử lý. Tạo data noise.

Cài đặt cho mô hình. Tiến hành huấn luyện. Thử nghiệm, đánh giá .46 TÀI LIỆU THAM KHẢO. 47 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Viết tắt Tiếng anh Tiếng việt CNTT Information Technology Công nghệ thông tin ANN Artificial neural network Mạng nơ-ron nhân tạo CPU Central Processing Unit Bộ xử lý trung tâm GPU Graphic Processing Unit Bộ xử lý đồ họa RNN Recurrent neural network Mạng nơ-ron hồi quy LSTM Long-short term memory network Mạng bộ nhớ dài-ngắn NLP Natural Languague Processing Xử lý ngôn ngữ tự nhiên BPTT Backpropagation Through Time Lan truyền ngƣợc liên hồi 1 DANH MỤC HÌNH VẼ Hình 2.

Kiến trúc chung của một ANN gồm 3 thành phần đó là Input Layer, Hidden Layer và Output Layer. Mô tả hình ảnh sử dụng RNN. RNN phụ thuộc long-term. RNN với vấn đề phụ thuộc xa.

Mô-đun lặp lại trong RNN chuẩn chứa một lớp đơn. Mô-đun lặp lại trong một LSTM chứa bốn lớp tƣơng tác. Trạng thái tế bào trong mạng LSTM. Cổng (gate) trong LSTM.

Tầng cổng quên. Tầng cổng vào. Cập nhập trạng thái tế bào mới. Đầu ra và trạng thái ẩn mới.

Ví dụ về mô hình seq2seq. Minh họa mô hình seq2seq dùng attention trong bài toán dịch máy. TensorFlow hỗ trợ tính toán song song trên cả CPU và GPU. Ví dụ về một graph trong Tensorflow .43 2 DANH MỤC BẢNG Bảng 1.

Kết quả độ mất mát (loss) của mô hình chỉnh sửa lỗi chính tả. Độ đo đánh giá chất lƣợng chƣơng trình. Cơ sở khoa học và thực tiễn của luận văn  Lý do lựa chọn đề tài. Hiện nay công nghệ thông tin ngày càng phát triển, văn bản đƣợc soạn thảo bằng hình thức viết tay dần đƣợc thay thế bằng hình thức đánh máy.

Lỗi chính tả xuất hiện là điều không thể tránh khỏi và có thể do nhiều nguyên nhân khác nhau: lỗi đánh máy, ngƣời soạn thảo không biết mình đang viết sai. Những lỗi sai này, ngƣời soạn thảo văn bản thƣờng không hoặc khó có thể nhận ra lỗi chính tả của mình. Để phát hiện và sửa lỗi cho một văn bản có thể mất rất nhiều thời gian. Điều này đã dẫn nhu cầu phát hiện và sữa lỗi chính tả tự động cho nhiều ngôn ngữ trên các hệ soạn thảo văn bản khác nhau.

Có hai loại lỗi chính tả tiếng Việt là lỗi sai âm tiết và lỗi sai từ vựng. Luận văn sẽ phát hiện và sửa loại lỗi thứ nhất.  Tính cấp thiết của đề tài. Phát hiện và sửa lỗi chính tả văn bản tự động là vấn đề đƣợc nhiều cá nhân, đơn vị nghiên cứu và phát triển.

Với tiếng Việt, hiện cũng đã có các công trình nghiên cứu và ứng dụng để giải quyết bài toán, tuy nhiên các ứng dụng sửa lỗi chính tả này chủ yếu sử dụng từ điển và các luật. Việc sử dụng thông tin ngữ cảnh vào việc sửa lỗi chính tả còn rất ít hoặc không đạt kết quả nhƣ mong đợi. Do đó, nghiên cứu và phát triển một ứng dụng phát hiện và sửa lỗi chính tả tiếng Việt sử dụng thông tin ngữ cảnh sẽ giúp cho việc sửa lỗi chính tả đạt hiệu quả cao hơn. Mục đích của đề tài:  Tìm hiểu đặc điểm chính tả tiếng Việt, các lỗi chính tả cơ bản, các phƣơng pháp phát hiện và sửa lỗi.

 Nghiên cứu phƣơng pháp phát hiện và sửa lỗi chính tả tiếng Việt dựa trên từ điển và ngữ cảnh.  Xây dựng ứng dụng để thử nghiệm.  Đánh giá hiệu quả, ƣu nhƣợc điểm và so sánh với các phƣơng pháp sửa lỗi chính tả khác. Nội dung của luận văn Luận văn đƣợc chia ra làm 4 chƣơng cụ thể nhƣ sau: CHƢƠNG 1: Tổng quan về bài toán CHƢƠNG 2: Cơ sở lý thuyết mạng nơ-ron nhân tạo CHƢƠNG 3: Ứng dụng RNN cho bài toán sửa lỗi chính tả tiếng Việt CHƢƠNG 4: Cài đặt và thử nghiệm 5 NỘI DUNG CHƢƠNG 1: Tổng quan về bài toán 1.

Giới thiệu bài toán Bài toán kiểm tra chính tả tự động cho văn bản tiếng Việt đã đƣợc quan tâm nghiên cứu trong những năm gần đây, đặc biệt là với sự phát triển của CNTT cùng một khối lƣợng khổng lồ những văn bản điện tử. Ứng dụng của bài toán kiểm tra chính tả tự động có ý nghĩa thực tế rất lớn đối với những hệ thống xử lý văn bản và nhiều bài toán khác. Tại Việt Nam, những nghiên cứu về kiểm tra chính tả tiếng Việt hiện nay cũng đã thu đƣợc một số kết quả, tuy nhiên còn gặp nhiều khó khăn nhƣ: có nhiều chuẩn chính tả khác nhau và chƣa thống nhất chung trên cả nƣớc trong mọi lĩnh vực, có chuẩn chính tả nhƣng chƣa có chuẩn chính âm,. Một số phần mềm kiểm tra chính tả tiếng Việt cho văn bản điện tử cũng đã đƣợc công bố nhƣ: VietSpell, Unikey, tích hợp trong MSWord 2003,… Tuy nhiên, ngoài VietSpell, hầu hết chúng đều chƣa đƣợc áp dụng khả quan trong thực tế.

Chính tả là sự chuẩn hoá hình thức chữ viết của ngôn ngữ. Đó là một hệ thống các qui tắc về cách viết các âm tiết, từ, các dấu câu, tên riêng, từ nƣớc ngoài, … Quan niệm về chính tả không phải do bản thân ngôn ngữ quy định mà do xã hội quy định, và là các quy tắc đƣợc cộng đồng xã hội thừa nhận để viết. Khác với các ngôn ngữ biến hình - ngôn ngữ mà các nội dung từ biểu hiện ngay ở mức từ khi biến đổi hình thái từ nhƣ các ngôn ngữ Châu Âu (tiếng Anh, Pháp, .) - là chính tả ở mức “từ” thì chính tả tiếng Việt – ngôn ngữ đơn lập (nội dung của từ chỉ mang tính từ vựng) - lại là chính tả ở mức “âm tiết”. Vì thế trong khi bƣớc đầu tiên của bài toán kiểm tra chính tả cho các ngôn ngữ biến hình là kiểm tra chính tả “từ” thì với tiếng Việt sẽ phải tiến hành thêm một pha kiểm tra chính tả mức “âm tiết” ở trƣớc pha kiểm tra mức “từ” này.

Hay nói các khác mô hình tổng quan kiểm tra chính tả cho tiếng Việt sẽ bao gồm 3 pha: - Pha kiểm tra chính tả ở mức “âm tiết” 6 - Pha kiểm tra chính tả ở mức “từ” - Pha kiểm tra chính tả ở mức “câu” (mức ngữ pháp) Nội dung của luận văn chỉ tập trung trình bày giải pháp cho pha kiểm tra chính tả ở mức âm tiết. Vấn đề kiểm tra lỗi chính tả là một trong những vấn đề quan trọng của xử lý ngôn ngữ tự nhiên.