Luận văn: Phát hiện và sửa lỗi chính tả tiếng Việt - Bách Khoa Hà Nội

Luận văn về phát hiện, sửa lỗi chính tả tiếng Việt. Nghiên cứu chuyên sâu các phương pháp, kỹ thuật hiệu quả để nâng cao độ chính xác, giảm thiểu sai sót.

• Tác giả: Vũ Thành Bút
• Người hướng dẫn: PGS. Lê Thanh Hương
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát hiện và sửa lỗi chính tả tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KỶ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC BẢNG
• DANH MỤC HÌNH VẼ
• 1. CHƯƠNG 1: Tổng quan về bài toán
• 1.1. Giới thiệu bài toán
• 1.2. Một số đặc điểm trong tiếng Việt
• 1.2.1. Đặc điểm của tiếng Việt
• 1.2.2. Các đơn vị của tiếng Việt
• 1.3. Một số lỗi chính tả cơ bản và phương pháp kiểm lỗi mức độ âm tiết
• 1.4. Các nguyên nhân gây ra lỗi chính tả
• 1.5. Phân loại lỗi chính tả
• 1.6. Phát hiện lỗi chính tả
• 1.7. Sửa lỗi chính tả
• 1.8. Mục tiêu của luận văn
• 2. CHƯƠNG 2: Cơ sở lý thuyết mạng nơ-ron nhân tạo
• 2.1. Kiến trúc mạng nơ-ron nhân tạo
• 2.2. Mạng nơron hỏi quy RNN
• 2.2.1. Mạng nơ-ron hồi quy RNN
• 2.2.2. Ứng dụng của RNN
• 2.3. Các mạng nơ-ron mở rộng
• 2.3.1. Mạng Long Short-term Memory
• 2.3.2. Vấn đề lưu trữ thông tin ngữ cảnh phụ thuộc xa
• 3. CHƯƠNG 3: Ứng dụng RNN cho bài toán sửa lỗi chính tả tiếng Việt
• 3.1. Bài toán sửa lỗi chính tả sử dụng RNN
• 3.2. Mô hình hóa ngôn ngữ
• 3.3. Các bước thực hiện của bài toán
• 3.4. Áp dụng LSTM trong bài toán sửa lỗi chỉnh tả tiếng Việt
• 3.5. Mô hình seq2seq (LSTM Encoder - Decoder) và kĩ thuật attention
• 4. CHƯƠNG 4: Cài đặt và thử nghiệm
• 4.1. Thư viện tensorllow
• 4.2. Xây dựng bộ dữ liệu
• 4.2.1. Các bước tiền xử lý
• 4.2.2. Tạo data noise
• 4.3. Cài đặt cho mô hình
• 4.4. Tiến hành huấn luyện
• 4.5. Thử nghiệm, đánh giá
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Phát Hiện Lỗi Chính Tả Tiếng Việt hiệu quả

Bài toán phát hiện lỗi chính tả tiếng Việt là một vấn đề quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Tiếng Việt, với đặc điểm ngữ âm phong phú và hệ thống thanh điệu phức tạp, dễ dẫn đến các lỗi chính tả do nhiều nguyên nhân khác nhau. Các lỗi này có thể xuất phát từ việc nhầm lẫn âm vị, sai sót trong quá trình gõ phím, hoặc ảnh hưởng của phương ngữ. Việc xây dựng các hệ thống tự động phát hiện và sửa lỗi chính tả tiếng Việt đóng vai trò quan trọng trong việc nâng cao chất lượng văn bản, hỗ trợ người dùng trong giao tiếp và soạn thảo văn bản. Theo luận văn của Vũ Thành Bút, mục tiêu chính là nghiên cứu và xây dựng một hệ thống có khả năng phát hiện và sửa lỗi chính tả một cách hiệu quả, sử dụng các kỹ thuật học máy (Machine Learning) và mạng nơ-ron (Neural Network) tiên tiến. Các hệ thống này cần đảm bảo độ chính xác phát hiện lỗi chính tả cao và tỷ lệ recall phát hiện lỗi chính tả tốt để giảm thiểu sai sót.

1.1. Đặc điểm ngôn ngữ tiếng Việt và ảnh hưởng đến chính tả

Tiếng Việt là ngôn ngữ đơn lập, có thanh điệu và sự khác biệt về ngữ âm giữa các vùng miền. Các đặc điểm này gây khó khăn cho việc kiểm tra chính tả tiếng Việt. Ví dụ, sự nhầm lẫn giữa các thanh điệu (sắc, huyền, hỏi, ngã, nặng) là một trong những lỗi chính tả thường gặp. Sự khác biệt về phát âm giữa các vùng miền cũng dẫn đến việc người viết sử dụng từ ngữ không chuẩn. Vì vậy, khi xây dựng các hệ thống phát hiện lỗi chính tả, cần phải tính đến các yếu tố này để đảm bảo độ chính xác cao.

1.2. Các loại lỗi chính tả tiếng Việt phổ biến nhất hiện nay

Các loại lỗi chính tả phổ biến bao gồm: lỗi do nhầm lẫn phụ âm đầu (ví dụ: 'tr' và 'ch', 's' và 'x'), lỗi do sai thanh điệu, lỗi do gõ sai phím, và lỗi do sử dụng từ ngữ địa phương. Luận văn của Vũ Thành Bút cũng đề cập đến việc phân loại các lỗi chính tả này để có các phương pháp xử lý phù hợp. Việc xác định các loại lỗi cụ thể giúp cải thiện khả năng sửa lỗi chính tả tiếng Việt của hệ thống.

II. Thách Thức trong Sửa Lỗi Chính Tả Tiếng Việt Phân tích

Việc sửa lỗi chính tả tiếng Việt gặp nhiều thách thức do tính phức tạp của ngôn ngữ và sự đa dạng của các loại lỗi. Một trong những thách thức lớn nhất là xử lý các lỗi sai ngữ cảnh, khi từ bị sai có thể có nhiều cách sửa khác nhau tùy thuộc vào ngữ cảnh xung quanh. Bên cạnh đó, việc xây dựng một kho ngữ liệu tiếng Việt đủ lớn và chất lượng để huấn luyện các mô hình học máy cũng là một khó khăn. Theo luận văn, để vượt qua những thách thức này, cần có sự kết hợp giữa các phương pháp dựa trên quy tắc và các phương pháp dựa trên mô hình ngôn ngữ. Các phương pháp dựa trên quy tắc có thể giúp xử lý các lỗi chính tả đơn giản, trong khi các phương pháp dựa trên mô hình ngôn ngữ có thể giải quyết các lỗi phức tạp hơn, đòi hỏi khả năng hiểu ngữ cảnh.

2.1. Vấn đề ngữ cảnh trong phát hiện lỗi chính tả tiếng Việt

Ngữ cảnh đóng vai trò quan trọng trong việc phát hiện và sửa lỗi chính tả. Một từ có thể đúng trong ngữ cảnh này nhưng lại sai trong ngữ cảnh khác. Ví dụ, từ 'hoa' có thể là danh từ (bông hoa) hoặc động từ (hoa mắt). Các hệ thống phát hiện lỗi chính tả cần có khả năng phân tích ngữ cảnh để đưa ra quyết định chính xác. Các mô hình mạng nơ-ron như BiLSTM và Transformer có khả năng nắm bắt ngữ cảnh tốt hơn so với các phương pháp truyền thống.

2.2. Khó khăn về ngữ liệu tiếng Việt cho huấn luyện mô hình

Việc thu thập và xây dựng ngữ liệu tiếng Việt chất lượng cao để huấn luyện các mô hình học máy là một thách thức lớn. Ngữ liệu cần phải đa dạng, bao phủ nhiều lĩnh vực và phong cách viết khác nhau. Ngoài ra, việc gán nhãn (labeling) cho ngữ liệu, đặc biệt là các lỗi chính tả, đòi hỏi nhiều công sức và chuyên môn. Luận văn của Vũ Thành Bút cũng đề cập đến việc tạo data noise (dữ liệu nhiễu) để tăng cường khả năng chống chịu của mô hình.

III. Phương pháp Phát hiện Lỗi Chính Tả bằng Deep Learning

Deep Learning đã chứng minh được hiệu quả vượt trội trong nhiều bài toán xử lý ngôn ngữ tự nhiên (NLP), bao gồm cả phát hiện và sửa lỗi chính tả. Các mô hình mạng nơ-ron như RNN, LSTM, BiLSTM, và Transformer có khả năng học các biểu diễn phức tạp của ngôn ngữ và nắm bắt được các quy tắc ngữ pháp một cách tự động. Theo luận văn, việc sử dụng mô hình seq2seq (sequence-to-sequence) kết hợp với cơ chế attention cho phép hệ thống tập trung vào các phần quan trọng của câu, từ đó cải thiện độ chính xác phát hiện lỗi chính tả. Các mô hình này cũng có thể được huấn luyện trên các kho ngữ liệu tiếng Việt lớn để đạt được hiệu suất tốt nhất.

3.1. Ứng dụng mạng nơ ron hồi quy RNN trong bài toán chính tả

Mạng nơ-ron hồi quy (RNN) là một loại mạng nơ-ron được thiết kế để xử lý dữ liệu tuần tự, như văn bản. RNN có thể ghi nhớ thông tin từ các bước trước đó trong chuỗi, giúp nó nắm bắt được ngữ cảnh. Tuy nhiên, RNN gặp khó khăn trong việc xử lý các phụ thuộc xa (long-term dependencies). Vì vậy, các biến thể của RNN như LSTM và GRU được sử dụng phổ biến hơn.

3.2. Sử dụng mô hình LSTM và BiLSTM để sửa lỗi chính tả

LSTM (Long Short-Term Memory) và BiLSTM (Bidirectional LSTM) là các biến thể của RNN được thiết kế để giải quyết vấn đề phụ thuộc xa. LSTM có các cơ chế bộ nhớ đặc biệt giúp nó lưu trữ thông tin quan trọng trong thời gian dài. BiLSTM xử lý chuỗi dữ liệu theo cả hai hướng (từ trái sang phải và từ phải sang trái), giúp nó nắm bắt được ngữ cảnh tốt hơn. Các mô hình này thường được sử dụng trong bài toán sửa lỗi chính tả tiếng Việt.

IV. Xây dựng Mô hình Ngôn Ngữ cho Kiểm Tra Chính Tả

Mô hình ngôn ngữ đóng vai trò quan trọng trong việc kiểm tra chính tả. Một mô hình ngôn ngữ tốt có thể dự đoán khả năng xuất hiện của một từ trong một ngữ cảnh cụ thể. Các mô hình ngôn ngữ hiện đại thường dựa trên mạng nơ-ron, như Transformer và mô hình BERT tiếng Việt. Các mô hình này được huấn luyện trên kho ngữ liệu tiếng Việt lớn và có khả năng nắm bắt được các quy tắc ngữ pháp và ngữ nghĩa phức tạp. Theo luận văn, việc sử dụng mô hình BERT tiếng Việt có thể cải thiện đáng kể độ chính xác của hệ thống phát hiện và sửa lỗi chính tả.

4.1. Tầm quan trọng của mô hình ngôn ngữ trong sửa lỗi

Mô hình ngôn ngữ đánh giá tính hợp lệ của một chuỗi từ. Trong bài toán sửa lỗi chính tả, mô hình ngôn ngữ giúp chọn ra từ thay thế phù hợp nhất, dựa trên ngữ cảnh xung quanh. Một mô hình ngôn ngữ tốt sẽ ưu tiên các từ có khả năng xuất hiện cao trong ngữ cảnh đó.

4.2. Ứng dụng mô hình BERT tiếng Việt cho bài toán chính tả

Mô hình BERT tiếng Việt là một mô hình ngôn ngữ mạnh mẽ, được huấn luyện trên một lượng lớn ngữ liệu tiếng Việt. BERT có khả năng hiểu ngữ cảnh hai chiều và tạo ra các biểu diễn từ (word embeddings) chất lượng cao. Việc sử dụng BERT trong bài toán phát hiện và sửa lỗi chính tả giúp cải thiện đáng kể độ chính xác và hiệu quả của hệ thống.

V. Đánh giá và Ứng dụng hệ thống Phát Hiện Lỗi Chính Tả

Để đánh giá hiệu quả của một hệ thống phát hiện và sửa lỗi chính tả, cần sử dụng các độ đo phù hợp, như độ chính xác (precision), tỷ lệ recall (recall), và F1-score. Các độ đo này đánh giá khả năng của hệ thống trong việc phát hiện chính xác các lỗi và tránh bỏ sót các lỗi. Theo luận văn, việc thử nghiệm và đánh giá hệ thống phát hiện lỗi chính tả trên các tập dữ liệu khác nhau giúp xác định điểm mạnh và điểm yếu của hệ thống. Các hệ thống này có thể được ứng dụng trong nhiều lĩnh vực, như soạn thảo văn bản, kiểm duyệt nội dung, và hỗ trợ học tiếng Việt.

5.1. Các độ đo đánh giá chất lượng chương trình phát hiện lỗi

Độ chính xác (precision) đo tỷ lệ các lỗi được phát hiện chính xác trên tổng số lỗi được phát hiện. Tỷ lệ recall (recall) đo tỷ lệ các lỗi được phát hiện trên tổng số lỗi thực tế có trong văn bản. F1-score là trung bình điều hòa của precision và recall, thể hiện sự cân bằng giữa hai độ đo này.

5.2. Ứng dụng thực tế của công cụ phát hiện lỗi chính tả tiếng Việt

Các công cụ phát hiện lỗi chính tả tiếng Việt có thể được tích hợp vào các phần mềm soạn thảo văn bản, trình duyệt web, và các ứng dụng di động. Các công cụ này giúp người dùng viết văn bản chính xác hơn và tránh các sai sót không đáng có. Ngoài ra, các công cụ này cũng có thể được sử dụng để kiểm duyệt nội dung trên các trang web và mạng xã hội.

VI. Hướng Phát triển trong Nghiên Cứu Phát Hiện Lỗi Chính Tả

Trong tương lai, hướng phát triển của nghiên cứu phát hiện lỗi chính tả sẽ tập trung vào việc cải thiện khả năng xử lý ngữ cảnh và tích hợp các kiến thức ngôn ngữ học sâu sắc hơn. Việc sử dụng các mô hình tiên tiến như Transformer và mô hình BERT tiếng Việt, kết hợp với các kỹ thuật học tăng cường (Reinforcement Learning), có thể giúp hệ thống tự động học cách sửa lỗi một cách thông minh hơn. Ngoài ra, việc xây dựng các kho ngữ liệu tiếng Việt chuyên biệt cho từng lĩnh vực cũng sẽ đóng góp vào việc nâng cao hiệu quả của các hệ thống phát hiện và sửa lỗi chính tả.

6.1. Tích hợp kiến thức ngôn ngữ học vào hệ thống chính tả

Việc tích hợp kiến thức ngôn ngữ học, như ngữ pháp, ngữ nghĩa, và ngữ âm, vào các hệ thống phát hiện lỗi chính tả có thể giúp cải thiện đáng kể hiệu quả của hệ thống. Các quy tắc ngôn ngữ học có thể được sử dụng để loại bỏ các từ không hợp lệ và đề xuất các từ thay thế phù hợp hơn.

6.2. Tiềm năng của học tăng cường trong sửa lỗi chính tả tự động

Học tăng cường (Reinforcement Learning) là một kỹ thuật học máy cho phép hệ thống học cách ra quyết định thông qua tương tác với môi trường. Trong bài toán sửa lỗi chính tả, học tăng cường có thể được sử dụng để huấn luyện hệ thống tự động chọn ra cách sửa lỗi tốt nhất, dựa trên phản hồi từ người dùng hoặc từ một mô hình ngôn ngữ.

Trích đoạn nội dung tài liệu

_ BỘ GIÁO ĐỤC VÀ DÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI IO HRV 0A VŨ THÀNH BÚ NLL ONQILL SUDN DNGO PHÁT HIẾN VẢ SỬA LỖI CHÍNH TẢ TIENG VIET ÂN VĂN THẠC SĨ KỸ THUẬT CÔNG XGHỆ THÔNG TIN HS 108, lIà Nội — Năm 2018 „ BỘ GIÁO DỤC VÀ ĐÀO TẠO _ 'TRƯỜNG DẠI HỌC BÁCH KHOA HẢ NỘI VŨ THÀNH BÚT PHÁT HIỆN VẢ SỬA LỖI CHINH TA TIENG VIET Chuyên ngành: Công nghệ thông tin LUẬN VĂN THẠC SỈ KỸ THUẬT CÔNG NGII THONG TIN NGUOI HUONG DAN KHOA HOC : PGS. Lê Thanh Hương Hà Nội — Năm 2018 CONG HOA XA HOI CHU NGHIA VIET NAM Độc lập — Tự do— Lạnh phúc LẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ và tên tác giả luận văn: Vii Thanh Hút Tể lài luận văn: Phát hiện và sửa lỗi chính lã tiếng Việt Chuyên ngánh: Công nghệ thông tin Mã số SV: CB150303 Tác giã, Người hướng dẫn khoa học và Hội đồng chấm luận văn xác nhận tác giá đã sứa chữa, bỏ sung luận văn theo biên bán họp Hội đồng ngày 31/10/2018 với các nội dụng sau: 1. Chỉnh sửa, tỉnh lọc lại cho rõ nghĩa một sẻ câu trong luận văn. Sửa một số lỗi chính tả có trong luận vấn.

Loại bô các tải liện [lun khảo không sử đụng và bố sung các lải liệu tham kho dược sử dụng trong luận vẫn. Ngày 16 tháng 11 năm 2018 Giáo viên hướng dẫn Tac giả luận văn PGS. Lê Thanh Hương 'Vũ Thanh Bul. CHỦ TỊCH HỘI DÒNG PGS.

Nguyễn Thị Kim Anh. DANH MUC BANG Bang 1. Kết quả độ mắt mát (loss) của mô hình chỉnh sửa lỗi chính tả. Độ đo đánh giá chất hưạng chương trình.

44 LOT CAM DOAN Những kiến thức trinh bảy trong luận văn Id do téi tim hiéu, nghién ctu va trình bày theo những kiến thức tổng hợp của cá nhân. Kết quả nghiên cứu trong hiện văn nảy chưa từng dược công bỏ tại bết kỷ công trình não khác. Trong quá trình lam luận văn, tôi cỏ tham khảo các tài liệu có liên quan va da ghi rd nguồn tài liệu tham. Tôi xin cam đoan đây là công uìuh nghiên cửu của tôi và không sao chớp cửa bit ky ai Tôi xia chịu hoàn toàn trách nhiệm, nẻu sai, tôi xin chịu mọi hình thức kỹ luật theo quy định Ha N6i, ngày L8 tháng LŨ năm 2018 Hoc vién Vii Thanh Put LOT CAM DOAN Những kiến thức trinh bảy trong luận văn Id do téi tim hiéu, nghién ctu va trình bày theo những kiến thức tổng hợp của cá nhân.

Kết quả nghiên cứu trong hiện văn nảy chưa từng dược công bỏ tại bết kỷ công trình não khác. Trong quá trình lam luận văn, tôi cỏ tham khảo các tài liệu có liên quan va da ghi rd nguồn tài liệu tham. Tôi xin cam đoan đây là công uìuh nghiên cửu của tôi và không sao chớp cửa bit ky ai Tôi xia chịu hoàn toàn trách nhiệm, nẻu sai, tôi xin chịu mọi hình thức kỹ luật theo quy định Ha N6i, ngày L8 tháng LŨ năm 2018 Hoc vién Vii Thanh Put DANH MỤC CÁC KỶ HIỆU, CÁC CHỮ VIẾT TAT Tiếng anh Tiếng việt CNTT Information ‘echnology Công nghệ thông tỉn Axtificial neural network ‘Mang no-ron nhan tao CPU Central Processing Unit Hộ xử lý trung tâm GPU Graphic Processing Unit Đỏ xử lý dỗ họa. Recurrent neural network Mạng nơ-ron hồi quy LSTM Long-short term memory network Mạng bộ nhớ dải-ngắn NLP Natural Languague Processing Xử lý ngôn ngũ tự nhiên BPTT Backpropagation ‘Through ‘lime Lan truyền ngược liên hồi LOT CAM DOAN Những kiến thức trinh bảy trong luận văn Id do téi tim hiéu, nghién ctu va trình bày theo những kiến thức tổng hợp của cá nhân.

Kết quả nghiên cứu trong hiện văn nảy chưa từng dược công bỏ tại bết kỷ công trình não khác. Trong quá trình lam luận văn, tôi cỏ tham khảo các tài liệu có liên quan va da ghi rd nguồn tài liệu tham. Tôi xin cam đoan đây là công uìuh nghiên cửu của tôi và không sao chớp cửa bit ky ai Tôi xia chịu hoàn toàn trách nhiệm, nẻu sai, tôi xin chịu mọi hình thức kỹ luật theo quy định Ha N6i, ngày L8 tháng LŨ năm 2018 Hoc vién Vii Thanh Put LOT CAM ON 'Trước tiên, tôi xin bày tổ lòng biét on s4u s&e tei PGS. L@ ‘Thanh Luong va ode thay c6 Vién CNTT-TT, Trudng Dai hoc Bach Khoa Hà Nội đã nhiệt tình hưởng đân vả dào tạo cho tôi dễ tạo diều kiện thuận lợi cho tỏi nghiên cứu và học †ập, và giúp tôi có thể hoàn thành luận văn một cách tốt nhất.

Cuối củng tôi xin gửi lời cảm ơn đến gia định, bạn bẻ, những người đã luôn bên tôi, động viên và khuyến khích tôi trong quá trình thực hiện đẻ tải nghiên cứu ota mints Tige viên Vii Thanh But DANH MUC BANG Bang 1. Kết quả độ mắt mát (loss) của mô hình chỉnh sửa lỗi chính tả. Độ đo đánh giá chất hưạng chương trình. 44 DANH MUC BANG Bang 1.

Kết quả độ mắt mát (loss) của mô hình chỉnh sửa lỗi chính tả. Độ đo đánh giá chất hưạng chương trình. 44 MỤC LỤC DANH MỤC CÁC KỶ HIỆU, CÁC CHỮ VIÊT TẤT. DANH MỤC HÌNH VỄ: ác snnoiandnnninnniiditddinDdddgndi00010.08246 DANH MỤC BẢNG.

CHUONG 1: Téng quan vẻ bài toán 1. Giới thiệu bài toán. Một số đặc điểm trong tiếng Việt 1. Đặc điểm của tiếng Việt.

Cac đơn vị của tiếng Việt. Một số lỗi chính tả cơ bản và phương pháp kiểm lỗi mức độ âm tiết. Các nguyên nhân gây ra lỗi chính tả. Phân loại lỗi chính tả.

Phát hiện lỗi chính tả. Sửa lỗi chính tả 1. Mục tiêu của luận van. CHUONG 2: Cơ sở lý thuyết mạng nơ-ron nhân tạo.

Kién tric mạng nơ-ron nhân tạo. Mạng nơron hỏi quy RNN 2. Mạng nơ-ron hổi quy RNN.: G6 ứng đụng cù tình RÌNN Lo cscoesee in E0 e0 0008000166A0510 00060 15 2. Các mạng nơ-ron mở rộng.

Mang Long Short-term Memory. Vân đẻ lưu trữ thông tin ngữ cảnh phụ thuộc xa -19 DANH MỤC HÌNH VẼ Hình 2. Kiến trúc chung của một ANN gồm 3 thành phân dó là Mut Leyes, Hidden Layer va Output Layer Linh 2. Hinh 2 Dich may Hinh 2.

Mô tá hình anh sur dung RNN. Tỉnh2 Bidirectional RNNs Tlinh 2. RNN phụ thuộc long-temm. RNN véi vấn đề phụ thuộc xa Hình 2.9, Mô đạn lặp lại rong RÉN chuẩn chữa một lớp đơn.

so eo Hình 2.10Mô đụ lp li họng mới LSTMM chín bản lớp trng ác Hình 1.T ng thái tế bào trong mạng LS’ TM. Tang cing quên. Tầng công vào. Cậpnhập trạng thảití bảo mới Hinh 2.

Đầu ra và trạng thải ân mới.L Bidirectional LSTM Hình 3. Vi du vé mé hinh seq2seq. Minh hea mô hình seq2seq. dùng: attention trong bài Toán dich h may Hinh 4.

TTensorl:low hỗ trợ tỉnh toán song song trên ca CPU va GPL. Vi dụ về một graph trong Tensorllow Hinh 4. Thực nghiệm 1 Hình 4. Thực nghiệm 3 Hinh 4.7 Thực nghiệm 5 Linh 4.

LOT CAM ON 'Trước tiên, tôi xin bày tổ lòng biét on s4u s&e tei PGS. L@ ‘Thanh Luong va ode thay c6 Vién CNTT-TT, Trudng Dai hoc Bach Khoa Hà Nội đã nhiệt tình hưởng đân vả dào tạo cho tôi dễ tạo diều kiện thuận lợi cho tỏi nghiên cứu và học †ập, và giúp tôi có thể hoàn thành luận văn một cách tốt nhất. Cuối củng tôi xin gửi lời cảm ơn đến gia định, bạn bẻ, những người đã luôn bên tôi, động viên và khuyến khích tôi trong quá trình thực hiện đẻ tải nghiên cứu ota mints Tige viên Vii Thanh But DANH MUC BANG Bang 1. Kết quả độ mắt mát (loss) của mô hình chỉnh sửa lỗi chính tả.

Độ đo đánh giá chất hưạng chương trình. 44 DANH MỤC CÁC KỶ HIỆU, CÁC CHỮ VIẾT TAT Tiếng anh Tiếng việt CNTT Information ‘echnology Công nghệ thông tỉn Axtificial neural network ‘Mang no-ron nhan tao CPU Central Processing Unit Hộ xử lý trung tâm GPU Graphic Processing Unit Đỏ xử lý dỗ họa. Recurrent neural network Mạng nơ-ron hồi quy LSTM Long-short term memory network Mạng bộ nhớ dải-ngắn NLP Natural Languague Processing Xử lý ngôn ngũ tự nhiên BPTT Backpropagation ‘Through ‘lime Lan truyền ngược liên hồi 2. Mang Long Short-term Memory.

CHUONG 3: Ung dung RNN cho bài toán sửa lỗi chính tả tiếng Việt 3. Hải toàn sửa lỗi chính tả sử dụng, RNN. Mô bình hóa ngôn ngữ 3. Các bước thực hiện của bải toán.2 Ap dung LSTM trong bài toán sửa lỗi chỉnh tả tiếng Việt.

Mỏ hình seq2seq (LST'M Encoder - Decoder) va k} thut attention. CHUONG 4: Cái đặt và thừ nghiệm 36 4. Thư viện tensorllow' 36 4. Xây dựng bộ đữ liệu.

Các bước tiền xứ Ìý. Tạo đata noise 4. Cải đặt cho mồ hình 4. Tiến hành huần luyện.

Thử nghiệm, đánh giả. wv AB KÉT LUẬN 46 TÀI LIỆU THAM KHẢO. Mang Long Short-term Memory. CHUONG 3: Ung dung RNN cho bài toán sửa lỗi chính tả tiếng Việt 3.

Hải toàn sửa lỗi chính tả sử dụng, RNN. Mô bình hóa ngôn ngữ 3. Các bước thực hiện của bải toán.2 Ap dung LSTM trong bài toán sửa lỗi chỉnh tả tiếng Việt. Mỏ hình seq2seq (LST'M Encoder - Decoder) va k} thut attention.

CHUONG 4: Cái đặt và thừ nghiệm 36 4. Thư viện tensorllow' 36 4. Xây dựng bộ đữ liệu. Các bước tiền xứ Ìý.

Tạo đata noise 4. Cải đặt cho mồ hình 4. Tiến hành huần luyện. Thử nghiệm, đánh giả.

wv AB KÉT LUẬN 46 TÀI LIỆU THAM KHẢO. 7 DANH MỤC CÁC KỶ HIỆU, CÁC CHỮ VIẾT TAT Tiếng anh Tiếng việt CNTT Information ‘echnology Công nghệ thông tỉn Axtificial neural network ‘Mang no-ron nhan tao CPU Central Processing Unit Hộ xử lý trung tâm GPU Graphic Processing Unit Đỏ xử lý dỗ họa. Recurrent neural network Mạng nơ-ron hồi quy LSTM Long-short term memory network Mạng bộ nhớ dải-ngắn NLP Natural Languague Processing Xử lý ngôn ngũ tự nhiên BPTT Backpropagation ‘Through ‘lime Lan truyền ngược liên hồi MỤC LỤC DANH MỤC CÁC KỶ HIỆU, CÁC CHỮ VIÊT TẤT. DANH MỤC HÌNH VỄ: ác snnoiandnnninnniiditddinDdddgndi00010.08246 DANH MỤC BẢNG.

CHUONG 1: Téng quan vẻ bài toán 1. Giới thiệu bài toán. Một số đặc điểm trong tiếng Việt 1. Đặc điểm của tiếng Việt.

Cac đơn vị của tiếng Việt. Một số lỗi chính tả cơ bản và phương pháp kiểm lỗi mức độ âm tiết. Các nguyên nhân gây ra lỗi chính tả. Phân loại lỗi chính tả.

Phát hiện lỗi chính tả. Sửa lỗi chính tả 1. Mục tiêu của luận van. CHUONG 2: Cơ sở lý thuyết mạng nơ-ron nhân tạo.

Kién tric mạng nơ-ron nhân tạo. Mạng nơron hỏi quy RNN 2. Mạng nơ-ron hổi quy RNN.: G6 ứng đụng cù tình RÌNN Lo cscoesee in E0 e0 0008000166A0510 00060 15 2. Các mạng nơ-ron mở rộng.

Mang Long Short-term Memory. Vân đẻ lưu trữ thông tin ngữ cảnh phụ thuộc xa -19 DANH MUC BANG Bang 1. Kết quả độ mắt mát (loss) của mô hình chỉnh sửa lỗi chính tả. Độ đo đánh giá chất hưạng chương trình.