Mở đầu Để hiểu về bài toán sửa lỗi chính tả, mục tiêu của chương này là làm rõ các khái niệm và thuật ngữ cần thiết. Ngoài ra, để có một cái nhìn tổng quan về bài toán sửa lỗi chính tả, các phương pháp nghiên cứu liên quan trước đây được tiến hành phân tích, từ đó, nêu ra những ưu điểm và hạn chế đối với từng phương pháp.2 Tổng quan về bài toán sửa lỗi chính tả 2. Định nghĩa lỗi chính tả là gì? Theo Từ điển tiếng Việt (NXB Khoa học xã hội, 1988), chính tả có nghĩa là "cách viết chữ (ta) được coi là đúng, là chuẩn (chính)". Cho đến trước năm 2018, ngôn ngữ tiếng Việt vẫn chưa có một quy chuẩn cụ thể nào về cách viết đúng tiếng Việt được phổ cập rộng rãi mà dựa trên một tập hợp gồm sách giáo khoa và từ điển tiếng Việt - vốn có nhiều phiên bản và sửa đổi.
Điều này cũng 2. KIÊN THỨC CƠ SỞ VÀ NGHIÊN CỨU LIÊN QUAN góp phan làm cho một bộ phận phan đông người Việt Nam viết sai chính tả trong đời sống thường ngày. Trong nghiên cứu này, các phạm trù đúng - sai về chính tả được căn cứ dựa trên QĐ-1989 của Bộ Giáo dục & Đào tạo ngày 25/05/2018. 1 Tóm tắt từ văn ban trên, có một số quy định về lỗi chính tả trong tiếng Việt có thể rút ra như sau: * Quy định về cách đặt dấu thanh khi âm tiết có một chữ cái; khi âm tiết có hai chữ cái;.
* Quy định về cách viết âm i sau phụ âm đầu trong các âm tiết không có âm đệm và âm cudi. Các căn cứ khác để xác định lỗi chính tả còn lại dựa trên sách Từ điển tiếng Việt do Viện Ngôn ngữ hoc GS. Hoàng Phê chủ biên.2 Đặc điểm của lỗi chính tả trong tiếng Việt Trong lĩnh vực sửa lỗi ngôn ngữ - tại ngôn ngữ tiếng Anh, cộng đồng thường chia ra hai loại lỗi tách biệt: lỗi chính tả (viết sai từ) và lỗi ngữ pháp (dùng sai hình thái từ, thứ tự tự,. Khi nghiên cứu về bài toán sửa lỗi trong ngôn ngữ tiếng Anh, trước tiên, cần xác định loại lỗi mà bài toán đang cố gắng giải quyết là lỗi chính tả hay lỗi ngữ pháp.
Trái ngược với tiếng Anh, tiếng Việt là một ngôn ngữ đơn lập (isolated language). Tức là để biểu diễn ngữ cảnh, từ ngữ sẽ khong biến đổi mà tiếng Việt biểu diễn ngữ pháp trong một vài từ cố định: "sẽ", "da", "dang",. Vì vậy, tập trung vào giải quyết vấn dé chính tả trong tiếng Việt mang đến nhiều giá trị hơn so với lỗi ngữ pháp. Điểm khác biệt lớn nhất giữa tiếng Việt và tiếng Anh dễ thấy nhất chính là hệ thống thanh sắc và dấu (mũ) của kí tự.
Tiếng Việt sử dụng 29 ký tự Latin đã ! Quyết định số 1989/QD-BGDDT: https://s.vn/QD1989BGDDT ?Bản mềm của sách có thể tìm đọc tại: https://s. KIÊN THỨC CƠ SỞ VÀ NGHIÊN CỨU LIÊN QUAN được tùy chỉnh: tiếng Việt không sử dụng các kí tự ’w’, 'F, ’j’, ’z’ và sử dung thêm 6 kí tự nguyên âm kết hợp cùng dấu bao gồm: 'š, 'â”, 'ê', 'ô”, 'ơ, 'ê'. Cùng với sáu thanh sắc - [sắc, huyền, hỏi, ngã, nặng, bằng] khiến tiếng Việt sử dụng lên đến 67 kí tự khác nhau khi viết [13][14]. Con số này lớn gấp 3 lần số lượng kí tự được dùng khi viết trong tiếng Anh.
Điều này nhân mạnh hơn nữa sự thách thức và ý nghĩa khi giải quyết bài toán sửa lỗi chính tả cho tiếng Việt. Ở day, dựa trên các nghiên cứu di trước [8] và dựa vào vốn hiểu biết về tiếng Việt, một danh mục các loại lỗi chính tả được tổng hợp như sau. Trước hết, có hai nhóm lỗi lớn mà người viết tiếng Việt thường hay mắc phải: đó là các lỗi về viết sai quy cách và các lỗi viết sai do nhận thức của người viết. + Lỗi viết sai quy cách (Typography) Lỗi do viết tắt: Lỗi này xảy ra khi người dùng cố ý trong một số trường hợp, hay do thói quen khi viết tốc ký.
Những lỗi này thường phổ biến với một cộng đồng hoặc tập thể, dễ dàng cho qua trong văn bản viết tay đời thường nhưng không được chấp nhận trong các văn bản chính thống, trang trọng. Lỗi do viết bộ gõ Telex/VNI: Bộ gõ Telex/VNI là một bộ quy ước các luật và nguyên tắc khi gõ bàn phím được sử dụng rộng rãi nhằm biểu diễn ngôn ngữ tiếng Việt trên máy tính và điện thoại thông minh. Bộ gõ Telex/VNI được sử dụng rộng rãi trên khắp Việt Nam và trên thế giới - được cài đặt sẵn trên các thiết bị thông minh và hệ điều hành máy tính. Tuy nhiên, trong một số trường hợp người dùng quên bật / tắt bộ gõ Telex này khiến các từ bị biến đổi một cách phủ định lại so với nguyên tắc tạo ra chúng.
Lỗi do viết bộ gõ Telex/VNI là một trong những loại lỗi chính tả phổ biến có thể tìm thấy trên mạng Internet. Lỗi ngón tay to (Fat-Finger): Hay còn được biết đến hội chứng fat- finger là một tình huống mà người dùng vô tình chạm vào một phím xung 2. KIÊN THỨC CƠ SỞ VÀ NGHIÊN CỨU LIÊN QUAN quanh thay vì phím mục tiêu trong quá trình soạn văn bản. Lỗi do sử dụng Teencode: Tiếng Việt được sử dụng trên các diễn đàn, trang mạng xã hội sẽ xuất hiện các biến thể - kết hợp cùng với trào lưu nhắn tin, viết blog của giới trẻ đã tạo nên một biến thể độc đáo về cách viết của tiếng Việt.
Đây được xem là loại hình viết tiếng Việt không chính thống - chỉ xuất hiện trên mạng Internet và thường được một nhóm cộng đồng quy ước để hiểu cách đọc - viết. Các hành động gây ra loại lỗi này bao gồm rút ngắn từ (bỏ bớt ký tự), nới dài từ (thêm ký tự vào từ), đảo ký tự, V. Lỗi viết sai do nhận thức Theo định nghĩa của Flammie A. Pirinen và các cộng sự [15]: Lỗi viết sai do nhận thức được gây ra bởi các khiếm khuyết của người viết văn bản.
Thậm chí, cả người viết cũng không rõ về cách viết đúng. Về mặt y tế, người viết có thể mắc chứng khó đọc, chứng khó viết hoặc các vấn đề về nhận thức khác. Về mặt ngôn ngữ học, người viết văn bản có thể chỉ đang học ngôn ngữ và không biết chính tả đúng. Ngoài ra, đối với ngôn ngữ tiếng Việt, lỗi viết sai do nhận thức thường xoay quanh việc khác biệt trong phát âm giữa các vùng địa lý khác nhau.
Tuy chưa có văn bản nào chính thống thực hiện nghiên cứu về mối quan hệ của giọng vùng miễn so với tần suất lỗi chính tả, có nhận định cho rằng: "Người ta có xu hướng viết những gì họ nói". Đất nước Việt Nam chạy dai từ Bắc vào Nam với lịch sử 4000 năm đã để lại rất nhiều khu vực địa lý và bản sắc giọng nói khác nhau. Với đặc thù của ngôn ngữ tiếng Việt, một sự thay đổi về nhỏ về phát âm cũng khiến từ ngữ mang ý nghĩa khác , kéo theo đó là hệ quả của hiện tượng này trong cách viết từ tiếng Việt là khá lớn. Để tránh đi sâu vào lĩnh vực tiếng địa phương (ngành nghiên cứu phương ngữ), một danh sách được liệt kê một số giọng vùng miền phổ biến: giọng Hà Nội, giọng Hải Phòng, giọng Thanh - Nghệ - Tĩnh, giọng 2.
KIÊN THỨC CƠ SỞ VÀ NGHIÊN CỨU LIÊN QUAN Quảng Nam, giọng Phú Yên, v. Một vài đặc trưng ở phương diện giọng vùng miễn có thể được nêu ra như sau: ! — Giọng Bắc là không phân biệt phụ âm dau: [CH] va [TR] nói thành [CH], [S] và [X] nói thành [X]. — Giọng Thanh Nghệ Tĩnh không phân biệt phụ âm đầu [D], [GI] và [NH]. — Giọng Nam không phân biệt phụ âm cuối [C] và [T] nói thành [C], [NI va [NG] nói thành [NG]; không phân biệt phụ 4m đầu [VỊ với [DI.
Và còn rất nhiều trường hợp khác, đã cấu thành nên một tập hợp các lỗi chính tả được xác định là lỗi vùng miền. Ngoài ra, ở các khía cạnh của bài toán sửa lỗi chính tả, cộng đồng nghiên cứu cũng thường phân nhóm các lỗi chính tả thành hai nhóm đó là các lỗi non-word và lỗi real-word (căn cứ trên một bộ từ điển được tham chiếu - ở đây là bộ từ điển từ vựng tiếng Việt). » Lỗi non-word Lỗi chính tả tạo ra một từ mới, không xuất hiện trong bộ từ điển đang được tham chiếu. Ví dụ trong câu "Em bes đi học ở nhà trẻ" thì từ "bé" đã bị viết sai thành từ "bes", vốn là một từ không thuộc ngôn ngữ tiếng Việt - vì vậy đây là một lỗi non-word.
+ Lỗi real-word Lỗi chính tả tạo ra một từ, từ này nằm trong bộ từ điểm đang được tham chiếu. Ví dụ trong câu "Em béo đi học ở nhà trẻ" thì từ "bé" đã bị viết sai thành từ "béo", lúc này từ "béo" vẫn có trong từ điển tiếng Việt và câu văn vẫn mang đầy đủ hàm ý, ngữ nghĩa cụ thể (tuy nhiên đã lệch ý nghĩa và ngữ cảnh so với câu đúng). 'Neuén tham khảo dự án Ilovemyvoice tại: http://ilovemyvoice.vn/giong-noi-viet-tu-bac-vao-nam/ 10 2. KIÊN THỨC CƠ SỞ VÀ NGHIÊN CỨU LIÊN QUAN 2.
Định nghĩa bài toán Bài toán sửa lỗi chính tả là bài toán có đầu vào là một văn bản tiếng Việt. Van bản này có thể không tôn tại lỗi chính tả, nhưng cũng có thể tồn tại ít nhất một lỗi chính tả trở lên. Đầu ra của bài toán là văn bản tiếng Việt đã được sửa lỗi chính tả, nếu cần. Một số yêu cầu khi ta sửa lỗi chính tả cần đảm bảo đó là sửa những chỗ cần sửa: việc xóa bỏ, thêm từ mới vào văn bản nguyên bản nên được duy trì ở mức tối thiểu, tránh biến đổi văn bản thành sai lệch ngữ nghĩa và văn phạm.
Để đưa ra câu trả lời, các mô hình cần phải xác định từ có lỗi chính tả, hiểu về ngữ cảnh sử dụng của từ ngữ này và đưa ra từ đề xuất phù hợp nhất cho ngữ cảnh của từ sai lỗi chính tả. Bài toán sửa lỗi chính tả cho thấy nhiều mối quan hệ gần gũi với các bài toán khác: Ví dụ như bài toán đặt / khôi phục thanh sắc cho văn bản tiếng Việt. Cũng có thể nói, khôi phục thanh sắc chính là một bài toán con của bài toán sửa lỗi chính tả tiếng Việt. Tính ứng dụng của bài toán Dù không phải van đề mới, bài toán sửa lỗi chính tả tiếng Việt vẫn cho thấy giá trị mới cho các bài toán khác: * Đầu vào của các hệ thống tìm kiếm [16] hay hệ thống khai phá dữ liệu {171.
* Sử dụng để cải thiện đầu ra của các mô hình OCR [18][19].