Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Sửa lỗi chính tả cho từ độc hại trong bình luận tiếng Việt" (tên tiếng Anh: Malicious Spelling Error Correction for Vietnamese Comments) được thực hiện bởi sinh viên Đào Phước Bản và Nguyễn Thùy Linh, dưới sự hướng dẫn của TS. Nguyễn Lưu Thùy Ngân tại Khoa Khoa học Máy tính, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh (năm 2021). Đề tài thuộc chuyên ngành Khoa học máy tính, định hướng Xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP).

Bối cảnh thực tiễn xuất phát từ sự bùng nổ của các nền tảng mạng xã hội, kéo theo tình trạng người dùng cố ý sử dụng ngôn từ thù địch, xúc phạm, quấy rối và đe dọa trực tuyến. Nhằm duy trì môi trường thảo luận văn minh, các nhà quản trị dịch vụ mạng xã hội triển khai các hệ thống tự động kiểm duyệt nội dung dựa trên từ điển hoặc bộ phân lớp học máy. Tuy nhiên, các công cụ này (tiêu biểu như Bad Word Filter PRO hỗ trợ 25 ngôn ngữ) dễ dàng bị vượt qua bởi các lỗi chính tả có chủ đích. Những lỗi này được định nghĩa là "lỗi chính tả độc hại" (malicious spelling errors): người viết cố tình làm biến dạng hình thức viết của các từ khóa nhạy cảm (như thay đổi, thêm bớt ký tự) để vô hiệu hóa cơ chế so khớp từ khóa của bộ lọc, nhưng người đọc thông thường vẫn hiểu trọn vẹn ngữ nghĩa tiêu cực được truyền đạt.

Mục tiêu và các nhiệm vụ nghiên cứu cụ thể của khóa luận bao gồm:

  1. Nghiên cứu, cài đặt và thực nghiệm phương pháp sửa lỗi chính tả cho các từ độc hại dựa trên kỹ thuật nhúng từ (Word Embedding) trên dữ liệu bình luận tiếng Việt.
  2. Đề xuất cải tiến thuật toán lựa chọn ứng viên sửa lỗi nhằm ngăn chặn hiện tượng hoán đổi sai lệch giữa từ bình thường và từ độc hại, nâng cao độ chính xác tổng thể.
  3. Khảo sát và so sánh hiệu quả biểu diễn ngữ cảnh của ba mô hình nhúng từ khác nhau: fastText CBOW, word2vec CBOW và word2vec Skip-gram.
  4. Đánh giá kiểm chứng độ chính xác sửa lỗi của mô hình đề xuất khi đối sánh trực tiếp với hai công cụ phổ biến: Google Spell Checker và thư viện SymSpell.
  5. Đánh giá tính thiết yếu của việc tích hợp khâu sửa lỗi chính tả độc hại như một bước tiền xử lý đầu vào đối với mô hình phát hiện ngôn từ thù địch (Hate Speech Detection).

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các hiện tượng lỗi chính tả độc hại trong văn bản tiếng Việt trên môi trường mạng xã hội; các mô hình không gian vector biểu diễn từ và khoảng cách chỉnh sửa chuỗi ký tự.
  • Phạm vi dữ liệu: Sử dụng bộ dữ liệu kiểm thử và huấn luyện trích xuất từ cuộc thi VLSP Shared Task 2019 về phát hiện ngôn từ thù địch (Hate Speech Detection on Social Networks).
  • Phạm vi ngữ liệu bổ trợ: Ngữ liệu tiếng Việt thu thập từ báo điện tử VnExpress trong giai đoạn 5 năm (với 12 chuyên mục đời sống, giải trí, khoa học, pháp luật, sức khỏe, thể thao, du lịch, giáo dục, kinh doanh, số hóa, thế giới, thời sự) và tập dữ liệu bình luận thực tế thu thập từ YouTube, Facebook để phục vụ việc trích xuất dạng lỗi thực tế.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng dựa trên các khái niệm xử lý ngôn ngữ tự nhiên và tính toán chuỗi:

  • Mô hình nhúng từ (Word Embedding): Khóa luận phân tích hai nhóm kỹ thuật chính:
    • Nhúng từ dựa trên đếm (Count-based): Ma trận từ - văn bản (Word-Document Matrix) và ma trận đồng xuất hiện (Co-occurrence Matrix) kết hợp với kỹ thuật phân rã giá trị suy biến (Singular Value Decomposition – SVD) để giảm số chiều vector mà vẫn lưu giữ cấu trúc ngữ nghĩa.
    • Nhúng từ dựa trên dự đoán (Prediction-based): Mô hình mạng nơ-ron word2vec hai lớp của Mikolov gồm hai kiến trúc: Continuous Bag of Words (CBOW) dự đoán từ trung tâm dựa trên bối cảnh xung quanh và Skip-gram dự đoán xác suất các từ ngữ cảnh dựa trên một từ trung tâm đầu vào. Bên cạnh đó, mô hình fastText được khảo sát nhờ khả năng băm từ thành các túi n-gram ký tự con, giúp biểu diễn được các từ hiếm hoặc từ nằm ngoài tập từ vựng (Out-Of-Vocabulary – OOV).
  • Khoảng cách chỉnh sửa (Edit Distance): Khóa luận sử dụng khoảng cách Damerau-Levenshtein (KCCS). Khác với khoảng cách Levenshtein cổ điển chỉ hỗ trợ ba thao tác (thêm, xóa, thay thế), Damerau-Levenshtein bổ sung thêm thao tác hoán vị hai ký tự kề nhau, phù hợp với các hành vi tạo lỗi gõ phím thực tế.

Phương pháp nghiên cứu thực nghiệm được kế thừa và phát triển từ công trình của H. Gong cùng các cộng sự (2019) từng triển khai trên ngữ liệu tiếng Anh. Nhóm tác giả thực hiện các điều chỉnh và cải tiến kỹ thuật trọng tâm:

  • Thay thế kiến trúc nhúng từ: Sử dụng word2vec Skip-gram với kích thước vector 300 chiều thay vì word2vec CBOW như nghiên cứu gốc của H. Gong, nhằm tối ưu hóa năng lực học biểu diễn của các từ hiếm gặp trong tập dữ liệu nhỏ.
  • Thuật toán tính độ liên quan ngữ cảnh: Độ phù hợp giữa vector ứng viên và tổng tuyến tính của các vector từ ngữ cảnh xung quanh được đo lường thông qua khoảng cách chuẩn hóa Euclide nghịch đảo với kích thước cửa sổ trượt:

$$\text{dist}(c, T) = \sum_{p=1}^{P} \frac{1}{p} \left| \frac{\mathbf{v}_c}{|\mathbf{v}_c|2} - \frac{\sum{i \neq 0} \mathbf{v}i}{|\sum{i \neq 0} \mathbf{v}_i|_2} \right|_2$$

  • Cải tiến kiểm tra từ vựng độc hại mục tiêu: Tại công đoạn cuối, trước khi thay thế ứng viên có điểm khoảng cách nhỏ nhất vào câu, hệ thống kiểm tra đối chiếu ứng viên đó với bộ từ điển độc hại (True Toxic Vocabulary). Nếu ứng viên thuộc tập từ độc hại, hệ thống mới chấp nhận thay thế; nếu không, hệ thống giữ nguyên từ ban đầu của câu, tránh việc sửa sai từ độc hại thành từ thông thường hoặc làm nhiễu ngữ cảnh của các từ lân cận.
  • Quy trình tạo dữ liệu kiểm thử thực tế: Thay vì tạo lỗi ngẫu nhiên bằng máy học lý thuyết dẫn đến các từ vô nghĩa (như nghiên cứu gốc của H. Gong), nhóm tác giả xây dựng từ điển ánh xạ lỗi dựa trên việc trích xuất các lỗi thực tế từ tập dữ liệu bình luận mạng xã hội Facebook và YouTube.

Nội dung chính theo từng chương

Chương 1: Đặt vấn đề

Chương mở đầu phân tích nguyên nhân hình thành lỗi chính tả độc hại trên các diễn đàn trực tuyến, nêu rõ hạn chế của các bộ lọc dựa trên quy tắc như Bad Word Filter PRO khi người dùng cố tình viết sai từ ngữ để lách luật. Tác giả phát biểu bài toán tổng quát với đầu vào là một câu văn bản tiếng Việt và đầu ra là câu đã được khôi phục các từ độc hại bị viết sai. Mục tiêu khóa luận hướng tới việc chứng minh tính khả thi của kỹ thuật nhúng từ trên ngữ liệu tiếng Việt, thiết lập các đóng góp khoa học (trong đó có bài báo công bố tại hội nghị NAFOSTED-NICS 2020) và xác định phạm vi nghiên cứu xoay quanh tập ngữ liệu VLSP 2019.

Chương 2: Tổng quan tình hình nghiên cứu

Chương này hệ thống hóa các phân loại lỗi chính tả kinh điển trong xử lý ngôn ngữ tự nhiên:

  • Lỗi không thành từ (non-word): Từ viết sai không xuất hiện trong từ điển, chủ yếu do đánh máy nhầm (typo).
  • Lỗi thành từ (real-word): Từ viết sai vẫn có trong từ điển nhưng sai lệch về mặt ngữ nghĩa trong ngữ cảnh câu (ví dụ "nuôi" thay vì "nui"). Lỗi này được phân chia thành 4 dạng: sai thanh điệu, sai phụ âm đầu, sai phụ âm cuối và sai nguyên âm ở giữa.

Tác giả khảo sát các công trình quốc tế sử dụng mô hình Seq2Seq kết hợp CNN và GRU (Kristansson, 2017), thuật toán Symmetric Delete kết hợp N-gram (Garbe, 2012), mô hình Soft-Masked BERT cho tiếng Trung (Zhang, 2020), cũng như các hệ thống trong lĩnh vực chuyên biệt như thương mại điện tử (Hasan, 2015) và y tế (Balabaeva, 2020). Đối với tiếng Việt, các nghiên cứu trước đây chủ yếu tập trung vào sửa lỗi đầu ra nhận dạng ký tự quang học OCR (Hoang, 2012), nén bảng N-gram (Nguyen, 2015) hoặc dịch máy thống kê/nơ-ron (Pham, 2019). Tác giả nhận định chưa có bất kỳ nghiên cứu nào tại Việt Nam giải quyết chuyên sâu bài toán sửa lỗi chính tả cho từ độc hại và chỉ ra sự thiếu hụt của các bộ dữ liệu chuẩn hóa phục vụ hướng nghiên cứu này.

Chương 3: Kiến thức nền tảng

Chương 3 trình bày chi tiết cơ sở toán học của các kỹ thuật xử lý văn bản:

  • Mô hình nhúng từ: Phân tích cơ chế xây dựng ma trận Word-Document và Co-occurrence Matrix kết hợp SVD; nguyên lý hoạt động của mạng nơ-ron word2vec thông qua hai kiến trúc Skip-gram và CBOW với hàm kích hoạt Softmax ở tầng đầu ra; kỹ thuật phân đoạn n-gram ký tự con của thư viện fastText.
  • Khoảng cách chỉnh sửa: Định nghĩa và phân loại 5 độ đo khoảng cách chuỗi phổ biến: Jaro distance, Hamming distance, Longest Common Subsequence (LCS), Levenshtein distance và Damerau-Levenshtein distance. Tác giả chứng minh tính ưu việt của Damerau-Levenshtein đối với dữ liệu mạng xã hội nhờ bao quát đầy đủ 4 thao tác biến đổi ký tự.

Chương 4: Phương pháp

Chương 4 mô tả toàn diện quy trình xử lý của hệ thống:

  1. Tiền xử lý: Chuyển văn bản về chữ thường; loại bỏ ký tự trắng đầu/cuối; xóa bỏ ký tự số, ký tự đặc biệt, khoảng trắng thừa và các thẻ định dạng HTML/CSS.
  2. Tạo ứng viên: Xây dựng bộ từ vựng mở rộng kết hợp giữa dữ liệu huấn luyện VLSP và 12 chuyên mục báo VnExpress. Những từ trong câu kiểm thử không xuất hiện trong tập từ vựng này được xác định là từ nghi ngờ sai lỗi. Với mỗi từ sai, hệ thống trích xuất tập ứng viên từ vựng có khoảng cách Damerau-Levenshtein nhỏ hơn 3, đồng thời trích xuất các từ ngữ cảnh lân cận trong cửa sổ trượt $p$.
  3. Sửa lỗi và cải tiến đề xuất: Ánh xạ ứng viên và từ ngữ cảnh sang vector word2vec Skip-gram (300 chiều). Xác định ứng viên có khoảng cách chuẩn hóa Euclide nhỏ nhất. Ứng viên này được kiểm tra điều kiện thành viên trong tập từ độc hại mục tiêu (True Toxic Vocabulary – tập từ xuất hiện thường xuyên trong nhãn HATE/OFFENSIVE nhưng hiếm gặp trong nhãn CLEAN). Nếu thỏa mãn, ứng viên được thay thế vào câu; nếu không, từ ban đầu được giữ nguyên.
  4. Quy trình tạo dữ liệu kiểm thử: Xây dựng bộ từ điển ánh xạ từ độc hại sang dạng lỗi thực tế thu thập từ Facebook và YouTube. Thay thế ngẫu nhiên một từ độc hại trong mỗi câu thuộc lớp HATE và OFFENSIVE của tập kiểm thử bằng biến thể lỗi tương ứng.

Chương 5: Thí nghiệm và kết quả

Chương 5 trình bày các thiết lập thực nghiệm và phân tích dữ liệu:

  • Phân tích tập dữ liệu VLSP Shared Task 2019: Phản ánh hiện tượng mất cân bằng nhãn trầm trọng với 91,5% câu thuộc nhãn CLEAN, 5,0% nhãn OFFENSIVE và 3,5% nhãn HATE. Dữ liệu huấn luyện gốc (20.345 câu) được phân chia lại theo tỷ lệ 75:25 thành tập huấn luyện mới (16.276 câu) và tập kiểm thử mới (4.069 câu).
  • Phân tích đặc trưng lỗi độc hại: Thống kê chiều dài lỗi và tần suất xuất hiện của các thao tác chỉnh sửa.
  • Đánh giá mô hình: Sử dụng các thang đo Recall, Precision, F1-score và tỷ lệ gán nhãn sai False Positive Rate (FPR). So sánh chi tiết hiệu năng giữa các biến thể nhúng từ và các công cụ đối chuẩn (SymSpell, Google Spell Checker).
  • Kiểm chứng thực tế: Đo lường mức độ suy giảm và phục hồi hiệu suất của mô hình phân lớp Hate Speech Detection trước và sau khi tích hợp mô-đun sửa lỗi chính tả vào bước tiền xử lý.

Chương 6: Kết luận và hướng phát triển

Chương tổng kết khẳng định tính đúng đắn của việc áp dụng mô hình nhúng từ Skip-gram kết hợp bước lọc từ vựng độc hại cải tiến trên tiếng Việt, đồng thời vạch ra các định hướng hoàn thiện hệ thống trong các giai đoạn tiếp theo.

Kết quả và đóng góp

Nghiên cứu đạt được các kết quả thực nghiệm định lượng trên tập dữ liệu kiểm thử gồm 356 câu chứa lỗi chính tả độc hại (thuộc hai lớp HATE và OFFENSIVE):

Thao tác chỉnh sửa Tỷ lệ xuất hiện Chiều dài từ lỗi Tỷ lệ phân bố
Thêm ký tự 60% 2 ký tự 18%
Thay thế ký tự 37% 3 ký tự 70%
Hoán vị ký tự 3% 4 ký tự 3%
Xóa ký tự 0% 5 ký tự 9%

Thống kê cho thấy người dùng chủ yếu tạo lỗi trên các từ ngắn (70% từ có 3 ký tự) thông qua thao tác thêm hoặc thay thế ký tự. Thao tác xóa không xuất hiện (0%) do việc lược bỏ ký tự trên các từ ngắn tiếng Việt sẽ làm triệt tiêu ngữ nghĩa, khiến người đọc không còn nhận diện được nội dung truyền tải.

Kết quả so sánh hiệu năng sửa lỗi chính tả độc hại giữa các mô hình được tổng hợp như sau:

Phương pháp / Mô hình Số lỗi sửa đúng (trên 356) Recall F1-score
Mô hình đề xuất (word2vec Skip-gram) 267 75,0% 76,0%
Mô hình word2vec CBOW - - 74,4%
Mô hình fastText CBOW - 68,2% 69,x%
Thư viện SymSpell 254 71,3% 72,0%
Google Spell Checker 143 40,2% 52,x%

Các đóng góp chính của đề tài bao gồm:

  1. Đóng góp về thuật toán: Đề xuất bước kiểm tra chéo ứng viên với bộ từ vựng độc hại mục tiêu. Cải tiến này giúp loại bỏ 1,9% các trường hợp đề xuất ứng viên thông thường, từ đó nâng Precision cao hơn Recall, ngăn chặn việc bình luận tiêu cực bị tẩy trắng hoặc bình luận bình thường bị gán nhãn độc hại nhầm lẫn.
  2. Đóng góp về lựa chọn kiến trúc: Chứng minh thực nghiệm cho thấy word2vec Skip-gram đạt hiệu quả tối ưu nhất (76,0% F1-score), vượt trội hơn so với word2vec CBOW (74,4%) và fastText CBOW. Mô hình đề xuất sửa đúng 267 lỗi, vượt qua SymSpell (254 lỗi) và Google Spell Checker (143 lỗi). Google Spell Checker đạt kết quả thấp do kho ngữ liệu quá rộng lớn, dẫn đến việc xem các từ lỗi độc hại như những biến thể hợp lệ hoặc tên riêng nên bỏ qua không sửa.
  3. Đóng góp ứng dụng vào bài toán Hate Speech Detection: Hiệu suất mô hình phân lớp Hate Speech ban đầu đạt 64,0% F1-score. Khi xuất hiện lỗi chính tả độc hại, hiệu năng mô hình sụt giảm mạnh xuống còn 42,0% F1-score. Khi tích hợp mô-đun sửa lỗi của khóa luận vào công đoạn tiền xử lý, hiệu suất mô hình phục hồi lên mức 62,x% F1-score.
  4. Công bố khoa học: Toàn bộ nghiên cứu đã được chuyển hóa thành bài báo khoa học với tiêu đề "Vietnamese Context-Sensitive Malicious Spelling Error Correction" và được chấp nhận đăng tại kỷ yếu hội nghị khoa học quốc tế 2020 7th NAFOSTED Conference on Information and Computer Science (NICS).

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế gắn liền với phạm vi dữ liệu và giả định thực nghiệm:

  • Tập dữ liệu VLSP Hate Speech 2019 có sự mất cân bằng nghiêm trọng giữa các nhãn (91,5% là nhãn CLEAN), tạo rào cản lớn cho việc huấn luyện không gian vector biểu diễn các từ độc hại thuộc nhóm HATE và OFFENSIVE.
  • Việc xây dựng bộ từ điển độc hại mục tiêu còn phụ thuộc vào thống kê tần suất kết hợp lọc thủ công cảm quan, chưa có một hệ khung lý thuyết ngôn ngữ học chuẩn hóa tuyệt đối để phân định ranh giới giữa từ độc hại và từ thông thường trong các ngữ cảnh đa nghĩa (ví dụ từ xưng hô "mày").
  • Thực nghiệm kiểm thử mới dừng lại ở kịch bản giả lập mỗi bình luận chỉ chứa duy nhất một lỗi chính tả độc hại, chưa mô phỏng toàn diện trường hợp người dùng cố ý chèn đồng thời nhiều lỗi phức tạp trong cùng một câu văn.

Các hướng mở rộng nghiên cứu được đề xuất:

  • Mở rộng quy mô và mức độ đa dạng của bộ từ điển độc hại tiếng Việt dựa trên các nguồn dữ liệu mạng xã hội quy mô lớn hơn.
  • Thử nghiệm các kiến trúc mô hình ngôn ngữ sâu hơn nhằm nâng cao khả năng nắm bắt ngữ cảnh dài.
  • Nghiên cứu cơ chế sửa lỗi đồng thời cho các câu bình luận chứa nhiều lỗi chính tả độc hại phức tạp liên tiếp.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo phù hợp cho sinh viên, học viên cao học và các nhóm nghiên cứu thuộc ngành Khoa học máy tính, Công nghệ thông tin và Ngôn ngữ học tính toán đang tìm hiểu về bài toán xử lý văn bản phi chuẩn trên mạng xã hội.

Các nội dung có giá trị tham khảo ứng dụng cao gồm:

  • Quy trình toán học kết hợp giữa khoảng cách chỉnh sửa Damerau-Levenshtein và không gian vector ngữ nghĩa để tối ưu hóa việc tìm kiếm ứng viên thay thế.
  • Ý tưởng cải tiến thuật toán bằng việc bổ sung lớp lọc từ vựng mục tiêu, giải quyết bài toán mất cân bằng dữ liệu trong các hệ thống phân lớp văn bản nhạy cảm.
  • Phương pháp sinh dữ liệu kiểm thử bán tự động dựa trên quy luật gõ lỗi thực tế từ mạng xã hội, giải quyết bài toán thiếu hụt dữ liệu gán nhãn cho các bài toán xử lý ngôn ngữ tiếng Việt.

Câu hỏi thường gặp

1. Lỗi chính tả độc hại khác gì so với lỗi chính tả thông thường? Lỗi chính tả thông thường chủ yếu xuất phát từ việc gõ nhầm (typo) hoặc khác biệt phát âm vùng miền, không làm ảnh hưởng đến quyết định của bộ lọc. Ngược lại, lỗi chính tả độc hại là hành vi cố ý làm biến dạng các từ khóa nhạy cảm nhằm qua mặt các bộ lọc và hệ thống kiểm duyệt tự động, nhưng vẫn đảm bảo người đọc trên mạng xã hội hiểu được nội dung xúc phạm hoặc gây hấn.

2. Vì sao nhóm tác giả lựa chọn word2vec Skip-gram thay vì CBOW như nghiên cứu gốc của H. Gong? Theo đặc tính kỹ thuật, kiến trúc CBOW dự đoán từ trung tâm dựa vào ngữ cảnh nên phù hợp với tập dữ liệu lớn và các từ xuất hiện phổ biến. Ngược lại, Skip-gram sử dụng từ trung tâm để dự đoán ngữ cảnh, mang lại hiệu quả biểu diễn vượt trội trên các tập dữ liệu nhỏ và có khả năng học các từ hiếm gặp tốt hơn. Thực nghiệm cho thấy Skip-gram đạt F1-score 76,0%, cao hơn mức 74,4% của CBOW.

3. Tại sao thao tác xóa ký tự lại chiếm tỷ lệ 0% trong phân tích lỗi độc hại thực tế? Dữ liệu thực nghiệm chỉ ra rằng 70% từ chứa lỗi độc hại có độ dài chỉ gồm 3 ký tự. Do độ dài từ quá ngắn, nếu thực hiện thao tác xóa đi một ký tự, từ sẽ mất hoàn toàn ngữ nghĩa nhận diện (ví dụ từ "điên" bị xóa thành "điê"), đi ngược lại mục đích của người viết là muốn người đọc vẫn hiểu được nội dung chửi bới. Do đó, người dùng thực tế chỉ sử dụng thao tác thêm (60%) hoặc thay thế (37%).

4. Cải tiến của nhóm tác giả so với công trình của H. Gong là gì và đem lại lợi ích cụ thể nào? Nghiên cứu gốc của H. Gong đề xuất mọi ứng viên gần nhất mà không phân biệt từ loại, dẫn đến nguy cơ sửa nhầm từ độc hại thành từ bình thường nếu vector từ chưa được tối ưu. Nhóm tác giả bổ sung bước hậu kiểm tra: chỉ chấp nhận thay thế nếu ứng viên thuộc bộ từ vựng độc hại mục tiêu (True Toxic Vocabulary). Cải tiến này giúp loại bỏ 1,9% số lỗi bị sửa sai thành từ bình thường, nâng cao độ chính xác Precision và đảm bảo giữ nguyên ngữ nghĩa tiêu cực của câu để bộ phân lớp nhận diện chính xác.

5. Mô hình sửa lỗi đóng vai trò gì đối với hệ thống phát hiện ngôn từ thù địch (Hate Speech Detection)? Khi có sự xuất hiện của lỗi chính tả độc hại, hiệu suất của mô hình Hate Speech Detection bị sụt giảm nghiêm trọng từ 64,0% xuống còn 42,0% F1-score do các từ khóa bị ẩn giấu. Khi tích hợp công cụ sửa lỗi chính tả vào khâu tiền xử lý, các từ độc hại được phục hồi, giúp hiệu suất của mô hình phân lớp tăng trở lại mức 62,x% F1-score, tiệm cận với độ chính xác trên tập dữ liệu chuẩn ban đầu.

Kết luận

Khóa luận tốt nghiệp của sinh viên Đào Phước Bản và Nguyễn Thùy Linh đã giải quyết trọn vẹn bài toán sửa lỗi chính tả cho từ độc hại trong bình luận tiếng Việt bằng phương pháp kết hợp khoảng cách Damerau-Levenshtein và mô hình nhúng từ word2vec Skip-gram. Cải tiến lọc ứng viên qua tập từ vựng độc hại mục tiêu đã khắc phục hạn chế của các nghiên cứu quốc tế trước đó, giúp mô hình đạt F1-score 76,0% và phục hồi đáng kể độ chính xác của hệ thống phát hiện ngôn từ thù địch. Công trình mang tính tiên phong đối với ngữ liệu tiếng Việt, cung cấp giải pháp kỹ thuật hữu ích cho công tác kiểm duyệt nội dung văn bản trên các nền tảng mạng xã hội và đã được ghi nhận thông qua công bố tại hội nghị khoa học quốc tế NAFOSTED-NICS 2020.