Chương 1. Mớ dau: Đặt van dé, trình bày định nghĩa bài toán. Tiếp theo trình bày mục tiêu khóa luận, xác định đối tượng và phạm vi đề tài. Cuối cùng là giới thiệu sơ lượt các nội dung chính của từng chương.
Tổng quan: Trình bày tổng quan tình hình cũng như xu hướng nghiên cứu trong và ngoài nước về các vấn đề liên quan. Bộ dữ liệu: Giới thiệu, mô tả các bộ dữ liệu sử dụng trong đề tài. Bên cạnh đó trình bày chỉ tiết quy trình xử lí dữ liệu. Frameword gán nhãn tự động: Trình bày các khái niệm, cơ sở lí thuyết, mô hình sử dụng trong framework đề xuất.
Chương 5: Cai đặt thực nghiệm và đánh giá kết quả: Mô tả ngăn gọn cài đặt thực nghiệm, kết quả framework, đánh giá nhận xét kết quả đạt được và phân tích lỗi. Kết luận và hướng phát triển: Trình bày các kết quả đạt được trong khóa luận này. Cùng với đó là các hạn chế và hướng cải thiện tiếp tục cho đề tài. Cac hướng nghiên cứu liên quan Trong khoảng thời gian gần đây, gán nhãn tự động dần trở thành một lĩnh vực nghiên cứu quan trọng.
Gán nhãn tự động có thê thúc đây tốc độ nghiên cứu các bài toán học máy giám sát, vì các bài toán này đều cần một lượng lớn dữ liệu có nhãn. Tuy nhiên, thông thường để cho ra một bộ dữ liệu có nhãn chất lượng đòi hỏi rất nhiều chi phí như nhân công gán nhãn và thời gian gan nhãn. Nghiên cứu về các phương pháp gan nhãn một cách tự động nhằm mục đích tối ưu hóa chi phí dành cho gán nhãn, tăng hiệu suât của các quy trình liên quan đên học máy. Gan nhãn tự động đã cho thấy được sự hiệu quả trong các ứng dụng khác nhau.
Tuy nhiên, lĩnh vực này vẫn còn thiếu hụt các nghiên cứu chuyên sâu về gán nhãn tự động cho các tác vụ xử lý văn bản đặc thù như chuẩn hóa văn bản, là quá trình chuyển đổi các từ ngữ không chuẩn, thường gặp trong ngôn ngữ tự nhiên như tiếng nói hoặc văn bản không chính thống, thành dang chuẩn hóa của chúng. Quá trình này đóng vai trò quan trọng trong việc nâng cao hiệu suất của các mô hình NLP. Chuẩn hóa từ vựng Mặc dù chuẩn hóa từ vựng vẫn còn là một lĩnh vực nghiên cứu mới, nhưng đã có một số nghiên cứu ban đầu cho thấy tiềm năng to lớn của nó. Hội thảo W-NUT đã lần đầu tiên tổ chức một shared task về chuẩn hóa từ vựng trên dir liệu User-Generated Content (UGC) trích xuất từ các tweet tiếng Anh [11].
Trong một nghiên cứu khác [12] đã sử dụng Random Forest Classifier để dự đoán từ ở dạng chuẩn phù hợp bằng cách tận dụng các đặc trưng như support, confidence, string similarity và POS tags. Các cách tiếp cận khác ứng dụng mô hình Conditional Random Fields (CRF) [13], [14] và mô hình recurrent neural networks (RNN) [15], [16]. MoNoise [17] là một công nghệ tiên tiến trong việc chuẩn hóa từ vựng, sử dụng tính năng sửa lỗi chính tả và word embeddings để tạo ứng cử viên, sau đó xếp hạng chúng bằng Feature-Based Random Forest Classifier. Ban đầu, mô hình này chỉ được 21 phát triển cho văn bản tiếng Anh, nhưng sau đó đã được mở rộng dé chuẩn hóa từ vựng đa ngôn ngữ như tiếng Hà Lan, tiếng Tây Ban Nha, tiếng Thổ Nhĩ Kỳ, tiếng Slovenia, tiếng Croatia và tiếng Serbia.
Các mô hình ngôn ngữ pre-trained ngày càng phát triển, khả năng thực hiện chuẩn hóa từ vựng của chúng cũng đã được nghiên cứu. Bang cách chuyền đôi bài toán chuẩn hóa từ vựng thành dự đoán token, nghiên cứu [1§] chứng minh rằng mô hình BERT [19] có thể được sử dụng làm mô hình chuẩn hóa từ vựng với một lượng giới hạn dữ liệu huấn luyện. Bên cạnh đó, nghiên cứu [20] ứng dụng lại mô hình pre- trained mBART [21] làm encoder tự động khử nhiễu, tức là dịch từ một câu bad English sang good English. Phương pháp này xem xét toàn bộ câu khi chuẩn hóa văn bản và có thé mở rộng sang nhiều ngôn ngữ khác mà không tăng chi phí tính toán.
So với các ngôn ngữ khác trên thế giới, đặc biệt là tiếng Anh, các nhà nghiên cứu đã cập nhật các phương pháp tiên tiến dé giải quyết bài toán chuẩn hóa từ vựng, thì tiến độ nghiên cứu bài toán tương tự trên ngôn ngữ tiếng Việt vẫn đang đi khá chậm. Năm 2016, Nghiên cứu [22] chuẩn hóa dữ liệu tiếng Việt trích xuất từ Twitter. Bước chuẩn hóa sẽ phát hiện các lỗi chính tả trong một tweet và sửa chúng bằng cách sử dụng hệ số Dice hoặc n-gram. Sau đó, thuật toán Support Vector Machine (SVM) được sử dụng để học một classifier bằng cách sử dụng sáu loại đặc trưng khác nhau.
Đến năm 2019, nghiên cứu [23] sử dụng một phương pháp kết hợp dé chuẩn hóa văn bản tiếng Việt từ dữ liệu speech-to-text. Nhóm tác giả phân loại đầu tiên các NSW thành các loại khác nhau bằng cách sử dụng Random Forest, sau đó dịch các NSW, tùy thuộc vào loại từ của chúng, thành các âm tiết có thé phát âm được. Đối với văn bản dạng chữ số có thể được mở rộng bằng các quy tắc được xác định rõ ràng, trong khi hầu hết các loại chữ cái được chuân hóa bằng mô hình Deep Learning (Sequence- To-Sequence). Vào năm 2022, nghiên cứu [24] thực hiện chuẩn hóa văn bản từ các mau tin tức thành dang nói cho hệ thống Text-to-speech (TTS).
Một công cụ gắn thẻ dựa trên mô hình (conditional random field, BILSTM-CNN-CRF và BERT-BiGRU- CRF) được thiết kế dé phát hiện các NSW. Sau đó, tùy thuộc vào loại NSW, trình 22 chuẩn hóa dựa trên quy tắc (thuật toán Forward Lexicon-Based Maximum Matching) sẽ dịch các NSW đó thành dạng lời nói cuối cùng của chúng. Gần đây nhất là hai nghiên cứu nhằm giải quyết trực tiếp bài toán chuẩn hóa từ vựng tiếng Việt, đặc biệt là ngôn ngữ trên mạng xã hội. Nghiên cứu [25] tập trung vào việc chuẩn hóa văn bản nhằm cải thiện hiệu quả bải tooán Hate Speech Detection.
Nghiên cứu trên đề xuất một hệ thống tự động sử dụng mô hình Sequence-To- Sequence có khả năng chuẩn hóa các từ ngữ không chuẩn, từ đó nâng cao độ chính xác của các mô hình Hate Speech Detection. Bên cạnh đó, nghiên cứu [26] cung cấp một tập dữ liệu lớn và chi tiết về việc chuẩn hóa từ vựng cho văn bản tiếng Việt trên mạng xã hội. ViLexNorm xây dựng một tập dữ liệu chuẩn hóa từ các bải viết, bình luận trên các nền tảng mạng xã hội phổ biến tại Việt Nam. Ngoài ra, ViLexNorm cũng đề xuất một loạt các phương pháp tiếp cận hiện đại như Transformer-based models dé thực hiện quá trình chuẩn hóa.
Có thé thấy rằng có rất ít các nghiên cứu về dé tài chuẩn hóa từ vựng ở Việt Nam. Các nghiên cứu trước đây hầu như chưa áp dụng các mô hình pre-trained cho tác vụ này và cũng ít tập trung vào dữ liệu từ một thị trường tiềm năng hiện nay như mạng xã hội. Để khắc phục những hạn chế này, nhóm đề xuất một phương án tiếp cận trực tiếp đến chuẩn hóa văn bản, không thông qua bước phát hiện lỗi (detection), và học trên tập dữ liệu trích xuất từ các mạng xã hội phô biến ở Việt Nam như Facebook, TikTok, YouTube. Tập dữ liệu này bao gồm một lượng lớn NSW, và mô hình đề xuất còn có khả năng tổng quát hóa và ánh xạ các NSW thành dạng chuẩn.
Dựa trên bài báo của nghiên cứu trước, chúng tôi đề xuất ứng dụng và fine-tune các mô hình pre-trained nổi bật hiện nay cho tiếng Việt như PhoBERT [7], BARTPho [27], ViSoBERT [28] cho bài toán chuẩn hóa từ vựng trên dit liệu tiếng Việt. Cách tiếp cận này không chỉ tận dụng được sức mạnh của các mô hình ngôn ngữ hiện đại mà còn giúp cải thiện độ chính xác và hiệu quả của việc chuẩn hóa từ vựng trong ngữ cảnh mạng xã hội tại Việt Nam. Gan nhãn tự động Trong thập kỷ qua, các phương pháp deep learning đã đạt được nhiều thành công đáng ké và đạt kết quả tốt nhất trên nhiều loại dit liệu, tác vụ và lĩnh vực. Tuy nhiên, phần lớn các mô hình này thành công nhờ các kiến trúc phức tạp được huấn luyện trên tập dt liệu lớn đã được dán nhãn.
Quá trình thu thập, quản lý va dán nhãn các tập huấn luyện này theo cách thủ công thường rat tốn thời gian và công sức. Dé giải quyết nút thắt khan hiếm nhãn, nhiều phương pháp tiếp cận cô điển đã một lần nữa nhận được sự quan tâm. Ví dụ, Active Learning (AL) [29] chọn những mẫu dữ liệu có nhiều thông tin nhất dé huấn luyện mô hình với ngân sách gan nhãn hạn ché. Semi-Supervised Learning (SSL) [30] tận dụng một tập dữ liệu chưa được dán nhãn dé cải thiện hiệu suất của mô hình.
Transfer Learning (TL) [31] huấn luyện trước một mô hình trên một domain dé nâng cao hiệu suất trên các domain khác. Tuy nhiên, các phương pháp này vẫn yêu cầu một tập dữ liệu đã được dán nhãn trước đó dé đạt được hiệu suất đạt tiêu chuẩn, đo đó chưa giải quyết được hoàn toàn nút thắt khan hiếm nhãn. Để thực sự giảm bớt gánh nặng của việc gan nhãn, các nhà nghiên cứu đã sử dụng các nguồn nhãn rẻ hơn. Một cách tiếp cận là distant supervision, trong đó các cơ sở external knowledge được tận dụng đề thu được các noisy labels [32].
Ngoài ra còn có các cách thức khác, bao gồm crowdsourced labels [33], heuristic rules [34], feature annotation [35],. Một câu hỏi đặt ra là: liệu chúng ta có thé kết hợp các cách tiếp cận này và phạm vi rộng hơn nữa của các đầu vào giám sát yếu tiềm năng theo cách có nguyên tắc và trừu tượng không? Gần đây, Programmatic Weak Supervision (PWS) đã đưa ra câu trả lời khang định cho câu hỏi này [36]. Trong PWS, người dùng mã hóa các nguồn giám sát yếu, ví dụ: heuristics, knowledge bases và các mô hình pre-trained, dưới dạng các LF - các chương trình do người dùng xác định, mỗi chương trình cung cấp nhãn cho một sé tập hợp con dữ liệu, cùng nhau tao ra một tap hợp lớn các nhãn huấn luyện. Tuy nhiên, các LF thường gây ra nhiễu với các tỷ lệ khác nhau và có thé tạo ra các nhãn 24 xung đột trên một số điểm dữ liệu nhất định.
Dé giải quyết những van đề này, các nhà nghiên cứu đã phát triển các label models tổng hợp các nhãn khác nhau được tạo ra bởi LF [37]. Sau đó, các nhãn huấn luyện lần lượt được sử dụng dé huấn luyện end model cho các nhiệm vụ tiếp theo. Ngoài ra, các nhà nghiên cứu sau nay cũng khám pha khả năng ghép nối label model và end model, gọi là joint model [38].