Khung Giám Sát Yếu Gắn Nhãn Dữ Liệu Cho Bài Toán Chuẩn Hóa Từ Vựng Mạng Xã Hội Tiếng Việt

• Tác giả: Nguyễn Thị Hoàng Anh
• Người hướng dẫn: ThS. Nguyễn Văn Kiệt
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Khoa học Dữ liệu
• Đề tài: Khung Giám Sát Yếu Gắn Nhãn Dữ Liệu Cho Chuẩn Hóa Từ Vựng Mạng Xã Hội Tiếng Việt
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Định nghĩa, gán nhãn dữ liệu, chuẩn hóa từ vựng, mục tiêu khóa luận, đối tượng và phạm vi nghiên cứu
• 1.2. Các nội dung chính
• 1.3. Các hướng nghiên cứu liên quan: Chuẩn hóa từ vựng, gán nhãn tự động, vấn đề cần giải quyết
• 1.4. Bộ dữ liệu: Giới thiệu về các bộ dữ liệu
• 1.5. Quy trình xử lý dữ liệu: Tiền xử lý dữ liệu
• 2. CHƯƠNG 2: FRAMEWORK GÁN NHÃN GIÁM SÁT YẾU
• 2.1. Các mô hình ngôn ngữ pre-trained: Mô hình VISOBERTT, PhoBERT
• 2.2. Mô hình BARTpho
• 2.3. Tinh chỉnh mô hình pre-trained cho bài toán chuẩn hóa từ vựng: Tách từ vựng căn chỉnh song song, điều chỉnh kiến trúc mô hình pre-trained, mô hình Teacher
• 2.4. Các luật yếu áp dụng (Weak rules), biểu thức chính quy (Regular Expression), Rule Attention Network
• 2.5. Quy trình huấn luyện Framework: Bước 1 đến bước 5
• 3. CHƯƠNG 3: CÀI ĐẶT, KẾT QUẢ VÀ ĐÁNH GIÁ
• 3.1. Thực nghiệm 1: Đánh giá khả năng gán nhãn của Framework đề xuất
• 3.2. Thực nghiệm 2: Tỷ lệ bỏ dấu trong dữ liệu huấn luyện và ảnh hưởng đến chuẩn hóa câu thiếu dấu
• 3.3. Thực nghiệm 3: Quan sát kết quả dự đoán trên tập dữ liệu
• 3.4. Phương pháp đánh giá
• 3.5. Đo đạc đánh giá độ chính xác chuẩn hóa từ vựng
• 3.6. Thực nghiệm chi tiết và so sánh thời gian huấn luyện mô hình
• 3.7. Thực nghiệm Framework trong các tác vụ downstream: Hate Speech Detection, Emotion Recognition, Hate Speech Span Detection, Spam Review Detection, Aspect-Based Sentiment Analysis
• 4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 4.1. Kết quả đạt được
• 4.2. Hướng phát triển
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

I. Tổng Quan Về Khung Giám Sát Yếu Gắn Nhãn Dữ Liệu

Khung giám sát yếu gắn nhãn dữ liệu là một phương pháp tiên tiến trong việc chuẩn hóa từ vựng mạng xã hội tiếng Việt. Phương pháp này kết hợp giữa học bán giám sát và học giám sát yếu, giúp tăng cường chất lượng dữ liệu huấn luyện mà không cần quá nhiều nguồn lực con người. Việc chuẩn hóa từ vựng không chỉ giúp cải thiện độ chính xác của các mô hình NLP mà còn tạo ra một bộ dữ liệu đồng nhất và đáng tin cậy.

1.1. Khái Niệm Về Khung Giám Sát Yếu

Khung giám sát yếu là một phương pháp học máy cho phép gán nhãn dữ liệu mà không cần sự can thiệp hoàn toàn từ con người. Phương pháp này sử dụng một lượng nhỏ dữ liệu có nhãn để tạo ra nhãn cho một lượng lớn dữ liệu không có nhãn.

1.2. Tầm Quan Trọng Của Chuẩn Hóa Từ Vựng

Chuẩn hóa từ vựng là quá trình chuyển đổi các từ không chuẩn thành dạng chuẩn, giúp cải thiện khả năng hiểu và xử lý ngôn ngữ tự nhiên. Điều này đặc biệt quan trọng trong bối cảnh mạng xã hội, nơi mà ngôn ngữ thường xuyên thay đổi.

II. Vấn Đề Và Thách Thức Trong Chuẩn Hóa Từ Vựng

Mạng xã hội tiếng Việt đang đối mặt với nhiều thách thức trong việc chuẩn hóa từ vựng. Sự đa dạng về ngôn ngữ, cách sử dụng từ ngữ và sự xuất hiện của từ mới là những yếu tố gây khó khăn cho việc xây dựng bộ dữ liệu chuẩn. Các vấn đề này cần được giải quyết để đảm bảo tính chính xác và nhất quán trong các mô hình NLP.

2.1. Đặc Điểm Ngôn Ngữ Mạng Xã Hội

Ngôn ngữ mạng xã hội thường xuyên thay đổi và có nhiều biến thể khác nhau. Điều này dẫn đến sự khó khăn trong việc xác định từ nào là chuẩn và từ nào là không chuẩn.

2.2. Sự Xuất Hiện Của Từ Mới Và Tiếng Lóng

Người dùng mạng xã hội thường tạo ra từ mới và tiếng lóng, điều này làm cho việc chuẩn hóa trở nên phức tạp. Những từ này thường không có trong từ điển chính thức và không theo quy tắc ngữ pháp nào.

III. Phương Pháp Giải Quyết Vấn Đề Chuẩn Hóa Từ Vựng

Để giải quyết các vấn đề trong chuẩn hóa từ vựng, nhóm nghiên cứu đã đề xuất một framework gán nhãn tự động. Framework này kết hợp giữa học bán giám sát và học giám sát yếu, giúp tăng cường chất lượng dữ liệu huấn luyện mà giảm thiểu chi phí nhân lực.

3.1. Kết Hợp Học Bán Giám Sát Và Giám Sát Yếu

Phương pháp này cho phép sử dụng một lượng nhỏ dữ liệu có nhãn để gán nhãn cho một lượng lớn dữ liệu không có nhãn, từ đó cải thiện hiệu suất của mô hình.

3.2. Tinh Chỉnh Mô Hình Pre trained

Việc tinh chỉnh các mô hình ngôn ngữ pre-trained như BARTpho giúp nâng cao khả năng chuẩn hóa từ vựng, đảm bảo tính chính xác và nhất quán trong dữ liệu.

IV. Ứng Dụng Thực Tiễn Của Khung Giám Sát Yếu

Khung giám sát yếu không chỉ giúp chuẩn hóa từ vựng mà còn cải thiện hiệu suất của nhiều tác vụ NLP khác nhau. Các kết quả thực nghiệm cho thấy rằng việc chuẩn hóa văn bản có thể nâng cao độ chính xác của các mô hình trong các tác vụ như nhận diện ngữ nghĩa và phân tích cảm xúc.

4.1. Cải Thiện Hiệu Suất Tác Vụ NLP

Việc chuẩn hóa văn bản đã chứng minh khả năng cải thiện hiệu suất của các mô hình NLP từ 1-3% trong các chỉ số như Precision và F1-score.

4.2. Ứng Dụng Trong Các Tình Huống Thực Tế

Khung giám sát yếu có thể được áp dụng trong nhiều tình huống thực tế, từ phát hiện ngôn ngữ thù địch đến phân tích cảm xúc, giúp nâng cao chất lượng dữ liệu và độ chính xác của các mô hình.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Khung giám sát yếu gắn nhãn dữ liệu cho chuẩn hóa từ vựng mạng xã hội tiếng Việt đã chứng minh hiệu quả vượt trội trong việc nâng cao chất lượng dữ liệu. Hướng phát triển tương lai có thể tập trung vào việc mở rộng quy mô và cải thiện độ chính xác của các mô hình, đồng thời nghiên cứu thêm về các phương pháp chuẩn hóa mới.

5.1. Đánh Giá Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy rằng khung giám sát yếu có thể cải thiện đáng kể độ chính xác của các tác vụ NLP, mở ra hướng đi mới cho nghiên cứu trong lĩnh vực này.

5.2. Hướng Phát Triển Trong Tương Lai

Nghiên cứu có thể tiếp tục mở rộng để áp dụng khung giám sát yếu cho các ngôn ngữ khác, từ đó tạo ra một bộ dữ liệu đa dạng và phong phú hơn cho các mô hình học máy.