Luận văn thạc sĩ khoa học máy tính phát hiện tự động câu bình luận có xúc phạm cho dữ liệu mạng xã hội tiếng việt

Luận văn thạc sĩ về phát hiện tự động bình luận xúc phạm trên mạng xã hội tiếng Việt. Nghiên cứu khoa học máy tính hữu ích và thực tiễn.

• Tác giả: Lưu Thanh Sơn
• Người hướng dẫn: TS. Nguyễn Lưu Thùy Ngân
• Trường học: Trường Đại Học Công Nghệ Thông Tin - Đại Học Quốc Gia Thành Phố Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát Hiện Tự Động Câu Bình Luận Có Xúc Phạm Cho Dữ Liệu Mạng Xã Hội Tiếng Việt
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2021
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu và phạm vi nghiên cứu
• 1.2.1. Mục tiêu
• 1.2.2. Phạm vi nghiên cứu
• 1.3. Các đóng góp của luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Định nghĩa về bình luận xúc phạm
• 2.2. Bộ dữ liệu dùng cho bình luận xúc phạm
• 3. CHƯƠNG 3: XÂY DỰNG BỘ DỮ LIỆU
• 3.1. Mô tả bài toán phát hiện câu bình luận có xúc phạm
• 3.2. Xây dựng bộ dữ liệu
• 3.3. Hướng dẫn gán nhãn
• 3.3.1. Quy trình gán nhãn
• 3.3.2. Độ đồng thuận trong gán nhãn
• 4. CHƯƠNG 4: PHƯƠNG PHÁP MÁY HỌC DÙNG CHO BÀI TOÁN NHẬN DIỆN BÌNH LUẬN XÚC PHẠM
• 4.1. Các mô hình học sâu cho phân loại văn bản
• 4.1.1. Mô hình TextCNN
• 4.1.2. Mô hình Gated Recurrent Units
• 4.2. Các mô hình học chuyển tiếp cho phân loại văn bản
• 4.2.1. Mô hình đa ngôn ngữ
• 4.2.2. Mô hình đơn ngôn ngữ
• 4.3. Phương pháp khắc phục tình trạng mất cân bằng dữ liệu
• 4.3.1. Phương pháp tăng cường dữ liệu EDA
• 4.3.2. Phương pháp phối kết hợp
• 5. CHƯƠNG 5: THỬ NGHIỆM VÀ KẾT QUẢ
• 5.1. Chuẩn bị dữ liệu
• 5.2. Thiết lập thông số
• 6. CHƯƠNG 6: ỨNG DỤNG MINH HỌA
• 6.1. Kiến trúc tổng quan của chương trình
• 6.2. Giao diện của chương trình
• 6.3. Đánh giá chương trình minh họa
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• Kết luận. Kết luận
• Hướng phát triển. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A: CÁC YẾU TỐ ẢNH HƯỞNG TRONG QUÁ TRÌNH GÁN NHÃN
• A.1. Phân tích một số trường hợp khó gán nhãn trong bộ dữ liệu
• A.2. Sự ảnh hưởng của ngữ cảnh trong quá trình gán nhãn
• PHỤ LỤC B: CÔNG BỐ KHOA HỌC
• PHỤ LỤC C: GIẤY TỜ LIÊN QUAN ĐẾN LUẬN VĂN

Tóm tắt

I. Tổng quan Luận văn Phát hiện Bình luận Xúc phạm

Thống kê cho thấy mạng xã hội như Facebook, YouTube được sử dụng rộng rãi tại Việt Nam. Bên cạnh những lợi ích, mạng xã hội cũng tiềm ẩn nhiều rủi ro, đặc biệt là vấn đề bình luận xúc phạm. Các bình luận này thường mang tính công kích, gây rối, sử dụng ngôn ngữ khiếm nhã, nhắm vào cá nhân, tổ chức, hoặc cộng đồng. Hậu quả của sự xúc phạm này có thể gây tổn thương tâm lý, hạ nhục uy tín, hoặc thậm chí kích động thù ghét. Việc kiểm duyệt thủ công là khó khăn do số lượng bình luận lớn. Vì vậy, cần có công cụ phát hiện tự động giúp nhà quản trị loại bỏ các bình luận độc hại, giữ cho không gian mạng trong sạch. Các nghiên cứu tập trung vào bộ dữ liệu và phương pháp máy học. Thách thức bao gồm: độ đồng thuận khi gán nhãn, sự phụ thuộc vào văn hóa, sự đa dạng ngôn ngữ và nhận diện ngôn ngữ xúc phạm ẩn.

1.1. Nghiên cứu Bộ dữ liệu Bình luận Xúc phạm tiếng Việt

Các nghiên cứu về bộ dữ liệu tập trung vào thu thập, xây dựng và phân tích các đặc điểm ngôn ngữ của bình luận xúc phạm. Bộ dữ liệu có thể là đơn ngữ (Tiếng Việt, Tiếng Anh) hoặc đa ngữ. Bộ dữ liệu (dataset) bình luận tiếng Việt chất lượng là nền tảng quan trọng để huấn luyện mô hình. Cần quy trình gán nhãn cẩn thận để đảm bảo độ chính xác.

1.2. Phương pháp Học máy Phát hiện Ngôn ngữ Thù hận

Các phương pháp tiếp cận cho bài toán phát hiện bình luận xúc phạm bao gồm: dựa trên luật, máy học, và học sâu. Các thách thức chính bao gồm: độ đồng thuận thấp khi gán nhãn, sự phụ thuộc vào văn hóa, sự đa dạng về mặt ngôn ngữ khi sử dụng trên mạng xã hội, và cuối cùng là nhận diện ngôn ngữ xúc phạm được ẩn trong văn bản. Việc sử dụng xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt là cần thiết.

II. Mục tiêu Luận văn Nhận diện Bình luận Tiêu cực

Luận văn đặt mục tiêu xây dựng một bộ dữ liệu các bình luận xúc phạm và thử nghiệm nó trên các phương pháp máy học để phân lớp văn bản. Cụ thể, luận văn tập trung xây dựng quy trình gán nhãn và phương pháp đánh giá chất lượng bộ dữ liệu. Nghiên cứu, thử nghiệm và đánh giá các mô hình máy học và học sâu để áp dụng cho bài toán phát hiện tự động các bình luận tiêu cực trên mạng xã hội. Phạm vi nghiên cứu giới hạn trên Facebook và Youtube. Về bộ dữ liệu, luận văn tập trung thu thập các bình luận tiếng Việt, xây dựng hướng dẫn và quy trình gán nhãn.

2.1. Áp dụng Học sâu Phát hiện Xúc phạm trên Mạng xã hội

Trên lĩnh vực nhận diện các bình luận xúc phạm, các mô hình học sâu như CNN và LSTM cho kết quả vượt trội so với các mô hình truyền thống như SVM hay Logistic Regression. Mặt khác, sự xuất hiện của các mô hình học chuyển tiếp cũng đem lại kết quả rất khả quan cho bài toán nhận diện bình luận xúc phạm trên mạng xã hội. Do đó, luận văn chọn phương pháp tiếp cận học sâu và phương pháp học chuyển tiếp để áp dụng cho bài toán.

2.2. Xây dựng Quy trình Gán Nhãn Đánh giá Chất lượng

Luận văn xây dựng quy trình gán nhãn và phương pháp đánh giá chất lượng bộ dữ liệu. Đồng thời, luận văn phân tích sự ảnh hưởng của ngữ cảnh đối sự đồng thuận của các người gán nhãn trong quá trình gan nhãn, từ đó dé xuất hướng cải tiền độ đồng thuận. Việc kiểm duyệt nội dung cần sự chính xác cao.

2.3. Đánh giá Hiệu năng Mô hình Tăng cường Dữ liệu

Luận văn đánh giá hiệu năng của các mô hình máy học bao gồm TextCNN, GRU, các mô hình học chuyển tiếp đa ngôn ngữ gồm BERT, XLM-R, DistilBERT, và các mô hình học chuyển tiếp đơn ngôn ngữ cho tiếng Việt gồm PhoBERT và BERT4news. Đánh giá sự ảnh hưởng của các phương pháp tăng cường dữ liệu đối với các mô hình học máy trên bộ dữ liệu.

III. Phương pháp Xây dựng Bộ dữ liệu Bình luận Tiếng Việt

Chương này trình bày định nghĩa về bình luận xúc phạm trên mạng xã hội cùng các yếu tố và đặc điểm của nó. Để giải quyết cho bài toán này, bộ dữ liệu (dataset) bình luận tiếng Việt đóng vai trò then chốt. Luận văn trình bày quy trình MATTER cải tiến để xây dựng bộ dữ liệu. Bên cạnh đó, các kỹ thuật trích xuất đặc trưng bằng vector nhúng từ để mã hóa và trích xuất các đặc trưng từ văn bản thô. Cuối cùng là các độ đo đánh giá tính hiệu quả của các mô hình phân loại bình luận xúc phạm.

3.1. Đặc điểm và Yếu tố Cấu thành Bình luận Xúc phạm

Theo Fortuna và Nunes, bình luận xúc phạm (hate speech) là bình luận có yếu tố công kích, hạ nhục, cổ xúy cho bạo lực và thù ghét. Đối tượng có thể là cá nhân, nhóm người, hoặc cộng đồng. Các yếu tố xúc phạm bao gồm ngoại hình, đức tin, tôn giáo, xuất thân, dân tộc, giới tính, xu hướng tình dục. Yếu tố khôi hài quá mức cũng có thể xem là xúc phạm. Để nhận dạng được câu bình luận này, các hệ thống cần hiểu và trích xuất các đặc trưng.

3.2. Vai trò của Phân tích Cảm xúc trong Nhận diện Xúc phạm

Fortuna và Nunes cho rằng, cách tiếp cận bài toán này kế thừa các phương pháp từ bài toán khai phá văn bản. Phân tích cảm xúc (sentiment analysis) được áp dụng để rút trích và hiểu được cảm xúc của con người từ văn bản. Tuy nhiên, Schmidt và Wiegand chỉ ra, điểm khác biệt lớn nhất giữa phân tích cảm xúc và nhận diện bình luận xúc phạm là bài toán nhận diện bình luận xúc phạm sẽ nghiêng về dự đoán cảm xúc tiêu cực nhiều hơn. Bài toán cũng có thể tiếp cận đơn tác vụ hoặc đa tác vụ.

3.3. Quy trình Xây dựng Bộ dữ liệu Chất lượng cao cho NLP

Đối với bài toán nhận diện bình luận xúc phạm, các bộ dữ liệu là một trong các yếu tố rất quan trọng để có thể phân tích đặc điểm và xây dựng các mô hình dự đoán các bình luận mang tính xúc phạm một cách tự động. Quy trình xây dựng bộ dữ liệu và hướng dẫn gán nhãn đóng vai trò quyết định đến chất lượng. Do đó, việc xây dựng bộ dữ liệu đóng vai trò quyết định đối với bài toán nhận diện và phân loại các bình luận xúc phạm trên mạng xã hội.

IV. So sánh các Mô hình Học sâu Phân loại Văn bản

Luận văn so sánh các mô hình học sâu cho phân loại văn bản. Bộ dữ liệu được chia làm hai loại: nhãn phẳng và nhãn phân cấp. Với nhãn phẳng, mỗi câu bình luận thuộc một nhãn nhất định và các nhãn này phân biệt với nhau. Với nhãn phân cấp, mỗi nhãn ban đầu có các nhãn con để định nghĩa hoặc chỉ định một tính chất liên quan. Các bộ dữ liệu với các ngôn ngữ và số lượng nhãn khác nhau được liệt kê.

4.1. Các mô hình Học sâu phổ biến cho phân loại Bình luận

Luận văn nghiên cứu và so sánh hiệu quả của các mô hình học sâu như TextCNN và GRU trong bài toán phân loại bình luận xúc phạm. Các mô hình này đã chứng minh được khả năng vượt trội so với các mô hình truyền thống, đặc biệt trong việc nắm bắt các đặc trưng ngữ nghĩa phức tạp của ngôn ngữ tự nhiên.

4.2. Ứng dụng Học chuyển tiếp Transfer Learning trong NLP

Luận văn cũng tập trung vào việc ứng dụng các mô hình học chuyển tiếp như BERT và XLM-R để cải thiện hiệu suất phát hiện bình luận xúc phạm. Các mô hình này được huấn luyện trước trên một lượng lớn dữ liệu và có khả năng chuyển giao kiến thức sang các tác vụ khác, giúp giảm thiểu nhu cầu về dữ liệu huấn luyện và tăng cường khả năng khái quát hóa.

4.3. Phương pháp Xử lý Mất cân bằng Dữ liệu trong Huấn luyện

Luận văn đề xuất và thử nghiệm các phương pháp xử lý tình trạng mất cân bằng dữ liệu để cải thiện độ chính xác của các mô hình, đặc biệt đối với các nhãn ít được biểu diễn trong bộ dữ liệu. Các phương pháp này bao gồm tăng cường dữ liệu và học kết hợp.

V. Kết quả Thực nghiệm Đánh giá So sánh Mô hình

Luận văn trình bày kết quả thực nghiệm chi tiết về hiệu năng của các mô hình khác nhau trên bộ dữ liệu bình luận xúc phạm đã xây dựng. Các kết quả này được đánh giá dựa trên các độ đo phổ biến như độ chính xác, độ recall và độ F1. So sánh hiệu năng giữa các mô hình và phân tích điểm mạnh, điểm yếu của từng mô hình.

5.1. Ảnh hưởng của Tiền xử lý Dữ liệu tới Độ chính xác Mô hình

Luận văn đánh giá ảnh hưởng của các thao tác tiền xử lý dữ liệu như tách từ, loại bỏ stop words, loại bỏ emoji và các ký tự đặc biệt đối với hiệu năng của các mô hình phân loại bình luận xúc phạm. Kết quả cho thấy các thao tác tiền xử lý có thể cải thiện hoặc làm giảm hiệu năng của mô hình tùy thuộc vào đặc điểm của dữ liệu và mô hình.

5.2. Phân tích Lỗi và Đề xuất Cải tiến Mô hình trong tương lai

Luận văn phân tích các trường hợp dự đoán sai của mô hình và đưa ra các đề xuất cải tiến để tăng độ chính xác và khả năng khái quát hóa của mô hình trong tương lai. Phân tích này tập trung vào việc xác định các yếu tố ngôn ngữ phức tạp và các trường hợp khó phân loại.

VI. Kết luận Hướng Phát triển Kiểm duyệt Tự động

Luận văn đã đóng góp vào việc xây dựng bộ dữ liệu và đánh giá các phương pháp máy học cho bài toán phát hiện bình luận xúc phạm tiếng Việt. Kết quả nghiên cứu có thể ứng dụng vào hệ thống kiểm duyệt nội dung tự động trên mạng xã hội, góp phần tạo ra một không gian mạng an toàn và văn minh.

6.1. Tóm tắt Đóng góp Ý nghĩa của Luận văn trong NLP

Luận văn đã thành công trong việc xây dựng quy trình gán nhãn, đánh giá chất lượng bộ dữ liệu, phân tích ảnh hưởng của ngữ cảnh, đánh giá hiệu năng của các mô hình máy học và đề xuất mô hình kết hợp để nâng cao hiệu quả phân loại.

6.2. Hướng Nghiên cứu Phát triển Hệ thống Kiểm duyệt Tương lai

Luận văn đề xuất các hướng nghiên cứu và phát triển trong tương lai, bao gồm việc mở rộng bộ dữ liệu, nghiên cứu các phương pháp học máy tiên tiến hơn và xây dựng hệ thống kiểm duyệt nội dung tự động trên mạng xã hội với khả năng xử lý ngôn ngữ địa phương và ngữ cảnh phức tạp.

Nội dung chính

## Tổng quan nghiên cứu

Theo thống kê năm 2019, hơn 90% người dùng tại Việt Nam sử dụng mạng xã hội Facebook và 89% sử dụng Youtube, với dự báo số lượng người dùng mạng xã hội sẽ đạt khoảng 52 triệu vào năm 2023. Người dùng Facebook trung bình dành khoảng 2.5 giờ mỗi ngày trên nền tảng này. Mặc dù mạng xã hội mang lại nhiều tiện ích trong kết nối và giao lưu, vấn đề bình luận xúc phạm trên các nền tảng này ngày càng trở nên nghiêm trọng. Bình luận xúc phạm là những lời lẽ công kích, gây rối, sử dụng ngôn từ thô tục nhằm vào cá nhân, tổ chức hoặc cộng đồng, gây tổn thương tâm lý, làm giảm uy tín và tạo ra sự thù địch xã hội. Với lượng bình luận khổng lồ, việc kiểm duyệt thủ công trở nên khó khăn, đòi hỏi phát triển công cụ tự động nhận diện bình luận xúc phạm. Mục tiêu nghiên cứu là xây dựng bộ dữ liệu bình luận xúc phạm tiếng Việt từ Facebook và Youtube, đồng thời thử nghiệm các mô hình máy học và học sâu để phát hiện tự động các bình luận này, góp phần làm sạch môi trường mạng xã hội.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

- **Định nghĩa bình luận xúc phạm**: Bình luận xúc phạm là lời lẽ có yếu tố công kích, hạ nhục, cổ xúy bạo lực hoặc thù ghét dựa trên đặc điểm cá nhân hoặc nhóm như ngoại hình, tôn giáo, giới tính. Bình luận có thể biểu hiện trực tiếp hoặc ẩn ý, thậm chí dưới dạng hài hước quá mức.
- **Quy trình xây dựng bộ dữ liệu MATTER cải tiến**: Bao gồm các bước mô tả bài toán, gán nhãn, huấn luyện mô hình, đánh giá và cải tiến. Quy trình này giúp đảm bảo chất lượng dữ liệu và độ đồng thuận giữa người gán nhãn.
- **Phân loại văn bản**: Bài toán phân loại văn bản được thực hiện dựa trên mô hình học máy có giám sát, sử dụng các vector biểu diễn từ (word embeddings) để mã hóa văn bản thành dạng số phục vụ huấn luyện mô hình.
- **Các mô hình máy học áp dụng**: Bao gồm mô hình học sâu như TextCNN, GRU và các mô hình học chuyển tiếp (transfer learning) như BERT, XLM-R, PhoBERT, DistilBERT. Các mô hình này được tinh chỉnh để phù hợp với bài toán nhận diện bình luận xúc phạm.
- **Độ đo đánh giá mô hình**: Sử dụng các chỉ số Precision, Recall, Accuracy và F1-score để đánh giá hiệu quả phân loại, đặc biệt chú trọng F1-score do dữ liệu mất cân bằng.

### Phương pháp nghiên cứu

- **Nguồn dữ liệu**: Thu thập 33,400 câu bình luận từ các fanpage Facebook và kênh Youtube có lượng tương tác lớn tại Việt Nam, loại bỏ thông tin cá nhân để bảo vệ quyền riêng tư.
- **Phương pháp gán nhãn**: Sử dụng Google Sheets làm công cụ gán nhãn, với 4 người gán nhãn độc lập. Áp dụng phương pháp major voting để xác định nhãn cuối cùng, đồng thời đánh giá độ đồng thuận bằng chỉ số Cohen’s Kappa, đạt mức vừa phải (~0.53).
- **Phân chia dữ liệu**: Bộ dữ liệu được chia thành tập huấn luyện (70%), tập phát triển (10%) và tập kiểm tra (20%) với phân bố nhãn đồng đều.
- **Phương pháp phân tích**: Áp dụng các mô hình học sâu và học chuyển tiếp, kết hợp kỹ thuật tăng cường dữ liệu EDA để khắc phục mất cân bằng dữ liệu, đồng thời thử nghiệm mô hình kết hợp (ensemble) để nâng cao hiệu quả.
- **Timeline nghiên cứu**: Quá trình thu thập, gán nhãn và xây dựng bộ dữ liệu diễn ra trong khoảng thời gian nhất định, tiếp theo là giai đoạn huấn luyện và đánh giá mô hình, cuối cùng là phát triển ứng dụng minh họa.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

- Bộ dữ liệu gồm 33,400 câu bình luận, trong đó nhãn bình thường (clean) chiếm 27,624 câu (82.7%), nhãn tiêu cực (offensive) 2,262 câu (6.8%), và nhãn xúc phạm (hate) 3,514 câu (10.5%). Độ dài trung bình câu bình luận xúc phạm dài hơn (khoảng 44.91 từ) so với các nhãn khác.
- Độ đồng thuận giữa các người gán nhãn đạt mức vừa phải với chỉ số Cohen’s Kappa trung bình khoảng 0.53, cải thiện khi có ngữ cảnh bài viết đi kèm.
- Các mô hình học sâu như TextCNN và GRU đạt hiệu quả tốt hơn các mô hình truyền thống. Mô hình học chuyển tiếp đơn ngôn ngữ PhoBERT và BERT4news cho kết quả vượt trội so với mô hình đa ngôn ngữ m-BERT.
- Phương pháp tăng cường dữ liệu EDA giúp cân bằng số lượng dữ liệu giữa các nhãn, tăng số lượng câu nhãn tiêu cực và xúc phạm lên đáng kể, từ đó cải thiện hiệu năng mô hình.
- Mô hình kết hợp (ensemble) sử dụng kỹ thuật hard voting nâng cao độ chính xác và F1-score so với các mô hình đơn lẻ.

### Thảo luận kết quả

Nguyên nhân hiệu quả của mô hình học chuyển tiếp là do khả năng nắm bắt ngữ cảnh sâu sắc và biểu diễn ngôn ngữ tự nhiên tốt hơn. Việc tăng cường dữ liệu giúp giảm thiểu ảnh hưởng của mất cân bằng dữ liệu, vốn là thách thức lớn trong bài toán nhận diện bình luận xúc phạm. Độ đồng thuận vừa phải của người gán nhãn phản ánh tính phức tạp và đa dạng của ngôn ngữ mạng xã hội, đặc biệt với các bình luận ẩn ý hoặc sử dụng từ ngữ lóng, viết tắt. Kết quả này phù hợp với các nghiên cứu trước đó về nhận diện ngôn ngữ xúc phạm trên mạng xã hội. Dữ liệu có thể được trình bày qua biểu đồ phân bố nhãn, bảng ma trận nhầm lẫn và biểu đồ so sánh hiệu năng các mô hình trước và sau khi tăng cường dữ liệu.

## Đề xuất và khuyến nghị

- **Phát triển công cụ tự động**: Xây dựng hệ thống nhận diện bình luận xúc phạm tích hợp các mô hình học chuyển tiếp và kỹ thuật tăng cường dữ liệu, nhằm hỗ trợ quản trị viên fanpage lọc bình luận hiệu quả, giảm thiểu tác động tiêu cực trên mạng xã hội.
- **Đào tạo và cập nhật hướng dẫn gán nhãn**: Tăng cường huấn luyện người gán nhãn, cập nhật hướng dẫn gán nhãn để xử lý các trường hợp khó, đặc biệt là bình luận ẩn ý và sử dụng ngôn ngữ mạng xã hội đặc thù, nhằm nâng cao độ đồng thuận và chất lượng dữ liệu.
- **Mở rộng bộ dữ liệu**: Thu thập thêm dữ liệu từ các nền tảng mạng xã hội khác và các lĩnh vực khác nhau để tăng tính đa dạng và khả năng tổng quát của mô hình, dự kiến trong vòng 1-2 năm tới.
- **Nghiên cứu sâu về ngữ cảnh**: Tích hợp thông tin ngữ cảnh bài viết và lịch sử bình luận để cải thiện khả năng nhận diện bình luận xúc phạm ẩn ý, nâng cao độ chính xác của mô hình.
- **Khuyến khích hợp tác liên ngành**: Kết hợp chuyên gia ngôn ngữ, xã hội học và công nghệ thông tin để phát triển các giải pháp toàn diện, đảm bảo tính hiệu quả và phù hợp văn hóa trong nhận diện bình luận xúc phạm.

## Đối tượng nên tham khảo luận văn

- **Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Xử lý Ngôn ngữ Tự nhiên**: Nắm bắt quy trình xây dựng bộ dữ liệu và ứng dụng các mô hình học sâu, học chuyển tiếp trong bài toán phân loại văn bản.
- **Quản trị viên mạng xã hội và các nền tảng trực tuyến**: Áp dụng công cụ tự động phát hiện bình luận xúc phạm để quản lý nội dung, bảo vệ môi trường mạng lành mạnh.
- **Chuyên gia pháp lý và chính sách công**: Hiểu rõ các đặc điểm và thách thức trong nhận diện ngôn ngữ xúc phạm trên mạng xã hội, hỗ trợ xây dựng chính sách kiểm duyệt phù hợp.
- **Doanh nghiệp phát triển phần mềm và AI**: Tham khảo mô hình và phương pháp để phát triển các sản phẩm công nghệ hỗ trợ kiểm duyệt nội dung trực tuyến, nâng cao trải nghiệm người dùng.

## Câu hỏi thường gặp

1. **Bình luận xúc phạm được định nghĩa như thế nào?**  
Bình luận xúc phạm là lời lẽ có yếu tố công kích, hạ nhục hoặc cổ xúy bạo lực dựa trên đặc điểm cá nhân hoặc nhóm, có thể biểu hiện trực tiếp hoặc ẩn ý.

2. **Bộ dữ liệu được xây dựng như thế nào?**  
Bộ dữ liệu gồm 33,400 câu bình luận thu thập từ Facebook và Youtube, được gán nhãn bởi nhóm người gán nhãn độc lập theo quy trình chuẩn, đảm bảo độ đồng thuận vừa phải.

3. **Các mô hình máy học nào được sử dụng?**  
Nghiên cứu sử dụng mô hình học sâu TextCNN, GRU và các mô hình học chuyển tiếp như BERT, PhoBERT, XLM-R, kết hợp kỹ thuật tăng cường dữ liệu và mô hình kết hợp để nâng cao hiệu quả.

4. **Làm thế nào để khắc phục mất cân bằng dữ liệu?**  
Sử dụng phương pháp tăng cường dữ liệu EDA để tạo thêm dữ liệu cho các nhãn ít, kết hợp mô hình ensemble để cải thiện khả năng phân loại.

5. **Ứng dụng thực tiễn của nghiên cứu này là gì?**  
Phát triển công cụ tự động nhận diện bình luận xúc phạm giúp quản trị viên mạng xã hội kiểm duyệt nội dung nhanh chóng, giữ môi trường mạng trong sạch và thân thiện.

## Kết luận

- Xây dựng thành công bộ dữ liệu lớn gồm 33,400 câu bình luận tiếng Việt với 3 nhãn phân loại rõ ràng: clean, offensive, hate.  
- Áp dụng hiệu quả các mô hình học sâu và học chuyển tiếp, trong đó PhoBERT và mô hình kết hợp cho kết quả tốt nhất.  
- Phương pháp tăng cường dữ liệu EDA giúp cân bằng dữ liệu, cải thiện đáng kể hiệu năng mô hình.  
- Độ đồng thuận gán nhãn đạt mức vừa phải, có cải thiện khi bổ sung ngữ cảnh bài viết.  
- Đề xuất phát triển công cụ tự động, mở rộng bộ dữ liệu và nghiên cứu sâu về ngữ cảnh để nâng cao chất lượng nhận diện bình luận xúc phạm.  

Tiếp theo, cần triển khai ứng dụng thực tế và tiếp tục nghiên cứu mở rộng để đáp ứng nhu cầu quản lý nội dung mạng xã hội ngày càng tăng. Mời các nhà nghiên cứu và doanh nghiệp quan tâm hợp tác phát triển giải pháp này.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TONG QUAN mang xã hội cho Tiếng Việt. Các đóng góp của luận văn Luận văn này có các đóng góp chính như sau: * Xây dựng quy trình gan nhãn, xây dựng phương pháp đánh giá chất lượng bộ di liệu các câu bình luận mang tính xúc phạm trên mạng xã hội. * Phân tích sự ảnh hưởng của ngữ cảnh đối sự đồng thuận của các người gán nhãn trong quá trình gan nhãn, từ đó dé xuất hướng cải tiền độ đồng thuận.

* Đánh giá hiệu năng của các mô hình máy học bao gồm TextCNN, GRU, các mô hình học chuyển tiếp đa ngôn ngữ gồm BERT, XLM-R, DistilBERT, và các mô hình học chuyển tiếp đơn ngôn ngữ cho tiếng Việt gồm PhoBERT và BERT4news. * Đánh giá sự ảnh hưởng của các phương pháp tăng cường dữ liệu đối với các mô hình máy học trên bộ dữ liệu. * Đánh giá sự ảnh hưởng của các thao tác tiền xử lý như tách từ, loại bỏ từ stopwords, loại bỏ emoji và các ký tự đặc biệt đối với hiệu năng của các mô hình phân lớp trên bộ dữ liệu. + Dé xuất mô hình kết hợp nhằm nâng cao hiệu quả phân loại cho bài toán nhận điện câu bình luận có tính xúc phạm.

Ngoài ra, luận văn này cũng có một công bố khoa học đã được chấp nhận ở hội nghị khoa học quốc tế như sau: Son T. Luu, Kiet Van Nguyen, Ngan Luu-Thuy Nguyen, A Large-scale Dataset for Hate Speech Detection on Vietnamese Social Media Texts, The 34th International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems (IEA/AIE 2021) 1. CÁC ĐÓNG GÓP CỦA LUẬN VĂN Bảng 1. Khảo sát tổng quan về các bộ dữ liệu hiện có Bộ dữ liệu (tác | Ngôn ngữ Nhãn Số lượng giả bộ dữ liệu) dữ Waesem và | Tiêng Anh 3 nhãn: Sexist, Racist, và Not | 16,914 Hovy (2016) 2] Davidson và | Tieng Anh 3 nhan: Hate, Offensive, Nei- | 24,802 các đồng sự ther (2017) [8] Founta và các | Tiêng Anh 4 nhãn: Abusive, Hateful, 80,000 đồng sự (2018) Normal, Spam I9] Albadi và các | Tiếng A Rap 2 nhãn: Hate, Not 6,136 đồng sự (2018) [I0] Zampieri và | Tiếng Anh Nhãn phân cap, gom Binary | 14,100 các đồng sự (Offensive, Not), Within Of- (2019) [11] fensive (Target, Not), Within Target (Individual, Group, Other) Fortuna và các | Tiêng BO Dao | Nhãn phan cap: gom 2 nhãn: | 3,059 đồng sự (2019) | Nha Hate và Not.

Trong nhãn Hate [12] phân cắp ra làm 81 thuộc tính khác nhau. CONAN Đa ngôn ngữ: | Nhãn phân cap: gom 2 nhãn | 1,719 (2019) [4] Tiếng Anh, | là Islamophobic và not. Trong Tiếng Pháp, và | nhãn Islamophobic chia ra tiếng Ý làm 8 thuộc tính khác nhau, tương ứng với chủ thể xúc phạm mà câu bình luận đề cập đến VLSP Hate | Tiêng Việt 3 nhãn: clean, offensive và | 25,431 speech detec- hate tion — (2020) B] Coltekin và các | Tiêng Tho Nhĩ | Nhãn phân cap, gom 2 nhãn | 36,232 đồng sự (2020) | Kỳ là Hate và Not. Within Hate [13] (Group, Individual), Within Hate (Agressive, Not) Basile và các | Tiêng Anh và | Nhan phân cap, gom 3 | 13,000 đồng su (2019) Tiếng Tây Ban nhóm: Hate (hateful, not [14] Nha hateful), Target (Individual va Generic), va Aggressive (Ag- gressive va non-aggressive) Chương 2.

CƠ SỞ LÝ THUYET Trong chương này, chúng tôi trình bày định nghĩa về bình luận xúc phạm trên mạng xã hội cùng các yếu tố và đặc điểm của bình luận xúc phạm. Để giải quyết cho bài toán bình luận xúc phạm thì bộ dữ liệu dùng cho việc huấn luyện các mô hình máy học để nhận diện được bình luận xúc phạm đóng vai trò then chốt. Do đó, chúng tôi trình bày quy trình MATTER cải tiến của tác giả Finlayson và Erjavec [15] để xây dựng bộ dữ liệu. Bên cạnh đó, chúng tôi trình bày các kỹ thuật trích xuất đặc trưng bằng vector nhúng từ để có thể mã hoá và trích xuất các đặc trưng từ văn bản thô và các phương pháp máy học nhằm xây dựng mô hình phát hiện tự động các câu bình luận có xúc phạm.

Cuối cùng, chúng tôi trình bày các độ đo dùng để đánh giá tính hiệu quả của các mô hình máy học.1 Định nghĩa về bình luận xúc phạm Theo tác giả Fortuna và Nunes [Š], bình luận xúc phạm (hate speech) được định nghĩa là "bình luận mà trong ngôn ngữ có yếu tố công kích (attack) hoặc hạ nhục (diminishes), cổ xúy cho bạo lực và thù ghét giữa các cá nhân, tổ chức hoặc một cộng đồng dựa vào các đặc điểm về ngoại hình, giới tính, tôn giáo, đức tin hoặc những yếu tố khác liên quan đặc điểm riêng của từng cá nhân hay tổ chức. Yếu tố xúc phạm có thể được thể hiện bằng nhiều hình thức khác nhau. Thậm chí là khôi hài quá mức cũng được xem là xúc phạm". Theo định nghĩa ở trên, một bình luận xúc phạm thường có 4 đặc điểm như sau: * Có đối tượng xúc phạm cụ thể.

Đối tượng có thể là một cá nhân, hoặc một nhóm người hay thậm chí là một cộng đồng người. Các yếu tổ xúc phạm bao gồm ngoại hình, đức tin, tôn giáo, xuất thân, dân tộc, giới tính, xu hướng tình dục, và các khía cạnh khác liên quan. * Cổ xúy hoặc kích động bạo lực. s Công kích, hạ nhục.

*_Yếu tố khôi hài trong một số trường hợp được xem như là xúc phạm, néu như bình luận đi quá giới hạn của việc khôi hài, gây ảnh hưởng trực tiếp đến người 6 2. ĐỊNH NGHĨA VỀ BÌNH LUẬN XUC PHAM khác. Để nhận dạng được câu bình luận mang tính xúc phạm, các hệ thống cần phải hiểu và trích xuất được các đặc trưng chính của một câu bình luận xúc phạm. tác giả Fortuna và Nunes [5], cách tiếp cận đối với bài toán nhận diện bình luận xúc phạm kế thừa các phương pháp từ bài toán khai phá văn bản (text mining).

Trong bài toán khai phá văn bản, phân tích cảm xúc (sentiment analysis) là kỹ thuật cũng được áp dụng khá thường xuyên nhằm rút trích và hiểu được cảm xúc của con người từ văn bản. Tuy nhiên, theo tác giả Schmidt và Wiegand [16], điểm khác biệt lớn nhất giữa phân tích cảm xúc và nhận diện bình luận xúc phạm là bài toán nhận diện bình luận xúc phạm sẽ nghiên về dự đoán cảm xúc tiêu cực nhiều hơn so với bài toán phân loại cảm xúc bình thường. Cảm xúc tiêu cực được thể hiện qua sự thù ghét, công kích và bạo lực được đề cập hoặc thể hiện trong ý nghĩa của câu bình luận. Bên cạnh đó, bài toán nhận diện bình luận xúc phạm sẽ có 2 dạng tiếp cận: dạng đơn tác vụ (single-step) và dang đa tác vụ (multi-step).

Đối với bài toán đơn tác vụ, kỹ thuật phân tích cảm xúc sẽ tìm ra số các đặc trưng về các cảm xúc tích cực và tiêu cực trong câu bình luận để từ đó kết luận mức độ tiêu cực trong câu bình luận. Đối với bài toán đa tác vụ, kỹ thuật phân tích cảm xúc sẽ làm nhiệm vụ xác định cảm xúc tiêu cực trong bài toán trước tiên, sau đó sẽ đi tìm các minh chứng để chứng minh sự xúc phạm trong câu bình luận dựa vào các tiêu chí đã đề cập. Như vậy, bài toán nhận điện bình luận xúc phạm sẽ sử dụng bài toán phân tích cảm xúc (sentiment analysis) như là kỹ thuật hỗ trợ trong việc nhận diện các đặc trưng chính của các bình luận xúc phạm. Bài toán nhận diện bình luận xúc phạm, cũng như bài toán phân tích cảm xúc đều dựa trên nên tảng là bài toán phân lớp văn bản (text classification).

Mặt khác, đối với bài toán nhận diện bình luận xúc phạm thì các bộ dữ liệu là một trong các yếu tố rất quan trọng để có thể phân tích đặc điểm và xây dựng các mô hình dự đoán các bình luận mang tính xúc phạm một cách tự động [5]. Đối với việc xây dựng bộ dữ liệu thì quy trình xây dựng bộ dữ liệu và hướng dẫn gán nhãn (annotation guidelines) đóng vai trò quyết định đến chất lượng của một bộ dữ liệu [17, 16]. Do đó, việc xây dựng bộ dữ liệu đóng vai trò quyết định đối với bài toán nhận diện và phân loại các bình luận xúc phạm trên mạng xã hội.2 Bộ dữ liệu dùng cho bình luận xúc phạm Dựa theo nhãn của bình luận trong bộ dữ liệu, chúng tôi chia ra làm hai loại: bộ dữ liệu có nhãn phẳng (flat labels) và bộ dữ liệu có nhãn phân cấp (hierarchical labels). Đối với bộ dữ liệu có nhãn phẳng, thì mỗi câu bình luận sẽ chỉ thuộc về một nhãn nhất định nào đó trong tập nhãn, và các nhãn này là phân biệt với nhau, không có mối liên hệ.

Ngược lại, đối với các bộ dữ liệu có nhãn phân cấp, mỗi một nhãn ban đầu sẽ có các nhãn con (sub-labels) để định nghĩa hoặc chỉ định một tính chất hay sự kiện liên quan đến nhãn chính. Các nhãn con này có mồi liên hệ đối với nhãn cha. Theo tác giả Cerri và các đồng sự [18], các bộ dữ liệu có nhãn phân cấp sẽ thể hiện rõ hơn mối quan hệ giữa các đối tượng và thành phần trong câu bình luận đối với nhãn chính. Do đó, các bộ dữ liệu được xây dựng theo các nhãn phân cấp sẽ có ngữ nghĩa rõ hơn so với các bộ dữ liệu được xây dựng theo dạng nhãn phẳng.

Lấy ví dụ về bộ dữ liệu của tác giả Davidson và các đồng sự [8], bộ dữ liệu này thuộc dang nhãn phẳng. Mỗi bình luận trong bộ dữ liệu sẽ thuộc về một trong ba nhãn: hate - nếu như câu bình luận có yếu tô xúc phạm, offensive néu như câu bình luận có yếu tố tiêu cực, và clean néu như câu bình luận không có yếu tổ xúc phạm. Tuy nhiên, với bộ dữ liệu của tác giả Zamperi và các đồng sự [11], thì ngoài 2 nhãn ban đầu là offensive - câu bình luận có tính xúc phạm, và non-offensive - câu bình luận không xúc phạm, đối với nhãn offensive sẽ gồm 2 nhãn con là: target - xúc phạm có chủ đích, và untarget - xúc phạm không chủ đích. Trong nhãn target - xúc phạm có chủ đích, tác giả lại chia ra làm 3 nhãn con khác là: individual - xúc phạm cá nhân, group directed - xúc phạm đến tổ chức, và other - xúc phạm đến các đối tượng khác như: tôn giáo, sự kiện, và cộng đồng.

Như vậy, đối với bộ dữ liệu của tác giả Zampieri và các đồng sự [11], việc chia nhãn ban đầu là offensive thành 3 cấp khác nhau giúp cho bộ dữ liệu có ý nghĩa rõ ràng hơn so với bộ dữ liệu của tác giả Davidson [8], khi mà một bình luận được xác định là xúc phạm trên nhiều yếu tố khác nhau.