Nhận Diện Chuỗi Xúc Phạm Trong Bình Luận Tiếng Việt

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học dữ liệu nhận diện chuỗi xúc phạm cho tiếng việt, điều tra thực trạng, phân tích số liệu, đề xuất biện pháp cải tiến thực tế.

• Tác giả: Hoàng Gia Phú
• Người hướng dẫn: ThS. Nguyễn Văn Kiệt
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Nhận diện chuỗi xúc phạm trong bình luận tiếng Việt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU KHÓA LUẬN
• 1.1. Tính ứng dụng của khoá luận
• 1.2. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 1.2.1. Công trình nghiên cứu về dữ liệu
• 1.2.2. Công trình nghiên cứu về mô hình nhận diện
• 1.3. XÂY DỰNG BỘ DỮ LIỆU
• 1.3.1. Tổng quan về bộ dữ liệu
• 1.3.2. Quy trình xây dựng bộ dữ liệu
• 1.3.2.1. Nguồn gốc của dữ liệu
• 1.3.2.2. Bộ hướng dẫn gán nhãn
• 1.3.2.3. Quá trình xây dựng bộ dữ liệu
• 1.3.2.4. Thống kê bộ dữ liệu
• 4. CHƯƠNG 4: THÍ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Quy trình thí nghiệm
• 4.2. Mã hoá bình luận
• 4.3. Thí nghiệm mô hình trên miền dữ liệu xúc phạm, phản cảm và trên toàn bộ dữ liệu
• 4.4. Các mô hình cơ sở
• 4.5. Thí nghiệm và kết quả
• 4.5.1. Cài đặt thí nghiệm
• 4.5.2. Kết quả thí nghiệm
• 4.5.3. Phân tích kết quả
• 5. CHƯƠNG 5: XÂY DỰNG ỨNG DỤNG
• 5.1. Môi trường thực hiện
• 5.2. Xây dựng ứng dụng tương tác với mô hình
• 5.2.1. Tổng quan về ứng dụng
• 5.2.2. Xây dựng ứng dụng xử lý dữ liệu lớn bình luận theo thời gian thực
• 5.3. Kết quả xây dựng ứng dụng tương tác với mô hình
• 6. CHƯƠNG 6: TÀI LIỆU THAM KHẢO
• DANH MỤC HÌNH
• DANH MỤC BẢNG

Tóm tắt

I. Tổng Quan Về Nhận Diện Chuỗi Xúc Phạm Trong Bình Luận Tiếng Việt

Nhận diện chuỗi xúc phạm trong bình luận tiếng Việt là một nhiệm vụ quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Với sự phát triển của mạng xã hội, số lượng bình luận ngày càng tăng, kéo theo đó là sự gia tăng của các bình luận mang tính chất xúc phạm. Việc phát hiện và phân loại các chuỗi xúc phạm không chỉ giúp bảo vệ người dùng mà còn cải thiện môi trường giao tiếp trực tuyến.

1.1. Định Nghĩa Chuỗi Xúc Phạm Trong Bình Luận

Chuỗi xúc phạm được định nghĩa là những bình luận chứa đựng ngôn từ bạo lực, phân biệt, hoặc mang tính chất xúc phạm đến cá nhân hoặc nhóm người. Việc nhận diện chính xác các chuỗi này là cần thiết để bảo vệ người dùng trên các nền tảng mạng xã hội.

1.2. Tầm Quan Trọng Của Việc Nhận Diện Chuỗi Xúc Phạm

Việc nhận diện chuỗi xúc phạm giúp giảm thiểu tác động tiêu cực của ngôn từ độc hại, bảo vệ người dùng khỏi những tổn thương tâm lý. Đồng thời, nó cũng hỗ trợ các nhà quản lý trong việc duy trì một môi trường giao tiếp lành mạnh trên mạng.

II. Vấn Đề Và Thách Thức Trong Nhận Diện Chuỗi Xúc Phạm

Mặc dù có nhiều tiến bộ trong công nghệ nhận diện ngôn ngữ, nhưng việc phát hiện chuỗi xúc phạm vẫn gặp nhiều thách thức. Các bình luận thường thiếu ngữ cảnh, có thể viết tắt hoặc không có dấu, gây khó khăn cho việc phân loại chính xác.

2.1. Thiếu Ngữ Cảnh Trong Bình Luận

Nhiều bình luận không có ngữ cảnh rõ ràng, dẫn đến việc khó xác định ý nghĩa thực sự của chúng. Điều này làm tăng khả năng nhầm lẫn trong việc nhận diện chuỗi xúc phạm.

2.2. Sự Đa Dạng Của Ngôn Ngữ Mạng Xã Hội

Ngôn ngữ trên mạng xã hội thường có nhiều biến thể, từ viết tắt đến cách diễn đạt sáng tạo. Điều này tạo ra thách thức lớn cho các mô hình nhận diện chuỗi xúc phạm, yêu cầu phải có sự linh hoạt và khả năng thích ứng cao.

III. Phương Pháp Nhận Diện Chuỗi Xúc Phạm Hiệu Quả

Để nhận diện chuỗi xúc phạm một cách hiệu quả, nhiều phương pháp đã được áp dụng, bao gồm các mô hình học sâu và học chuyển tiếp. Những phương pháp này giúp cải thiện độ chính xác trong việc phát hiện các bình luận độc hại.

3.1. Mô Hình BiLSTM CRF

Mô hình BiLSTM - CRF đã chứng minh được hiệu suất cao trong việc nhận diện chuỗi xúc phạm. Mô hình này sử dụng các lớp nhúng từ để vector hóa bình luận và lớp CRF để tính xác suất nhãn đầu ra.

3.2. Mô Hình XLM R và PhoBERT

XLM-R và PhoBERT là những mô hình học chuyển tiếp mạnh mẽ, được huấn luyện trên tập dữ liệu lớn. Chúng cho thấy khả năng vượt trội trong việc nhận diện chuỗi xúc phạm, đặc biệt là trong ngữ cảnh tiếng Việt.

IV. Ứng Dụng Thực Tiễn Của Nhận Diện Chuỗi Xúc Phạm

Nghiên cứu về nhận diện chuỗi xúc phạm không chỉ dừng lại ở lý thuyết mà còn có nhiều ứng dụng thực tiễn. Các mô hình được phát triển có thể được tích hợp vào các nền tảng mạng xã hội để tự động phát hiện và xử lý các bình luận độc hại.

4.1. Ứng Dụng Trong Quản Lý Nội Dung

Các mô hình nhận diện chuỗi xúc phạm có thể giúp các nhà quản lý nội dung trên mạng xã hội tự động phát hiện và loại bỏ các bình luận không phù hợp, từ đó tạo ra một môi trường giao tiếp an toàn hơn.

4.2. Tăng Cường Trải Nghiệm Người Dùng

Việc phát hiện và xử lý các chuỗi xúc phạm kịp thời không chỉ bảo vệ người dùng mà còn nâng cao trải nghiệm của họ khi tham gia vào các nền tảng mạng xã hội.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Nghiên cứu về nhận diện chuỗi xúc phạm trong bình luận tiếng Việt đã mở ra nhiều cơ hội mới cho việc cải thiện môi trường mạng xã hội. Các mô hình hiện tại có thể được phát triển thêm để nâng cao độ chính xác và khả năng xử lý ngữ cảnh.

5.1. Định Hướng Nghiên Cứu Tương Lai

Cần tiếp tục nghiên cứu và phát triển các mô hình mới, cải thiện khả năng nhận diện chuỗi xúc phạm trong các ngữ cảnh phức tạp hơn. Điều này sẽ giúp nâng cao hiệu quả của các giải pháp hiện tại.

5.2. Tích Hợp Công Nghệ Mới

Việc tích hợp các công nghệ mới như học máy và trí tuệ nhân tạo vào quy trình nhận diện chuỗi xúc phạm sẽ giúp cải thiện đáng kể hiệu suất và độ chính xác của các mô hình.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của mạng xã hội trong kỷ nguyên Cách mạng Công nghiệp lần thứ tư đã thay đổi căn bản phương thức giao tiếp, chia sẻ thông tin và kinh doanh trực tuyến. Tuy nhiên, không gian mạng mở cũng làm gia tăng các hành vi tiêu cực như quấy rối trực tuyến, đe dọa và lạm dụng ngôn từ để tấn công các cá nhân, tổ chức. Báo cáo khảo sát của Microsoft cho thấy Việt Nam nằm trong nhóm các quốc gia có chỉ số văn minh trực tuyến thấp nhất trong số 25 quốc gia được khảo sát. Thực trạng này đặt ra yêu cầu cấp bách đối với các đơn vị quản lý trong việc kiểm soát khối lượng bình luận khổng lồ được tạo ra mỗi ngày.

Phần lớn các hệ thống phân loại ngôn ngữ xúc phạm truyền thống (HTPLNNXPTT) hiện nay chỉ tập trung gán nhãn nhị phân hoặc đa nhãn ở cấp độ toàn bộ bình luận (ví dụ: sạch - CLEAN, xúc phạm - OFFENSIVE, thù ghét - HATE). Khi phát hiện một bình luận vi phạm, người kiểm duyệt nội dung vẫn phải đọc lại toàn bộ văn bản để tự xác định các từ ngữ hoặc ngữ đoạn gây hại. Bài toán nhận diện chuỗi xúc phạm (Hate Speech Spans Detection) là một nhánh nghiên cứu mới nhằm bóc tách chính xác vị trí các ký tự, từ ngữ gây ra tính chất độc hại trong câu, qua đó giải thích cơ sở gán nhãn và tối ưu hóa thời gian kiểm duyệt.

Đề tài đặt ra ba mục tiêu nghiên cứu cụ thể:

1. Xây dựng bộ dữ liệu Vietnamese Hate and Offensive Spans (ViHOS) gồm 11.056 bình luận tiếng Việt được gán nhãn chuỗi xúc phạm, phản cảm ở cấp độ ký tự và ngữ đoạn, đi kèm bộ hướng dẫn gán nhãn (guidelines) chi tiết cho tiếng Việt.
2. Thí nghiệm, so sánh và đánh giá hiệu năng của các mô hình học sâu và học chuyển tiếp (BiLSTM-CRF, XLM-R, PhoBERT) trên bài toán gán nhãn chuỗi (Sequence Labeling), phân tích sự ảnh hưởng của đặc trưng dữ liệu (đơn chuỗi, đa chuỗi, miền dữ liệu sạch và độc hại) đến kết quả mô hình.
3. Thiết kế và triển khai ứng dụng thực nghiệm có khả năng thu thập dữ liệu luồng (streaming) theo thời gian thực từ mạng xã hội, tích hợp mô hình nhận diện chuỗi xúc phạm và phân loại sắc thái bình luận để chứng minh khả năng áp dụng thực tế.

Đối tượng nghiên cứu của khóa luận là các chuỗi ký tự, từ ngữ mang nội dung xúc phạm, phản cảm trong các bình luận tiếng Việt trên mạng xã hội. Phạm vi nghiên cứu về mặt ngữ liệu được trích xuất từ hai nền tảng Facebook và YouTube (kế thừa từ tập dữ liệu ViHSD), sau đó triển khai kiểm thử ứng dụng thực nghiệm trên luồng dữ liệu của mạng xã hội Twitter. Thời gian thực hiện nghiên cứu kéo dài từ ngày 15/09/2022 đến ngày 09/01/2023.

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán dưới dạng bài toán gán nhãn chuỗi văn bản (Sequence Labeling). Để xử lý các hiện tượng ngôn ngữ phức tạp trong bình luận mạng xã hội, nhóm tác giả xây dựng cơ sở lý thuyết dựa trên các kiến trúc mô hình học sâu và mô hình ngôn ngữ tiền huấn luyện (Pre-trained Language Models):

• BiLSTM - CRF: Mô hình mạng nơ-ron hồi quy hai chiều (Bidirectional Long Short-Term Memory) kết hợp trường ngẫu nhiên điều kiện (Conditional Random Field). Kiến trúc bao gồm ba tầng chính: tầng nhúng từ sử dụng PhoW2V để vector hóa chuỗi đầu vào, tầng BiLSTM trích xuất đặc trưng ngữ cảnh hai chiều của chuỗi văn bản, và tầng CRF tính toán phân phối xác suất tối ưu cho chuỗi nhãn đầu ra.
• XLM-RoBERTa (XLM-R): Mô hình học chuyển tiếp đa ngôn ngữ dựa trên kiến trúc Transformer, được huấn luyện trên 2,5TB dữ liệu văn bản thuộc 100 ngôn ngữ khác nhau (trong đó có 137GB dữ liệu văn bản tiếng Việt). Mô hình có khả năng biểu diễn ngữ nghĩa vượt trội so với mBERT trên các tác vụ đa ngôn ngữ.
• PhoBERT: Mô hình học chuyển tiếp đơn ngôn ngữ dành riêng cho tiếng Việt với cấu trúc tương tự RoBERTa, được huấn luyện trước trên 20GB dữ liệu văn bản (1GB từ Vietnamese Wikipedia và 19GB từ kho ngữ liệu báo chí tiếng Việt).
• PhoBERT - CNN: Mô hình kết hợp giữa PhoBERT và mạng nơ-ron tích chập (Convolutional Neural Network) được sử dụng để giải quyết tác vụ phân loại toàn bộ bình luận thành ba lớp: CLEAN, OFFENSIVE hoặc HATE.

Phương pháp nghiên cứu thực nghiệm bao gồm: phương pháp bóc tách ngữ liệu có kiểm soát, phương pháp gán nhãn thủ công nhiều vòng lặp (iterative annotation) với sự tham gia của con người (Human-in-the-loop), và phương pháp đánh giá độ đồng thuận giữa những người gán nhãn (Inter-Annotator Agreement - IAA).

Nguồn dữ liệu ban đầu được kế thừa từ tập dữ liệu Vietnamese Hate Speech Detection (ViHSD), một kho ngữ liệu gồm 27.624 bình luận nhãn CLEAN, 3.514 bình luận nhãn HATE và 2.262 bình luận nhãn OFFENSIVE thu thập từ Facebook và YouTube. Nhóm nghiên cứu đã trích xuất toàn bộ 5.528 bình luận thuộc hai nhãn HATE và OFFENSIVE (sau khi loại bỏ các mẫu trùng lặp từ 5.776 bình luận gốc), đồng thời thu thập bổ sung 5.528 bình luận nhãn CLEAN không chứa bất kỳ yếu tố vi phạm nào. Tổng quy mô bộ dữ liệu ViHOS đạt 11.056 bình luận.

Để lượng hóa chất lượng gán nhãn, nghiên cứu sử dụng hệ thống hai độ đo gồm chỉ số Cohen’s Kappa và Macro-F1 tính trên cấp độ ký tự (character-level). Nhóm tác giả phân tích rằng trong bài toán gán nhãn chuỗi văn bản, nhãn không vi phạm ("O") chiếm số lượng áp đảo so với nhãn chuỗi xúc phạm ("T"), dẫn đến tình trạng mất cân bằng dữ liệu cực lớn nếu áp dụng Cohen’s Kappa đơn thuần. Do đó, chỉ số Macro-F1 được chọn làm thước đo chủ đạo để đánh giá độ nhất quán giữa các cặp người gán nhãn.

Nội dung chính theo từng chương

Chương 1. Giới thiệu khoá luận

Chương này trình bày tổng quan về thực trạng lạm dụng ngôn từ, quấy rối và bạo lực trên không gian mạng hiện nay. Tác giả chỉ rõ khoảng trống công nghệ khi các hệ thống quản trị hiện tại mới dừng ở mức phân loại sắc thái toàn câu mà chưa chỉ rõ được vị trí ngữ đoạn vi phạm. Chương 1 khẳng định tính cấp thiết của việc xây dựng công cụ phát hiện chuỗi xúc phạm nhằm hỗ trợ các đơn vị quản lý, cơ quan truyền thông và mạng xã hội tự động hóa quy trình rà soát nội dung với chi phí tài nguyên thấp.

Chương 2. Các công trình nghiên cứu liên quan

Chương 2 tổng hợp các nghiên cứu trong nước và quốc tế liên quan đến dữ liệu và mô hình nhận diện ngôn từ độc hại:

• Về mặt dữ liệu: Tại Việt Nam, các tập dữ liệu hiện có như ViHSD, HSD-VLSP hay UIT-ViCTSD mới giải quyết bài toán phân loại sắc thái bình luận (bình luận mang tính xây dựng hoặc độc hại). Trên thế giới, các bộ dữ liệu gán nhãn chuỗi tương tự còn rất hạn chế, tiêu biểu là cuộc thi SemEval-2021 Task 5 (Toxic Spans Detection) với 10.629 bình luận từ nguồn Civil Comments, và bộ dữ liệu HateXplain gồm 20.148 bình luận từ Gab và Twitter sử dụng chuỗi độc hại làm thành phần giải thích cho nhãn phân loại.
• Về mặt mô hình: Điểm lại sự dịch chuyển từ các mô hình học máy truyền thống sang kiến trúc học sâu kết hợp cơ chế chú ý (Transformer), điển hình là các biến thể của mô hình BERT và phong trào "BERTology" tại các hội nghị uy tín như SemEval.

Chương 3. Xây dựng bộ dữ liệu

Chương 3 là trọng tâm khoa học của khóa luận, mô tả chi tiết quy trình xây dựng bộ dữ liệu ViHOS gồm 11.056 bình luận thông qua công cụ gán nhãn LightTag. Tác giả thiết lập định nghĩa rõ ràng về chuỗi xúc phạm/phản cảm (XP/PC) thông qua 6 tiêu chí hành vi, đồng thời phân tích sâu các hiện tượng ngôn ngữ đặc thù trong văn bản mạng xã hội tiếng Việt:

Hiện tượng ngôn ngữ	Đặc điểm thể hiện trong bình luận	Hướng dẫn gán nhãn của tác giả
Bình luận không dấu	Viết thiếu toàn bộ dấu thanh hoặc dấu câu, dễ gây nhập nhằng ngữ nghĩa.	Người gán nhãn đọc lại nhiều lần trong ngữ cảnh để xác định đúng nghĩa; gán toàn bộ từ không dấu mang nghĩa xúc phạm.
Ẩn dụ và hoán dụ	Dùng hình ảnh biểu trưng để công kích (ví dụ: dùng áo sọc của Juventus để ám chỉ việc đi tù).	Gán nhãn trọn vẹn toàn bộ ngữ đoạn mang nghĩa ẩn dụ/hoán dụ cấu thành ý xúc phạm.
Chơi chữ, nói lái	Đảo âm hoặc trật tự từ để xúc phạm, phân biệt vùng miền (ví dụ: "Bồn Kỳ Lắc").	Gán toàn bộ cụm từ cấu thành cấu trúc chơi chữ.
Sai lỗi chính tả, phương ngữ	Sai vô tình do thói quen gõ phím hoặc cố tình dùng lỗi phương ngữ để nhại lại, công kích vùng miền.	Gán đúng từ sai chính tả hoặc toàn bộ cấu trúc nhại giọng mang ý miệt thị.
Ngôn ngữ bóng gió	Công kích chính trị hoặc cá nhân thông qua lối diễn đạt gián tiếp.	Gán trọn vẹn toàn bộ ý biểu đạt sắc thái bóng gió.
Đồng âm khác nghĩa	Lợi dụng từ đồng âm tiếng Anh/tiếng lóng (ví dụ: "coin card").	Gán trọn vẹn chuỗi từ đồng âm gây phản cảm.
Pha tạp ngoại ngữ (Code-mixing)	Chêm xen từ ngữ tiếng Anh vào câu tiếng Việt (ví dụ: "stream đá phò", "fake").	Gán nhãn các từ ngoại ngữ mang tính chất xúc phạm như từ tiếng Việt thông thường.
Cố tình thay đổi ký tự	Sử dụng ký tự đặc biệt, dấu chấm xen kẽ (ví dụ: "xạo l*n", viết liền không khoảng trắng) để né bộ lọc.	Gán nhãn toàn bộ chuỗi ký tự hợp thành từ ngữ xúc phạm đó.

Quy trình gán nhãn dữ liệu được triển khai chặt chẽ qua 3 pha:

• Pha 1 (Gán nhãn thí điểm): 6 sinh viên đáp ứng tiêu chuẩn (điểm Văn thi tốt nghiệp THPT ≥ 6,5; có trên 3 năm sử dụng mạng xã hội) thực hiện gán nhãn thử nghiệm qua 4 đợt trên các tập 100 bình luận để hoàn thiện hướng dẫn gán nhãn.
• Pha 2 (Gán nhãn tập đánh giá chuẩn): Lấy ngẫu nhiên 600 bình luận HATE/OFFENSIVE để hai chuyên gia xây dựng guidelines gán nhãn độc lập, đạt điểm Macro-F1 là 0,86 (Kappa đạt 0,72).
• Pha 3 (Gán nhãn chính thức): Chia 4.928 bình luận còn lại thành 6 tập dữ liệu không trùng lặp, trộn thêm 100 bình luận từ tập chuẩn vào mỗi tập để kiểm soát chất lượng. Người gán nhãn có điểm F1 dưới 0,81 trên tập kiểm tra bắt buộc phải gán lại toàn bộ.

Chương 4. Thí nghiệm và đánh giá

Chương này mô tả quy trình tiền xử lý, mã hóa bình luận thành token (sử dụng Byte-Pair Encoding - BPE cho các mô hình Transformer) và thiết lập môi trường thực nghiệm. Tác giả tiến hành hai nhóm thí nghiệm chính:

1. Thí nghiệm so sánh hiệu năng trên miền dữ liệu chỉ chứa nội dung xúc phạm (5.528 mẫu HATE/OFFENSIVE) so với trên toàn bộ dữ liệu (11.056 mẫu bao gồm cả bình luận sạch - CLEAN).
2. Thí nghiệm phân tầng dựa trên số lượng chuỗi xúc phạm trong một bình luận: đơn chuỗi (bình luận chỉ chứa duy nhất một chuỗi vi phạm), đa chuỗi (chứa từ 2 chuỗi vi phạm trở lên) và toàn bộ chuỗi.

Chương này trình bày các bảng siêu tham số của BiLSTM-CRF, phân tích sự hội tụ và so sánh hiệu quả giữa PhoBERT (phiên bản base và large) với XLM-R (phiên bản base và large), đi kèm bảng phân tích các mẫu dự đoán sai thực tế trên tập phát triển (development set).

Chương 5. Xây dựng ứng dụng

Chương 5 hiện thực hóa kết quả nghiên cứu thành một hệ thống phần mềm có khả năng xử lý luồng dữ liệu thời gian thực. Tác giả mô tả môi trường cài đặt, quy trình giao tiếp request/response giữa giao diện người dùng và máy chủ mô hình, cùng kiến trúc kết hợp giữa Apache Spark và các mô hình học sâu để trích xuất dữ liệu trực tiếp từ mạng xã hội.

Chương 6. Kết luận và hướng phát triển

Chương tổng kết các mốc kết quả đã đạt được, thẳng thắn nhìn nhận những hạn chế kỹ thuật chưa thể khắc phục trong phạm vi khóa luận và vạch ra định hướng mở rộng nghiên cứu trong tương lai.

Thiết kế và triển khai

Khóa luận xây dựng một hệ thống xử lý dữ liệu luồng hoàn chỉnh kết nối trực tiếp với giao diện người dùng, phục vụ việc phân loại và trích xuất chuỗi vi phạm theo thời gian thực:

1. Kiến trúc hệ thống: Quy trình xử lý gồm 4 phân đoạn liên hoàn:

   • Phân đoạn 1 (Thu thập dữ liệu): Dữ liệu bình luận được thu thập liên tục từ giao diện lập trình của Twitter thông qua module Twitter_Streaming.ipynb.
   • Phân đoạn 2 (Xử lý dữ liệu lớn): Tiếp nhận dòng dữ liệu streaming bằng Apache Spark Streaming, thực hiện chuyển đổi cấu trúc và truy vấn bảng dữ liệu bằng Spark SQL.
   • Phân đoạn 3 (Nhận diện và phân loại): Luồng dữ liệu văn bản được đồng thời chuyển tới hai mô hình: mô hình XLM-R chịu trách nhiệm nhận diện và bóc tách các chuỗi xúc phạm (spans detection); mô hình PhoBERT-CNN thực hiện phân loại sắc thái câu thành ba nhãn CLEAN, OFFENSIVE hoặc HATE.
   • Phân đoạn 4 (Xuất kết quả): Trả kết quả dự đoán và trực quan hóa lên giao diện kiểm duyệt nội dung, hiển thị rõ nhãn tổng thể kèm vị trí ngữ đoạn bị bôi đậm cảnh báo.

2. Công nghệ triển khai:

   • Nền tảng tính toán phân tán: Apache Spark (Spark Streaming, Spark SQL).
   • Mô hình học máy/học sâu: XLM-R (trích xuất chuỗi), PhoBERT-CNN (phân loại bình luận).
   • Môi trường mã nguồn: Python, Jupyter Notebook (Twitter_Streaming.ipynb), thư viện Transformers, công cụ LightTag (trong khâu gán nhãn).

3. Kiểm thử hệ thống: Hệ thống được kiểm thử thực tế trên luồng dữ liệu bình luận từ Twitter, chứng minh khả năng tiếp nhận, xử lý phân tán và trả về kết quả nhận diện chính xác các chuỗi xúc phạm mà không xảy ra hiện tượng nghẽn luồng dữ liệu.

Kết quả và đóng góp

Khóa luận mang lại những kết quả định lượng cụ thể được trích xuất trực tiếp từ các thực nghiệm:

• Xây dựng thành công bộ dữ liệu ViHOS gồm 11.056 bình luận tiếng Việt chuẩn hóa, cân bằng chính xác giữa 5.528 bình luận chứa chuỗi xúc phạm/phản cảm và 5.528 bình luận sạch.
• Thiết lập quy trình kiểm soát chất lượng gán nhãn nghiêm ngặt, thể hiện qua tiến độ tăng trưởng chỉ số đồng thuận liên người gán nhãn (IAA) qua các pha:

Pha gán nhãn	Lần thực hiện	Độ đo Cohen’s Kappa	Độ đo Macro-F1
Pha 1: Gán nhãn thí điểm	Lần 1	0,4161	0,7085
	Lần 2	0,4568	0,7186
	Lần 3	0,4936	0,7534
	Lần 4	0,6402	0,8219
Pha 2: Gán nhãn tập chuẩn	Đánh giá giữa 2 chuyên gia	0,7239	0,8219 (văn bản ghi 0,86)
Pha 3: Gán nhãn chính thức	Đánh giá trên toàn bộ tập dữ liệu	0,7215	0,8585

• Đánh giá toàn diện các mô hình học sâu và học chuyển tiếp: Xác định mô hình XLM-R và PhoBERT mang lại hiệu năng cao trong tác vụ trích xuất chuỗi, vượt trội so với mô hình BiLSTM-CRF.
• Triển khai thành công ứng dụng nhận diện trực tiếp, liên tục chuỗi xúc phạm từ nguồn dữ liệu mạng xã hội với độ chính xác F1-Score toàn hệ thống đạt mức 0,7770.

Về mặt đóng góp khoa học, đây là công trình nghiên cứu tiên phong tại Việt Nam cho bài toán nhận diện chuỗi xúc phạm trong bình luận mạng xã hội. Bộ dữ liệu ViHOS và bộ hướng dẫn gán nhãn chi tiết đặt nền móng tài nguyên ngôn ngữ học cho cộng đồng nghiên cứu NLP tiếng Việt, mở ra hướng tiếp cận mới thay thế cho các phương pháp phân loại văn bản thô truyền thống.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận thẳng thắn chỉ ra các hạn chế kỹ thuật tồn tại trong quá trình thực hiện:

• Bình luận thiếu ngữ cảnh: Do các bình luận được thu thập độc lập mà không đi kèm bài viết gốc hoặc ngữ cảnh đoạn hội thoại (context-independent), đội ngũ gán nhãn và mô hình gặp khó khăn khi xác định hàm ý của câu. Điển hình như trường hợp bình luận "Linh cẩu", văn bản có thể mang ý xúc phạm một cá nhân tên "Linh", nhưng cũng có thể đơn thuần nhắc đến loài động vật linh cẩu.
• Hiện tượng viết tắt và thiếu dấu thanh: Thói quen gõ tiếng Việt không dấu hoặc viết tắt trên mạng xã hội tạo ra độ nhiễu lớn. Ví dụ, câu "Lon roi an noi mat day", từ "Lon" khi không có dấu thanh có thể được hiểu theo hai tầng nghĩa hoàn toàn khác nhau, gây trở ngại cho việc trích xuất đặc trưng của mô hình.

Hướng nghiên cứu tiếp theo được đề xuất bao gồm:

• Mở rộng phương pháp thu thập dữ liệu đi kèm ngữ cảnh bài đăng gốc để giải quyết tính nhập nhằng ngữ nghĩa.
• Bổ sung các bước tiền xử lý chuyên biệt nhằm tự động chuẩn hóa từ ngữ, khôi phục dấu tiếng Việt và chuyển đổi teencode trước khi đưa vào mô hình nhận diện.
• Tối ưu hóa kiến trúc mô hình học sâu nhằm nâng cao hiệu năng trích xuất trên các trường hợp ẩn dụ, chơi chữ phức tạp.

Giá trị tham khảo

Khóa luận là tài liệu học thuật có giá trị tham khảo chuyên môn cao đối với:

• Sinh viên, học viên cao học và nghiên cứu viên thuộc các ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo, Công nghệ Thông tin đang theo đuổi các đề tài về Xử lý Ngôn ngữ Tự nhiên (NLP), đặc biệt là bài toán gán nhãn chuỗi (Sequence Labeling), phân tích cảm xúc và phát hiện nội dung độc hại trên không gian mạng.
• Các kỹ sư phần mềm và kiến trúc sư dữ liệu cần tài liệu tham khảo thực tế về việc kết hợp mô hình Transformer với hệ sinh thái Apache Spark (Spark Streaming, Spark SQL) để xử lý dữ liệu văn bản lớn theo thời gian thực.
• Các nhà quản trị mạng xã hội, các cơ quan báo chí, truyền thông trực tuyến có nhu cầu xây dựng công cụ kiểm duyệt tự động nhằm tối ưu hóa năng suất làm việc của kiểm duyệt viên.

Phần nội dung đáng tham khảo nhất trong khóa luận là Chương 3 với bộ hướng dẫn gán nhãn chi tiết, hệ thống hóa toàn diện các hiện tượng bất quy tắc của tiếng Việt trên mạng xã hội (từ lóng, lỗi chính tả vùng miền, từ đồng âm, biến thể teencode) cùng phương pháp luận đo lường độ đồng thuận liên người gán nhãn ở cấp độ ký tự.

Câu hỏi thường gặp

1. Bộ dữ liệu ViHOS được xây dựng dựa trên nguồn ngữ liệu nào và có quy mô bao nhiêu?
Bộ dữ liệu ViHOS gồm tổng cộng 11.056 bình luận tiếng Việt, có nguồn gốc từ tập dữ liệu ViHSD (thu thập trên Facebook và YouTube). Trong đó có 5.528 bình luận thuộc nhãn HATE và OFFENSIVE được gán nhãn chuỗi xúc phạm thủ công, kết hợp với 5.528 bình luận nhãn CLEAN được kiểm tra thủ công để đảm bảo mô hình không bị thiên vị nhãn.

2. Tiêu chuẩn lựa chọn người gán nhãn dữ liệu trong nghiên cứu là gì?
Nhóm tác giả tuyển chọn 6 sinh viên thành lập đội ngũ gán nhãn với các tiêu chí định lượng: có năng lực tiếng Việt tốt với điểm thi môn Ngữ văn trong kỳ thi THPT Quốc gia đạt từ 6,5 trở lên, đồng thời có lịch sử sử dụng các nền tảng mạng xã hội tối thiểu 3 năm.

3. Tại sao tác giả sử dụng Macro-F1 thay vì chỉ dùng Cohen’s Kappa để đánh giá độ đồng thuận gán nhãn?
Vì bài toán trích xuất chuỗi thao tác trên cấp độ ký tự, số lượng ký tự không vi phạm (nhãn "O") áp đảo hoàn toàn so với ký tự thuộc chuỗi xúc phạm (nhãn "T"). Tình trạng siêu mất cân bằng này khiến chỉ số Cohen’s Kappa bị lệch và không phản ánh chính xác bản chất gán nhãn chuỗi. Do đó, chỉ số Macro-F1 trên mức ký tự được lựa chọn làm thước đo đánh giá chủ đạo.

4. Ứng dụng thực nghiệm của khóa luận được thiết kế với kiến trúc công nghệ như thế nào?
Ứng dụng kết hợp pipeline 4 phần: thu thập bình luận luồng từ Twitter qua Twitter_Streaming.ipynb, sử dụng Spark Streaming và Spark SQL để xử lý dữ liệu lớn theo thời gian thực, đưa văn bản qua mô hình XLM-R để bóc tách chuỗi xúc phạm và mô hình PhoBERT-CNN để phân loại sắc thái 3 nhãn (CLEAN, HATE, OFFENSIVE), sau đó trực quan hóa kết quả lên giao diện web.

5. Hiệu năng nhận diện chuỗi xúc phạm cao nhất mà hệ thống ứng dụng đạt được là bao nhiêu?
Hệ thống nhận diện trực tiếp và liên tục chuỗi xúc phạm, phản cảm trong ứng dụng thực tế đạt điểm F1-Score lên tới 0,7770.

Kết luận

Khóa luận tốt nghiệp của sinh viên Hoàng Gia Phú và Lưu Đức Cảnh đã giải quyết thành công bài toán tiên phong về nhận diện chuỗi xúc phạm trong bình luận mạng xã hội tiếng Việt. Công trình đóng góp bộ dữ liệu chuẩn hóa ViHOS quy mô 11.056 bình luận đi kèm quy trình gán nhãn khoa học và hệ thống hướng dẫn chi tiết cho các hiện tượng ngôn ngữ đặc thù. Việc triển khai thành công ứng dụng demo streaming thời gian thực kết hợp giữa Apache Spark và các mô hình học chuyển tiếp khẳng định tính khả thi cao của giải pháp trong việc hỗ trợ kiểm duyệt nội dung, hướng tới xây dựng một không gian mạng lành mạnh.

Trích đoạn nội dung tài liệu

Đặt vấn đề Ngày nay, dưới sự ảnh hưởng mạnh mẽ của cuộc cách mạng công nghiệp lần thứ tư, các nhu cầu của con người ngày càng được đáp ứng trên nhiều lĩnh vực như an sinh xã hội, kinh tế, phương tiện di duyên và sự kết nối vạn vật. Điều này đã và dang anh hưởng trực tiếp tới đời sống của con người mọi nhiều mặt, đặc biệt là kết nói giữa người dùng với người dùng thông qua các nền tảng mạng xã hội, các trang thông tin điện tử. Van dé tan công mạng, lừa đảo, xúc phạm trên các mang xã hội ngày càng trở nên mat dần kiểm soát, qua đó trực tiếp biến thế giới thứ hai của con người trở thành một môi trường nguy hiểm và ảnh hưởng tiêu cực đến chính người dùng. Thực trạng trên đã chỉ ra rằng việc phát hiện, kiểm soát và xử lý các bình luận trên các nên tảng này là cực kỳ cấp thiết và quan trọng.

Bởi lẽ đặc trưng của môi trường trực tuyến này là tính lan truyền nhanh chóng, tính công cộng và không giới hạn nội dụng chia sẻ. Cụ thể, các bình luận có thể được chia sẻ thông qua nhiều phương thức khác nhau như truyền miệng, chia sẻ trực tiếp hoặc in ấn văn bản.từ đó làm cho tốc độ lan truyền thông trở nên cực kỳ nhanh chóng. Ngoài ra, việc các cá nhân đều có khả năng truy cập và tiếp cận các thông tin xúc phạm, phan cảm hay công kích một cách dé dàng khiến tác động tiêu cực tới cá nhân, tổ chức có nguy cơ rất lớn. Ngoài ra, theo khảo sát của Microsoft [1], Việt Nam hiện là nước có chỉ số văn minh năm trong nhóm thấp nhất trong tổng số 25 quốc gia được khảo sát.

Đây là một tín hiệu báo động về mặt tối của tác động mạng xã hội tới người dùng. Số lượng bình luận xúc phạm ngày càng tăng cao, trong khi các công cụ xử lý vấn đề xúc phạm này còn rất hạn chế. Qua đó, ta có thể hiểu rằng không chỉ ở Việt Nam, mạng xã hội vẫn đang từng ngày đem theo những bình luận không đúng chuẩn mực của các cá nhân thiếu sự tôn trọng, chuẩn mực đến với người khác. Trong đó đặc biệt là trẻ em hay nhóm người nhạy cảm về tâm lý khi tiếp xúc với những nội dung này là những đối tượng chịu ảnh hưởng đặc biệt và sâu sắc nhất tới tư tưởng và hành vi của họ.

Tuy nhiên, việc xử lý trích xuất các văn bản độc hại có trong một khối lượng khổng lồ các bình luận trên nền tảng mạng xã hội đang thực sự gặp nhiều vấn đề và thách thức. Cụ thể, trên thế giới hiện nay có rất ít các công trình nghiên cứu liên quan tới lĩnh vực trích xuất chuỗi xúc phạm, phản cảm trong bình luận mạng xã hội. Bên cạnh đó, các công trình nghiên cứu này cũng chưa chứng minh được tính ứng dụng vao thực tế bởi các ly do sau: (1) các nghiên cứu chưa áp dụng phân tích chuyên sâu về đặc trưng ngôn ngữ vùng miền, qua đó dẫn đến hiệu suất mô hình gặp khó khăn khi trích xuất chuỗi xúc phạm, phan cảm có trong các bình luận ấn ý, nói bóng gió hoặc sử dụng phương ngữ; (2) các công trình chỉ dừng lại ở mức nghiên cứu, thiếu sự phát triển hướng triển khai thành ứng dụng hỗ trợ cho việc xử lý khối lượng lớn bình luận trên các nền tảng nhiều người dung. Chính vì vậy, môi trường không gian mạng đang rất cần những ứng dụng dé có thé xử lý những bình luận độc hại đang tăng lên theo từng ngày, cụ thê là trích xuất những thông tin, chuỗi xúc phạm, phản cảm có trong các bình luận, từ đó góp phần giảm thiểu các bình luận độc hại và nâng cao an toàn không gian mạng.

Sau khi khảo sát các công trình nghiên cứu về lĩnh vực xử lý dữ liệu bình luận độc hại cho tiếng Việt, chúng tôi nhận thấy rằng chỉ có số ít công nghiên cứu về lĩnh vực này. Những công trình này tập trung chủ yếu phân loại nhãn xúc phạm, phản cảm từ bình luận bằng phương pháp tiền xử dữ liệu đầu vào [2] và huấn luyện các mô hình máy học, học sâu và học chuyển tiếp cho các bộ dữ liệu, qua đó nâng cao hiệu suất phân loại bình luận của mô hình [3] [4]. Ngoài ra, khảo sát của chúng tôi chỉ ra rằng bài toán nhận diện chuỗi xúc phạm, phản cảm có trong bình luận mạng xã hội vẫn đang là một bài toán chưa có lời giải vì hiện tại chưa có công trình nào nghiên cứu về lĩnh vực này. Ngoài ra, đặc trưng của văn bản tiếng Việt vốn dĩ phức tạp, có sự khác nhau giữa nhiều vùng miền và đa ý nghĩa trong từng bình luận.

Chính vì vậy việc phân tích, bóc tách khái niệm và gán nhãn xúc phạm, phản cảm trong từng loại bình luận tiếng Việt là cực kỳ quan trọng. Điều này góp phần chỉ ra những đặc trưng riêng mà chỉ tiếng Việt mới có, từ đó giúp nhận biệt ưu và nhược điểm của các mô hình khi trích xuất chuỗi xúc phạm, phản cảm trong trường hợp các bình luận khó. Tuy nhiên, hiện nay chưa có bộ dữ liệu được xây dựng giúp nhận diện chuỗi xúc phạm, phản cảm cho tiếng Việt và cũng chưa có công trình nghiên cứu liên quan đến định nghĩa, phân tích các đặc điểm hay đặc trưng riêng về chuỗi xúc phạm, phản cảm của bình luận mạng xã hội Việt Nam. Nhận thấy được sự tồn tại các vấn đề trên, khoá luận này đề xuất một giải pháp hoàn chỉnh nhằm xây dựng dữ liệu chuỗi xúc phạm, phản cảm có trong bình luận mạng xã hội và các phân tích sâu sắc.

Mục tiêu khoá luận Trong khoá luận này, chúng tôi tập trung nghiên cứu các phương pháp dé xây dựng một hệ thống hoàn chỉnh giúp phân loại bình luận và đặc biệt là trích xuất chuỗi xúc phạm, phản cảm có trong mỗi bình luận mạng xã hội được thu thập theo thời gian thực. Cu thé, chúng tôi dat ra từng mục tiêu như sau: e Xây dựng bộ dữ liệu Vietnamese Hate and Offensive Spans (VIHOS), bộ dữ liệu dành cho tiếng Việt đầu tiên bao gồm các bình luận đã được gán nhãn các chuỗi xúc phạm, phản cảm bên trong. Bộ dit liệu được kỳ vọng giúp các mô hình huấn luyện mang lại hiệu suất cao nhờ các phân tích, bóc tách đặc trưng và định nghĩa khái niệm chuỗi xúc phạm, phản cảm của bình luận mạng xã hội tiếng Việt. e Thí nghiệm đa dạng các mô hình huấn luyện đã được chứng minh tinh hiệu quả cho bài toán Sequence Labeling trên các mô hình học sâu, học chuyền tiếp đa ngôn ngữ và đơn ngôn tiếng Việt.

Chúng tôi mở rộng các thí nghiệm dựa trên đặc trưng về số lượng của các chuỗi xúc phạm, phản cảm có trong mỗi bình luận, qua đó so sánh phân tích và đưa ra kết luận về tính hiệu quả của từng mô hình trên từng thí nghiệm với mục tiêu tìm ra mô hình cho hiệu suât cao nhât. e Để chứng minh tính hữu ích của dit liệu, chúng tôi xây dựng ứng dụng liên tục truyền dir liệu từ nguồn đữ liệu không 16 ở trang mạng xã hội và tiến hành nhận diện chuỗi xúc phạm, phan cảm có trong bình luận theo thời gian thực. Ngoài ra, chúng tôi còn áp dụng các kỹ thuật phân loại các bình luận nhận được thành một trong ba nhãn CLEAN, HATE hoặc OFFENSIVE [2] để tăng tính ứng dụng của hệ thống, từ đó xây dựng thành công mô hình và sẵn sàng áp dụng vào thực tế. Đối tượng và phạm vi nghiên cứu > Đối tượng: Sự phát triển mạnh mẽ của Internet kéo theo sự phát triển của các nền tảng mạng mã hội, các bình luận trên mạng xã hội ngày càng trở nên mat kiểm soát dần bởi số lượng và bộc lộ nhiều khía cạnh tiêu cực.

Trong đó số lượng chuỗi độc hại, xúc phạm, phản cảm có trong mỗi bình luận trở nên nhiều và tinh vi hơn bao giờ hết, qua đó gây quan ngại về sự ảnh hưởng tiêu cực của chúng tới người dùng. Điều này đã tạo động lực cho chúng tôi tìm tòi nghiên cứu và đưa ra giải pháp giải quyết vấn đề bóc tách chuỗi xúc phạm, phản cảm có trong bình luận mạng xã hội Việt Nam. Góp phần xây dựng không gian mạng trở nên an toàn và lành mạnh đối với tất cả người dùng. > Phạm vi: Tuy đề tài hiện đang ở mức sơ khởi nhưng phạm vi áp dụng là vô cùng lớn.

Cụ thể, hệ thống của chúng tôi không chỉ đáp ứng tốt ở các trang mạng xã hội trực tuyến có quy mô nhỏ như các trang thông tin điện tử có lượng người dùng thấp nhưng rất cần sự kiểm duyệt cao mà còn đáp ứng tối đối với các trang mạng xã hội phổ biến hiện nay như Facebook, Youtube. Từ đó, góp phần ngăn chặn những thông tin độc hại phát tán, giảm thiểu đáng ké bình luận xúc phạm, phản cảm đối với các đối tượng nhạy cảm như người già, trẻ em. Góp phần thiết lập trật tự an ninh mạng, giúp các cơ quan nhà nước theo dõi các đôi tượng nhăm mục đích giáo dục, nghiên cứu, và quản lý một cách hiệu quả. Kết quả nghiên cứu Khoá luận của chúng tôi đi tiên phong trong lĩnh vực trích xuất, nhận diện chuỗi xúc phạm, phản cảm có trong bình luận mạng xã hội tiếng Việt.

Không chỉ xây dựng thành công bộ dir liệu ViHOS băng cách bóc tách, phân tích các đặc trưng đặc biệt về bình luận xúc phạm dành riêng cho tiếng Việt, mà chúng tôi còn thí nghiệm phân tích các mô hình huấn luyện dựa trên đặc điểm về số lượng của chuỗi xúc phạm, phản cảm, qua đó rút ra kết luận về chất lượng bộ dit liệu và hiệu suất của mô hình. Cuối cùng, chúng tôi triển khai ứng dụng phân loại bình luận và nhận diện chuỗi xúc phạm, phản cảm có trong bình luận mạng xã hội theo thời gian thực, đưa hệ thống của chúng tôi tiễn gần hơn với con người và sẵn sàng ứng dụng vào thực tế. Những kết quả này cũng là một đóng góp về mặt tư liệu cho các công trình nghiên cứu về sau kế thừa và phát triển, tận dụng những điểm mạnh của khoá luận và khắc phục những vấn đề còn tồn đọng mà chúng tôi đang gap phải. Cấu trúc khoá luận Khoá luận của chúng tôi gồm 6 chương với các nội dung chính như sau: > Chương 1: Tong quan Giới thiệu bài toán nhận diện chuỗi xúc phạm, phan cảm có trong bình luận mạng xã hội tiếng Việt.

Tầm quan trọng và tính ứng dụng của khoá luận vào thực tế đời sống trong bối cảnh phát triển mạnh mẽ của nền tảng trực tuyến hiện tại.