Luận văn phân loại bình luận độc hại bằng mạng đồ thị GCN - Bùi Ngọc Hưng

Luận văn phát triển mô hình phân loại bình luận độc hại trên mạng xã hội bằng đồ thị từ và mạng nơ-ron đồ thị độc lập ngôn ngữ.

• Tác giả: Bùi Ngọc Hưng
• Người hướng dẫn: TS. Võ Thị Hồng Thắm
• Trường học: Trường Đại học Thủ Dầu Một
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Phát triển mô hình phân loại các bình luận độc hại trên mạng xã hội dựa trên tiếp cận đồ thị từ và mạng nơ ron đồ thị trên ngữ cảnh độc lập về mặt ngôn ngữ
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Bình Dương

Tóm tắt

I. Tổng quan về phân loại bình luận độc hại bằng đồ thị từ

Phân loại bình luận độc hại trên mạng xã hội là bài toán quan trọng trong xử lý ngôn ngữ tự nhiên. Mô hình đồ thị từ kết hợp mạng nơ ron đồ thị (GNN) giúp khai thác mối quan hệ ngữ nghĩa giữa các từ và cấu trúc ngữ cảnh. Phương pháp này vượt trội so với các kỹ thuật truyền thống nhờ khả năng biểu diễn đa chiều dữ liệu văn bản. Khung nghiên cứu đề xuất tách biệt ngữ cảnh ngôn ngữ, cho phép áp dụng đa ngôn ngữ mà không cần điều chỉnh mô hình. Đồ thị từ xây dựng từ ngữ cảnh trực tiếp, nơi mỗi nút đại diện cho một từ, cạnh thể hiện mối quan hệ ngữ nghĩa. Kết hợp GNN giúp nắm bắt cấu trúc ngữ cảnh toàn cục, cải thiện độ chính xác phân loại. Mô hình hoạt động độc lập về mặt ngôn ngữ nhờ biểu diễn thống nhất, phù hợp với xu hướng toàn cầu hóa của mạng xã hội.

1.1. Đồ thị từ trong phân loại văn bản

Đồ thị từ là cấu trúc biểu diễn văn bản dưới dạng đồ thị, nơi các từ trở thành nút và mối quan hệ ngữ nghĩa giữa chúng là cạnh. Phương pháp này khác biệt với biểu diễn vector truyền thống nhờ khả năng mô hình hóa cấu trúc ngữ cảnh toàn diện. Mỗi từ trong câu được liên kết với ngữ cảnh trực tiếp, tạo thành mạng lưới biểu diễn phong phú. Đồ thị từ xử lý hiệu quả các hiện tượng ngôn ngữ như đồng nghĩa, đa nghĩa và cấu trúc cú pháp phức tạp. Ưu điểm chính là khả năng biểu diễn ngữ nghĩa đa chiều, giúp mô hình hiểu sâu hơn về mối quan hệ giữa các thành phần văn bản.

1.2. Mạng nơ ron đồ thị trong xử lý ngôn ngữ

Mạng nơ ron đồ thị (GNN) là kiến trúc học sâu hoạt động trên dữ liệu có cấu trúc đồ thị, phù hợp cho biểu diễn ngữ nghĩa đa chiều. GNN lan truyền thông tin giữa các nút thông qua các lớp lặp, cho phép nắm bắt cấu trúc ngữ cảnh toàn cục. Trong phân loại bình luận độc hại, GNN xử lý hiệu quả mối quan hệ ngữ nghĩa giữa các từ, ngay cả khi chúng không xuất hiện cùng lúc trong câu. Khả năng biểu diễn ngữ nghĩa động giúp mô hình thích ứng linh hoạt với đa dạng cấu trúc ngôn ngữ. GNN kết hợp đồ thị từ tạo thành giải pháp mạnh mẽ, vượt trội trong việc phát hiện các bình luận có tính chất độc hại phức tạp.

II. Phân tích thách thức trong phân loại bình luận độc hại

Phân loại bình luận độc hại đối mặt nhiều thách thức do tính chất đa dạng và biến đổi của ngôn ngữ mạng xã hội. Sự xuất hiện liên tục của từ lóng, viết tắt và biểu tượng cảm xúc khiến việc trích xuất đặc trưng trở nên khó khăn. Ngữ cảnh ngôn ngữ thay đổi nhanh chóng theo xu hướng, đòi hỏi mô hình phải liên tục cập nhật. Đa ngôn ngữ trong môi trường mạng xã hội tạo ra rào cản lớn khi áp dụng các phương pháp truyền thống. Bình luận độc hại thường ngụy trang dưới dạng ngôn ngữ trung lập, yêu cầu phân tích ngữ nghĩa sâu để phát hiện. Sự thiếu hụt dữ liệu huấn luyện cho các ngôn ngữ ít phổ biến cũng là thách thức đáng kể. Ngoài ra, vấn đề bias trong dữ liệu huấn luyện có thể dẫn đến kết quả phân loại không công bằng.

2.1. Đa dạng ngôn ngữ và biểu đạt trong mạng xã hội

Ngôn ngữ mạng xã hội đặc trưng bởi sự biến đổi nhanh chóng, bao gồm từ lóng, viết tắt, biểu tượng cảm xúc và biến thể ngữ pháp. Những yếu tố này tạo ra thách thức lớn trong trích xuất đặc trưng cho mô hình phân loại. Ví dụ, cùng một từ có thể mang nghĩa khác nhau tùy thuộc vào ngữ cảnh sử dụng. Biểu tượng cảm xúc như 😂 hay 😡 có thể thay đổi hoàn toàn ý nghĩa của bình luận. Sự đa dạng này đòi hỏi mô hình phải xử lý linh hoạt, không phụ thuộc vào cấu trúc ngôn ngữ truyền thống.

2.2. Tính biến đổi và ngụy trang của bình luận độc hại

Bình luận độc hại thường ngụy trang dưới vỏ bọc ngôn ngữ trung lập, sử dụng các chiến thuật như ám chỉ, chơi chữ hoặc ngôn ngữ mỉa mai. Sự biến đổi liên tục của các chiến thuật này khiến mô hình khó phát hiện bằng các phương pháp truyền thống. Ngữ cảnh văn hóa và xã hội ảnh hưởng lớn đến cách biểu đạt sự thù ghét hoặc quấy rối. Ngoài ra, bình luận độc hại có thể thay đổi hình thức theo thời gian, đòi hỏi mô hình phải thích ứng nhanh chóng.

III. Giải pháp mô hình phân loại dựa trên đồ thị từ và GNN

Mô hình đề xuất kết hợp đồ thị từ và mạng nơ ron đồ thị (GNN) để phân loại bình luận độc hại. Đồ thị từ xây dựng từ ngữ cảnh trực tiếp, nơi mỗi từ trở thành nút và mối quan hệ ngữ nghĩa là cạnh. GNN sau đó xử lý đồ thị này bằng cơ chế lan truyền thông tin giữa các nút, nắm bắt cấu trúc ngữ cảnh toàn cục. Mô hình hoạt động độc lập về mặt ngôn ngữ nhờ biểu diễn thống nhất, không phụ thuộc vào cấu trúc ngôn ngữ cụ thể. Cơ chế tập trung vào ngữ cảnh giúp phát hiện các bình luận độc hại ngụy trang dưới dạng ngôn ngữ trung lập. Kiến trúc đề xuất có khả năng thích ứng linh hoạt với đa dạng ngôn ngữ và biểu đạt trong mạng xã hội.

3.1. Xây dựng đồ thị từ từ ngữ cảnh ngôn ngữ

Đồ thị từ được xây dựng bằng cách phân tích ngữ cảnh trực tiếp của từng từ trong bình luận. Mỗi từ trở thành nút trong đồ thị, cạnh nối giữa các nút thể hiện mối quan hệ ngữ nghĩa dựa trên đồng xuất hiện trong ngữ cảnh. Trọng số cạnh phản ánh mức độ liên quan ngữ nghĩa giữa các từ. Quá trình xây dựng đồ thị tách biệt khỏi ngôn ngữ cụ thể, cho phép áp dụng đa ngôn ngữ. Đồ thị từ không chỉ biểu diễn cấu trúc ngữ nghĩa mà còn nắm bắt các mối quan hệ ngữ nghĩa sâu sắc, giúp mô hình hiểu rõ hơn về ngữ cảnh toàn cục.

3.2. Cơ chế lan truyền thông tin trong mạng nơ ron đồ thị

GNN sử dụng cơ chế lan truyền thông tin giữa các nút thông qua các lớp lặp, cho phép nắm bắt cấu trúc ngữ cảnh toàn cục. Mỗi lớp lặp cập nhật trạng thái của nút dựa trên thông tin từ các nút lân cận. Cơ chế này cho phép mô hình phát hiện các mẫu ngữ nghĩa phức tạp, ngay cả khi chúng không xuất hiện cùng lúc trong câu. GNN kết hợp với đồ thị từ tạo thành giải pháp mạnh mẽ, vượt trội trong việc phát hiện các bình luận có tính chất độc hại phức tạp.

IV. Kết luận và ứng dụng thực tiễn của mô hình

Mô hình phân loại bình luận độc hại dựa trên đồ thị từ và mạng nơ ron đồ thị thể hiện hiệu quả vượt trội so với các phương pháp truyền thống. Khả năng hoạt động độc lập về mặt ngôn ngữ cho phép áp dụng rộng rãi trong môi trường mạng xã hội đa ngôn ngữ. Kết quả thực nghiệm cho thấy mô hình đạt độ chính xác cao trong phát hiện bình luận độc hại, ngay cả khi chúng ngụy trang dưới dạng ngôn ngữ trung lập. Mô hình có tiềm năng ứng dụng trong giám sát nội dung mạng xã hội, hỗ trợ xây dựng môi trường trực tuyến lành mạnh. Ngoài ra, kiến trúc đề xuất có thể mở rộng cho các tác vụ phân loại văn bản khác, như phát hiện tin giả hay phân tích tình cảm.

4.1. Đánh giá hiệu quả mô hình trong thực tế

Mô hình được đánh giá trên các tập dữ liệu đa ngôn ngữ, bao gồm tiếng Anh, tiếng Việt và tiếng Trung. Kết quả cho thấy độ chính xác đạt trên 90% trong phân loại bình luận độc hại, vượt trội so với các phương pháp truyền thống như Naive Bayes hay SVM. Mô hình cũng thể hiện khả năng thích ứng tốt với các biến thể ngôn ngữ và biểu đạt trong mạng xã hội. Thời gian xử lý nhanh chóng cho phép triển khai trong hệ thống giám sát thời gian thực.

4.2. Triển khai và hướng phát triển tương lai

Mô hình có thể triển khai dưới dạng API phục vụ cho các nền tảng mạng xã hội, hỗ trợ giám sát nội dung tự động. Hướng phát triển tiếp theo bao gồm tích hợp cơ chế học liên tục để cập nhật mô hình theo xu hướng ngôn ngữ mới. Ngoài ra, mở rộng mô hình cho các ngôn ngữ ít phổ biến cũng là mục tiêu quan trọng. Nghiên cứu cũng hướng tới tích hợp đa phương thức, kết hợp phân tích văn bản với hình ảnh và video để phát hiện các hình thức quấy rối phức tạp.

Trích đoạn nội dung tài liệu

mở đầu, trình bày tổng quan về bài toán nghiên cứu, tầm quan trọng và ý nghĩa của việc phân loại bình luận độc hại, cùng với các thách thức chính. Các đóng góp mới của luận văn cũng được nêu rõ, cùng 7 với mục tiêu, phạm vi nghiên cứu và những kết quả mong đợi. Chương này đặt nền tảng cho các bước giải quyết bài toán, từ phát biểu bài toán đến các bước triển khai cụ thể. Chương 2: Tổng quan các công trình nghiên cứu - chương này tập trung vào việc đánh giá các phương pháp phân lớp văn bản đã có.

Các phương pháp truyền thống như Naïve Bayes, Support Vector Machines, và Decision Trees sẽ được thảo luận trước, sau đó chuyển sang các phương pháp hiện đại dựa trên học sâu như Convolutional Neural Networks, Recurrent Neural Networks, và Graph Convolutional Networks. Mô hình TextGCN và các phương pháp tiên tiến như Transformer và BERT cũng sẽ được phân tích. Cuối chương là phần tổng hợp các ưu điểm và hạn chế của từng phương pháp, giúp làm rõ các nền tảng lý thuyết cho mô hình đề xuất trong luận văn. Chương 3: Cơ sở lý thuyết liên quan đến phân loại bình luận độc hại - tập trung vào các khái niệm cơ bản và kỹ thuật quan trọng liên quan đến bài toán phân loại bình luận độc hại.

Các bước tiền xử lý dữ liệu văn bản, phương pháp biểu diễn văn bản như TF-IDF, Word Embeddings, và các kỹ thuật sử dụng đồ thị cho văn bản sẽ được giải thích chi tiết. Chương này cung cấp nền tảng lý thuyết cần thiết để hiểu rõ hơn về mô hình đề xuất trong chương sau. Chương 4: Mô hình đề xuất và kết quả thực nghiệm - phần quan trọng nhất của luận văn, trình bày mô hình đề xuất cho bài toán phân loại bình luận độc hại được giới thiệu và phân tích chi tiết. Kiến trúc của mô hình, các phương pháp sử dụng, như việc xây dựng đồ thị văn bản không đồng nhất và mạng tích chập đồ thị (GCN), sẽ được mô tả chi tiết.

Phần thực nghiệm sẽ báo cáo kết quả đạt được khi áp dụng mô hình vào dữ liệu thực tế, so sánh với các mô hình khác, từ đó khẳng định tính hiệu quả của mô hình đề xuất. Cuối cùng, luận văn kết thúc bằng phần Kết luận, tóm tắt lại những kết quả quan trọng đã đạt được cùng các thách thức và đề xuất các hướng phát triển trong tương lai cho việc nghiên cứu và ứng dụng phân loại bình luận độc hại trên mạng xã hội. 8 CHƯƠNG 2: TỔNG QUAN CÁC CÔNG TRÌNH NGHIÊN CỨU Chương 2 của luận văn tập trung vào việc tổng quan các công trình nghiên cứu liên quan đến bài toán phân loại văn bản, đặc biệt là phân loại các bình luận độc hại trên mạng xã hội. Trong chương này, các phương pháp truyền thống và hiện đại sẽ được xem xét, bao gồm những thành tựu và hạn chế của từng phương pháp.

Bên cạnh đó, chương này cũng đi sâu vào phân tích các nghiên cứu trước đây về việc áp dụng học sâu và các kỹ thuật biểu diễn văn bản như TF-IDF, Word2Vec, và các mô hình đồ thị, cung cấp cái nhìn toàn diện về các hướng tiếp cận khác nhau và đưa ra những nhận xét quan trọng làm cơ sở cho việc phát triển mô hình đề xuất.1 Các phương pháp phân lớp văn bản truyền thống Các phương pháp phân lớp văn bản truyền thống đã được sử dụng rộng rãi trong việc giải quyết bài toán phân loại bình luận độc hại. Dưới đây là một cái nhìn tổng quan về các công trình nổi bật trong lĩnh vực này: Naive Bayes: Đây là một trong những phương pháp phân lớp văn bản đầu tiên và vẫn được sử dụng rộng rãi. Naive Bayes dựa trên giả định về sự độc lập giữa các từ và tính toán xác suất của một bình luận là độc hại dựa trên xác suất của từng từ riêng lẻ [1]. Support Vector Machines (SVM): SVM là một phương pháp phân lớp văn bản mạnh mẽ, được sử dụng rộng rãi trong các bài toán phân lớp văn bản, bao gồm phân loại bình luận độc hại.

SVM tìm ra một siêu mặt phẳng trong không gian nhiều chiều để phân chia dữ liệu thành hai lớp [2]. Decision Trees: Decision Trees là một phương pháp phân lớp khác được sử dụng trong phân loại văn bản. Nó tạo ra một cây quyết định dựa trên các thuộc tính của dữ liệu, như tần suất xuất hiện của các từ, và sử dụng cây này để phân loại các bình luận [3]. 9 Các phương pháp trên đều đã đóng góp quan trọng trong việc giải quyết bài toán phân loại bình luận độc hại.

Tuy nhiên, chúng cũng có nhược điểm của riêng mình, như giả định về sự độc lập giữa các từ trong Naive Bayes, hoặc việc không thể xử lý dữ liệu phi tuyến tính trong SVM và Decision Trees.1 Phân lớp Naïve Bayes Naive Bayes là một phương pháp phân lớp dựa trên định lý Bayes, trong đó giả định rằng các đặc trưng của dữ liệu đều độc lập với nhau (giả định "naive" hay "ngây thơ"). Phương pháp này rất phổ biến do sự đơn giản và hiệu quả, đặc biệt là khi làm việc với các tập dữ liệu lớn. Định lý Bayes Định lý Bayes cho phép tính xác suất của một lớp 𝐶𝑘 dựa trên các đặc trưng X của dữ liệu như công thức 2.1) 𝑃 (𝑋 ) Trong đó:  𝑃(𝐶𝑘 |𝑋 ) là xác suất có điều kiện của lớp 𝐶𝑘 khi biết X.  𝑃(𝑋|𝐶𝑘 ) là xác suất của X khi thuộc lớp 𝐶𝑘.

 𝑃(𝐶𝑘 ) là xác suất tiên nghiệm của lớp 𝐶𝑘.  P(X) là xác suất tiên nghiệm của các đặc trưng X. Cách hoạt động của Naive Bayes Naive Bayes bắt đầu bằng cách tính toán xác suất tiên nghiệm cho mỗi lớp, dựa trên tần suất xuất hiện của các lớp trong tập huấn luyện. Tiếp theo, thuật toán xác định xác suất có điều kiện của từng đặc trưng dựa trên lớp tương ứng.

Giả định 10 rằng các đặc trưng độc lập với nhau, tổng xác suất của các đặc trưng có thể được tính bằng cách nhân các xác suất của từng đặc trưng riêng lẻ. Cuối cùng, Naive Bayes sử dụng các xác suất đã tính toán để đưa ra dự đoán, bằng cách chọn lớp có xác suất cao nhất. Ưu điểm và hạn chế Naive Bayes là một thuật toán phân loại đơn giản nhưng hiệu quả, được đánh giá cao nhờ tính nhanh chóng trong tính toán. Do chỉ cần ước lượng các xác suất đơn giản, Naive Bayes thường hoạt động rất nhanh, ngay cả khi xử lý các tập dữ liệu lớn.

Đặc biệt, phương pháp này không đòi hỏi quá nhiều dữ liệu huấn luyện, vì nó có thể cho kết quả tốt ngay cả khi dữ liệu hạn chế, nhất là khi các đặc trưng thực sự độc lập với nhau. Điều này làm cho Naive Bayes trở thành một lựa chọn lý tưởng trong các bài toán phân loại văn bản, chẳng hạn như phân loại email spam hay phân tích cảm xúc. Tuy nhiên, Naive Bayes cũng có một số hạn chế. Giả định rằng các đặc trưng độc lập hoàn toàn với nhau thường không thực tế trong nhiều bài toán, điều này có thể dẫn đến kết quả không chính xác.

Hơn nữa, thuật toán này có thể nhạy cảm với các đặc trưng hiếm gặp trong tập dữ liệu huấn luyện, làm cho các xác suất được ước lượng trở nên kém tin cậy. Mặc dù vậy, Naive Bayes vẫn là một công cụ mạnh mẽ và linh hoạt trong các bài toán phân lớp, đặc biệt khi giả định về tính độc lập của nó phù hợp với dữ liệu.2 Support Vector Machines Support Vector Machines (SVM) là một phương pháp phân lớp mạnh mẽ và phổ biến trong lĩnh vực học máy, đặc biệt là khi làm việc với các bài toán phân lớp có số chiều cao. Phương pháp này được phát triển bởi Vladimir Vapnik và đồng nghiệp vào những năm 1990, và nhanh chóng trở thành một trong những công cụ hàng đầu cho các bài toán phân lớp và hồi quy. 11 Nguyên lý cơ bản của SVM SVM hoạt động bằng cách tìm kiếm một siêu phẳng (hyperplane) tối ưu để phân tách các lớp dữ liệu trong không gian nhiều chiều.

Siêu phẳng này được chọn sao cho khoảng cách từ nó đến các điểm dữ liệu gần nhất thuộc hai lớp đối nghịch là lớn nhất. Những điểm dữ liệu này được gọi là các vector hỗ trợ (support vectors). Cách thức hoạt động của SVM Thuật toán SVM bắt đầu bằng việc tìm kiếm siêu phẳng tối ưu để phân chia dữ liệu, sao cho khoảng cách giữa các biên của các lớp là lớn nhất. Điều này giúp cải thiện khả năng phân loại chính xác khi có dữ liệu mới.

Trong trường hợp các lớp không thể phân chia tuyến tính trong không gian ban đầu, SVM sử dụng các hàm kernel để ánh xạ dữ liệu sang một không gian chiều cao hơn, nơi mà các lớp có thể được phân chia tuyến tính. Một số hàm kernel phổ biến được sử dụng bao gồm Linear Kernel cho dữ liệu phân chia tuyến tính, Polynomial Kernel cho không gian đa thức, Radial Basis Function (RBF) Kernel phù hợp với dữ liệu phức tạp, và Sigmoid Kernel đôi khi được sử dụng trong mạng nơ-ron. Khi gặp dữ liệu không thể phân chia hoàn toàn bằng một siêu phẳng, SVM có thể cho phép một số điểm dữ liệu nằm ở phía sai của siêu phẳng, được kiểm soát qua tham số C. Tham số này điều chỉnh độ linh hoạt của mô hình, với giá trị lớn của C giảm số lỗi cho phép nhưng có thể dẫn đến overfitting, trong khi giá trị nhỏ của C tạo ra một mô hình mềm dẻo hơn, chấp nhận nhiều lỗi hơn nhưng có thể tổng quát hóa tốt hơn.

Ưu điểm và hạn chế Support Vector Machines (SVM) là một phương pháp phân lớp mạnh mẽ, đặc biệt nổi bật trong các bài toán liên quan đến không gian chiều cao. Khi làm việc với các bài toán có nhiều đặc trưng, SVM thể hiện hiệu quả cao, trong khi các phương pháp khác có thể gặp khó khăn. Với sự hỗ trợ của các hàm kernel, SVM còn có khả năng xử lý tốt các bài toán phân lớp phức tạp, đặc biệt là những bài toán không tuyến tính. Một ưu điểm đáng kể của SVM là khả năng tổng quát hóa 12 tốt, thậm chí ngay cả khi số lượng điểm dữ liệu ít hơn số chiều của không gian đặc trưng.

Tuy nhiên, SVM cũng đi kèm với một số hạn chế. Độ phức tạp trong tính toán có thể trở thành một vấn đề khi làm việc với các tập dữ liệu lớn, khiến cho SVM trở nên chậm chạp và tốn kém về tài nguyên. Việc lựa chọn hàm kernel và các siêu tham số phù hợp cũng là một thách thức, đòi hỏi người dùng phải có hiểu biết sâu về dữ liệu.